1. 如何用php CURL 抓取微信網頁的內容
給你簡單介紹幾個吧
一、file_get_contents函數
$content = file_get_contents("URL");//URL就是你要獲取的頁面的地址
二、利用curl擴展
代碼如下：
function getCurl($url){
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL,$url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);//不輸出內容
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
$result = curl_exec($ch);
curl_close ($ch);
return $result;
}
PS：需要安裝PHP的curl擴展
2. 如何採集微信文章發布到網站
很多人，找各種軟體採集，而且竟然還有可恥到需要收錢採集，做為程序員，這么簡單的一個採集，還需要付錢，我是在是看不慣，所以我出了這個教程（本人用的是PHP實現的）：基本思路，1.利用程序循環公眾號查詢到公眾號列表地址（注意，可能會被屏蔽，只要程序沒查詢一次公眾號，就休息幾分鍾就行了）2.利用程序保存剛才訪問過的cookie(注意，cookie是每個段時間就要重新生成一次，否則也會被屏蔽) 3.這樣就可以直接拿列表頁的地址了（地址存放在一個json數據裡面，利用js對json進行編譯就能正則出地址）4.如果你想得到真實的文字地址，請在內容中找js的msg_link這個變數，此教程僅限學習研究，不用於商業用途，後果自負...
3. 使用php如何獲取微信文章
可以嘗試使用DOM操作庫simple-html-dom.php,快速獲取HTML結構的內容:
<?php
require dirname(__FILE__).'/simple_html_dom.php';
$html = file_get_html('http://php.net/');
$articles = array();
foreach($html->find('article.newsentry') as $article) {
$item['time'] = trim($article->find('time', 0)->plaintext);
$item['title'] = trim($article->find('h2.newstitle', 0)->plaintext);
$item['content'] = trim($article->find('div.newscontent', 0)->plaintext);
$articles[] = $item;
}
print_r($articles);
可以把抓取到的內容寫入置於內存上的SQLite(/run/shm/php/crawler.db3),避免頻繁的磁碟IO.
4. 如何用 php 抓取微信文章正文
@FatHareMe說得是正確的，用curl抓取就可以了。
昨天回答了一個相關的問題也是抓取的，你可以參考一下。
http://..com/question/1640514695183657580
5. 如何用php 編寫網路爬蟲
php不太適合用來寫網路爬蟲,因為幾乎沒有現成的框架,或者成熟的下載機制,也不太適合做並發處理.
下載頁面的話除了一個curl,就是file_get_contents,或者curl_multi來做並發請求.curl可以代理埠,虛假ip,帶cookie,帶header請求目標頁面,下載完成之後解析頁面可以用queryList來解析html.寫法類似jQuery.
提供給你我之前寫的類:curl.php 希望可以幫到你.
QueryList.php和phpQuery.php由於文件太大了,沒辦法貼上來
<?php
classHttp{
publicfunctioncurlRequest($url,$postData='',$timeOut=10,$httpHeader=array()){
$handle=curl_init();
curl_setopt($handle,CURLOPT_URL,$url);
if($httpHeader){
curl_setopt($handle,CURLOPT_HTTPHEADER,$httpHeader);
}
curl_setopt($handle,CURLOPT_RETURNTRANSFER,true);
curl_setopt($handle,CURLOPT_HEADER,0);curl_setopt($handle,CURLOPT_TIMEOUT,$timeOut);
curl_setopt($handle,CURLOPT_FOLLOWLOCATION,1);
curl_setopt($handle,CURLOPT_SSL_VERIFYPEER,false);
curl_setopt($handle,CURLOPT_SSL_VERIFYHOST,false);
curl_setopt($handle,CURLOPT_USERAGENT,'Mozilla/5.0(Macintosh;IntelMacOSX10_7_2)AppleWebKit/537.36(KHTML,likeGecko)Chrome/27.0.1453.93Safari/537.36');curl_setopt($handle,CURLOPT_ENCODING,'gzip,deflate,sdch');
if(!empty($postData)){
curl_setopt($handle,CURLOPT_POST,1);
curl_setopt($handle,CURLOPT_POSTFIELDS,$postData);
}
$result['response']=curl_exec($handle);
$result['httpStatus']=curl_getinfo($handle,CURLINFO_HTTP_CODE);
$result['fullInfo']=curl_getinfo($handle);
$result['errorMsg']='';
$result['errorNo']=0;
if(curl_errno($handle)){
$result['errorMsg']=curl_error($handle);
$result['errorNo']=curl_errno($handle);
}
curl_close($handle);
return$result;
}
}
?>
6. 這是我用php編寫的爬蟲，為何運行，沒有效果
PHP這種語言不適合編寫爬蟲。它是為了生成HTML而專門設計的語言。
我想的一個原因——超時。PHP伺服器運行PHP程序時會有時間限制。
7. 如何用PHP做網路爬蟲
其實用PHP來爬會非常方便，主要是PHP的正則表達式功能在搜集頁面連接方面很方便，另外PHP的fopen、file_get_contents以及libcur的函數非常方便的下載網頁內容。
8. 想使用php和python做一個爬蟲並且微信提醒的功能
可以考慮重新安裝pip，這里要強調下yum是依賴python你安裝新版本 ，要注意修改yum的參數