1. 如何用php CURL 抓取微信网页的内容
给你简单介绍几个吧
一、file_get_contents函数
$content = file_get_contents("URL");//URL就是你要获取的页面的地址
二、利用curl扩展
代码如下：
function getCurl($url){
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL,$url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);//不输出内容
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
$result = curl_exec($ch);
curl_close ($ch);
return $result;
}
PS：需要安装PHP的curl扩展
2. 如何采集微信文章发布到网站
很多人，找各种软件采集，而且竟然还有可耻到需要收钱采集，做为程序员，这么简单的一个采集，还需要付钱，我是在是看不惯，所以我出了这个教程（本人用的是PHP实现的）：基本思路，1.利用程序循环公众号查询到公众号列表地址（注意，可能会被屏蔽，只要程序没查询一次公众号，就休息几分钟就行了）2.利用程序保存刚才访问过的cookie(注意，cookie是每个段时间就要重新生成一次，否则也会被屏蔽) 3.这样就可以直接拿列表页的地址了（地址存放在一个json数据里面，利用js对json进行编译就能正则出地址）4.如果你想得到真实的文字地址，请在内容中找js的msg_link这个变量，此教程仅限学习研究，不用于商业用途，后果自负...
3. 使用php如何获取微信文章
可以尝试使用DOM操作库simple-html-dom.php,快速获取HTML结构的内容:
<?php
require dirname(__FILE__).'/simple_html_dom.php';
$html = file_get_html('http://php.net/');
$articles = array();
foreach($html->find('article.newsentry') as $article) {
$item['time'] = trim($article->find('time', 0)->plaintext);
$item['title'] = trim($article->find('h2.newstitle', 0)->plaintext);
$item['content'] = trim($article->find('div.newscontent', 0)->plaintext);
$articles[] = $item;
}
print_r($articles);
可以把抓取到的内容写入置于内存上的SQLite(/run/shm/php/crawler.db3),避免频繁的磁盘IO.
4. 如何用 php 抓取微信文章正文
@FatHareMe说得是正确的，用curl抓取就可以了。
昨天回答了一个相关的问题也是抓取的，你可以参考一下。
http://..com/question/1640514695183657580
5. 如何用php 编写网络爬虫
php不太适合用来写网络爬虫,因为几乎没有现成的框架,或者成熟的下载机制,也不太适合做并发处理.
下载页面的话除了一个curl,就是file_get_contents,或者curl_multi来做并发请求.curl可以代理端口,虚假ip,带cookie,带header请求目标页面,下载完成之后解析页面可以用queryList来解析html.写法类似jQuery.
提供给你我之前写的类:curl.php 希望可以帮到你.
QueryList.php和phpQuery.php由于文件太大了,没办法贴上来
<?php
classHttp{
publicfunctioncurlRequest($url,$postData='',$timeOut=10,$httpHeader=array()){
$handle=curl_init();
curl_setopt($handle,CURLOPT_URL,$url);
if($httpHeader){
curl_setopt($handle,CURLOPT_HTTPHEADER,$httpHeader);
}
curl_setopt($handle,CURLOPT_RETURNTRANSFER,true);
curl_setopt($handle,CURLOPT_HEADER,0);curl_setopt($handle,CURLOPT_TIMEOUT,$timeOut);
curl_setopt($handle,CURLOPT_FOLLOWLOCATION,1);
curl_setopt($handle,CURLOPT_SSL_VERIFYPEER,false);
curl_setopt($handle,CURLOPT_SSL_VERIFYHOST,false);
curl_setopt($handle,CURLOPT_USERAGENT,'Mozilla/5.0(Macintosh;IntelMacOSX10_7_2)AppleWebKit/537.36(KHTML,likeGecko)Chrome/27.0.1453.93Safari/537.36');curl_setopt($handle,CURLOPT_ENCODING,'gzip,deflate,sdch');
if(!empty($postData)){
curl_setopt($handle,CURLOPT_POST,1);
curl_setopt($handle,CURLOPT_POSTFIELDS,$postData);
}
$result['response']=curl_exec($handle);
$result['httpStatus']=curl_getinfo($handle,CURLINFO_HTTP_CODE);
$result['fullInfo']=curl_getinfo($handle);
$result['errorMsg']='';
$result['errorNo']=0;
if(curl_errno($handle)){
$result['errorMsg']=curl_error($handle);
$result['errorNo']=curl_errno($handle);
}
curl_close($handle);
return$result;
}
}
?>
6. 这是我用php编写的爬虫，为何运行，没有效果
PHP这种语言不适合编写爬虫。它是为了生成HTML而专门设计的语言。
我想的一个原因——超时。PHP服务器运行PHP程序时会有时间限制。
7. 如何用PHP做网络爬虫
其实用PHP来爬会非常方便，主要是PHP的正则表达式功能在搜集页面连接方面很方便，另外PHP的fopen、file_get_contents以及libcur的函数非常方便的下载网页内容。
8. 想使用php和python做一个爬虫并且微信提醒的功能
可以考虑重新安装pip，这里要强调下yum是依赖python你安装新版本 ，要注意修改yum的参数