㈠ php 实现网络爬虫
pcntl_fork或者swoole_process实现多进程并发。按照每个网页抓取耗时500ms，开200个进程，可以实现每秒400个页面的抓取。
curl实现页面抓取，设置cookie可以实现模拟登录
simple_html_dom 实现页面的解析和DOM处理
如果想要模拟浏览器，可以使用casperJS。用swoole扩展封装一个服务接口给PHP层调用
在这里有一套爬虫系统就是基于上述技术方案实现的，每天会抓取几千万个页面。
㈡ 如何用php CURL 抓取微信网页的内容
给你简单介绍几个吧
一、file_get_contents函数
$content = file_get_contents("URL");//URL就是你要获取的页面的地址
二、利用curl扩展
代码如下：
function getCurl($url){
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL,$url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);//不输出内容
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
$result = curl_exec($ch);
curl_close ($ch);
return $result;
}
PS：需要安装PHP的curl扩展
㈢ php curl的几种用法
总结一下项目中用到curl的几种方式 1. php curl的默认调用方法，get方式访问url $ch = curl_init(); curl_setopt($ch, CURLOPT_HTTPHEADER, $header); //设置http头 curl_setopt($ch, CURLOPT_ENCODING, "gzip" ); //设置为客户端支持gzip压缩 curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 30 ); //设置连接等待时间 curl_setopt($ch, CURLOPT_URL, $url ); curl_exec( $ch ); if ($error = curl_error($ch) ) {//出错处理return -1;}fclose($fp); $curl_code = curl_getinfo($ch, CURLINFO_HTTP_CODE); //获取http返回值 if( $curl_code == 200 ) { //正常访问url}//异常 2. 设置http header支持curl访问lighttpd服务器Java代码$header[]= 'Expect:'; $header[]= 'Expect:'; 3. 设置curl，只获取http header，不获取body：Java代码curl_setopt($ch, CURLOPT_HEADER, 1); curl_setopt($ch, CURLOPT_NOBODY, 1); curl_setopt($ch, CURLOPT_HEADER, 1); curl_setopt($ch, CURLOPT_NOBODY, 1); 或者只获取body：Java代码curl_setopt($ch, CURLOPT_HEADER, 0); // make sure we get the body curl_setopt($ch, CURLOPT_NOBODY, 0); curl_setopt($ch, CURLOPT_HEADER, 0); // make sure we get the body curl_setopt($ch, CURLOPT_NOBODY, 0); 4. 访问虚拟主机，需设置Host $header[]= 'Host: '.$host; 5. 使用post, put, delete等REStful方式访问urlpost:curl_setopt($ch, CURLOPT_POST, 1 ); put, delete: curl_setopt($ch, CURLOPT_CUSTOMREQUEST, "DELETE"); //或者PUT，需要服务器支持这些方法。6. 保存下载内容为文件
㈣ php如何写爬虫
据我所知，很多第三库都可以实现你所要求的这些php爬虫特征。
如phpQuery，phpCrawl，phpSpider，Snoopy。
如果使李困毁用curl，也是相当不错的。但你要做的事情更多。它只负尺姿责请求和下载，并没有实现爬虫的核心。别的事情都要自己做，至少你得先封装一下。
如果你任务比较紧迫，建议选择那些第三方库，集成一下，能用先用着。
业务时间还是了解一下爬虫的方方面面比较好。
xpath简单，拿到源码，交给phpQuery就可以，像使用jQuery一样，不需要正则。还有一些是需要动态渲染才能哪备拿到数据的，得用无头浏览器，如phantomjs，去处理。
速度不会成为问题，有问题也是因为速度太快，被网站发觉然后屏蔽你，而不是太慢。哈哈。
个人认为比较难的是怎么针对反爬虫策略，怎么做全自动化。还是建议你去看几本关于爬虫的书。