php爬蟲開源

㈠ php都可以開發出來什麼啊

PHP 能做任何事。PHP 主要是用於服務端的腳本程序，因此您可以用 PHP 來完成任何其它的 CGI 程序能夠完成的工作，例如收集表單數據，生成動態網頁，或者發送/接收 Cookies。但 PHP 的功能遠不局限於此。
PHP 腳本主要用於以下三個領域。
服務端腳本。這是 PHP 最傳統，也是最主要的目標領域。開展這項工作您需要具備以下三點：PHP 解析器（CGI 或者伺服器模塊）、WEB 伺服器和 WEB 瀏覽器。您需要在運行 WEB 伺服器時，安裝並配置 PHP，然後，可以用 WEB 瀏覽器來訪問 PHP 程序的輸出，即瀏覽服務端的 PHP 頁面。請梁蠢查閱「安裝」一章以獲取更多信息。
命令行腳本。您可以編寫一段 PHP 腳本，並且不需要任何伺服器或者瀏覽器來運行它。通過這種方式，您僅僅只需要 PHP 解析器來執行。這種用法對於依賴 cron（Unix 或者 Linux 環境）或者 Task Scheler（Windows 環境）的日常運行的腳本來說是理想的選擇。這些腳本也可以用來處理簡單的文本。請參閱「PHP 的命令行模式」以獲取更多信息。
編寫客戶端的 GUI 應用程序。對於基於窗口式的應用程橡桐陪序來說，PHP 或許不是一種最好的語言，但是如果您非常精通 PHP，並且希望在您的客戶輪陸端應用程序中使用 PHP 的一些高級特性，您可以利用 PHP-GTK 來編寫這些程序。用這種方法，您還可以編寫跨平台的應用程序。PHP-GTK 是 PHP 的一個擴展，在通常發布的 PHP 包中並不包含它。如果您對 PHP-GTK 感興趣，請訪問其網站以獲取更多信息。

㈡ php爬蟲代碼

file_get_contents或者curl，抓取後用正則匹配到數據後入庫。

㈢ php爬蟲框架有哪些

我做過採集站，用的是Beanbun，支持多進程，開放性很高，自己按自己項目需求改代碼都可以的

㈣ 什麼是PHP開源程序啊

你這樣理解是有問題的，開源程序是指開放源碼可以隨便復制源碼並發布的程序。你說的是PHP源碼還是PHP開源程序，如果是PHP源碼，下一個php安裝包（tar.gz）文件就可以了，裡面的就是源碼了；如果是開源程序，那就有很多了，比如discuz phpcms dedecms megento zend cart worldpress

㈤ php實現網路爬蟲

只要包含網路和字元串處理功能的編程語言理論上都可以寫爬蟲，所以PHP當然完全沒問題。如何用PHP寫爬蟲的前提是你要先調研清楚爬什麼內容。這需要你針對要爬取目標做好充分的測試和准備工作，叢簡否則會浪費很多時間。

比如一個簡單的「傳統型」網站，那真的只需要用file_get_contents函數加正則就能搞定。覺的正則匹配數據太麻煩可以上xpath。如果站點有了頻率和IP限制，這時就要額外准備好代理IP池了。當發現抓取內容是JS渲染的，可能要考慮引入headlessbrowser這種技術的PHP擴展了。對爬取效率有鬧鄭物了要求後，多線程，抓取和解析分離，分布式也是要考慮的了。。。

回到問題本身如何寫的問題，我個人覺得爬蟲是個定製化比較液液高的業務需求，需要根據具體的場景來規劃。如果是要寫一個能解決所有爬蟲場景的，那就不用自己寫了，成熟的開源軟體拿來直接用就行了。非要寫的話可以直接參考這些成熟的軟體，自己可以少踩很多坑。

㈥ PHP, Python, Node.js 哪個比較適合寫爬蟲

我覺得做爬蟲肯定需要後台技術的支持，和自己的對很多技術的理解和掌握吧，然後就是需要自己去找資料，去請教有經驗的人。

1、如果是定向爬取幾個頁面，做一些簡單的頁面解析，爬取效率不是核心要求，那麼用什麼語言差異不大。 此種情況下，如果還需要做js動態內容的解析，casperjs就不適合了，只有基於諸如chrome V8引擎之類自己做js引擎。
至於C、C++雖然性能不錯，但不推薦，尤其是考慮到成本等諸多因素；對於大部分公司還是建議基於一些開源的框架來做，不要自己發明輪子，做一個簡單的爬蟲容易，但要做一個完備的爬蟲挺難的。

㈦ 如何用PHP做網路爬蟲

其實用PHP來爬會非常方便，主要是PHP的正則表達式功能在搜集頁面連接方面很方便，另外PHP的fopen、file_get_contents以及libcur的函數非常方便的下載網頁內容。

㈧ 你好，我如何用php來實現網路爬蟲呢具體一點

以下是訪問某音樂網站，並獲取其歌曲名等數組的示例，你可以參考：

<?php
header('Content-type:text/html;charset=utf-8');
$doc = file_get_contents('http://www.songtaste.com/music/');
$pa = '{MSL\((.*)\);}';
preg_match_all($pa,$doc,$r);
for($i=0;$i<count($r[1]);$i++)
{
$r1 = explode(', ',$r[1][$i]);
echo '歌曲標題：'. iconv('gb2312','utf-8',$r1[0]) .' 歌曲ID：'.$r1[1].'<br/>';
}
?>

㈨ 如何用php 編寫網路爬蟲

1. pcntl_fork或者賀返swoole_process實現多進程並發。按照每個網頁抓取耗時500ms，開200個進程，可以實現每秒400個頁面的抓取。

2. curl實現頁面抓取，設置cookie可以實現模擬登錄

3. simple_html_dom 實現頁面的解析和DOM處理

4. 如果想嫌磨要禪者飢模擬瀏覽器，可以使用casperJS。用swoole擴展封裝一個服務介面給PHP層調用

在這里有一套爬蟲系統就是基於上述技術方案實現的，每天會抓取幾千萬個頁面。