php採集原理

1. 如何用php採集百度的熱門關鍵詞

<?php
$url='http://top..com/buzz/top10.html';
$content=file_get_contents($url);
eregi('<tr><td class="rank">(.*)</a></td><td>',$content,$rg);
$txt= str_replace("<(.*)>","",$rg);
echo $txt;
?>
可能其中有些錯誤，基本原理是這樣的！
現在提取獨有的代碼段，然後對該代碼段進行必要的處理，得到抽取結果！

2. php底層原理 php是如何運行的

1、PHP動態語言執行過程：拿到一段代碼後，經過詞法解析、語法解析等階段後，源程序會被翻譯成一個個指令（opcodes）,然後ZEND虛擬機順次執行這些指令完成操作。PHP本身是用C實現的，因此最終調用的也是悉兄伍C的函數，實際上，我們可以把PHP看做一個C開發的軟體。

2、PHP的4層運行體系：

（1）Zend引擎：Zend整體用純C實現，是PHP的內核部分，他將PHP代碼翻譯（詞法、語法解析等一系列編譯過程）為可執行opcode的處理並實現相應的睜或處理方法、實現了基本的數據結構（如：hashtable、OO）、內存分配機制及管理、提供了相應的api方法供外部調用，是一切的核心，所有的外圍功能均圍繞Zend實現。

（2）Extensions：圍繞著Zend引擎，extensions通過組件式的方式提供各種基礎服務，我們常見的各種內置函數（array系列）、標准庫等都是通過extension來實現，用戶也可以根據需要實現自己的extension的典型應用）。

（3）Sapi：Sapi全稱，也就是服務端應用編程介面，Sapi通過一系列鉤子函數，使得PHP可以和外圍交互數據，這是PHP非常優雅和成功的設計，通過sapi成功的將PHP本身和上塵慧層應用解耦隔離，PHP可以不再考慮如何針對不同應用進行兼容，而應用本身也可以針對自己的特點實現不同的處理方式。

（4）上層應用：這就是我們平時編寫的PHP程序，通過不同的spai方式得到各種各樣的應用模式，如何通過webserver實現web應用、在命令行下已腳本方式運行等等。

3. phpcms網站建設中採集的方法，怎麼樣做採集

工具/原料

PHPCMS
文章採集器
方法/步驟

1、首先我們需要下載並安裝GBK格式的PHPCMS系統。

2、下載PHPCMS和文章採集器的介面文件

3、將jiekou.php文件復制到網站的根目錄下，並用記事本打開該文件，修改「密碼驗證」欄目password處的密碼

4、啟動文章採集器，先點擊【第三步發布內容設置】中的"web發布管理配置"

5、在彈出的【web發布配置管理】窗口中單擊右側的【更多】按鈕，導入「phpcms9.wpm」配置模塊，並選擇該模塊

6、設置【web發布配置管理】中的編碼設置、登錄操作、獲取分類欄目等選項

7、單擊【測試】按鈕，在彈出的【發布配置測試】對話框中設置標簽和內容的值，此項為必須設置，否則發布測試文章會失敗。至此PHPCMS已經與文章採集器連接成功。

4. php工作原理

PHP的工作原理

：PHP的所有應用程序都是通過WEB伺服器(如IIS或Apache)和PHP引擎程序解釋執行完成的。

工作過程包括四個方面：

(1)當用戶在瀏覽器地址中輸入要訪問的PHP頁面文件名，然後回車就會觸發這個PHP請求，並將請求傳送化支持PHP的WEB伺服器。

(2)WEB伺服器接受這個請求，並根據其後綴進行判斷如果是一個PHP請求，WEB伺服器從硬碟或內存中取出用戶要訪問的PHP應用程序，並將其發送給PHP引擎程。

(3)PHP引擎程序將會對WEB伺服器傳送過來的文件從頭到尾進行掃描並根據命令從後台讀取，處理數據，並動態地生成相應的HTML頁面。

(4)PHP引擎將生成HTML頁面返回給WEB伺服器。WEB伺服器再將HTML頁面返回給客戶端瀏覽器。

PHP即「超文本預處理器」，是一種通用開源腳本語言。PHP是在伺服器端執行的腳本語言，與C語言類似，是常用的網站編程語言。PHP獨特的語法混合了C、Java、Perl以及 PHP 自創的語法。利於學習，使用廣泛，主要適用於Web開發領域。

PHP語言作為一種語言程序，其專用性逐漸在應用過程中顯現，其技術水平的優劣與否將直接影響網站的運行效率。其特點是具有公開的源代碼， 在程序設計上與通用型語言，如C語言相似性較高，因此在操作過程中簡單易懂，可操作性強。

5. PHP中怎樣實現文章採集

只舉例說明，生產環境你自己根據情景去搞
$url = 'www.domain.com';

$content = file_get_content($url);//抓取網頁全部內容
preg_match( string pattern, string subject [, array matches ] );//正則獲取自己需要的內容
入庫~
完事了。。。
當然，情形復雜，例如需要登錄，採集目標限制等問題，這再說...
實際使用的時候，可以直接使用Snoopy類，提供好多方法供使用，比自己去造輪子要安全，當然，你可以在她的基礎上再去造輪子~~~

6. 怎麼用php採集網站數據

簡單的分了幾個步驟：
1、確定採集目標
2、獲取目標遠程頁面內容（curl、file_get_contents）
3、分析頁面html源碼，正則匹配你需要的內容（preg_match、preg_match_all），這一步最為重要，不同頁面正則匹配規則不一樣
4、入庫

7. php採集大數據的方案

1、建議你讀寫數據和下載圖片分開，各用不同的進程完成。
比如說，取數據用get-data.php，下載圖片用get-image.php。

2、多進程的話，php可以簡單的用pcntl_fork()。這樣可以並發多個子進程。
但是我不建議你用fork，我建議你安裝一個gearman worker。這樣你要並發幾個，就啟幾個worker，寫代碼簡單，根本不用在代碼里考慮thread啊，process等等。

3、綜上，解決方案這樣：
（1）安裝gearman worker。
（2）寫一個get-data.php，在crontab里設置它每5分鍾執行一次，只負責讀數據，然後把讀回來的數據一條一條的扔到 gearman worker的隊列里；
然後再寫一個處理數據的腳本作為worker，例如叫process-data.php，這個腳本常駐內存。它作為worker從geraman 隊列里讀出一條一條的數據，然後跟你的資料庫老數據比較，進行你的業務邏輯。如果你要10個並發，那就啟動10個process-data.php好了。處理完後，如果圖片地址有變動需要下載圖片，就把圖片地址扔到 gearman worker的另一個隊列里。
（3）再寫一個download-data.php，作為下載圖片的worker，同樣，你啟動10個20個並發隨便你。這個進程也常駐內存運行，從gearman worker的圖片數據隊列里取數據出來，下載圖片

4、常駐進程的話，就是在代碼里寫個while(true)死循環，讓它一直運行好了。如果怕內存泄露啥的，你可以每循環10萬次退出一下。然後在crontab里設置，每分鍾檢查一下進程有沒有啟動，比如說這樣啟動3個process-data worker進程：
* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php >> /dev/null 2>&1'
* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php >> /dev/null 2>&1'
* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php >> /dev/null 2>&1'

不知道你明白了沒有

8. php如何採集js生成的內容

訪問需要採集的頁面，如果數據是用js輸出的html，那麼必定有介面或者本身頁面中給js提供了數據，來遍歷輸出html。
用chrome的審查元素中的network，可以單獨看xhr，看看是否是ajax請求的介面，如果數據是從介面來的，直接用PHP去獲取那個介面的數據就可以了。
如果沒有ajax請求，查看html源代碼，在裡面找數據。