1. python爬取動態生成的網頁（框架）需要具備哪些知識或者使用哪些庫
1、抓取網頁，模擬登陸等背後的通用的邏輯和原理；
2、以提取songtaste網頁中標題為例，詳解如何抓取網站並提取網頁內容；
3、以模擬登陸網路為例，詳解如何模擬登陸網站；
4、以抓取網易博客帖子中的最近讀者信息為例，詳解如何抓取動態網頁中的內容；
5、詳解了在模擬登陸和抓取動態網頁過程中，如何用對應的網頁分析工具，如IE9的F12，Chrome的Ctrl+Shift+J，Firefox的Firebug，去分析出對應的邏輯；
6、針對抓取網站，模擬登陸，抓取動態網頁，全部給出了完整的可用的，多種語言的示例代碼：Python，C#，java，Go等。
2. 如何用Python抓取動態頁面信息
很早之前，學習Python web編程的時候，就涉及一個Python的urllib。可以用urllib.urlopen("url").read()可以輕松讀取頁面上面的靜態信息。但是，隨著時代的發展，也來越多的網頁中更多的使用javascript、jQuery、PHP等語言動態生成頁面信息。因此，用urllib再去抓取頁面HTML就不足以達到我們想要的效果。
回到頂部
解決思路：
有一個思路最為簡單的思路可以動態解析頁面信息。urllib不可以解析動態信息，但是瀏覽器可以。在瀏覽器上展現處理的信息其實是處理好的HTML文檔。這為我們抓取動態頁面信息提供了很好的思路。在Python中有一個很有名的圖形庫——PyQt。PyQt雖然是圖形庫，但是他裡面 QtWebkit。這個很實用。谷歌的Chrome和蘋果的Safari都是基於WebKit內核開發的，所以我們可以通過PyQt中得QtWebKit 把頁面中的信息讀取載入到HTML文檔中，再解析HTML文檔，從HTML文檔中提取我們想用得信息。
回到頂部
所需材料：
作者本人實用Mac OS X。應該在Windows和Linux平台也可以採用相同的辦法。
1、Qt4 library
Library，而不是Creator。Library在Mac的默認安裝路徑下，應該是/home/username/Developor/，不要改變Qt4的默認安裝路徑。否則可能安裝失敗。
官方網址：http://qt-project.org/downloads
2、SIP、PyQt4
這兩個軟體可以在在PyQt的官網找到。下載的是它的源碼。Mac和Linux需要自己編譯。
下載地址是：http://www.riverbankcomputing.co.uk/software/pyqt/download
在終端切換到文件解壓後的目錄中。
在終端中輸入
python configure.py
make
sudo make install
進行安裝編譯。
SIP和PyQt4兩個安裝方法相同。但是PyQt4依賴SIP。所以先安裝SIP再安裝PyQt4
1、2兩步完成之後，Python的PyQt4的模塊就安裝好了。在Python shell中輸入import PyQt4看看能不能找到PyQt4的模塊。
3、Spynner
spynner是一個QtWebKit的客戶端，它可以模擬瀏覽器，完成載入頁面、引發事件、填寫表單等操作。
這個模塊可以在Python的官網找到。
下載地址: https://pypi.python.org/pypi/spynner/2.5
解壓後，cd到安裝目錄，然後輸入sudo python configure.py install安裝該模塊。
這樣Spynner模塊就安裝完成了，在python shell中試試import spynner看看該模塊有沒有安裝完成。
回到頂部
Spynner的簡單使用
Spynner的功能十分強大，但是由於本人能力有限，就介紹一下如何顯示網頁的源碼吧。
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
#! /usr/bin/python
#-*-coding: utf-8 -*-
import spynner
browser = spynner.Browser()
#創建一個瀏覽器對象
browser.hide()
#打開瀏覽器，並隱藏。
browser.load("http://www..com")
#browser 類中有一個類方法load，可以用webkit載入你想載入的頁面信息。
#load(是你想要載入的網址的字元串形式)
print browser.html.encode("utf-8")
#browser 類中有一個成員是html，是頁面進過處理後的源碼的字元串.
#將其轉碼為UTF-8編碼
open("Test.html", 'w+').write(browser.html.encode("utf-8"))
#你也可以將它寫到文件中，用瀏覽器打開。
browser.close()
#關閉該瀏覽器
通過這個程序，就可以比較容易的顯示webkit處理的頁面HTML源碼了。
3. python寫爬蟲怎麼處理動態載入的網頁，就是邊拉動滾動條邊載入的那種
這個用phantomjs或者selenium都可以，這兩個工具能模擬瀏覽器操作，就像你在操作瀏覽器一樣，具體資料，網路之。
4. 如何用python爬取js動態生成內容的頁面
抓取js動態生成的內容的頁面有兩種基本的解決方案
1用dryscrape庫動態抓取頁面
js腳本是通過瀏覽器來執行並返回信息的，所以，抓取js執行後的頁面，一個最直接的方式就是用python模擬瀏覽器的行為。WebKit 是一個開源的瀏覽器引擎，python提供了許多庫可以調用這個引擎，dryscrape便是其中之一，它調用webkit引擎來處理包含js等的網頁！
2 selenium web測試框架
selenium是一個web測試框架，它允許調用本地的瀏覽器引擎發送網頁請求，所以，它同樣可以實現抓取頁面的要求。