python抓取javascript

❶ python可以直接調用javascript嗎

javascript是客戶端程序,而python是服務端程序,目前還不能直接調用javascript.

❷ Python爬取動態生成的網頁（框架）需要具備哪些知識或者使用哪些庫

1、抓取網頁，模擬登陸等背後的通用的邏輯和原理；
2、以提取songtaste網頁中標題為例，詳解如何抓取網站並提取網頁內容；
3、以模擬登陸網路為例，詳解如何模擬登陸網站；
4、以抓取網易博客帖子中的最近讀者信息為例，詳解如何抓取動態網頁中的內容；
5、詳解了在模擬登陸和抓取動態網頁過程中，如何用對應的網頁分析工具，如IE9的F12，Chrome的Ctrl+Shift+J，Firefox的Firebug，去分析出對應的邏輯；
6、針對抓取網站，模擬登陸，抓取動態網頁，全部給出了完整的可用的，多種語言的示例代碼：Python，C#，Java，Go等。

❸ 從零開始學Python-使用Selenium抓取動態網頁數據

AJAX（Asynchronouse JavaScript And XML：非同步JavaScript和XML）通過在後台與伺服器進行少量數據交換，Ajax 可以使網頁實現非同步更新，這意味著可以在不重新載入整個網頁的情況下，對網頁的某部分進行局部更新。傳統的網頁（不使用Ajax）如果需要更新內容，必須重載整個網頁頁面。

因為傳統的網頁在傳輸數據格式方面，使用的是 XML 語法，因此叫做 AJAX ，其實現在數據交互基本上都是使用 JSON 。使用AJAX載入的數據，即使使用了JS將數據渲染到了瀏覽器中，在 右鍵->查看網頁源代碼 還是不能看到通過ajax載入的數據，只能看到使用這個url載入的html代碼。

法1：直接分析ajax調用的介面。然後通過代碼請求這個介面。

法2：使用Selenium+chromedriver模擬瀏覽器行為獲取數據。

Selenium 相當於是一個機器人。可以模擬人類在瀏覽器上的一些行為，自動處理瀏覽器上的一些行為，比如點擊，填充數據，刪除cookie等。 chromedriver 是一個驅動 Chrome 瀏覽器的驅動程序，使用他才可以驅動瀏覽器。當然針對不同的瀏覽器有不同的driver。以下列出了不同瀏覽器及其對應的driver：

現在以一個簡單的獲取網路首頁的例子來講下 Selenium 和 chromedriver 如何快速入門：

參考：Selenium的使用

直接直接分析ajax調用的介面爬取

selenium結合lxml爬取

❹ 如何用Python爬取數據

方法/步驟

• 在做爬取數據之前，你需要下載安裝兩個東西，一個是urllib,另外一個是python-docx。

  

• 7

  這個爬下來的是源代碼，如果還需要篩選的話需要自己去添加各種正則表達式。

❺ 如何用python抓取網頁特定內容

Python用做數據處理還是相當不錯的，如果你想要做爬蟲，Python是很好的選擇，它有很多已經寫好的類包，只要調用，即可完成很多復雜的功能，此文中所有的功能都是基於BeautifulSoup這個包。
1 Pyhton獲取網頁的內容(也就是源代碼)
page = urllib2.urlopen(url)
contents = page.read()
#獲得了整個網頁的內容也就是源代碼 print(contents)
url代表網址，contents代表網址所對應的源代碼，urllib2是需要用到的包，以上三句代碼就能獲得網頁的整個源代碼
2 獲取網頁中想要的內容(先要獲得網頁源代碼，再分析網頁源代碼，找所對應的標簽，然後提取出標簽中的內容)

❻ python里的爬蟲如何使用xpath 提取script里的元素

xpath也許只能提取html元素？
建議你先把content保存到本地文件，看看需要的內容有沒有下載下來。
你這個屬於script內容，看看直接正則能獲得嗎？