python區域網搜索引擎

A. 如何用python爬取搜索引擎的結果

我選取的是爬取網路知道的html 作為我的搜索源數據，目前先打算做網頁標題的搜索，選用了 Python 的 scrapy 庫來對網頁進行爬取，爬取網頁的標題，url，以及html，用sqlist3來對爬取的數據源進行管理。
爬取的過程是一個深度優先的過程，設定四個起始 url ，然後維護一個資料庫，資料庫中有兩個表，一個 infoLib，其中存儲了爬取的主要信息：標題，url ，html；另一個表為urlLib，存儲已經爬取的url，是一個輔助表，在我們爬取每個網頁前，需要先判斷該網頁是否已爬過（是否存在urlLib中）。在數據存儲的過程中，使用了SQL的少量語法，由於我之前學過 MySQL ，這塊處理起來比較駕輕就熟。
深度優先的網頁爬取方案是：給定初始 url，爬取這個網頁中所有 url，繼續對網頁中的 url 遞歸爬取。代碼逐段解析在下面，方便自己以後回顧。
1.建一個 scrapy 工程：
關於建工程，可以參看這個scrapy入門教程，通過運行:

[python] view plain
scrapy startproject ***

在當前目錄下建一個scrapy 的項目，然後在 spiders 的子目錄下建立一個 .py文件，該文件即是爬蟲的主要文件，注意：其中該文件的名字不能與該工程的名字相同，否則，之後調用跑這個爬蟲的時候將會出現錯誤，見ImportError。
2.具體寫.py文件：

[python] view plain
import scrapy
from scrapy import Request
import sqlite3

class rsSpider(scrapy.spiders.Spider): #該類繼承自 scrapy 中的 spider
name = "" #將該爬蟲命名為 「知道」，在執行爬蟲時對應指令將為： scrapy crawl
#download_delay = 1 #只是用於控制爬蟲速度的，1s/次，可以用來對付反爬蟲
allowed_domains = ["..com"] #允許爬取的作用域
url_first = 'http://..com/question/' #用於之後解析域名用的短字元串
start_urls = ["http://..com/question/647795152324593805.html", #python
"http://..com/question/23976256.html", #database
"http://..com/question/336615223.html", #C++
"http://..com/question/251232779.html", #operator system
"http://..com/question/137965104.html" #Unix programing
] #定義初始的 url ，有五類知道起始網頁

#add database
connDataBase = sqlite3.connect(".db") #連接到資料庫「.db」
cDataBase = connDataBase.cursor() #設置定位指針
cDataBase.execute('''''CREATE TABLE IF NOT EXISTS infoLib
(id INTEGER PRIMARY KEY AUTOINCREMENT,name text,url text,html text)''')
#通過定位指針操作資料庫，若.db中 infoLib表不存在，則建立該表，其中主鍵是自增的 id（用於引擎的docId）,下一列是文章的標題，然後是url，最後是html

#url dataBase
cDataBase.execute('''''CREATE TABLE IF NOT EXISTS urlLib
(url text PRIMARY KEY)''')
#通過定位指針操作資料庫，若.db中urlLib表不存在，則建立該表，其中只存了 url，保存已經爬過的url，之所以再建一個表，是猜測表的主鍵應該使用哈希表存儲的，查詢速度較快，此處其實也可以用一個外鍵將兩個表關聯起來

2. .py文件中的parse函數：

.py文件中的parse函數將具體處理url返回的 response，進行解析，具體代碼中說明：

[python] view plain
def parse(self,response):
pageName = response.xpath('//title/text()').extract()[0] #解析爬取網頁中的名稱
pageUrl = response.xpath("//head/link").re('href="(.*?)"')[0] #解析爬取網頁的 url，並不是直接使用函數獲取，那樣會夾雜亂碼
pageHtml = response.xpath("//html").extract()[0] #獲取網頁html

# judge whether pageUrl in cUrl
if pageUrl in self.start_urls:
#若當前url 是 start_url 中以一員。進行該判斷的原因是，我們對重復的 start_url 中的網址將仍然進行爬取，而對非 start_url 中的曾經爬過的網頁將不再爬取
self.cDataBase.execute('SELECT * FROM urlLib WHERE url = (?)',(pageUrl,))
lines = self.cDataBase.fetchall()
if len(lines): #若當前Url已經爬過
pass #則不再在資料庫中添加信息，只是由其為跟繼續往下爬
else: #否則，將信息爬入資料庫
self.cDataBase.execute('INSERT INTO urlLib (url) VALUES (?)',(pageUrl,))
self.cDataBase.execute("INSERT INTO infoLib (name,url,html) VALUES (?,?,?)",(pageName,pageUrl,pageHtml))
else: #此時進入的非 url 網頁一定是沒有爬取過的（因為深入start_url之後的網頁都會先進行判斷，在爬取，在下面的for循環中判斷）
self.cDataBase.execute('INSERT INTO urlLib (url) VALUES (?)',(pageUrl,))
self.cDataBase.execute("INSERT INTO infoLib (name,url,html) VALUES (?,?,?)",(pageName,pageUrl,pageHtml))

self.connDataBase.commit() #保存資料庫的更新

print "-----------------------------------------------" #輸出提示信息，沒啥用

for sel in response.xpath('//ul/li/a').re('href="(/question/.*?.html)'): #抓出所有該網頁的延伸網頁，進行判斷並對未爬過的網頁進行爬取
sel = "http://..com" + sel #解析出延伸網頁的url
self.cDataBase.execute('SELECT * FROM urlLib WHERE url = (?)',(sel,)) #判斷該網頁是否已在資料庫中
lines = self.cDataBase.fetchall()
if len(lines) == 0: #若不在，則對其繼續進行爬取
yield Request(url = sel, callback=self.parse)

B. 用python製作一個搜索引擎

可能幫不上忙。但別的語言有現成的。用java 的 solr做搜索，索引，分詞。只需要配置xml，不用寫代碼。然後加上前端頁面搜索就完成了。用python的scrapy可以做爬蟲。你的需求我感覺簡單做，都不需要索引，直接查資料庫。模糊查詢還有一個java的nutch，幾乎不用寫代碼，直接爬蟲＋索引＋界面 一套都實現好了，什麼高亮，快照都有，直接用。不知道你能出多少錢？

C. python自製簡易搜索引擎有何思路

python. 如果只是研究演算法,做一個原型,當然python優雅多了. 但個人認為,perl和python都不是做搜索引擎的最合適的選擇吧.

D. Python 實現一個大數據搜索引擎需要多少行代碼

十幾萬行吧

E. 你都用Python 來做什麼

當我知道可以做這些之後，我特別想會。因為論文查閱、答案確認查詢；想知道豆瓣8分以上電影，或者穿越類的電影、處理工資數據考核表等。

可以干什麼

1、上學吧答案神器 主要實現的是無限制獲取上學吧網站上的題目答案（繞過 IP 限制），並實現了自動識別驗證碼，只用輸入某個題目的網址，即可一鍵獲取答案，速度非常快。「想要哈哈，自己或者給孩子輔導作業必備啊？」

2、抓取某系統內全部學生姓名學號及選課信息

3、掃描研究生系統上的弱密碼用戶、模擬登錄圖書館系統並自動續借

4、給釣魚網站批量提交垃圾信息 經常會收到含有釣魚網站鏈接的簡訊的，一般都是盜取 QQ 密碼的偏多，其實可以使用 Python 來批量給對方的伺服器提交垃圾數據（需要先抓包），這樣騙子看到信息之後就不知道哪些是真的哪些是假的了，說不定可以解救一部分填了密碼的同學。

5、網易雲音樂批量下載 可以批量下載網易雲音樂熱歌榜的歌曲，可以自己設定數量，速度非常快。

6、批量下載讀者雜志某一期的全部文章

7、 獲取城市PM2.5濃度和排名

8、爬取某網商品價格信息

你都用 Python 來做什麼？

那Python 作為一種功能強大的編程語言，因其簡單易學而受到很多開發者的青睞。那麼，Python 的應用領域有哪些呢？

Python 的應用領域非常廣泛，幾乎所有大中型互聯網企業都在使用 Python 完成各種各樣的任務，例如國外的 Google、Youtube、Dropbox，國內的網路、新浪、搜狐、騰訊、阿里、網易、淘寶、知乎、豆瓣、汽車之家、美團等等。概括起來，Python 的應用領域主要有如下幾個。

Web應用開發

Python 經常被用於 Web 開發，盡管目前 PHP、JS 依然是 Web 開發的主流語言，但 Python 上升勢頭更勁。尤其隨著 Python 的 Web 開發框架逐漸成熟（比如 Django、flask、TurboGears、web2py 等等），程序員可以更輕松地開發和管理復雜的 Web 程序。例如，通過 mod_wsgi 模塊，Apache 可以運行用 Python 編寫的 Web 程序。Python 定義了 WSGI 標准應用介面來協調 HTTP 伺服器與基於 Python 的 Web 程序之間的通信。舉個最直觀的例子，全球最大的搜索引擎 Google，在其網路搜索系統中就廣泛使用 Python 語言。另外，我們經常訪問的集電影、讀書、音樂於一體的豆瓣網（如圖 1 所示），也是使用 Python 實現的。

圖2Python開發的游戲

除此之外，Python 可以直接調用 Open GL 實現 3D 繪制，這是高性能游戲引擎的技術基礎。事實上，有很多 Python 語言實現的游戲引擎，例如 Pygame、Pyglet 以及 Cocos 2d 等。以上也僅是介紹了 Python 應用領域的「冰山一角」，例如，還可以利用 Pygame 進行游戲編程；用 PIL 和其他的一些工具進行圖像處理；用 PyRo 工具包進行機器人控制編程，等等。有興趣的讀者，可自行搜索資料進行詳細了解。

F. 用python實現網頁搜索功能

不知道你知道不知道AJAX，如果知道這個就容易弄了，用jq來POST數據，然後前面只用一個靜太頁就可以，點搜索就用ajax把搜索請求發過去，點修改就發修改請求
如果在一個頁面要實現也可以在下面加一個隱藏的input用來定義是哪個功能，然後後台再根據這個功能名去判斷如何處理