python站內搜索

1. 關於python的學習

1、Python 介紹

學習一門新的語言之前，首先簡單了解下這門語言的背景。Python 是一種面向對象的解釋型計算機程序設計語言，由荷蘭人 Guido van Rossum 於 1989 年發明，第一個公開發行版發行於 1991 年。Python 在設計上堅持了清晰劃一的風格，這使得 Python 成為一門易讀、易維護，並且被大量用戶所歡迎的、用途廣泛的語言。Python 具有豐富和強大的庫。它常被昵稱為膠水語言，能夠把用其他語言製作的各種模塊(尤其是 C/C++)很輕松地聯結在一起。

2、Python 技術浪潮

IT行業熱門技術，更新換代非常的快，技術的浪潮一波接著一波，最初的浪潮無疑是桌面時代，使用 C# 搭建桌面應用開始嶄露頭角，MFC 還是計算機科學專業必學會的東西。接著就是以網站搭建為應用的背景，PHP，Ruby 等語言為主的。再到近幾年非常火熱的以移動開發為應用背景，java(Android 開發)或者 OC(iOS 開發)語言為主。很明顯如今的浪潮就是以大數據和機器學習為應用背景，Python 語言為主。站在風尖浪口，豬都可以飛的起來。抓住這波技術浪潮，對於從事 IT 行業的人員來說有莫大的幫助。

3、Python 學習

學習一項新的技術，起步時最重要的是什麼?就是快速入門。學習任何一個學科的知識時，都有一個非常重要的概念：最少必要知識。當需要獲得某項技能的時候，一定要想辦法在最短的時間里弄清楚都有哪些最少必要知識，然後迅速掌握它們。

對於快速入門 python 來說最少必要知識，有以下幾點。

(1) Python 基礎語法

找一本淺顯易懂，例子比較好的教程，從頭到尾看下去。不要看很多本，專注於一本。把裡面的常式都手打一遍，搞懂為什麼。推薦去看《簡明python教程》，非常好的一本 Python 入門書籍。

(2)Python 實際項目

等你對 Python 的語法有了初步的認識，就可以去找些 Python 實際項目來練習。對於任何計算機編程語言來說，以實際項目為出發點，來學習新的技術，是非常高效的學習方式。在練習的過程中你會遇到各種各樣的問題：基礎的語法問題(關鍵字不懂的拼寫)，代碼毫無邏輯，自己的思路無法用代碼表達出來等等。這時候針對出現的問題，找到對應解決辦法，比如，你可以重新查看書本上的知識(關於基礎語法問題)，可以通過谷歌搜索碰到的編譯錯誤(編輯器提示的錯誤)，學習模仿別人已有的代碼(寫不出代碼)等等。已實際項目來驅動學習，會讓你成長非常的快。Python 實際項目網上非常的多，大家可以自己去搜索下。合理利用網路資源，不要意味的只做伸手黨。

(3) Python 的學習規劃

當你把上面兩點做好以後，你就已經入門了 Python，接下來就是規劃好自己的以後的學習規劃。能找到一個已經會 Python 的人。問他一點學習規劃的建議，然後在遇到卡殼的地方找他指點。這樣會事半功倍。但是，要學會搜索，學會如何更好地提問，沒人會願意回答顯而易見的問題。當然如果你身邊沒有人會 Python，也可以在網上搜索相應的資料。

Python 可以做的事非常的多，比如：Python 可以做日常任務，比如自動備份你的MP3;可以做網站，很多著名的網站像知乎、YouTube 就是 Python 寫的;可以做網路游戲的後台，很多在線游戲的後台都是 Python 開發的。每個人都有自己感興趣的方向，有的對網站開發比較感興趣，有的對數據處理感興趣，有的對後台感興趣。所以你們可以根據自己感興趣的方向，網上搜索相關資料，加以深入的學習，規劃好自己未來的方向。只要堅持，你就能精通 Python，成為未來搶手的人才。

2. python 模塊的路徑搜索方法

導入一個叫 spam 的模塊時，解釋器先在當前目錄中搜索名為 spam.py 的文件。如果沒有找到的話，接著會到 sys.path 變數中給出的目錄列表中查找。 sys.path 變數的初始值來自如下：
輸入腳本的目錄（當前目錄）。
環境變數 PYTHONPATH 表示的目錄列表中搜索
(這和 shell 變數 PATH 具有一樣的語法，即一系列目錄名的列表)。
Python 默認安裝路徑中搜索。
Note
在支持符號鏈接的文件系統中，輸入的腳本所在的目錄是符號鏈接指向的目錄。 換句話說也就是包含符號鏈接的目錄不會被加到目錄搜索路徑中。
實際上，解釋器由 sys.path 變數指定的路徑目錄搜索模塊，該變數初始化時默認包含了輸入腳本（或者當前目錄）， PYTHONPATH 和安裝目錄。這樣就允許 Python 程序了解如何修改或替換模塊搜索目錄。需要注意的是由於這些目錄中包含有搜索路徑中運行的腳本，所以這些腳本不應該和標准模塊重名，否則在導入模塊時 Python 會嘗試把這些腳本當作模塊來載入。這通常會引發錯誤。

3. 求一python寫的簡單的搜索引擎

可能幫不上忙。

但別的語言有現成的。

用java 的 solr做搜索，索引，分詞。只需要配置xml，不用寫代碼。
然後加上前端頁面搜索就完成了。

用python的scrapy可以做爬蟲。

你的需求我感覺簡單做，都不需要索引，直接查資料庫。模糊查詢

還有一個java的nutch，幾乎不用寫代碼，直接爬蟲＋索引＋界面 一套都實現好了，什麼高亮，快照都有，直接用。

不知道你能出多少錢？

4. 如何用python爬蟲通過搜索獲取某站上的商品圖片

一般用raw_input，input會執行一次求值，一般不是想要的效果。

urlopen，貌似需要自己手動進行url編碼，否則中文參數請求會失敗。

5. 用python實現網頁搜索功能

不知道你知道不知道AJAX，如果知道這個就容易弄了，用jq來POST數據，然後前面只用一個靜太頁就可以，點搜索就用ajax把搜索請求發過去，點修改就發修改請求
如果在一個頁面要實現也可以在下面加一個隱藏的input用來定義是哪個功能，然後後台再根據這個功能名去判斷如何處理

6. 畢業設計中怎樣用python寫一個搜索引擎的分

1、 網路連接需要持續連接（persistent connection），DNS解析的瓶頸（先查本地DNS緩存）

實現方法:基於python httplib（對http1.1完成對持續連接的支持(python的httplib完全支持http1.1)，如果不是http1.1那麼可以使用urlopen對其進行一次連接）並對其socket對象進行控制,關鍵是加入對讀取DNS本地緩存(在我的機制下這個根本就不是主要問題可以暫時忽略)，以及有settimeout(Igloo)(搞定,就用setdefaulttimeout())的支持(或者利用自己的DNS伺服器,進行優化處理),以及對sock對象的settimeout進行設置,防止長時間的等待一個有可能連接不上的web伺服器.(要測試一下連接模塊和DNS解析模塊在訪問不存在url在默認情況下的時間消耗)對站點的ip解析出來後就直接用ip進行連接而避免了重復調用DNS解析.例子:socket.gethostbyname("www.163.com")

網路連接下載模塊非常重要，需要精心反復測試，因為有可能碰到一些不規范的web伺服器，如果沒有加以考慮會使整個線程崩潰。

2、 多線程:機器任務的分配及站點任務的分配。

實現方法：（在某台機器上實現，在對本機內存cpu的消耗情況判斷後對機器任務進行分配；在對和站點的連接情況進行判斷後對站點任務進行分配）
機器任務的分配：對於機器負擔的情況調整在一個機器開的線程的個數。（在關閉線程時注意要先讓線程完成當前運行任務）
站點任務的分配：就是某個機器對一個站點開的線程的個數的分配。（同樣是要注意關閉線程時先讓其完成當前任務）

3、 對web文件樹遍歷過程更好的控制，對web文件樹在廣度優先遍歷時層次的判斷。（整個網路是一個圖，而某個站點的模型更接近於一棵樹）

實現方法：在每個地址進入隊列時加一個層次號，那麼要遍歷第n層的話那麼遍歷到第一個n+1就停止讀取。

4、 利用robotparser解析robots.txt

5、 單個機器spider的作用：

a) 同2多線程3文件樹的遍歷

b) 將獲取的外部url發回中央控制器，並從中央控制器取回新的外部url。

6、 中央控制器的作用：

a) 觀察各機器的狀態包括：cpu、內存、線程、站點、網路流量
b) 觀察對外整體網路流量和連接狀況，可以根據網路狀況來調節timeout。

c) 接受各個機器發送過來的外部url並對每個url的重復數字計數。然後分配到各個機器。（分配時要用爬行策略控制器對外部url進行排序來分配，Igloo利用Page Rank，我們可以使用最簡單的重復越多重要系數就越高來進行排序）

d) 分布式URL分配演算法：Igloo1.2的二級哈希映射演算法（集中式分配演算法那個中央控制器容易成為系統瓶頸）復習哈希演算法，還有就是對url是否訪問過的判斷（Igloo使用的是URL Trie滯後合並策略）。可以使用Berkeley DB作為URL Trie的替代品。兩種實現方式的比較：

i. 現在的想法：（面向站點，信息顆粒大）外部鏈接只是保存主機名比如:www.163.com, 站內訪問用解析好的ip地址維持連接，用相對鏈接來得到各個頁面，這樣就要維護一個外部鏈接列表，幾個站點的鏈接列表。優點：節省內存，對某個站點的信息獲取全面，對站點的出現頻率統計，排序，重要站點先取。 缺點：對鏈接的獲取的全面性得不到保證，而且不能獲取更多的重要頁面，每個站點的重要頁面也不會很多。
ii. 老方案：（面向頁面，信息顆粒小）所有連接一視同仁。缺點：浪費資源，對單一站點的獲取不一定全面。優點：可以得到全面的鏈接圖，可以使用Page Rank對列表進行排序，頁面更重要就在最前面。

7、 解析html（超級鏈接的提取）搞定（用python的sgmllib）缺點：速度太慢（可能會造成瓶頸，要好好包裝好，以後有機會換掉它）

7. python 搜索

用 walk 函數 遍歷全部文件

查找出 後綴為 jpg的文件

import os,shutil
path = "D:\\"
pattern = "*.jpg"

#Print files that match to file extensions
def printFiles(dirList, spaceCount, typeList):
for file in dirList:
for ext in typeList:
if file.endswith(ext):
print "/".rjust(spaceCount+1) + file

#shutil.file(src,dst)#並移動到F盤

break

#Print each sub-directory
def printDirectory(dirEntry, typeList):
print dirEntry[0] + "/"
printFiles(dirEntry[2], len(dirEntry[0]),
typeList)

#Convert pattern string to list of file extensions
extList = []
for ext in pattern.split(";"):
extList.append(ext.lstrip("*"))

#Walk the tree to print files
for directory in os.walk(path):
printDirectory(directory, extList)

8. python基於內容的搜索引擎怎麼開發

...這個免費是不會給你的。。相信我沒錯的。

9. 如何用python實現在某網頁搜索框中輸入欄位後自動搜索信息並抓取

用爬蟲跟蹤下一頁的方法是自己模擬點擊下一頁連接，然後發出新的請求；
參考例子如下：
item1 = Item()
yield item1
item2 = Item()
yield item2
req = Request(url='下一頁的鏈接', callback=self.parse)
yield req
注意：使用yield時不要用return語句。

10. 用python製作一個搜索引擎

可能幫不上忙。但別的語言有現成的。用java 的 solr做搜索，索引，分詞。只需要配置xml，不用寫代碼。然後加上前端頁面搜索就完成了。用python的scrapy可以做爬蟲。你的需求我感覺簡單做，都不需要索引，直接查資料庫。模糊查詢還有一個java的nutch，幾乎不用寫代碼，直接爬蟲＋索引＋界面 一套都實現好了，什麼高亮，快照都有，直接用。不知道你能出多少錢？