數據牆python

1. python 數據挖掘可以通過C/S或B/S模式部署嗎如果可以，本地需要安裝什麼軟體，服務端需要安裝什麼軟體

1、硬體環境不同：
C/S 一般建立在專用的網路上， 小范圍里的網路環境， 區域網之間再通過專門伺服器提供連接和數據交換服務。 B/S 建立在廣域網之上的， 不必是專門的網路硬體環境，例與電話上網， 租用設備。 信息自己管理。 有比C/S更強的適應范圍， 一般只要有操作行迅系統和瀏覽器就行。

2、對安全要求不同 ：
C/S 一般面向相對固定的用戶群， 對信息安全的控制能力很強。 一般高度機密的信息系統採用C/S 結構適宜。 可以通過B/S發布部分可公開信息。
B/S 建立在廣域網之上， 對安全的控制能力相對弱， 面向是不可知的用戶群。

3、對程序架構不同：
C/S 程序可以更加註重流程， 可以對許可權多層次校驗， 對系統運行速度可以較少考慮。
B/S 對安全以及訪問速度的多重的考慮， 建立在需要更加優化的基礎之上。 比C/S有更高的要求 B/S結構的程序架構是發展的趨勢， 從MS的。Net系列的BizTalk 2000 Exchange 2000等， 全面支持網路的構件搭建的系統。 SUN 和IBM推的JavaBean 構件技術等，使 B/S更加成熟。

4、軟體重用不同：
C/S 程序可以不可避免的整體性考慮， 構件的重用性不如在B/S要求下的構件的重用性好。
B/S 對的多重結構，要求構件相對獨立的功能。 能夠相對較好的重用。就入買來的餐桌可以再利用，而不是做在牆上的石頭桌子

5、系統維護不同 :
系統維護是軟體生存周期中，開銷大。
C/S 程序由於整體性， 必須整體考察， 處理出現的問題以及系統升級。 升級難。 可能是再做一個全新的系統
B/S 構件組成，方面構件個別的更換，實現系統的無縫升級。 系統維護開銷減到最小。用戶從網上自己下載安裝就可以實現升級。

6、處理問題不同：
C/S 程序可以處理用戶面固定， 並且在相同區域， 安全要求高需求， 與操作系統相關。 應該都是相同的系物帶圓統
B/S 建立在廣域網上， 面向不同的用戶群， 分散地域， 這是C/S無法作到的。 與操作系統平台關系最小。

7、用罩塌戶介面不同
C/S 多是建立的Window平台上，表現方法有限，對程序員普遍要求較高
B/S 建立在瀏覽器上， 有更加豐富和生動的表現方式與用戶交流。 並且大部分難度減低，減低開發成本。

2. Python 在編程語言中是什麼地位為什麼很多大學不教 Python

python的地位很高，目前是世界第5大編程語言。。但我覺得大學不教python，其實是正確的。
Python在誕生之初，只是用來在Linux上給Perl和shell做銜接用的「膠水」，而今天已經成為了主流的編程語言，能獲得今天的地位，當然具備諸多優勢。。。比如數學運算相關的各種庫，爬蟲，等等。。。但這都不是導致Python流行的最根本原因。
有沒有比Python運算更強的語言？多得是
有沒有比Python爬蟲效率更高的語言？也不少
所以其實平日里隨口道來的種種優勢，並不是不可替代的。。這些優勢，很多語言都具備。就比如perl，erlang，Julia等語言，其實用來做運算或爬蟲比Python更強，但為什麼這些語言卻流行不起來？
說到底，Python成功的秘訣只有一條，其實就是在功能基本夠用的前提下，比其他語言簡單。而比Python簡單的語言，功能又不夠全面，比如Lua，Javascript，Ruby這些語言比Python更簡單，但往往只適合一兩個領域的工作，而無法面面俱到。
Python可以提供的這些功能，對於非專業程序員來講，已經顯得非常強大了。。但對於專業程序員來說，Python最大的作用，其實也只是用來「偷懶」而已。因為相比JAVA或C#這種工業級的編程語言來講，Python除了入門簡單之外，並無任何優勢可言。而Python的動態語言特性、不利於維護等缺點，成為了限制它邁向深層開發的重大缺陷。
而如果熟練掌握JAVA或C#中的任何一門，想利用閑暇之餘學習一下Python，看幾個案例便可以入門，幾乎不需要專門學習。
如果你並不以成為專業程序員做為目標，那麼以Python為主，是可以的。但若想靠編程養家糊口，靜態語言才是重中之重。
但如果是計算機專業的話，僅僅學Python，似乎就有點對不起「科班出身」的稱號了。。。。學生們花著昂貴的學費，消耗四年光陰，卻只學個Python，豈不是誤人子弟？
就像你若報考攝影專業，老師應該教你使用單反，而不是教你使用手機攝像頭。

3. 很多職場人都在學習Python，這項技能有哪些優勢

Python的優點：學習入門快，輕量，合適編程學習。python的庫很豐富多彩，可以系統軟體程序編寫（尤其是Linux），圖像處理數學課解決，文本處理，資料庫編程，網路編程，，當然，web編程這也是可以的，也有許多，有一個庫你也許有興趣hack庫，嘿嘿。用python寫個爬蟲工具是飛快的。針對引入情景，現階段，可以用於開發設計web應用，運維管理應用的自動化技術腳本製作，電腦軟體，計算機的應用，像雲計算技術吶，數據統計分析吶，對了，也有人工智慧技術這些，這種行業都是有python的影子。

合理使用Python的類庫和開源軟體，可以迅速的完成作用，達到業務流程要求。四、主要用途普遍：Python語言的另一大優勢便是主要用途普遍，技術工程師可以應用Python做許多的事兒。例如，Web開發設計、網路編程、自動化運維、Linux管理信息系統、數據統計分析、計算機的應用、人工智慧技術、人工神經網路這些。Python語言表達處於開發語言和系統語言中間，大家依據必須，既可以將它作為一門開發語言來撰寫腳本製作，還可以將它當作一個系統語言來撰寫服務項目。

4. 精通Python網路爬蟲之網路爬蟲學習路線

欲精通Python網路爬蟲，必先了解網路爬蟲學習路線，本篇經驗主要解決這個問題。部分內容參考自書籍《精通Python網路爬蟲》。

作者：韋瑋

轉載請註明出處

隨著大數據時代的到來，人們對數據資源的需求越來越多，而爬蟲是一種很好的自動採集數據的手段。

那麼，如何才能精通Python網路爬蟲呢？學習Python網路爬蟲的路線應該如何進行呢？在此為大傢具體進行介紹。

1、選擇一款合適的編程語言

事實上，Python、PHP、JAVA等常見的語言都可以用於編寫網路爬蟲，你首先需要選擇一款合適的編程語言，這些編程語言各有優勢，可以根據習慣進行選擇。在此筆者推薦使用Python進行爬蟲項目的編寫，其優點是：簡潔、掌握難度低。

2、掌握Python的一些基礎爬蟲模塊

當然，在進行這一步之前，你應當先掌握Python的一些簡單語法基礎，然後才可以使用Python語言進行爬蟲項目的開發。

在掌握了Python的語法基礎之後，你需要重點掌握一個Python的關於爬蟲開發的基礎模塊。這些模塊有很多可以供你選擇，比如urllib、requests等等，只需要精通一個基礎模塊即可，不必要都精通，因為都是大同小異的，在此推薦的是掌握urllib，當然你可以根據你的習慣進行選擇。

3、深入掌握一款合適的表達式

學會了如何爬取網頁內容之後，你還需要學會進行信息的提取。事實上，信息的提取你可以通過表達式進行實現，同樣，有很多表達式可以供你選擇使用，常見的有正則表達式、XPath表達式、BeautifulSoup等，這些表達式你沒有必要都精通，同樣，精通1-2個，其他的掌握即可，在此建議精通掌握正則表達式以及XPath表達式，其他的了解掌握即可。正則表達式可以處理的數據的范圍比較大，簡言之，就是能力比較強，XPath只能處理XML格式的數據，有些形式的數據不能處理，但XPath處理數據會比較快。

4、深入掌握抓包分析技術

事實上，很多網站都會做一些反爬措施，即不想讓你爬到他的數據。最常見的反爬手段就是對數據進行隱藏處理，這個時候，你就無法直接爬取相關的數據了。作為爬蟲方，如果需要在這種情況下獲取數據，那麼你需要對相應的數據進行抓包分析，然後再根據分析結果進行處理。一般推薦掌握的抓包分析工具是Fiddler，當然你也可以用其他的抓包分析工具，沒有特別的要求。

5、精通一款爬蟲框架

事實上，當你學習到這一步的時候，你已經入門了。

這個時候，你可能需要深入掌握一款爬蟲框架，因為採用框架開發爬蟲項目，效率會更加高，並且項目也會更加完善。

同樣，你可以有很多爬蟲框架進行選擇，比如Scrapy、pySpider等等，一樣的，你沒必要每一種框架都精通，只需要精通一種框架即可，其他框架都是大同小異的，當你深入精通一款框架的時候，其他的框架了解一下事實上你便能輕松使用，在此推薦掌握Scrapy框架，當然你可以根據習慣進行選擇。

6、掌握常見的反爬策略與反爬處理策略

反爬，是相對於網站方來說的，對方不想給你爬他站點的數據，所以進行了一些限制，這就是反爬。

反爬處理，是相對於爬蟲方來說的，在對方進行了反爬策略之後，你還想爬相應的數據，就需要有相應的攻克手段，這個時候，就需要進行反爬處理。

事實上，反爬以及反爬處理都有一些基本的套路，萬變不離其宗，這些後面作者會具體提到，感興趣的可以關注。

常見的反爬策略主要有：

IP限制

UA限制

Cookie限制

資源隨機化存儲

動態載入技術

……

對應的反爬處理手段主要有：

IP代理池技術

用戶代理池技術

Cookie保存與處理

自動觸發技術

抓包分析技術+自動觸發技術

……

這些大家在此先有一個基本的思路印象即可，後面都會具體通過實戰案例去介紹。

7、掌握PhantomJS、Selenium等工具的使用

有一些站點，通過常規的爬蟲很難去進行爬取，這個時候，你需要藉助一些工具模塊進行，比如PhantomJS、Selenium等，所以，你還需要掌握PhantomJS、Selenium等工具的常規使用方法。

8、掌握分布式爬蟲技術與數據去重技術

如果你已經學習或者研究到到了這里，那麼恭喜你，相信現在你爬任何網站都已經不是問題了，反爬對你來說也只是一道形同虛設的牆而已了。

但是，如果要爬取的資源非常非常多，靠一個單機爬蟲去跑，仍然無法達到你的目的，因為太慢了。

所以，這個時候，你還應當掌握一種技術，就是分布式爬蟲技術，分布式爬蟲的架構手段有很多，你可以依據真實的伺服器集群進行，也可以依據虛擬化的多台伺服器進行，你可以採用urllib+redis分布式架構手段，也可以採用Scrapy+redis架構手段，都沒關系，關鍵是，你可以將爬蟲任務部署到多台伺服器中就OK。

至於數據去重技術，簡單來說，目的就是要去除重復數據，如果數據量小，直接採用資料庫的數據約束進行實現，如果數據量很大，建議採用布隆過濾器實現數據去重即可，布隆過濾器的實現在Python中也是不難的。

以上是如果你想精通Python網路爬蟲的學習研究路線，按照這些步驟學習下去，可以讓你的爬蟲技術得到非常大的提升。

至於有些朋友問到，使用Windows系統還是Linux系統，其實，沒關系的，一般建議學習的時候使用Windows系統進行就行，比較考慮到大部分朋友對該系統比較數據，但是在實際運行爬蟲任務的時候，把爬蟲部署到Linux系統中運行，這樣效率比較高。由於Python的可移植性非常好，所以你在不同的平台中運行一個爬蟲，代碼基本上不用進行什麼修改，只需要學會部署到Linux中即可。所以，這也是為什麼說使用Windows系統還是Linux系統進行學習都沒多大影響的原因之一。

本篇文章主要是為那些想學習Python網路爬蟲，但是又不知道從何學起，怎麼學下去的朋友而寫的。希望通過本篇文章，可以讓你對Python網路爬蟲的研究路線有一個清晰的了解，這樣，本篇文章的目的就達到了，加油！

本文章由作者韋瑋原創，轉載請註明出處。

5. 使用左手法則/右手法則摸牆法（左手或右手在迷宮中始終不離開牆）寫一個python程序解迷宮

下面的代碼假定你的迷宮數據一定是合法的 （單一的入口和出口，不會打環，不會無解），如果數據不合法，可能導致死循環，數據合法性的檢查你自己實現。

另外，我用 東南西北四個方向來代替所謂的上下左右，因為左右概念是相對的。 用python 2。

puzzle_walk 函數返回一個list, 每個元素是每次移動的路徑坐標， 其第一個參數為迷宮的list數據， 第二個參數默認為 True 表示左手抹牆， False 則是右手抹牆。

簡單說一下演算法：首先找到入口格，設定初始面向 East ( 如果是右手抹牆則是 West），然後重復執行以下操作：

1. 如果當前格為最後一排且向南可以移動，則說明當前格為終點，結束。

2. 根據當前格的數據，找到下一步需要面向的方向， 方法是，如果當前方向上有牆，則順時針（右手抹牆則逆時針）轉身，重復這一步驟直到面向的方向上可以行走. 這里可以參考 turn 函數

3. 沿當前方向走一步， 參考 move 函數

4. 逆時針（右手抹牆則順時針）轉身一次，使當前面對方向為第3步之後的左手（或右手）方向， 然後回到步驟1

最後， 我的代碼假定迷宮入口一定是從第1行的North 方向進入，出口一定是從最後一行的 South 方向出去，如果要支持從第一行的其他方向進（比如從 (0, 0) 的West進） ，最後一行的其他方向出，你需修改查找入口的代碼和判斷出口的代碼，這個很簡單， 自己去搞定吧。

N=0
E=1
S=2
W=3

classWalker(object):
def__init__(self,x,y,direction):
#coordinates
self.x=x
self.y=y
self.direction=direction

defturn(self,clockwise=True):
ifclockwise:
self.direction=(self.direction+1)%4
else:
self.direction=(self.direction+4-1)%4

defmove(self):
ifself.direction==N:
self.x-=1
elifself.direction==E:
self.y+=1
elifself.direction==S:
self.x+=1
elifself.direction==W:
self.y-=1

defget_coords(self):
return(self.x,self.y)

defget_direction(self):
returnself.direction


defpuzzle_walk(puzzle,left_touching=True):
route=[]
rows=len(puzzle)
columns=len(puzzle[0])

#locatetheentrance
coords=(-1,-1)
foryinrange(columns):
cell=puzzle[0][y]
ifcell[N]:
coords=(0,y)
break
assertcoords[0]>=0andcoords[1]>=0

walker=Walker(coords[0],coords[1],Eifleft_touchingelseW)
whileTrue:
x,y=walker.get_coords()
cell=puzzle[x][y]
route.append(tuple([x,y]))

ifx==rows-1andcell[S]:
#foundtheexit
break

#
whilenotcell[walker.get_direction()]:
walker.turn(left_touching)

#move
walker.move()

#facetothedirectionofthehand
walker.turn(notleft_touching)

returnroute


#運行結果
>>>p=[[(False,True,True,False),(True,True,False,True),(False,False,True,True)],[(True,False,True,False),(False,True,False,False),(True,False,False,True)]]
#左手抹牆
>>>puzzle_walk(p)
[(0,1),(0,2),(1,2),(1,1),(1,2),(0,2),(0,1),(0,0),(1,0)]
#右手抹牆
>>>puzzle_walk(p,False)
[(0,1),(0,0),(1,0)]