手工收集可以用python嗎

1. python學了有用嗎

普通人學Python有用嗎？學Python有沒有用因人而異，有些人純粹是興趣愛好想了解一下，另一些在工作中涉及到數據分析統計，學會Python可以大大提高工作效率，剩下的就是程序員了，靠技術吃飯的人，多掌握一門編程語言對於日後的升值加薪有大的增益。

普通人學Python有用嗎

都說學一門編程語言對工作學習幫助都很大，但是非IT行業人員有必要學習Python嗎？這門語言在人工智慧領域比較火，有些人也是前沿技術比較感興趣，但是就是不知道學習了Python可以做什麼？有什麼幫助？有些人學習使用的話可以開發哪些軟體或者學這個轉行IT領域怎麼樣？有沒有這個必要？基於對人工智慧、編程感興趣，所以提出了一系列的問題。

Python是一種很高效的工具，通過它能自己編程，完成數據收集，還可以批量化自動操作簡單任務，代替枯燥的手工操作，另外還能通過學習它，了解計算機的編程思維。

非碼農有沒有必要學習一門編程語言？如果前者的答案是有必要那麼是否要選Python？對於第一個問題，有人認為有一定必要，非碼農學習一門編程語言的投產比不算太低。盤點一下收益的話，最起碼可以對自己思維的重新梳理，編程對邏輯思維和抽象思維的要求比較高，想學好編程需要一定程度上讓自己具備這兩種思維習慣，當然學習數學也可以鍛煉，但是私以為數學更難掌握一門手藝。

技不壓身一定程度上提升現有工作的效率，有不少行業裡面有些地方是可以靠寫代碼自動化解決一些小問題的，收益還不錯，比如一些枯燥的重復的Excel表格處理，如果選擇學習一門編程語言，Python即使不是最優選擇也是Top3之內了。無論語言的入門難度、應用場景還是未來發展，Python都還算不錯。

如果不選Python，還有一個選擇就是javascript+nodejs了。非科班出身學習一門編程語言，不要有太高的直接變現的預期，因為以互聯網為代表的IT行業從業人員已經趨於飽和，當然高端市場還是緊缺的，如果有信心自學進入高端市場也可以，只是難度很大。至於人工智慧，這個還是科學前沿，真想學的話建議先把編程入門再考慮。

其實Python已經融入到我們的生活和學習中來了，Python將納入浙江省高考！從 2018 年起浙江省信息技術教材編程語言將會更換為 Python；Python納入山東省的小學教材課程，小學生都開始接觸 Python 語言

2. python爬蟲可以做什麼

1、收集數據
Python爬蟲程序可用於收集數據，這是最直接和最常用的方法。由於爬蟲程序是一個程序，程序運行得非常快，不會因為重復的事情而感到疲倦，因此使用爬蟲程序獲取大量數據變得非常簡單、快速。
2、數據儲存
Python爬蟲可以將從各個網站收集的數據存入原始頁面資料庫。其中的頁面數據與用戶瀏覽器得到的HTML是完全一樣的。注意：搜索引擎蜘蛛在抓取頁面時，也做一定的重復內容檢測，一旦遇到訪問許可權很低的網站上有大量抄襲、採集或者復制的內容，很可能就不再爬行。
3、網頁預處理
Python爬蟲可以將爬蟲抓取回來的頁面，進行各種步驟的預處理。比如提取文字、中文分詞、消除噪音、索引處理、特殊文字處理等。
4、提供檢索服務、網站排名
Python爬蟲在對信息進行組織和處理之後，為用戶提供關鍵字檢索服務，將用戶檢索相關的信息展示給用戶。同時可以根據頁面的PageRank
值來進行網站排名，這樣Rank值高的網站在搜索結果中會排名較前，當然也可以直接使用Money購買搜索引擎網站排名。
5、科學研究
在線人類行為、在線社群演化、人類動力學研究、計量社會學、復雜網路、數據挖掘等領域的實證研究都需要大量數據，Python爬蟲是收集相關數據的利器。

3. python可以用來處理圖像嗎

可以的，
PythonWare公司提供了免費的Python圖像處理工具包PIL(Python Image Library),該軟體包提供了基本的圖像處理功能，如：

改變圖像大小，旋轉圖像，圖像格式轉換，色場空間轉換，圖像增強，直方圖處理，插值和濾波等等。雖然在這個軟體包上要實現類似MATLAB中的復雜的圖像處理演算法並不太適合，但是Python的快速開發能力以及面向對象等等諸多特點使得它非常適合用來進行原型開發。

在PIL中，任何一副圖像都是用一個Image對象表示，而這個類由和它同名的模塊導出，因此，最簡單的形式是這樣的：

import Image img = Image.open(「dip.jpg」)
注意：第一行的Image是模塊名；第二行的img是一個Image對象；
Image類是在Image模塊中定義的。關於Image模塊和Image類，切記不要混淆了。現在，我們就可以對img進行各種操作了，所有對img的
操作最終都會反映到到dip.img圖像上。

PIL提供了豐富的功能模塊：Image,ImageDraw,ImageEnhance,ImageFile等等。最常用到的模塊是
Image,ImageDraw,ImageEnhance這三個模塊。下面我對此分別做一介紹。關於其它模塊的使用請參見說明文檔.有關PIL軟體包和
相關的說明文檔可在PythonWare的站點www.Pythonware.com上獲得。

Image模塊：

Image模塊是PIL最基本的模塊，其中導出了Image類，一個Image類實例對象就對應了一副圖像。同時，Image模塊還提供了很多有用的函數。

（1）打開一文件：
import Image img = Image.open(「dip.jpg」)

這將返回一個Image類實例對象，後面的所有的操作都是在img上完成的。

（2）調整文件大小:

import Image img = Image.open("img.jpg") new_img = img.resize
((128,128),Image.BILINEAR) new_img.save("new_img.jpg")

原來的圖像大小是256x256,現在，保存的new_img.jpg的大小是128x128。

就是這么簡單，需要說明的是Image.BILINEAR指定採用雙線性法對像素點插值。

在批處理或者簡單的Python圖像處理任務中，採用Python和PIL（Python Image Library）的組合來完成圖像處理任務是一個很不錯的選擇。設想有一個需要對某個文件夾下的所有圖像將對比度提高2倍的任務。用Python來做將是十分簡單的。當然，我也不得不承認Python在圖像處理方面的功能還比較弱，顯然還不適合用來進行濾波、特徵提取等等一些更為復雜的應用。我個人的觀點是，當你要實現這些「高級」的演算法的時候，好吧，把它交給MATLAB去完成。但是，如果你面對的只是一個通常的不要求很復雜演算法的圖像處理任務，那麼，Python圖像處理應該才是你的最佳搭檔。

4. 怎麼批量下載數據，如圖。能批量下載一頁的數據10個，如果手工操作要50次。用Python可以快速實現嗎

用按鍵精靈吧，按鍵精靈簡單

5. 哪些情況下使用Python編程

不需要說“我想做一個回歸分析”，和坐下來花半個小時搞清楚什麼地方開始SQL查詢，Python庫可以運行分析，查看結果。在Python中，靈感和行動之間沒有太大的滯後。

例如，如果我真的知道需要顯示數據集的分位數，我就會編寫上面的查詢。因為整個事情可以通過下面的一行Python代碼來完成，所以我會在分析過程中更早地完成這項工作，並且可能會發現一些我並不想要的結果。

考慮Python和SQL之間區別的另一種方法是，Python允許你從一個大表開始，從這個大表開始，可以在不同的分支上進行不同的分析。一條靈感之路可以把你帶到另一條路，分析的速度和靈活性使得許多探索路徑變得容易。

關於哪些情況下使用Python，青藤小編就和您分享到這里了。如果您對python編程有濃厚的興趣，希望這篇文章可以為您提供幫助。如果您還想了解更多關於python編程的技巧及素材等內容，可以點擊本站的其他文章進行學習。

6. 如何用Python做數據准備

這篇的內容是一系列針對在Python中從零開始運用機器學習能力工作流的輔導第一部分，覆蓋了從小組開始的演算法編程和其他相關工具。最終會成為一套手工製成的機器語言工作包。這次的內容會首先從數據准備開始。

—— 來自Matthew Mayo, KDnuggets

似乎大家對機器學習能力的認知總是簡單到把一系列論據傳送到越來越多的資料庫和應用程序界面中，接著就期待能有一些神奇的結果出現。可能你對在這些資料庫里究竟發生了什麼有自己很好的理解—— 從數據准備到建模到結果演示呈現等等，但不得不說你依然需要依賴於這些紛繁的工具去完成自己的工作。

我們的代碼正在按我們希望的方式工作，讓我們做一些簡單的房屋清理工作。一旦開始滾動，我們將為我們的編碼提供一個更全面的組織結構，但是現在我們需要把所有這些功能加到一個單獨的文件中，並保存成為dataset.py的格式。這會讓我們以後的使用更方便，下次我們會學到。

未來計劃

之後我們會學習簡單的分類演算法，k最近鄰演算法。我們會學習如何在簡單的工作流中構建分類和聚類模型。毫無疑問，這需要編寫一些限額外的工具來幫助我們完成項目，並且我確定我們還將對已經做完的部分進行修改。

練習機器學習就是理解機器學習的最好方法。運用我們的工作流中需要的演算法和支持工具最終會被證明是有用的。

7. python可以用來幹嘛

·Web應用開發
Python常被用於Web開發，隨著Python的Web開發框架逐漸成熟，如Django、flask等等，開發者們可以更輕松地開發和管理復雜的Web程序。通過mod_wsgi模塊，Apache可以運行Python編寫的Web程序，舉個最直觀的例子，全球最大的搜索引擎
Google，在其網路搜索系統中就廣泛使用 Python 語言。另外，我們經常訪問的集電影、讀書、音樂於一體的豆瓣網(如圖 1 所示)，也是使用 Python
實現的。不僅如此，全球最大的視頻網站 Youtube 以及 Dropbox(一款網路文件同步工具)也都是用 Python 開發的。
·自動化運維
Python 是標準的系統組件，可以在終端下直接運行 Python。有一些 Linux 發行版的安裝器使用 Python 語言編寫，例如 Ubuntu 的
Ubiquity 安裝器、Red Hat Linux 和 Fedora 的 Anaconda 安裝器等等。另外，Python
標准庫中包含了多個可用來調用操作系統功能的庫。例如，通過 pywin32 這個軟體包，我們能訪問 Windows 的 COM 服務以及其他 Windows
API;使用 IronPython，我們能夠直接調用 .Net Framework。
·人工智慧領域
人工智慧是現如今非常火的一個方向， Python
在人工智慧領域內的機器學習、神經網路、深度學習等方面，都是主流的編程語言。可以這么說，基於大數據分析和深度學習發展而來的人工智慧，其本質上已經無法離開
Python 的支持了。
·網路爬蟲
Python語言很早就用來編寫網路爬蟲。Google 等搜索引擎公司大量地使用 Python 語言編寫網路爬蟲。從技術層面上將，Python
提供有很多服務於編寫網路爬蟲的工具，例如 urllib、Selenium 和 BeautifulSoup 等，還提供了一個網路爬蟲框架 Scrapy。
·游戲開發
很多游戲都是使用C++編寫圖形顯示等高性能的模塊，使用Python或Lua編寫游戲的邏輯，相比Python，Lua的功能更簡單，體積也更小，但Python支持更多的特性和數據類型。除此之外，Python
可以直接調用 Open GL 實現 3D 繪制，這是高性能游戲引擎的技術基礎。事實上，有很多 Python 語言實現的游戲引擎，例如 Pygame、Pyglet
以及 Cocos 2d 等。

8. python網路數據採集 用python寫網路爬蟲 哪個好

寫python爬蟲2年多了，主要用的scrapy。關於python3，還沒有開始學；在這方面，我算是傳統的。一直在思考什麼時候轉python3。我主要關注的是我常用的python庫是否支持，一旦支持，就立刻轉python3.從最早的django、MySQLdb、PIL（Pillow）不支持，但現在這三者都支持了。所以在做web項目的時候是可以直接用python3了。所以現在的計劃是今年下半年轉python3。

說回爬蟲。scrapy確實使用者眾，可惜還不支持python3。所以現在的爬蟲項目還是用python2.7。現在用著非常順手。我的思路是，用django開發業務邏輯，根據業務邏輯建立的model，用scrapy抓取。是的，我的項目將django和scrapy代碼放在一個repo了。也可以分開。另外，scrapy的調度使用的是celery，所有爬蟲的調度時間和頻率都是用celery控制的。django、scrapy、celery是我做開發的三大法器。

如果你不想使用scrapy等框架，像上面的回答一樣，用一些請求庫和解析庫也能搭建出來。但我傾向於用django、celery、scrapy搭建通用的抓取系統。簡單說，用django建立模型，scrapy做一些常用爬蟲，規則定義模塊；celery制定調度策略，可以非常快地建立一套系統。

9. 為什麼人工智慧用Python

這屬於一種誤解，人工智慧的核心演算法是完全依賴於C/C++的，因為是計算密集型，需要非常精細的優化，還需要GPU、專用硬體之類的介面，這些都只有C/C++能做到。所以某種意義上其實C/C++才是人工智慧領域最重要的語言。
Python是這些庫的API binding，使用Python是因為CPython的膠水語言特性，要開發一個其他語言到C/C++的跨語言介面，Python是最容易的，比其他語言的ffi門檻要低不少，尤其是使用Cython的時候。其他語言的ffi許多都只能導入C的函數入口點，復雜的數據結構大多隻能手工用byte數組拼起來，如果還需要回調函數輸入那就無計可施了。而CPython的C API是雙向融合的，可以直接對外暴露封裝過的Python對象，還可以允許用戶通過繼承這些自定義對象來引入新特性，甚至可以從C代碼當中再調用Python的函數（當然，也有一定的條件限制）。不過這也是PyPy這樣的JIT解釋器的一個障礙。
而且Python歷史上也一直都是科學計算和數據分析的重要工具，有numpy這樣的底子，因為行業近似所以選擇API binding語言的時候會首選Python，同時復用numpy這樣的基礎庫既減少了開發工作量，也方便從業人員上手。

10. Python可以應用在哪些領域

Python語言通俗易懂、簡單易學、容易上手，而且具有豐富的第三方庫，是非常不錯的選擇，應用領域也是非常廣泛的，比如說：
1、人工智慧：Python是人工智慧的首選語言，選擇人工智慧作為就業方向是理所當然的。
2、大數據：Python在大數據上比java更加具有效率，大數據雖然難學，但是Python可以更好的和大數據進行對接，尤其是大數據分析這個方向。
3、網路爬蟲：爬蟲是進行數據採集的利器，利用Python可以更快的提升對數據抓取的精準程度和速度。
4、全棧工程師：全棧工程師是指掌握多種技能，並能利用多種技能獨立完成產品的人，也叫全端工程師
5、自動化運維：運維工作者對Python的需求也很大;
6、自動化測試：Python十分高效，目前做自動化測試的大部分的工作者都需要學習Python幫助提高測試效率。用Python測試也可以說是測試人員必備的工具了。