❶ python常用的資料庫有哪些
主流的關系型資料庫:
1. MySQL:目前使用最廣泛的開源、多平台的關系型資料庫,支持事務、符合ACID、支持多數SQL規范。
2. SQL Server:支持事務、符合ACID、支持多數SQL規范,屬於商業軟體,需要注意版權和licence授權費用。
3. Oracle:支持事務,符合關系型資料庫原理,符合ACID,支持多數SQL規范,功能最強大、最復雜、市場佔比最高的商業資料庫。
4. Postgresql:開源、多平台、關系型資料庫,功能最強大的開源資料庫,需要Python環境,基於postgresql的time
scaleDB,是目前比較火的時序資料庫之一。
非關系型資料庫
Redis:開源、Linux平台、key-value鍵值型nosql資料庫,簡單穩定,非常主流的、全數據in-momory,定位於快的鍵值型nosql資料庫。
Memcaced:一個開源的、高性能的、具有分布式內存對象的緩存系統,通過它可以減輕資料庫負載,加速動態的web應用。
面向文檔資料庫以文檔的形式存儲,每個文檔是一系列數據項的集合,每個數據項有名稱與對應的值,主要產品有:
MongoDB:開源、多平台、文檔型nosql資料庫,最像關系型資料庫,定位於靈活的nosql資料庫。適用於網站後台資料庫、小文件系統、日誌分析系統。
❷ Python什麼爬蟲庫好用
請求庫:
1. requests 這個庫是爬蟲最常用的一個庫
2. Selenium Selenium 是一個自動化測試工具,利用它我們可以驅動瀏覽器執行特定的動作,如點擊、下拉等操作 對於一些用JS做誼染的頁面來說,這種抓取方式是非常有效的。
3.ChomeDrive 安裝了這個庫,才能驅動Chrome瀏覽器完成相應的操作
4.GeckoDriver 使用W3C WebDriver兼容客戶端與基於Gecko的瀏覽器進行交互的代理。
5.PhantomJS PhantomJS 是一個無界面 、可腳本編程的 WebKit 瀏覽器引擎,它原生支持多種Web標准:Dom操作,css選擇器,json,Canvas以及SVG。
6.aiohttp 之前接收requests庫是一個阻塞式HTTP請求庫,當我們發送一個請求後。程序會一直等待伺服器響應,直到伺服器響應後,程序才會最下一步處理。其實,這個過程比較耗時間。如果程序可以在等待的過程中做一些其他的事情,如進行請求的調度,響應的處理等,那麼爬蟲的效率就會比之前的那種方式有很大的提升。 而aiohttp就是這樣一個提供非同步web服務的庫。使用說這個庫用起來還是相當方便的。
解析庫:
1.lxml lxml是python的一個解析庫,這個庫支持HTML和xml的解析,支持XPath的解析方式,而且效率也是非常高的,深受廣大程序員的熱愛
2.Beautiful Soup Beautiful Soup也是python里一個HTML或XMl的解析庫,它可以很方便的懂網頁中提取數據,擁有強大的API和多種解析方式。
3.pyquery 同樣是一個強大的網頁解析工具,它提供了和 jQuery 類似的語法來解析HTML 文梢,
資料庫:
1.mysql 資料庫
2.MongoDB Mo goDB 是由 ++語言編寫的非關系型資料庫, 是一個基於分布式文件存儲的開源資料庫系統內容存儲形式類似 JSON 對象,它的欄位值可以包含其他文檔、數組及文檔數組,非常靈活
3.Redis 是一個基於 存的高效的非關系型資料庫,
存儲庫:
1.PyMySOL
2.PyMongo
3.redis-py
4.RedisDump
web庫:
1.Flask 是一個輕量級的Web服務程序,它簡單,易用,靈活
2.Tornado 是一個支持非同步的Web框架,通過使用非阻塞I/O流,可以支持成千上萬的開放式連接。
❸ python使用哪種資料庫(常用的python庫有哪些)
Python中常用的資料庫有很多,需要手讓棚根據不同的業務和應用場景來選擇合適的資料庫,才能使程序更高效.
一般常用的主要有MySQL,Redis,MangoDB等資料庫
學習這些資料庫,可以看黑馬程序員視頻庫的學習視頻,有代碼、有資料,畢則有PPT,不了解還可滑搭以問老師!
❹ python 數據挖掘需要用哪些庫和工具
python 數據挖掘常用的庫太多了!主要分為以下幾大類:
第一數據獲取:request,BeautifulSoup
第二基本數學庫:numpy
第三 資料庫出路 pymongo
第四 圖形可視化 matplotlib
第五 樹分析基本的庫 pandas
數據挖掘一般是指從大量的數據中通過演算法搜索隱藏於其中信息的過程。數據挖掘本質上像是機器學習和人工智慧的基礎,它的主要目的是從各種各樣的數據來源中,提取出超集的信息,然後將這些信息合並讓你發現你從來沒有想到過的模式和內在關系。這就意味著,數據挖掘不是一種用來證明假說的方法,而是用來構建各種各樣的假說的方法。
想要了解更多有關python 數據挖掘的信息,可以了解一下CDA數據分析師的課程。CDA數據分析師證書的含金量是很高的,簡單從兩個方面分析一下:首先是企業對於CDA的認可,經管之家CDA LEVEL Ⅲ數據科學家認證證書,屬於行業頂尖的人才認證,已獲得IBM大數據大學,中國電信,蘇寧,德勤,獵聘,CDMS等企業的認可。CDA證書逐漸獲得各企業用人單位認可與引進,如中國電信、中國移動、德勤,蘇寧,中國銀行,重慶統計局等。點擊預約免費試聽課。
❺ 最受歡迎的 15 大 Python 庫有哪些
Python常用庫大全,看看有沒有你需要的。
環境管理
管理 Python 版本和環境的工具
p – 非常簡單的互動式 python 版本管理工具。
pyenv – 簡單的 Python 版本管理工具。
Vex – 可以在虛擬環境中執行命令。
virtualenv – 創建獨立 Python 環境的工具。
virtualenvwrapper- virtualenv 的一組擴展。
包管理
管理包和依賴的工具。
pip – Python 包和依賴關系管理工具。
pip-tools – 保證 Python 包依賴關系更新的一組工具。
conda – 跨平台,Python 二進制包管理工具。
Curdling – 管理 Python 包的命令行工具。
wheel – Python 分發的新標准,意在取代 eggs。
包倉庫
本地 PyPI 倉庫服務和代理。
warehouse – 下一代 PyPI。
Warehousebandersnatch – PyPA 提供的 PyPI 鏡像工具。
devpi – PyPI 服務和打包/測試/分發工具。
localshop – 本地 PyPI 服務(自定義包並且自動對 PyPI 鏡像)。
分發
打包為可執行文件以便分發。
PyInstaller – 將 Python 程序轉換成獨立的執行文件(跨平台)。
dh-virtualenv – 構建並將 virtualenv 虛擬環境作為一個 Debian 包來發布。
Nuitka – 將腳本、模塊、包編譯成可執行文件或擴展模塊。
py2app – 將 Python 腳本變為獨立軟體包(Mac OS X)。
py2exe – 將 Python 腳本變為獨立軟體包(Windows)。
pynsist – 一個用來創建 Windows 安裝程序的工具,可以在安裝程序中打包 Python本身。
構建工具
將源碼編譯成軟體。
buildout – 一個構建系統,從多個組件來創建,組裝和部署應用。
BitBake – 針對嵌入式 Linux 的類似 make 的構建工具。
fabricate – 對任何語言自動找到依賴關系的構建工具。
PlatformIO – 多平台命令行構建工具。
PyBuilder – 純 Python 實現的持續化構建工具。
SCons – 軟體構建工具。
互動式解析器
互動式 Python 解析器。
IPython – 功能豐富的工具,非常有效的使用互動式 Python。
bpython- 界面豐富的 Python 解析器。
ptpython – 高級互動式Python解析器, 構建於python-prompt-toolkit 之上。
文件
文件管理和 MIME(多用途的網際郵件擴充協議)類型檢測。
imghdr – (Python 標准庫)檢測圖片類型。
mimetypes – (Python 標准庫)將文件名映射為 MIME 類型。
path.py – 對 os.path 進行封裝的模塊。
pathlib – (Python3.4+ 標准庫)跨平台的、面向對象的路徑操作庫。
python-magic- 文件類型檢測的第三方庫 libmagic 的 Python 介面。
Unipath- 用面向對象的方式操作文件和目錄
watchdog – 管理文件系統事件的 API 和 shell 工具
日期和時間
操作日期和時間的類庫。
arrow- 更好的 Python 日期時間操作類庫。
Chronyk – Python 3 的類庫,用於解析手寫格式的時間和日期。
dateutil – Python datetime 模塊的擴展。
delorean- 解決 Python 中有關日期處理的棘手問題的庫。
moment – 一個用來處理時間和日期的Python庫。靈感來自於Moment.js。
PyTime – 一個簡單易用的Python模塊,用於通過字元串來操作日期/時間。
pytz – 現代以及歷史版本的世界時區定義。將時區資料庫引入Python。
when.py – 提供用戶友好的函數來幫助用戶進行常用的日期和時間操作。
文本處理
用於解析和操作文本的庫。
通用
chardet – 字元編碼檢測器,兼容 Python2 和 Python3。
difflib – (Python 標准庫)幫助我們進行差異化比較。
ftfy – 讓Unicode文本更完整更連貫。
fuzzywuzzy – 模糊字元串匹配。
Levenshtein – 快速計算編輯距離以及字元串的相似度。
pangu.py – 在中日韓語字元和數字字母之間添加空格。
pyfiglet -figlet 的 Python實現。
shortuuid – 一個生成器庫,用以生成簡潔的,明白的,URL 安全的 UUID。
unidecode – Unicode 文本的 ASCII 轉換形式 。
uniout – 列印可讀的字元,而不是轉義的字元串。
xpinyin – 一個用於把漢字轉換為拼音的庫。