A. python爬取動態生成的網頁(框架)需要具備哪些知識或者使用哪些庫
1、抓取網頁,模擬登陸等背後的通用的邏輯和原理;
2、以提取songtaste網頁中標題為例,詳解如何抓取網站並提取網頁內容;
3、以模擬登陸網路為例,詳解如何模擬登陸網站;
4、以抓取網易博客帖子中的最近讀者信息為例,詳解如何抓取動態網頁中的內容;
5、詳解了在模擬登陸和抓取動態網頁過程中,如何用對應的網頁分析工具,如IE9的F12,Chrome的Ctrl+Shift+J,Firefox的Firebug,去分析出對應的邏輯;
6、針對抓取網站,模擬登陸,抓取動態網頁,全部給出了完整的可用的,多種語言的示例代碼:Python,C#,java,Go等。
B. Python鍏跺疄綆鍗曟槗涓婃墜錛岃繖70涓狿ython 瀹炴垬欏圭洰
70涓狿ython 欏圭洰鍒楄〃:
1銆乕Python鍥劇墖杞瀛楃︾敾)
2銆乕200琛 Python 浠g爜瀹炵幇 2048)
3銆乕Python3 瀹炵幇鐏杞︾エ鏌ヨ㈠伐鍏穄
4銆乕楂樺痙 API+Python 瑙e喅縐熸埧闂棰榏
5銆乕Python3 鑹叉儏鍥劇墖璇嗗埆]
6銆乕Python 鐮磋В楠岃瘉鐮乚
7銆乕Python 瀹炵幇綆鍗曠殑 Web 鏈嶅姟鍣
8銆乕pygame 寮鍙戞墦椋炴満娓告垙]
9銆乕Django 鎼寤虹畝鏄撳崥瀹]
10銆乕Python 鍩轟簬鍏辯幇鎻愬彇銆婇嚋灞辮屻嬩漢鐗╁叧緋籡
11銆乕鍩轟簬 scrapy 鐖鉶鐨勫ぉ姘旀暟鎹閲囬泦(python)]
12銆乕Flask 寮鍙戣交鍗氬]
13銆乕Python3 鍥劇墖闅愬啓鏈痌
14銆乕Python 瀹炵幇綆鏄 Shell]
15銆乕浣跨敤 Python 瑙f暟瀛︽柟紼)
16銆乕PyQt瀹炵幇綆鏄撴祻瑙堝櫒]
17銆乕紲炵粡緗戠粶瀹炵幇鎵嬪啓瀛楃﹁瘑鍒緋葷粺)
18銆乕Python 瀹炵幇綆鍗曠敾鏉縘
19銆乕Python 瀹炵幇3D 寤烘ā宸ュ叿]
20銆乕NBA甯歌勮禌緇撴灉棰勬祴涓鍒╃敤 Python 榪涜屾瘮璧涙暟鎹鍒嗘瀽
[Python鏂囨湰瑙f瀽鍣╙
[Python3 & OpenCV 瑙嗛戣漿瀛楃﹀姩鐢籡
[Python3 瀹炵幇娣樺コ閮庣収鐗囩埇鉶 ]
[Python3瀹炵幇綆鍗曠殑FTP璁よ瘉鏈嶅姟鍣
[鍩轟簬 Flask 涓 MySQL 瀹炵幇鐣鍓ф帹鑽愮郴緇
[Python 瀹炵幇絝鍙f壂鎻忓櫒]
[浣跨敤Python3緙栧啓緋誨垪瀹炵敤鑴氭湰]
[Python 瀹炵幇搴峰▉鐢熷懡娓告垙]
[Python 3 瀹炵幇 Markdown 瑙f瀽鍣╙
[Python 姘旇薄鏁版嵁鍒嗘瀽-- 銆奝ython 鏁版嵁鍒嗘瀽瀹炴垬銆
[Python瀹炵幇閿鍊兼暟鎹搴揮
[k-榪戦偦綆楁硶瀹炵幇鎵嬪啓鏁板瓧璇嗗埆緋葷粺]
[ebay鍦ㄧ嚎鎷嶅崠鏁版嵁鍒嗘瀽]
[Python 瀹炵幇鑻辨枃鏂伴椈鎽樿佽嚜鍔ㄦ彁鍙朷[Python瀹炵幇綆鏄撳矓鍩熺綉瑙嗛戣亰澶╁伐鍏穄
39銆乕Python瀹炵幇Python瑙i噴鍣╙
40銆乕Python3鍩轟簬Scapy瀹炵幇DDos]
[Python 瀹炵幇瀵嗙爜寮哄害媯嫻嬪櫒]41銆
42[浣跨敤 Python 瀹炵幇娣卞害紲炵粡緗戠粶
涓峓Python瀹炵幇浠巈xcel璇誨彇鏁版嵁騫剁粯鍒舵垚綺劇編鍥懼儚][浜烘満瀵規垬鍒濅綋楠:Python鍩轟簬Pygame瀹炵幇鍥涘瓙媯嬫父鍙孾Python3 瀹炵幇鍙鎺у埗鑲夐浮鐨勫弽鍚慡hell]
浼間綆鍩庢満鍩庢牴寮у紩奼熸眽M綰㈢焊綰㈣嚧鑷
[Python鎵撻犳紡媧炴壂鎻忓櫒]
[Python搴旂敤椹灝斿彲澶閾劇畻娉曞疄鐜伴殢鏈烘枃鏈鐢熸垚)
[鏁扮嫭娓告垙鐨凱ython瀹炵幇涓庣牬瑙]
[浣跨敤Python瀹氬埗璇嶄簯]
[Python寮鍙戠畝鍗曡$畻鍣
[Python 瀹炵幇 FTP 寮卞彛浠ゆ壂鎻忓櫒
[Python瀹炵幇Huffman緙栫爜瑙e帇緙╂枃浠禲
[Python瀹炵幇Zip鏂囦歡鐨勬毚鍔涚牬瑙]
[Python3 鏅鴻兘瑁佸垏鍥劇墖]
[Python瀹炵幇緗戠珯妯℃嫙鐧婚檰
[緇橮ython3鐖鉶鍋氫竴涓鐣岄潰濡瑰瓙鍥劇綉瀹炴垬]銆乕Python 3 瀹炵幇鍥劇墖杞褰╄壊瀛楃]
[鑷鑱旀兂鍣ㄧ殑 Python 瀹炵幇]
[Python 瀹炵幇綆鍗曟護闀淽
60(Flask 瀹炵幇綆鍗曡亰澶╁
61銆
R
[Python瀹炵幇妯℃澘寮曟搸]
63[Python瀹炵幇閬椾紶綆楁硶奼傝Вn-queens闂棰榏
64銆乕Python3 瀹炵幇鍛戒護琛屽姩鎬佽繘搴︽潯]
65銆乕Python 鑾峰彇鎸傚彿淇℃伅騫墮偖浠墮氱煡
66
銆乕Python瀹炵幇java web欏圭洰榪滅鑷鍔ㄥ寲鏇存柊閮ㄧ講67銆乕浣跨敤 Python3緙栧啓 Github 鑷鍔ㄥ懆鎶ョ敓鎴愬櫒)
68銆乕浣跨敤 Python 鐢熸垚鍒嗗艦鍥劇墖]
69銆乕Python 瀹炵幇 Redis 寮傛ュ㈡埛絝
70銆乕Python 瀹炵幇涓鏂囬敊鍒瀛楅珮浜緋葷粺
C. 如何利用python在pycharm上進行語音合成
pycharm 通過 SFTP 遠程編輯項目的配置
{這個相當於代碼同步,類似git上傳,同步後你可以在伺服器上直接運行上傳的代碼;這個配置好後,才能在pycharm遠程調試時候將代碼上傳到伺服器正確位置/正確路徑上}
打開pycharm,File -> Settings…( Ctrl + Alt + s ) -> Deployment
點擊 + 按鈕,添加一個
如果你發現你的運行配置中沒有 Django 相關的項,請在項目設置的 Django 中勾選 Enable Django Support。
運行配置的設置有兩點需要注意。Python Interpreter 需要選中之前建立的遠程解釋器。Path mappings 處,需要把本機的 manage.py 與 Linux 上的關聯起來,比如:
C:/Evolution/Python/django_website/manage.py <=> /home/onlyice/work/django_website/manage.py
這可能是 PyCharm 的 bug:在使用遠程解釋器後,PyCharm 並不會自動將 Django 運行配置中的 manage.py 文件定位到 Linux 上的那份,而是會嘗試使用下面的命令來啟動 Django 調試 Server:
/usr/bin/python2 manage.py C:/Evolution/Python/django_website/manage.py
自然就找不到文件了。所以使用了 Path mappings 作為一種 hack 手段來解決。
這時就可以打斷點調試啦
Trouble Shooting
Q: 點擊調試運行失敗,顯示 「Cant set remote tunneling」
A: 調試時 PyCharm 調用將 Python Debug Server (pydevd.py) 綁定在一個隨機埠上,再使用 SSH 的埠轉發將數據通過 SSH 埠轉到 Debug Server 去。需要檢查你的 sshd 配置 (默認是 /etc/ssh/sshd_config) 是否禁用了 TCP 轉發 (AllowTcpFowarding),這個配置默認是打開的。
皮皮blog
出錯問題
pycharm channel is not opened
pycharm不能同步deployment中設置的文件內容了,在remote host窗口中打開文件提示the file is identical to local但實際上完全不同,上傳多次才能成功,或者乾脆就提示channel is not opened。應該和sftp有關。
目前還沒找到具體原因,可能是伺服器問題,過會就自己好了。
也可能是pycharm的問題,或者系統的問題?希望解決的可以留言告知一下,謝謝!
[Can't Download From Remote Server via SFTP – JetBrains IntelliJ]
pandas出錯
pycharm console import pandas Backend Qt4Agg is interactive backend. Turning interactive mode on. : cannot connect to X server
import pandas : cannot connect to X server
重啟pycharm,或者也不知道怎麼了就好了,不報錯了。。。
運行出錯
ssh://[email protected]:22/home/piting/ENV/anaconda3/bin/python3 -u /home/piting/mine/python_workspace/Oth/Competition/TianChi/Regression.py
/home/piting/ENV/anaconda3/bin/python3: can't open file '/home/piting/mine/python_workspace/Oth/Competition/TianChi/Regression.py': [Errno 2] No such file or directory
點出remote host標簽,發現沒有這個目錄,目錄下也沒有這個文件
解決:
mkdir -p 代碼目錄
再在remote host中右鍵 》 upload here
ref: [PyCharmRemote Debugging指南]
[pycharm奇淫技巧]*
[使用Pycharm進行Python遠程開發]
[Deployment in PyCharm]
D. ubuntu 下用python寫了個生成動態壁紙的腳本,如果通過代碼實現使用這個xml,而不是通過桌面->背景->添加
sudo mkdir /usr/share/backgrounds/mybackground-imgs
sudo cd /usr/share/backgrounds/mybackground-imgs
sudo cp /home/你的背景圖片所在目錄/* .
sudo ./backgroud.py
其中backgroud.py:
#!/usr/bin/env python
#coding=utf-8
import glob, os
import shutil
import time
import Image
filelist=[]
def filelie(path):
if os.path.isfile(path):
wenjian=os.path.splitext(path)[1][1:]
if wenjian=="jpg" or wenjian=="png" or wenjian=="gif":
try:
kuan,gao = Image.open(path).size
if kuan>=1024 and gao>=768:
filelist.append(path)
except IOError:
pass
elif os.path.isdir(path):
for item in os.listdir(path):
itemsrc = os.path.join(path, item)
filelie(itemsrc)
curdir = os.getcwd()
filelie(curdir)
currentImageFiles = filelist
#print filelist
if os.path.isfile('backgroundslide.xml'):
os.remove('backgroundslide.xml')
currentTime = time.localtime()
length = len(currentImageFiles)
f = file('backgroundslide.xml', 'w')
f.write('<background>\n')
f.write('\t<starttime>\n')
f.write('\t\t<year>' + str(currentTime.tm_year) + '</year>\n')
f.write('\t\t<month>' + str(currentTime.tm_mon) + '</month>\n')
f.write('\t\t<day>' + str(currentTime.tm_mday) + '</day>\n')
f.write('\t\t<hour>' + str(currentTime.tm_hour) + '</hour>\n')
f.write('\t\t<minute>' + str(currentTime.tm_min) + '</minute>\n')
f.write('\t\t<second>' + str(currentTime.tm_sec) + '</second>\n')
f.write('\t</starttime>\n')
f.write('<!--This animation will start at the time it created-->\n')
for i in currentImageFiles:
length = length - 1
f.write('\t<static>\n')
f.write('\t\t<ration>550.0</ration>\n')
f.write('\t\t<file>' + currentImageFiles[length] +'</file>\n')
f.write('\t</static>\n')
f.write('\t<transition>\n')
f.write('\t\t<ration>25.0</ration>\n')
f.write('\t\t<from>' + currentImageFiles[length] + '</from>\n')
if length >= 1:
f.write('\t\t<to>' + currentImageFiles[length-1] + '</to>\n')
if length <1:
f.write('\t\t<to>' + currentImageFiles[len(currentImageFiles)-1] + '</to>\n')
f.write('\t</transition>\n')
f.write('</background>\n')
f.close()