A. python爬取动态生成的网页(框架)需要具备哪些知识或者使用哪些库
1、抓取网页,模拟登陆等背后的通用的逻辑和原理;
2、以提取songtaste网页中标题为例,详解如何抓取网站并提取网页内容;
3、以模拟登陆网络为例,详解如何模拟登陆网站;
4、以抓取网易博客帖子中的最近读者信息为例,详解如何抓取动态网页中的内容;
5、详解了在模拟登陆和抓取动态网页过程中,如何用对应的网页分析工具,如IE9的F12,Chrome的Ctrl+Shift+J,Firefox的Firebug,去分析出对应的逻辑;
6、针对抓取网站,模拟登陆,抓取动态网页,全部给出了完整的可用的,多种语言的示例代码:Python,C#,java,Go等。
B. Python鍏跺疄绠鍗曟槗涓婃坠锛岃繖70涓狿ython 瀹炴垬椤圭洰
70涓狿ython 椤圭洰鍒楄〃:
1銆乕Python锲剧墖杞瀛楃︾敾)
2銆乕200琛 Python 浠g爜瀹炵幇 2048)
3銆乕Python3 瀹炵幇𨱔杞︾エ镆ヨ㈠伐鍏穄
4銆乕楂桦痉 API+Python 瑙e喅绉熸埧闂棰榏
5銆乕Python3 镩叉儏锲剧墖璇嗗埆]
6銆乕Python 镰磋В楠岃瘉镰乚
7銆乕Python 瀹炵幇绠鍗旷殑 Web 链嶅姟鍣
8銆乕pygame 寮鍙戞墦椋炴満娓告垙]
9銆乕Django 鎼寤虹亩鏄揿崥瀹]
10銆乕Python 锘轰簬鍏辩幇鎻愬彇銆婇嚋灞辫屻嬩汉鐗╁叧绯籡
11銆乕锘轰簬 scrapy 鐖铏镄勫ぉ姘旀暟鎹閲囬泦(python)]
12銆乕Flask 寮鍙戣交鍗氩]
13銆乕Python3 锲剧墖闅愬啓链痌
14銆乕Python 瀹炵幇绠鏄 Shell]
15銆乕浣跨敤 Python 瑙f暟瀛︽柟绋)
16銆乕PyQt瀹炵幇绠鏄撴祻瑙埚櫒]
17銆乕绁炵粡缃戠粶瀹炵幇镓嫔啓瀛楃﹁瘑鍒绯荤粺)
18銆乕Python 瀹炵幇绠鍗旷敾𨱒縘
19銆乕Python 瀹炵幇3D 寤烘ā宸ュ叿]
20銆乕NBA甯歌勮禌缁撴灉棰勬祴涓鍒╃敤 Python 杩涜屾瘆璧涙暟鎹鍒嗘瀽
[Python鏂囨湰瑙f瀽鍣╙
[Python3 & OpenCV 瑙嗛戣浆瀛楃﹀姩鐢籡
[Python3 瀹炵幇娣桦コ閮庣収鐗囩埇铏 ]
[Python3瀹炵幇绠鍗旷殑FTP璁よ瘉链嶅姟鍣
[锘轰簬 Flask 涓 MySQL 瀹炵幇鐣鍓ф帹钻愮郴缁
[Python 瀹炵幇绔鍙f壂鎻忓櫒]
[浣跨敤Python3缂栧啓绯诲垪瀹炵敤鑴氭湰]
[Python 瀹炵幇搴峰▉鐢熷懡娓告垙]
[Python 3 瀹炵幇 Markdown 瑙f瀽鍣╙
[Python 姘旇薄鏁版嵁鍒嗘瀽-- 銆奝ython 鏁版嵁鍒嗘瀽瀹炴垬銆
[Python瀹炵幇阌鍊兼暟鎹搴挥
[k-杩戦偦绠楁硶瀹炵幇镓嫔啓鏁板瓧璇嗗埆绯荤粺]
[ebay鍦ㄧ嚎𨰾嶅崠鏁版嵁鍒嗘瀽]
[Python 瀹炵幇鑻辨枃鏂伴椈鎽樿佽嚜锷ㄦ彁鍙朷[Python瀹炵幇绠鏄揿眬锘熺绣瑙嗛戣亰澶╁伐鍏穄
39銆乕Python瀹炵幇Python瑙i喷鍣╙
40銆乕Python3锘轰簬Scapy瀹炵幇DDos]
[Python 瀹炵幇瀵嗙爜寮哄害妫娴嫔櫒]41銆
42[浣跨敤 Python 瀹炵幇娣卞害绁炵粡缃戠粶
涓峓Python瀹炵幇浠巈xcel璇诲彇鏁版嵁骞剁粯鍒舵垚绮剧编锲惧儚][浜烘満瀵规垬鍒濅綋楠:Python锘轰簬Pygame瀹炵幇锲涘瓙妫嬫父鍙孾Python3 瀹炵幇鍙鎺у埗镶夐浮镄勫弽钖慡hell]
浼间绠锘庢満锘庢牴寮у紩姹熸眽M绾㈢焊绾㈣嚧镊
[Python镓挞犳纺娲炴壂鎻忓櫒]
[Python搴旂敤椹灏斿彲澶阈剧畻娉曞疄鐜伴殢链烘枃链鐢熸垚)
[鏁扮嫭娓告垙镄凯ython瀹炵幇涓庣牬瑙]
[浣跨敤Python瀹氩埗璇崭簯]
[Python寮鍙戠亩鍗曡$畻鍣
[Python 瀹炵幇 FTP 寮卞彛浠ゆ壂鎻忓櫒
[Python瀹炵幇Huffman缂栫爜瑙e帇缂╂枃浠禲
[Python瀹炵幇Zip鏂囦欢镄勬毚锷涚牬瑙]
[Python3 鏅鸿兘瑁佸垏锲剧墖]
[Python瀹炵幇缃戠珯妯℃嫙锏婚檰
[缁橮ython3鐖铏锅氢竴涓鐣岄溃濡瑰瓙锲剧绣瀹炴垬]銆乕Python 3 瀹炵幇锲剧墖杞褰╄壊瀛楃]
[镊镵旀兂鍣ㄧ殑 Python 瀹炵幇]
[Python 瀹炵幇绠鍗曟护闀淽
60(Flask 瀹炵幇绠鍗曡亰澶╁
61銆
R
[Python瀹炵幇妯℃澘寮曟搸]
63[Python瀹炵幇阆椾紶绠楁硶姹傝Вn-queens闂棰榏
64銆乕Python3 瀹炵幇锻戒护琛屽姩镐佽繘搴︽浔]
65銆乕Python 銮峰彇鎸傚彿淇℃伅骞堕偖浠堕氱煡
66
銆乕Python瀹炵幇java web椤圭洰杩灭镊锷ㄥ寲镟存柊閮ㄧ讲67銆乕浣跨敤 Python3缂栧啓 Github 镊锷ㄥ懆鎶ョ敓鎴愬櫒)
68銆乕浣跨敤 Python 鐢熸垚鍒嗗舰锲剧墖]
69銆乕Python 瀹炵幇 Redis 寮傛ュ㈡埛绔
70銆乕Python 瀹炵幇涓鏂囬敊鍒瀛楅珮浜绯荤粺
C. 如何利用python在pycharm上进行语音合成
pycharm 通过 SFTP 远程编辑项目的配置
{这个相当于代码同步,类似git上传,同步后你可以在服务器上直接运行上传的代码;这个配置好后,才能在pycharm远程调试时候将代码上传到服务器正确位置/正确路径上}
打开pycharm,File -> Settings…( Ctrl + Alt + s ) -> Deployment
点击 + 按钮,添加一个
如果你发现你的运行配置中没有 Django 相关的项,请在项目设置的 Django 中勾选 Enable Django Support。
运行配置的设置有两点需要注意。Python Interpreter 需要选中之前建立的远程解释器。Path mappings 处,需要把本机的 manage.py 与 Linux 上的关联起来,比如:
C:/Evolution/Python/django_website/manage.py <=> /home/onlyice/work/django_website/manage.py
这可能是 PyCharm 的 bug:在使用远程解释器后,PyCharm 并不会自动将 Django 运行配置中的 manage.py 文件定位到 Linux 上的那份,而是会尝试使用下面的命令来启动 Django 调试 Server:
/usr/bin/python2 manage.py C:/Evolution/Python/django_website/manage.py
自然就找不到文件了。所以使用了 Path mappings 作为一种 hack 手段来解决。
这时就可以打断点调试啦
Trouble Shooting
Q: 点击调试运行失败,显示 “Cant set remote tunneling”
A: 调试时 PyCharm 调用将 Python Debug Server (pydevd.py) 绑定在一个随机端口上,再使用 SSH 的端口转发将数据通过 SSH 端口转到 Debug Server 去。需要检查你的 sshd 配置 (默认是 /etc/ssh/sshd_config) 是否禁用了 TCP 转发 (AllowTcpFowarding),这个配置默认是打开的。
皮皮blog
出错问题
pycharm channel is not opened
pycharm不能同步deployment中设置的文件内容了,在remote host窗口中打开文件提示the file is identical to local但实际上完全不同,上传多次才能成功,或者干脆就提示channel is not opened。应该和sftp有关。
目前还没找到具体原因,可能是服务器问题,过会就自己好了。
也可能是pycharm的问题,或者系统的问题?希望解决的可以留言告知一下,谢谢!
[Can't Download From Remote Server via SFTP – JetBrains IntelliJ]
pandas出错
pycharm console import pandas Backend Qt4Agg is interactive backend. Turning interactive mode on. : cannot connect to X server
import pandas : cannot connect to X server
重启pycharm,或者也不知道怎么了就好了,不报错了。。。
运行出错
ssh://[email protected]:22/home/piting/ENV/anaconda3/bin/python3 -u /home/piting/mine/python_workspace/Oth/Competition/TianChi/Regression.py
/home/piting/ENV/anaconda3/bin/python3: can't open file '/home/piting/mine/python_workspace/Oth/Competition/TianChi/Regression.py': [Errno 2] No such file or directory
点出remote host标签,发现没有这个目录,目录下也没有这个文件
解决:
mkdir -p 代码目录
再在remote host中右键 》 upload here
ref: [PyCharmRemote Debugging指南]
[pycharm奇淫技巧]*
[使用Pycharm进行Python远程开发]
[Deployment in PyCharm]
D. ubuntu 下用python写了个生成动态壁纸的脚本,如果通过代码实现使用这个xml,而不是通过桌面->背景->添加
sudo mkdir /usr/share/backgrounds/mybackground-imgs
sudo cd /usr/share/backgrounds/mybackground-imgs
sudo cp /home/你的背景图片所在目录/* .
sudo ./backgroud.py
其中backgroud.py:
#!/usr/bin/env python
#coding=utf-8
import glob, os
import shutil
import time
import Image
filelist=[]
def filelie(path):
if os.path.isfile(path):
wenjian=os.path.splitext(path)[1][1:]
if wenjian=="jpg" or wenjian=="png" or wenjian=="gif":
try:
kuan,gao = Image.open(path).size
if kuan>=1024 and gao>=768:
filelist.append(path)
except IOError:
pass
elif os.path.isdir(path):
for item in os.listdir(path):
itemsrc = os.path.join(path, item)
filelie(itemsrc)
curdir = os.getcwd()
filelie(curdir)
currentImageFiles = filelist
#print filelist
if os.path.isfile('backgroundslide.xml'):
os.remove('backgroundslide.xml')
currentTime = time.localtime()
length = len(currentImageFiles)
f = file('backgroundslide.xml', 'w')
f.write('<background>\n')
f.write('\t<starttime>\n')
f.write('\t\t<year>' + str(currentTime.tm_year) + '</year>\n')
f.write('\t\t<month>' + str(currentTime.tm_mon) + '</month>\n')
f.write('\t\t<day>' + str(currentTime.tm_mday) + '</day>\n')
f.write('\t\t<hour>' + str(currentTime.tm_hour) + '</hour>\n')
f.write('\t\t<minute>' + str(currentTime.tm_min) + '</minute>\n')
f.write('\t\t<second>' + str(currentTime.tm_sec) + '</second>\n')
f.write('\t</starttime>\n')
f.write('<!--This animation will start at the time it created-->\n')
for i in currentImageFiles:
length = length - 1
f.write('\t<static>\n')
f.write('\t\t<ration>550.0</ration>\n')
f.write('\t\t<file>' + currentImageFiles[length] +'</file>\n')
f.write('\t</static>\n')
f.write('\t<transition>\n')
f.write('\t\t<ration>25.0</ration>\n')
f.write('\t\t<from>' + currentImageFiles[length] + '</from>\n')
if length >= 1:
f.write('\t\t<to>' + currentImageFiles[length-1] + '</to>\n')
if length <1:
f.write('\t\t<to>' + currentImageFiles[len(currentImageFiles)-1] + '</to>\n')
f.write('\t</transition>\n')
f.write('</background>\n')
f.close()