㈠ python如何简单爬取腾讯新闻网前五页文字内容
可以使用python里面的一个爬虫库，beautifulsoup，这个库可以很方便的爬取数据。爬虫首先就得知道网页的链接，然后获取网页的源代码，通过正则表达式或者其他方法来获取所需要的内容，具体还是要对着网页源代码进行操作，查看需要哪些地方的数据，然后通过beautifulsoup来爬取特定html标签的内容。网上有很多相关的内容，可以看看。
㈡ 如何用python在掘金量化抓取数据
TuShare财经数据接口 – 可以直接抓取新浪财经、凤凰财经的网站橡嫌数据，包括行情、基本面、经济数据等等。
完芦如和全免费，简洁陪盯易用，API设计得非常友好，提取的数据格式是Pandas的DataFrame。同时可以获取非高频实时数据（取决于网站更新速度，同事经验大约是15秒），一个极好的非高频股票策略数据解决方案。
㈢ 怎么学python爬取财经信息
本程序使用Python 2.7.6编写，扩展了Python自带的HTMLParser，自动根据预设的股票代码列表，从Yahoo Finance抓取列表中的数据日期、股票名称、实时报价、当日变化率、当日最低价、当日最高价。
由于Yahoo Finance的股票页面中的数值都有相应id。
例如纳斯达克100指数ETF（QQQ）
其中实时报价的HTML标记为
[html]view plain
<spanid="yfs_l84_qqq">87.49</span>
而标普500指数ETF（SPY）
其中实时报价的HTML标记为
[html]view plain
<spanid="yfs_l84_spy">187.25</span>
因此本数据抓取程序根据相应的id字符串来查找数据。具体来说就是先继承HTMLParser，然后在自定义的子类中重载handle_data(self, data)方法，查找包含相应id字符串（例如实时报价的id字符串为"yfs_l84_"+股票代码）的HTML标记，并输出这个HTML标记中的数据（例如qqq的<span id="yfs_l84_qqq">87.49</span>，其中的数据87.49就是实时报价。）
样本输出：
数据依次是
数据日期 股票代码 股票名称 实时报价 日变化率 日最低价 日最高价
[python]view plain
05/05/(IBB)233.281.85%225.34233.28
05/05/(SOCL)17.480.17%17.1217.53
05/05/(PNQI)62.610.35%61.4662.74
05/05/2014xsdSPDRS&PSemiconctorETF(XSD)67.150.12%66.2067.41
05/05/2014itaiSharesUSAerospace&Defense(ITA)110.341.15%108.62110.56
05/05/2014iaiiSharesUSBroker-Dealers(IAI)37.42-0.21%36.8637.42
05/05/(VBK)119.97-0.03%118.37120.09
05/05/2014qqqPowerSharesQQQ(QQQ)87.950.53%86.7687.97
05/05/2014ewiiSharesMSCIItalyCapped(EWI)17.86-0.56%17.6517.89
05/05/(DFE)62.33-0.11%61.9462.39
05/05/(PBD)13.030.00%12.9713.05
05/05/(EIRL)38.52-0.16%38.3938.60
㈣ 请教python Scrapy 高手 如何抓取腾讯新闻评论页面内容，有重谢
其实你可以换个思路，scrapy的确是可以爬去js生成的代码，使用webkit中间件，这个网上有教程，你可以搜一下。
但是有个更好的方法，通过请求分析获取到评论的信息，比如：
这个新闻：http://coral.qq.com/1129103872
对应的评论地址：http://coral.qq.com/article/1129103872/comment?reqnum=2000
后面那个reqnum是你要提取的评论数，希望这个能帮到你。
如果解决了您的问题请采纳！
如果未解决请继续追问
㈤ Python爬取金十数据并在手机上提示
本程序的目的：每天早上爬没袭取重要的金十财经数据，并发送到手机上，早起就枯芦兄可以看到。
为啥要看财经数据？呵呵哒。
环境准备：哗老
1.python 3.8
2.一个linux服务器，24小时不关机
3.一个开启第三方授权的QQ邮箱
4.微信...
周一到周五早上6点58分执行一次。可以当闹钟用。
㈥ python可以做什么小兼职
python可以做的小兼职：
1、做爬虫项目，爬取客户需要的数据
不管是web开发还是爬虫，都需要找到好的项目。最好的就是帮一些证券的人员抓一些财经的新闻或者是舆情相关的数据。这个内容开发完了，只要不会出现问题的话，基本上月入3-5k是没有什么问题的。需要自己买一个云主机，一个月的成本也就是200-300左右
2、量化交易，挖掘虚拟币信息
用Python来完成量化交易的话还是非常方便的，但是对于新手来说内容会比较难。先解释一下什么是量化交易，也就是做一个数据挖掘的过程。不同的就是你可以用手中可以用的模型来选股，选时间，资金管理就是我们要做的特征工程。
3、代写程序，帮客户代写需要的程序
电商平台很多代写程序的，几百块就可以搞定LAMP的管理系统，但是这种基本都是大学生的毕设，所以可以照猫画虎的开一家这样的店铺。
㈦ python读取财经数据
提取日期数据基本语法
from WindPy import w
w.start()
当出现.ErrorCode==-103说明没连接上，要start一下
w.wsd(security, fields, startDate = None, endDate= None , options = None)
opion 可选（period, 日期类型， 货币类型，前后复权）
提取财务数据基本语法
w.wss(security, fields, options = None)
提取板块日序列基本语法
w.wses(sectorCode, fields, startDate = None, endDate = None, options = None)
提取板块日截面数据基本语法
w.wsee(sectorCode, fields, options=None)
提取宏观数据基本语法
w.edb(codes, startDate =None, endDate =None, options=None)
1.日期序列基本语法
ts.get_hist_data(stock,start,end)
注意：1.stock不能是集合,只能单个股票 2.需要带上.sz或.sh 3.没有field，只能取出数据后再切除.
2.pro用法
pro.daily(code, start, end, fields)
tushare引用语句
弊端也很明显，一方面不能stock集合输入，一次只能调取一个股票对应数据，另一方面tushare虽是免费试用，但有权限限制。
基本语法
wb.get_data_yahoo(code, start, end)
wb.DataReader(code, 'yahoo', start, end)
没法添加fields, 虽能集合适用，但出来的索引挺奇怪的
推荐使用定义函数或用for循环批量获取数据
总体感觉wind api最舒服，但需要账号，mac也不能直接调用wind api。还是推荐tushare的pro用法。
小白学习中，请指教=v=
㈧ python3 怎么爬取新闻网站
从门户网站爬取新闻，将新闻标题，作者，时间，内容保存到本地txt中。
importre#正则表达式
importbs4#BeautifulSoup4解析模块
importurllib2#网络访问模块
importNews#自己定义的新闻结构
importcodecs#解决编码问题的关键，使用codecs.open打开文件
importsys#1解决不同页面编码问题
其中bs4需要自己装一下，安装方法可以参考：Windows命令行下pip安装python whl包
程序：
#coding=utf-8
importre#正则表达式
importbs4#BeautifulSoup4解析模块
importurllib2#网络访问模块
importNews#自己定义的新闻结构
importcodecs#解决编码问题的关键，使用codecs.open打开文件
importsys#1解决不同页面编码问题
reload(sys)#2
sys.setdefaultencoding('utf-8')#3
#从首页获取所有链接
defGetAllUrl(home):
html=urllib2.urlopen(home).read().decode('utf8')
soup=bs4.BeautifulSoup(html,'html.parser')
pattern='http://w+.jia..com/article/w+'
links=soup.find_all('a',href=re.compile(pattern))
forlinkinlinks:
url_set.add(link['href'])
defGetNews(url):
globalNewsCount,MaxNewsCount#全局记录新闻数量
whilelen(url_set)!=0:
try:
#获取链接
url=url_set.pop()
url_old.add(url)
#获取代码
html=urllib2.urlopen(url).read().decode('utf8')
#解析
soup=bs4.BeautifulSoup(html,'html.parser')
pattern='http://w+.jia..com/article/w+'#链接匹配规则
links=soup.find_all('a',href=re.compile(pattern))
#获取URL
forlinkinlinks:
iflink['href']notinurl_old:
url_set.add(link['href'])
#获取信息
article=News.News()
article.url=url#URL信息
page=soup.find('div',{'id':'page'})
article.title=page.find('h1').get_text()#标题信息
info=page.find('div',{'class':'article-info'})
article.author=info.find('a',{'class':'name'}).get_text()#作者信息
article.date=info.find('span',{'class':'time'}).get_text()#日期信息
article.about=page.find('blockquote').get_text()
pnode=page.find('div',{'class':'article-detail'}).find_all('p')
article.content=''
fornodeinpnode:#获取文章段落
article.content+=node.get_text()+' '#追加段落信息
SaveNews(article)
printNewsCount
break
exceptExceptionase:
print(e)
continue
else:
print(article.title)
NewsCount+=1
finally:
#判断数据是否收集完成
ifNewsCount==MaxNewsCount:
break
defSaveNews(Object):
file.write("【"+Object.title+"】"+" ")
file.write(Object.author+" "+Object.date+" ")
file.write(Object.content+" "+" ")
url_set=set()#url集合
url_old=set()#爬过的url集合
NewsCount=0
MaxNewsCount=3
home='http://jia..com/'#起始位置
GetAllUrl(home)
file=codecs.open("D:\test.txt","a+")#文件操作
forurlinurl_set:
GetNews(url)
#判断数据是否收集完成
ifNewsCount==MaxNewsCount:
break
file.close()
新闻文章结构
#coding:utf-8
#文章类定义
classNews(object):
def__init__(self):
self.url=None
self.title=None
self.author=None
self.date=None
self.about=None
self.content=None
对爬取的文章数量就行统计。