㈠ python如何簡單爬取騰訊新聞網前五頁文字內容
可以使用python裡面的一個爬蟲庫，beautifulsoup，這個庫可以很方便的爬取數據。爬蟲首先就得知道網頁的鏈接，然後獲取網頁的源代碼，通過正則表達式或者其他方法來獲取所需要的內容，具體還是要對著網頁源代碼進行操作，查看需要哪些地方的數據，然後通過beautifulsoup來爬取特定html標簽的內容。網上有很多相關的內容，可以看看。
㈡ 如何用python在掘金量化抓取數據
TuShare財經數據介面 – 可以直接抓取新浪財經、鳳凰財經的網站橡嫌數據，包括行情、基本面、經濟數據等等。
完蘆如和全免費，簡潔陪盯易用，API設計得非常友好，提取的數據格式是Pandas的DataFrame。同時可以獲取非高頻實時數據（取決於網站更新速度，同事經驗大約是15秒），一個極好的非高頻股票策略數據解決方案。
㈢ 怎麼學python爬取財經信息
本程序使用Python 2.7.6編寫，擴展了Python自帶的HTMLParser，自動根據預設的股票代碼列表，從Yahoo Finance抓取列表中的數據日期、股票名稱、實時報價、當日變化率、當日最低價、當日最高價。
由於Yahoo Finance的股票頁面中的數值都有相應id。
例如納斯達克100指數ETF（QQQ）
其中實時報價的HTML標記為
[html]view plain
<spanid="yfs_l84_qqq">87.49</span>
而標普500指數ETF（SPY）
其中實時報價的HTML標記為
[html]view plain
<spanid="yfs_l84_spy">187.25</span>
因此本數據抓取程序根據相應的id字元串來查找數據。具體來說就是先繼承HTMLParser，然後在自定義的子類中重載handle_data(self, data)方法，查找包含相應id字元串（例如實時報價的id字元串為"yfs_l84_"+股票代碼）的HTML標記，並輸出這個HTML標記中的數據（例如qqq的<span id="yfs_l84_qqq">87.49</span>，其中的數據87.49就是實時報價。）
樣本輸出：
數據依次是
數據日期 股票代碼 股票名稱 實時報價 日變化率 日最低價 日最高價
[python]view plain
05/05/(IBB)233.281.85%225.34233.28
05/05/(SOCL)17.480.17%17.1217.53
05/05/(PNQI)62.610.35%61.4662.74
05/05/2014xsdSPDRS&PSemiconctorETF(XSD)67.150.12%66.2067.41
05/05/2014itaiSharesUSAerospace&Defense(ITA)110.341.15%108.62110.56
05/05/2014iaiiSharesUSBroker-Dealers(IAI)37.42-0.21%36.8637.42
05/05/(VBK)119.97-0.03%118.37120.09
05/05/2014qqqPowerSharesQQQ(QQQ)87.950.53%86.7687.97
05/05/2014ewiiSharesMSCIItalyCapped(EWI)17.86-0.56%17.6517.89
05/05/(DFE)62.33-0.11%61.9462.39
05/05/(PBD)13.030.00%12.9713.05
05/05/(EIRL)38.52-0.16%38.3938.60
㈣ 請教python Scrapy 高手 如何抓取騰訊新聞評論頁面內容，有重謝
其實你可以換個思路，scrapy的確是可以爬去js生成的代碼，使用webkit中間件，這個網上有教程，你可以搜一下。
但是有個更好的方法，通過請求分析獲取到評論的信息，比如：
這個新聞：http://coral.qq.com/1129103872
對應的評論地址：http://coral.qq.com/article/1129103872/comment?reqnum=2000
後面那個reqnum是你要提取的評論數，希望這個能幫到你。
如果解決了您的問題請採納！
如果未解決請繼續追問
㈤ Python爬取金十數據並在手機上提示
本程序的目的：每天早上爬沒襲取重要的金十財經數據，並發送到手機上，早起就枯蘆兄可以看到。
為啥要看財經數據？呵呵噠。
環境准備：嘩老
1.python 3.8
2.一個linux伺服器，24小時不關機
3.一個開啟第三方授權的QQ郵箱
4.微信...
周一到周五早上6點58分執行一次。可以當鬧鍾用。
㈥ python可以做什麼小兼職
python可以做的小兼職：
1、做爬蟲項目，爬取客戶需要的數據
不管是web開發還是爬蟲，都需要找到好的項目。最好的就是幫一些證券的人員抓一些財經的新聞或者是輿情相關的數據。這個內容開發完了，只要不會出現問題的話，基本上月入3-5k是沒有什麼問題的。需要自己買一個雲主機，一個月的成本也就是200-300左右
2、量化交易，挖掘虛擬幣信息
用Python來完成量化交易的話還是非常方便的，但是對於新手來說內容會比較難。先解釋一下什麼是量化交易，也就是做一個數據挖掘的過程。不同的就是你可以用手中可以用的模型來選股，選時間，資金管理就是我們要做的特徵工程。
3、代寫程序，幫客戶代寫需要的程序
電商平台很多代寫程序的，幾百塊就可以搞定LAMP的管理系統，但是這種基本都是大學生的畢設，所以可以照貓畫虎的開一家這樣的店鋪。
㈦ python讀取財經數據
提取日期數據基本語法
from WindPy import w
w.start()
當出現.ErrorCode==-103說明沒連接上，要start一下
w.wsd(security, fields, startDate = None, endDate= None , options = None)
opion 可選（period, 日期類型， 貨幣類型，前後復權）
提取財務數據基本語法
w.wss(security, fields, options = None)
提取板塊日序列基本語法
w.wses(sectorCode, fields, startDate = None, endDate = None, options = None)
提取板塊日截面數據基本語法
w.wsee(sectorCode, fields, options=None)
提取宏觀數據基本語法
w.edb(codes, startDate =None, endDate =None, options=None)
1.日期序列基本語法
ts.get_hist_data(stock,start,end)
注意：1.stock不能是集合,只能單個股票 2.需要帶上.sz或.sh 3.沒有field，只能取出數據後再切除.
2.pro用法
pro.daily(code, start, end, fields)
tushare引用語句
弊端也很明顯，一方面不能stock集合輸入，一次只能調取一個股票對應數據，另一方面tushare雖是免費試用，但有許可權限制。
基本語法
wb.get_data_yahoo(code, start, end)
wb.DataReader(code, 'yahoo', start, end)
沒法添加fields, 雖能集合適用，但出來的索引挺奇怪的
推薦使用定義函數或用for循環批量獲取數據
總體感覺wind api最舒服，但需要賬號，mac也不能直接調用wind api。還是推薦tushare的pro用法。
小白學習中，請指教=v=
㈧ python3 怎麼爬取新聞網站
從門戶網站爬取新聞，將新聞標題，作者，時間，內容保存到本地txt中。
importre#正則表達式
importbs4#BeautifulSoup4解析模塊
importurllib2#網路訪問模塊
importNews#自己定義的新聞結構
importcodecs#解決編碼問題的關鍵，使用codecs.open打開文件
importsys#1解決不同頁面編碼問題
其中bs4需要自己裝一下，安裝方法可以參考：Windows命令行下pip安裝python whl包
程序：
#coding=utf-8
importre#正則表達式
importbs4#BeautifulSoup4解析模塊
importurllib2#網路訪問模塊
importNews#自己定義的新聞結構
importcodecs#解決編碼問題的關鍵，使用codecs.open打開文件
importsys#1解決不同頁面編碼問題
reload(sys)#2
sys.setdefaultencoding('utf-8')#3
#從首頁獲取所有鏈接
defGetAllUrl(home):
html=urllib2.urlopen(home).read().decode('utf8')
soup=bs4.BeautifulSoup(html,'html.parser')
pattern='http://w+.jia..com/article/w+'
links=soup.find_all('a',href=re.compile(pattern))
forlinkinlinks:
url_set.add(link['href'])
defGetNews(url):
globalNewsCount,MaxNewsCount#全局記錄新聞數量
whilelen(url_set)!=0:
try:
#獲取鏈接
url=url_set.pop()
url_old.add(url)
#獲取代碼
html=urllib2.urlopen(url).read().decode('utf8')
#解析
soup=bs4.BeautifulSoup(html,'html.parser')
pattern='http://w+.jia..com/article/w+'#鏈接匹配規則
links=soup.find_all('a',href=re.compile(pattern))
#獲取URL
forlinkinlinks:
iflink['href']notinurl_old:
url_set.add(link['href'])
#獲取信息
article=News.News()
article.url=url#URL信息
page=soup.find('div',{'id':'page'})
article.title=page.find('h1').get_text()#標題信息
info=page.find('div',{'class':'article-info'})
article.author=info.find('a',{'class':'name'}).get_text()#作者信息
article.date=info.find('span',{'class':'time'}).get_text()#日期信息
article.about=page.find('blockquote').get_text()
pnode=page.find('div',{'class':'article-detail'}).find_all('p')
article.content=''
fornodeinpnode:#獲取文章段落
article.content+=node.get_text()+' '#追加段落信息
SaveNews(article)
printNewsCount
break
exceptExceptionase:
print(e)
continue
else:
print(article.title)
NewsCount+=1
finally:
#判斷數據是否收集完成
ifNewsCount==MaxNewsCount:
break
defSaveNews(Object):
file.write("【"+Object.title+"】"+" ")
file.write(Object.author+" "+Object.date+" ")
file.write(Object.content+" "+" ")
url_set=set()#url集合
url_old=set()#爬過的url集合
NewsCount=0
MaxNewsCount=3
home='http://jia..com/'#起始位置
GetAllUrl(home)
file=codecs.open("D:\test.txt","a+")#文件操作
forurlinurl_set:
GetNews(url)
#判斷數據是否收集完成
ifNewsCount==MaxNewsCount:
break
file.close()
新聞文章結構
#coding:utf-8
#文章類定義
classNews(object):
def__init__(self):
self.url=None
self.title=None
self.author=None
self.date=None
self.about=None
self.content=None
對爬取的文章數量就行統計。