pythoncookie下載文件

❶ 使用python爬蟲下載圖片，得到的圖片不顯示

你需要檢查一下你的結果，看看是否請求成功了。可能伺服器返回的並不是一個圖片，但是你強制給他寫入到圖片格式文件中了，所以沒辦法顯示。
你可以通過輸出response或者使用抓包軟體來檢查。

❷ Python使用自定義的cookie和header抓取下載網頁圖片

#-*-coding:UTF-8-*-

importrequests

__author__='lpe234'


defmain():
url=''
cookies={
'login':'yes',
'cookie2':'shdjd',
'cookie3':'gdhjej'
}
headers={
'content-type':'application/json',
'User-Agent':'Mozilla/5.0(Macintosh;IntelMacOSX10_12_6)AppleWebKit/537.36(KHTML,likeGecko)Chrome/60.0.3112.113Safari/537.36'
}

resp=requests.get(url=url,cookies=cookies,headers=headers)
printresp.content


if__name__=='__main__':
main()

❸ python爬蟲使用Cookie如何進行

Cookie，指某些網站為了辨別用戶身份、進行session跟蹤而儲存在用戶本地終端上的數據(通常經過加密)，比如說有些網站需要登錄後才能訪問某個頁面，在登錄之前，你想抓取某個頁面內容是不允許的。那麼我們可以利用Urllib2庫保存我們登錄的Cookie，然後再抓取其他頁面就達到目的了，那麼python爬蟲使用Cookie如何進行?

❹ 用python代碼下載京東訂單清單存到xlsx文件或者csv文件

你的訂單量有多少，如果不是上千上萬那種的話可以手動把所有訂單頁面下載下來，後再用python去處理，這樣可行性及工作量比你直接模擬登錄再做一堆操作來得快，而且爬京東這樣的大公司網站要是被檢測出來，警告還好，要是賬號被封那就不值得了。

我自己下載好的html源碼

❺ 怎麼使用python來爬取網頁上的表格信息

稍微說一下背景，當時我想研究蛋白質與小分子的復合物在空間三維結構上的一些規律，首先得有數據啊，數據從哪裡來？就是從一個涵蓋所有已經解析三維結構的蛋白質-小分子復合物的資料庫裡面下載。這時候，手動一個個去下顯然是不可取的，我們需要寫個腳本，能從特定的網站選擇性得批量下載需要的信息。python是不錯的選擇。

import urllib #python中用於獲取網站的模塊
import urllib2, cookielib

有些網站訪問時需要cookie的，python處理cookie代碼如下：
cj = cookielib.CookieJar ( )
opener = urllib2.build_opener( urllib2.HttpCookieProcessor(cj) )
urllib2.install_opener （opener）

通常我們需要在網站中搜索得到我們需要的信息，這里分為二種情況：

1. 第一種，直接改變網址就可以得到你想要搜索的頁面：

def GetWebPage( x ): #我們定義一個獲取頁面的函數，x 是用於呈遞你在頁面中搜索的內容的參數
url = 'http://xxxxx/xxx.cgi?&' + 『你想要搜索的參數』 # 結合自己頁面情況適當修改
page = urllib2.urlopen(url)
pageContent = page.read( )
return pageContent #返回的是HTML格式的頁面信息

2.第二種，你需要用到post方法，將你搜索的內容放在postdata裡面，然後返回你需要的頁面

def GetWebPage( x ): #我們定義一個獲取頁面的函數，x 是用於呈遞你在頁面中搜索的內容的參數
url = 'http://xxxxx/xxx' #這個網址是你進入搜索界面的網址
postData = urllib.urlencode( { 各種『post』參數輸入 } ) #這裡面的post參數輸入需要自己去查
req= urllib2.Request (url, postData)
pageContent = urllib2.urlopen (req). read( )
return pageContent #返回的是HTML格式的頁面信息

在獲取了我們需要的網頁信息之後，我們需要從獲得的網頁中進一步獲取我們需要的信息，這里我推薦使用 BeautifulSoup 這個模塊， python自帶的沒有，可以自行網路谷歌下載安裝。 BeautifulSoup 翻譯就是『美味的湯』，你需要做的是從一鍋湯裡面找到你喜歡吃的東西。

import re # 正則表達式，用於匹配字元
from bs4 import BeautifulSoup # 導入BeautifulSoup 模塊

soup = BeautifulSoup（pageContent） #pageContent就是上面我們搜索得到的頁面

soup就是 HTML 中所有的標簽（tag）BeautifulSoup處理格式化後的字元串，一個標準的tag形式為：

hwkobe24

通過一些過濾方法，我們可以從soup中獲取我們需要的信息：

（1） find_all ( name , attrs , recursive , text , **kwargs)
這裡面，我們通過添加對標簽的約束來獲取需要的標簽列表， 比如 soup.find_all ('p') 就是尋找名字為『p』的 標簽，而soup.find_all (class = "tittle") 就是找到所有class屬性為"tittle" 的標簽，以及soup.find_all ( class = re.compile('lass')) 表示 class屬性中包含『lass』的所有標簽，這里用到了正則表達式（可以自己學習一下，非常有用滴）

當我們獲取了所有想要標簽的列表之後，遍歷這個列表，再獲取標簽中你需要的內容，通常我們需要標簽中的文字部分，也就是網頁中顯示出來的文字，代碼如下：

tagList = soup.find_all (class="tittle") #如果標簽比較復雜，可以用多個過濾條件使過濾更加嚴格

for tag in tagList:
print tag.text
f.write ( str(tag.text) ) #將這些信息寫入本地文件中以後使用

（2）find( name , attrs , recursive , text , **kwargs )

它與 find_all( ) 方法唯一的區別是 find_all() 方法的返回結果是值包含一個元素的列表,而 find() 方法直接返回結果

（3）find_parents( ) find_parent( )

find_all() 和 find() 只搜索當前節點的所有子節點,孫子節點等. find_parents() 和 find_parent() 用來搜索當前節點的父輩節點,搜索方法與普通tag的搜索方法相同,搜索文檔搜索文檔包含的內容

（4）find_next_siblings() find_next_sibling()

這2個方法通過 .next_siblings 屬性對當 tag 的所有後面解析的兄弟 tag 節點進代, find_next_siblings() 方法返回所有符合條件的後面的兄弟節點,find_next_sibling() 只返回符合條件的後面的第一個tag節點

（5）find_previous_siblings() find_previous_sibling()

這2個方法通過 .previous_siblings 屬性對當前 tag 的前面解析的兄弟 tag 節點進行迭代, find_previous_siblings()方法返回所有符合條件的前面的兄弟節點, find_previous_sibling() 方法返回第一個符合條件的前面的兄弟節點

（6）find_all_next() find_next()

這2個方法通過 .next_elements 屬性對當前 tag 的之後的 tag 和字元串進行迭代, find_all_next() 方法返回所有符合條件的節點, find_next() 方法返回第一個符合條件的節點

（7）find_all_previous() 和 find_previous()

這2個方法通過 .previous_elements 屬性對當前節點前面的 tag 和字元串進行迭代, find_all_previous() 方法返回所有符合條件的節點, find_previous()方法返回第一個符合條件的節點

具體的使用方法還有很多，用到這里你應該可以解決大部分問題了，如果要更深入了解可以參考官方的使用說明哈！

❻ python獲取cookie後怎麼模擬登陸網站

運行平台：Windows

Python版本：Python3.x

IDE：Sublime text3

一、為什麼要使用Cookie

Cookie，指某些網站為了辨別用戶身份、進行session跟蹤而儲存在用戶本地終端上的數據（通常經過加密)。
比如說有些網站需要登錄後才能訪問某個頁面，在登錄之前，你想抓取某個頁面內容，登陸前與登陸後是不同的，或者不允許的。
使用Cookie和使用代理IP一樣，也需要創建一個自己的opener。在HTTP包中，提供了cookiejar模塊，用於提供對Cookie的支持。

三、總結

獲取成功！如果看過之前的筆記內容，我想這些代碼應該很好理解吧。

❼ python如何保存cookie到本地

python如何保存cookie到本地的方法：
第一次訪問頁面後，Server可將Cookie信息加入HTTP
Header返回給瀏覽器，瀏覽器會自動將這些信息保存在本地；
當再次訪問相同域名時，瀏覽器將對應Cookie信息隨請求一起發送，Server端可讀取這些信息進行處理。
Cookie可設置過期時間，到期後由瀏覽器自動刪除；
當我們要返回頁面時，首先輸出如下：
[python]
view
plain
print
"Content-type:
text/plain\n"
它其實是一個HTTP
Header,
連續碰到兩個換行表示HTTP
Header部分結束，剩餘部分將被做為數據處理；
包含了Cookie後輸出大致如下：
[python]
view
plain
print
"Content-Type:
text/html"
print
"Set-Cookie:
session=12345"
print
#
多加一個換行表示HTTP
Header部分結束
代碼：
setcookie.py
[python]
view
plain
#!/usr/bin/env
python
import
Cookie
import
datetime
import
random
expiration
=
datetime.datetime.now()
+
datetime.timedelta(days=30)
cookie
=
Cookie.SimpleCookie()
cookie["session"]
=
random.randint(0,1000000000)
cookie["session"]["domain"]
=
"localhost"
cookie["session"]["path"]
=
"/"
cookie["session"]["expires"]
=
\
expiration.strftime("%a,
%d-%b-%Y
%H:%M:%S
PST")
print
"Content-type:
text/plain"
print
cookie.output()
print
print
"Cookie
set
with:
"
+
cookie.output()
getcookie.py
[python]
view
plain
#!/usr/bin/env
python
import
Cookie
import
os
print
"Content-type:
text/plain\n"
try:
cookie
=
Cookie.SimpleCookie(os.environ["HTTP_COOKIE"])
print
"session
=
"
+
cookie["session"].value
except
(Cookie.CookieError,
KeyError):
print
"session
cookie
not
set!"

❽ 求教python,如何用python自動下載文件

可以使用requests模塊完成下載

#--------------------第一種：使用headers攜帶cookie-----------------------------
#coding=utf-8
importrequests

headers={
	'User-Agent':'Mozilla/5.0(WindowsNT6.1;Win64;x64),
	'Cookie':'你的cookies',
}
#發起請求，獲取二進制數據
html_str=requests.get(url,headers=headers).content
#寫入文件,採用二進制寫入文件
withopen('路徑/文件名.後綴'，'wb')asf:
	f.write(html_str)
#--------------------第二種：在requests直接攜帶--------------------------------
#coding=utf-8
importrequests

headers={
	'User-Agent':'Mozilla/5.0(WindowsNT6.1;Win64;x64),
}
cookies={你的cookies，這里必須是以鍵值對，也就是字典的形式}
#發起請求，獲取二進制數據
html_str=requests.get(url,headers=headers,cookies=cookies).content
#寫入文件,採用二進制寫入文件
withopen('路徑/文件名.後綴'，'wb')asf:
	f.write(html_str)

❾ 使用python怎麼獲取京東網站cookie進行登錄

# -*- coding: utf-8 -*-
# !/usr/bin/python
import os
import urllib2
import urllib
import cookielib
import re
import sys
from bs4 import BeautifulSoup
『『『
編碼方式的設置,在中文使用時用到中文時的處理方式
『『『
default_encoding = "utf-8"
if sys.getdefaultencoding() != default_encoding:
reload(sys)
sys.setdefaultencoding("utf-8")
def getHtml(url,data={}):
if(data=={}):
req=urllib2.Request(url)
else:
req=urllib2.Request(url,urllib.urlencode(data))
html=urllib2.urlopen(req).read()
return html
try:
cookie = cookielib.CookieJar()
cookieProc = urllib2.HTTPCookieProcessor(cookie)
except:
raise
else:
opener = urllib2.build_opener(cookieProc)
opener.addheaders = [(『User-Agent『,『Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11『)]
urllib2.install_opener(opener)
auth_url=『『
#auth_url = 『『
home_url=『『
#home_url = 『;
url = ""
login=getHtml(url)
#print login
loginSoup = BeautifulSoup(login,『html.parser『)
#查找登陸參數中的uuid
uuid = loginSoup.find_all("form")[0].find_all("input")[0][『value『]
print uuid
clrName=loginSoup.find_all("form")[0].find_all("input")[6][『name『]
clrValue=loginSoup.find_all("form")[0].find_all("input")[6][『value『]
『『『這倆參數不是必須。。。。
eid=loginSoup.find_all("form")[0].find_all("input")[4][『value『]
fp=loginSoup.find_all("form")[0].find_all("input")[5][『value『]
『『『
#下載驗證碼圖片：
checkPicUrl = loginSoup.find_all("div",id="o-authcode")[0].find_all("img")[0][『src2『]
req = getHtml(checkPicUrl)
checkPic = open("checkPic.jpg","w")
checkPic.write(req)
checkPic.close()
#調用mac系統的預覽(圖像查看器)來打開圖片文件
os.system(『open /Applications/Preview.app/ checkPic.jpg『)
checkCode = raw_input("請輸入彈出圖片中的驗證碼：")
#登錄URL
url = ""
# 登陸用戶名和密碼
postData = {
『loginname『:『你自己的賬號『,
『nloginpwd『:『你自己的密碼『,
『loginpwd『:『你自己的密碼『,
# 『machineNet『:『『,
# 『machineCpu『:『『,
# 『machineDisk『:『『,
str(clrName):str(clrValue),
『uuid『:uuid,
『authcode『: checkCode
}
passport=getHtml(url,postData)
print passport
# 初始化一個CookieJar來處理Cookie
『『『
cookieJar=cookielib.CookieJar()
# 實例化一個全局opener
opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cookieJar))
# 獲取cookie
req=urllib2.Request(auth_url,post_data,headers)
result = opener.open(req)
# 訪問主頁 自動帶著cookie信息
『『『
result = opener.open(『『)
# 顯示結果
#print result.read()
soup=BeautifulSoup(result,『html.parser『)
#昵稱
nickName = soup.find_all("input", id="nickName")[0]["value"]
print "nickName:",
print nickName