怎么爬取app的登录接口

① 安卓手机app怎么实现qq第三方登录接口

申请APPID

进入QQ互联的官网

在管理中心中创建移动应用。

导入Jar包

将下载得到的Jar包导入工程，并在androidManifest.xml文件中进行注册。

<activity
android:name="com.tencent.tauth.AuthActivity"
android:noHistory="true"
android:launchMode="singleTask" >
<intent-filter>
<action android:name="android.intent.action.VIEW" />
<category android:name="android.intent.category.DEFAULT" />
<category android:name="android.intent.category.BROWSABLE" />
<data android:scheme="tencent100546930" />
</intent-filter>
</activity>

其中，<data android:scheme="tencent100546930" />中的数字需要替换成自己申请得到的APPID。

创建登录接口

所有的SDK接口调用，都会传入一个回调，用以接收SDK返回的调用结果。回调的主要接口有两种：

（1）IUiListener：调用SDK已经封装好的接口时，例如：登录、快速支付登录、应用分享、应用邀请等接口。

（2）IRequestListener：使用requestAsync、request等通用方法调用sdk未封装的接口时，例如上传图片、查看相册等。

在这里创建IUiListener接口实现相应的登录授权操作：

private void onClickLogin() {
if (!mTencent.isSessionValid()) {
IUiListener listener = new IUiListener() {
/** 授权失败的回调*/
@Override
public void onError(UiError arg0) {
// TODO Auto-generated method stub
Toast.makeText(LoginActivity.this, "授权失败", 1000).show();
Message msg = new Message();
msg.arg1 = 2;
handler.sendMessage(msg);
}
/** 授权成功的回调*/
@Override
public void onComplete(JSONObject arg0) {
// TODO Auto-generated method stub
Toast.makeText(LoginActivity.this, "授权成功", 1000).show();
Message msg = new Message();
msg.what = 2;
msg.arg1 = 1;
msg.obj = arg0;
handler.sendMessage(msg);
}
/** 取消授权的回调*/
@Override
public void onCancel() {
// TODO Auto-generated method stub
Toast.makeText(LoginActivity.this, "取消授权", 1000).show();
Message msg = new Message();
msg.arg1 = 3;
handler.sendMessage(msg);
}
};
mTencent.login(this, SCOPE, listener);
} else {
mTencent.logout(this);
}
}

其中，mTencent为QQSDK主要实现类Tencent类的实例。

// Tencent类是SDK的主要实现类，开发者可通过Tencent类访问腾讯开放的OpenAPI。
// 其中APP_ID是分配给第三方应用的appid，类型为String。
mTencent = Tencent.createInstance(APP_ID, this.getApplicationContext());

将handler进行实例化

handler = new Handler(this);

并将类实现Callback接口，即可对上述类进行Handler的处理操作。

@Override
public boolean handleMessage(Message msg) {
// TODO Auto-generated method stub
switch (msg.arg1) {
case 1: { // 成功
JSONObject object = (JSONObject) msg.obj;
try {
openid = object.getString("openid").toString();
sBuilder.append("openid为："+openid+" ");
access_token = object.getString("access_token").toString();
url = url + "?access_token="+access_token+"&oauth_consumer_key="+APP_ID+
"&openid="+openid+"&format=json";
new MyUrlThread(url.toString(), 2,sHandler).start();
} catch (JSONException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
break;
case 2: { // 失败
Toast.makeText(this, "", Toast.LENGTH_SHORT).show();
return false;
}
case 3: { // 取消
Toast.makeText(this, "", Toast.LENGTH_SHORT).show();
return false;
}
}
return false;
}

如果授权成功，即可得到返回的Openid。

从而，可以根据Openid调用腾讯所提供的官方接口，实现需要的操作。

② 需要爬取一个网站内容，需登录和验证码，怎么破

在采集网站的过程中，部分数据价值较高的网站，会限制访客的访问行为。这种时候建议通过登录的方式，获取目标网站的cookie，然后再使用cookie配合代理IP进行数据采集分析。
1 使用表单登陆
这种情况属于post请求，即先向服务器发送表单数据，服务器再将返回的cookie存入本地。

2 使用cookie登陆
使用cookie登陆，服务器会认为你是一个已登陆的用户，所以就会返回给你一个已登陆的内容。因此，需要验证码的情况可以使用带验证码登陆的cookie解决。

此外目前市场上的一些采集软件也是支持登录和验证码。

③ 如何进行手机APP的数据爬取

python爬虫手机的步骤：

1. 下载fiddler抓包工具

2. 设置fiddler

这里有两点需要说明一下。

设置允许抓取HTTPS信息包

操作很简单，打开下载好的fiddler，找到 Tools -> Options，然后再HTTPS的工具栏下勾选Decrpt HTTPS traffic，在新弹出的选项栏下勾选Ignore server certificate errors。

设置允许外部设备发送HTTP/HTTPS到fiddler

相同的，在Connections选项栏下勾选Allow remote computers to connect，并记住上面的端口号8888，后面会使用到。

好了，需要的fiddler设置就配置完成了。

3. 设置手机端

设置手机端之前，我们需要记住一点：电脑和手机需要在同一个网络下进行操作。

可以使用wifi或者手机热点等来完成。

假如你已经让电脑和手机处于同一个网络下了，这时候我们需要知道此网络的ip地址，可以在命令行输入ipconfig简单的获得，如图。

好了，下面我们开始手机端的设置。

手机APP的抓取操作对于Android和Apple系统都可用，博主使用的苹果系统，在此以苹果系统为例。

进入到手机wifi的设置界面，选择当前连接网络的更多信息，在苹果中是一个叹号。然后在最下面你会看到HTTP代理的选项，点击进入。

进入后，填写上面记住的ip地址和端口号，确定保存。

4. 下载fiddler安全证书

在手机上打开浏览器输入一个上面ip地址和端口号组成的url：http://192.168.43.38:8888，然后点击FiddlerRoot certificate下载fiddler证书。

以上就简单完成了所有的操作，最后我们测试一下是否好用。

5. 手机端测试

就以知乎APP为例，在手机上打开 知乎APP。下面是电脑上fiddler的抓包结果。

结果没有问题，抓到信息包。然后就可以使用我们分析网页的方法来进行后续的操作了。

④ python 怎么爬取app端数据

可以，但是不提倡这种行为 1，在手机上设置代理，代理到你的电脑上 2，再在电脑上用tcpmp或者其他图形化的抓包工具获得数据包，分析这些数据包找到你要的数据 3，根据前两步的结果，写代码模拟app的操作获得你需要的数据

⑤ 淘宝APP x-sign

爬虫淘宝数据 都要有sign验证，app端是 x-sign。

简单来说pc端的sign验证藏在js里面 用token+data+t+appkey 做md5 就可以获取，本文主要说的是 app端的，这里就不细说。

在app端有了x-sign基本上所有数据都可以爬取到。逆向xsign算法网上也不少帖子可以查找到， 有兴趣学习可以找逆向资料学习。

下面是成品图片，做法是先搞定xsign算法，处理成接口返回签名需要的字段

{

wua: “FKr2_++5mJWcDuPV3eItUNl+u18ypOHG5eu/q3jEJ+IfCUOfb2qjS/+PNJzCRKeGhLvt7W5udQp/HdB7wld16IzdgbLat+2MEcYJ3+1E+W8Z7j6jo/+RFv95KQsJOSbH7J6+m/+TXFHe54+tKzHlk4yXhesLElXTdFy0MbTeiDr3/17R8KVb9lUatf5ITpT2weFg==”,

x-mini-wua: “HHnB_+/Qzcs70PR6plS3AWwnQFyvRfDRbH+/7W/”,

x-sgext: “JAG7pXI5ds78b0CE23FM7Q==”,

x-sign: “azYBCM002xAALfdUCwyFS/3t+5vyaodd/vWOaADDOHStGiPqD2lE+dFwxAqi0739gh+”,

x-t: “1602081910”,

x-umt: “pH1Lf4NLOkJi0zV1WOSqB1QnScotB+He”

}

然后抓包要爬取的页面，看请求参数，把请求参数提交到做好的xsign接口返回签名。然后请求淘宝数据接口 获取数据。

⑥ MUI做APP怎么调用接口

用mui.Ajax(mui.post,mui.get)来调用接口，然后动态的MUI的控件赋值
varurlAjax="http://demo.net";
mui.ajax(urlAjax+'/GetHistoryList',{
	data:{
		psId:psId
	},
	dataType:'json',//服务器返回json格式数据
	type:'post',//HTTP请求类型
	async:false,
	timeout:10000,//超时时间设置为10秒；
	success:function(json){
		//服务器返回响应，根据响应结果，分析是否登录成功；
		
	},
	error:function(xhr,type,errorThrown){
		//异常处理；
		mui.alert('网络延时,请重新加载!','系统提示');
	}
});

⑦ 怎么爬取APP里面的信息

1. 数据菜单获取外部数据


2. 自网站


3. 输入网站的地址


4. 导入


5. 属性设置刷新时间

⑧ Python 爬取https的登录界面，怎么爬取成功，谢谢

之前写的一直没成功，原因是用的不是HTTPS相关的函数。这次仔细研究了一下，有几个需要注意的点，一个是POST模拟登陆的时候，header中的cookie值，不同的网站应该会有不同的要求；另一个是GET页面的时候，是需要加上POST得到的response中的set-cookie的。这样才能利用登陆的成功。

写完POST和GET页面后，顺便写了个简单的命令行实现。

importhttplib,urllib
importurllib2
importcookielib
importsys

file_text="build_change.txt"
resultTable=dict()
host='buuuuuuu.knight.com'

defLogin(username,password,csrf=''):
url='/login/'
values={
'username':username,
'password':password,
'next':'',
'csrfmiddlewaretoken':csrf,
}

headers={
'User-Agent':'Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/35.0.1916.114Safari/537.36',
'Content-Type':'application/x-www-form-urlencoded',
'Connection':'keep-alive',
'Cookie':'csrftoken=%s'%csrf,
'Referer':'https://buuuuuuu.knight.com/login/',
'Origin':'https://buuuuuuu.knight.com',
'Content-Type':'application/x-www-form-urlencoded',
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
}
values=urllib.urlencode(values)
conn=httplib.HTTPSConnection(host,443)
conn.request("POST",url,values,headers)
response=conn.getresponse()
print'Login:',response.status,response.reason
'''
hdata=response.getheaders()
foriinxrange(len(hdata)):
forjinxrange(len(hdata[i])):
printhdata[i][j],
print
'''
returnresponse.getheader("set-cookie")


defGetHtml(_url,cookie):
get_headers={
'Host':'xxxxx.knight.com',
'Connection':'keep-alive',
'Cache-Control':'max-age=0',
'Cookie':cookie,
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'User-Agent':'Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/35.0.1916.114Safari/537.36',
'Accept-Language':'zh-CN,zh;q=0.8,en;q=0.6',
}
conn=httplib.HTTPSConnection(host)
conn.request("GET",_url,None,get_headers)
res2=conn.getresponse()
print"Get%s:"%_url,res2.status,res2.reason
'''
hdata1=res2.getheaders()
foriinxrange(len(hdata1)):
forjinxrange(len(hdata1[i])):
printhdata1[i][j],
print
'''
data=res2.read()
fp=open("build_change.txt","w")
fp.write(data)
fp.close()


defParseHtml():
fp=open(file_text,"r")
content=fp.readline()
_pos=0
whilecontent:
ifcontent.find("class="change-body"")>=0:
topic=content.split(">")
resultTable[_pos]=topic[1]
whilecontent:
content=fp.readline()
resultTable[_pos]=resultTable[_pos]+content
ifcontent.find("</div>")>=0:
_pos=_pos+1
break
content=fp.readline()
fp.close()
print"Parsehtmlsuccess."


defGenerateResultTxt():
f=open("build_change_result.txt","w")
forminresultTable.keys():
f.write("-------------------------------------------------------------------------------------------
")
f.write(resultTable[m])
f.close()
print"Generateresultsuccess:build_change_result.txt."
defHelp():
print'-h:help'
print'-u:username(must)'
print'-p:password(must)'
print'-c:csrftoken(optional)'
print'-s:sandboxbuildid(must)'
print'Forexample:'
print'[1]pythonBuildChange.py-h'
print'[2]pythonBuildChang.py-uu-pp-ss1s2'
print'[3]pythonBuildChang.py-uu-pp-cc-ss1s2'


defParseParam(com):
length=len(com)
username=""
password=""
csrf=""
sid1=""
sid2=""
iflength==2orlength==8orlength==10:
ifcom[1]=='-h':
Help()
foriinrange(1,length):
ifcom[i]=='-u'andi<(length-1):
username=com[i+1]
i+=1
elifcom[i]=='-p'andi<(length-1):
password=com[i+1]
i+=1
elifcom[i]=='-c'andi<(length-1):
csrf=com[i+1]
i+=1
elifcom[i]=='-s'andi<(length-2):
sid1=com[i+1]
sid2=com[i+2]
i+=2
ifusername==""orpassword==""orsid1==""orsid2=="":
print'[Error]Parametererror!'
print'[Error]Youcanuse"pythonBuildChange.py-h"toseehowcanusethisscript.'
else:
ifcsrf=="":
cookie=Login(username,password)
else:
cookie=Login(username,password,csrf)
_url="//changelog//between//%s//and//%s/"%(sid1,sid2)
GetHtml(_url,cookie)
ParseHtml()
GenerateResultTxt()

#C:Python27python.exeC:UsersknightDesktopuildBuildChange.py-uxux-pKKKKKKKK-s18594091858525

if__name__=="__main__":
ParseParam(sys.argv)

⑨ python 爬取带验证码需要登陆后的网站

这个有点繁琐，告诉你，你也可能搞不定
首先请求网页，然后用你的未登录cookies去二次请求验证码，用byte类型保存在内存中，用pillow模块展示出来，你在手动输入，主程序这边用input阻塞，等你输入完，主程序向登录接口提交账号密码和验证码，然后后面就正常爬取，这是非selenium的模拟登录，这边纠正一点，凡是登录，不管你用什么模块，都属于模拟登录，并非selenium登录方式才叫模拟登录，