如何利用python收集关键词

‘壹’ 如何用python爬虫抓取亚马逊美国站关键词排名

首先我们从网站发展的三个阶段来分析关键词：
一，首先我们的网站在建设之初需要选取一个关键词来建设。
二，当我们的网站关键词出现排名之后，为什么别人的站点比我们的排名要高。高质量站点的竞争对手还有一些什么关键词。
三，当我们多个关键词有了排名之后，做站的目的就出现了，哪个关键词可以给我们带来更多的流量，更多的转化率，这些好的，转化率高关键词自然需要我们的更多关注。毕竟站长做站是以赚钱为目的的。
如果还需要细分的话，大致可以分为十一点：
1、网站还开始建设前，需要先选取关键词，并以此扩展。常用的方法就是在搜索框中输入扩展关键词，查看相关页面，以判断关键词竞争度。
2、做了关键词以后，分析对手关键词。
3、目标关键词应该建设在首页。
4、2级目标关键词，在2级域名或2级栏目做2级目标关键词。
5、内容页里面做长尾关键词，长尾关键词胜在一个做量，以量来带动目标关键词。就像金字塔一样，慢慢的从下而上的堆积，把目标关键词堆到顶端。
6、目标关键词围绕主关键词来做。
7、自己网站关键词，选择上需要花非常大的心思。
8、如果要做关键词，先看关键词有多少篇页面。
9、分析权重容量可以做多少关键词。
10、分析竞争对手：前面3名的需要去分析它的规模、收录量、内容页。一般长尾关键词都是存在于内容页中，而且我们需要看这些文章为原创还是为原创，甚至是转载。如果是后两者那么这些个长尾关键词的权重不会太高。

‘贰’ 如何用python实现在某网页搜索框中输入字段后自动搜索信息并抓取

用爬虫跟踪下一页的方法是自己模拟点击下一页连接，然后发出新的请求；
参考例子如下：
item1 = Item()
yield item1
item2 = Item()
yield item2
req = Request(url='下一页的链接', callback=self.parse)
yield req
注意：使用yield时不要用return语句。

‘叁’ 怎样用python进行关键词提取

关键字具体是什么？
字符串比对就行了
html是beautifulsoup或者正则
json就更简单了

‘肆’ python查找txt文件中关键字

伪代码：

1、遍历文件夹下所有txt文件

rootdir='/path/to/xx/dir'#文件夹路径
forparent,dirnames,filenamesinos.walk(rootdir):
forfilenameinfilenames:

2、读取txt文件里的内容，通过正则表达式把txt里多篇文章拆分开来。得到一个列表：['{xx1}##NO','{xx2}','{xx3}##NO']

3、把上面得到的list写到一个新的临时文件里，比如：xx_tmp.txt，然后：shutil.move('xx_tmp.txt','xx.txt')覆盖掉原来的文件

‘伍’ 如何用python写爬虫来获取网页中所有的文章以及关键词

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。
类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端， 然后读取服务器端的响应资源。

在Python中，我们使用urllib2这个组件来抓取网页。
urllib2是Python的一个获取URLs(Uniform Resource Locators)的组件。

它以urlopen函数的形式提供了一个非常简单的接口。

最简单的urllib2的应用代码只需要四行。

我们新建一个文件urllib2_test01.py来感受一下urllib2的作用：

import urllib2
response = urllib2.urlopen('http://www..com/')
html = response.read()
print html

按下F5可以看到运行的结果：

我们可以打开网络主页，右击，选择查看源代码（火狐OR谷歌浏览器均可），会发现也是完全一样的内容。

也就是说，上面这四行代码将我们访问网络时浏览器收到的代码们全部打印了出来。

这就是一个最简单的urllib2的例子。

除了"http:"，URL同样可以使用"ftp:"，"file:"等等来替代。

HTTP是基于请求和应答机制的：

客户端提出请求，服务端提供应答。

urllib2用一个Request对象来映射你提出的HTTP请求。

在它最简单的使用形式中你将用你要请求的地址创建一个Request对象，

通过调用urlopen并传入Request对象，将返回一个相关请求response对象，

这个应答对象如同一个文件对象，所以你可以在Response中调用.read()。

我们新建一个文件urllib2_test02.py来感受一下：

import urllib2
req = urllib2.Request('http://www..com')
response = urllib2.urlopen(req)
the_page = response.read()
print the_page

可以看到输出的内容和test01是一样的。

urllib2使用相同的接口处理所有的URL头。例如你可以像下面那样创建一个ftp请求。

req = urllib2.Request('ftp://example.com/')

在HTTP请求时，允许你做额外的两件事。

1.发送data表单数据

这个内容相信做过Web端的都不会陌生，

有时候你希望发送一些数据到URL(通常URL与CGI[通用网关接口]脚本，或其他WEB应用程序挂接)。

在HTTP中,这个经常使用熟知的POST请求发送。

这个通常在你提交一个HTML表单时由你的浏览器来做。

并不是所有的POSTs都来源于表单，你能够使用POST提交任意的数据到你自己的程序。

一般的HTML表单，data需要编码成标准形式。然后做为data参数传到Request对象。

编码工作使用urllib的函数而非urllib2。

我们新建一个文件urllib2_test03.py来感受一下：

import urllib
import urllib2
url = 'http://www.someserver.com/register.cgi'
values = {'name' : 'WHY',
'location' : 'SDU',
'language' : 'Python' }
data = urllib.urlencode(values) # 编码工作
req = urllib2.Request(url, data) # 发送请求同时传data表单
response = urllib2.urlopen(req) #接受反馈的信息
the_page = response.read() #读取反馈的内容

如果没有传送data参数，urllib2使用GET方式的请求。

GET和POST请求的不同之处是POST请求通常有"副作用"，

它们会由于某种途径改变系统状态(例如提交成堆垃圾到你的门口)。

Data同样可以通过在Get请求的URL本身上面编码来传送。

import urllib2
import urllib
data = {}
data['name'] = 'WHY'
data['location'] = 'SDU'
data['language'] = 'Python'
url_values = urllib.urlencode(data)
print url_values
name=Somebody+Here&language=Python&location=Northampton
url = 'http://www.example.com/example.cgi'
full_url = url + '?' + url_values
data = urllib2.open(full_url)

这样就实现了Data数据的Get传送。

2.设置Headers到http请求

有一些站点不喜欢被程序（非人为访问）访问，或者发送不同版本的内容到不同的浏览器。

默认的urllib2把自己作为“Python-urllib/x.y”(x和y是Python主版本和次版本号,例如Python-urllib/2.7)，

这个身份可能会让站点迷惑，或者干脆不工作。

浏览器确认自己身份是通过User-Agent头，当你创建了一个请求对象，你可以给他一个包含头数据的字典。

下面的例子发送跟上面一样的内容，但把自身模拟成Internet Explorer。

（多谢大家的提醒，现在这个Demo已经不可用了，不过原理还是那样的）。

import urllib
import urllib2
url = 'http://www.someserver.com/cgi-bin/register.cgi'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
values = {'name' : 'WHY',
'location' : 'SDU',
'language' : 'Python' }
headers = { 'User-Agent' : user_agent }
data = urllib.urlencode(values)
req = urllib2.Request(url, data, headers)
response = urllib2.urlopen(req)
the_page = response.read()

以上就是python利用urllib2通过指定的URL抓取网页内容的全部内容，非常简单吧，希望对大家能有所帮助。

‘陆’ 如何用Python提取中文关键词

去非中文字符
分词
统计
提取

‘柒’ 如何用Python实现在文件夹下查找一个关键词

#!/usr/bin/python
#coding:utf8
import os

#判断文件中是否包含关键字，是则将文件路径打印出来
def is_file_contain_word(file_list, query_word):
for _file in file_list:
if query_word in open(_file).read():
print _file
print("Finish searching.")

#返回指定目录的所有文件（包含子目录的文件）
def get_all_file(floder_path):
file_list = []
if floder_path is None:
raise Exception("floder_path is None")
for dirpath, dirnames, filenames in os.walk(floder_path):
for name in filenames:
file_list.append(dirpath + '\\' + name)
return file_list

query_word = raw_input("Please input the key word that you want to search:")
basedir = raw_input("Please input the directory:")

is_file_contain_word(get_all_file(basedir), query_word)
raw_input("Press Enter to quit.")

请采纳

‘捌’ 怎么用python依据多个关键词提取Excel里关键词所在的整行内容

没有数据，模拟几条说明常规思路。

a=['PGSC1','PGSC3','PGSC6','PGSC7']

b=[['PGSC1','A',555],['PGSC2','B',988],['PGSC3','C',7666],['PGSC7','P',8767],['PGSC1','A',567]]

data=[]

for x in a:

for y in b:

if x==y[0]:

data.append(y)

print(data)

当然，你也可以用numpy或者pandas来处理会更方便。

‘玖’ python怎么提取关键词

你好， 那个r'.*?('+ lste +').*?‘ 会吧你这个关键字前面和后面的文字都匹配了，所以当你的那个关键字多次出现的时候，就会报那个重复出现的错了。
你直接
hh = re.findall(lste, gg)就可以了呀？
或者是还有什么需要匹配的东西，我看你后面好像要将结果连接起来，但是你匹配出来的都是关键字，直接连接的话，其实就是多个关键字的拼接了。

‘拾’ 如何用最简单的Python爬虫采集整个网站

采集网站数据并不难，但是需要爬虫有足够的深度。我们创建一个爬虫，递归地遍历每个网站，只收集那些网站页面上的数据。一般的比较费时间的网站采集方法从顶级页面开始（一般是网站主页），然后搜索页面上的所有链接，形成列表，再去采集到的这些链接页面，继续采集每个页面的链接形成新的列表，重复执行。