‘壹’ python批量提取txt文件中的特定字符后的数字
2、待读取文件
是以":"作为分隔符的数据,每一行以回车结束。此文件为XXX.train
3、读取每一句中的汉字
1234567891011...file_train = os.path.join(rootDir,"data/train/rg_train_"+modle_date+"_"+aiscene+".train")with open(file_train, 'r')as fp:textlist = fp.readlines()for text in textlist:if ":" in text:L4ID = text.split(":")[-2]Msg = text.split(":")[-1]if query_start == Msg.strip(" "):print("Msg is in train:",Msg)...
代码中先获取文件,然后读取每一行,然后以":"作为分隔符。(-1代表倒数第一个,-2代表倒数第二个)
不管是txt文件还是xml文件还是其他的,都可以用这种方法来批量替换文件中字符串:
1234567891011121314151617# -*- coding:utf-8 -*-__author__ = 'ShawDa'import globxmls = glob.glob('xml_files/*.xml')for one_xml in xmls:print(one_xml)f = open(one_xml, 'r+', encoding='utf-8')all_the_lines = f.readlines()f.seek(0)f.truncate()for line in all_the_lines:line = line.replace('dog', 'pig')line = line.replace('cat', 'bike')f.write(line)f.close()
‘贰’ 如何用产品id索引爬取标签内的产品各项标题链接价格 python
产品id索引爬取标签内的产品各项标题链接价格 python可以使用网页请求方式:最常见的方式,一般用于获取或者查询资源信息,也是大多数网站使用的方式,响应速度快,或者多以表单形式上传参数,因此除了查询信息外,还可以修改信息。
另外可以以开发者的身份进入网站进行价格查询,打开网页,用开发者模式,任意复制一条首条新闻标题,粘贴到搜索框里。开发者模式,依次点击‘network’,‘XHR’找到翻译数据,点击Headers,请求为get方式,使用Beautiful soup解析网页,然后再安装bs。
Beautiful soup 指定xlml解析器进行解析,soup=BeautifulSoup(strhtml.text,'lxml'使用select(选择器)定位数据,使用浏览器的开发者模式,将鼠标停留在对应数据位置并右击。
开发者界面会有被选中部分,右击 ---> selector; 将路径粘贴在文档中,代码如下#main > div > div.mtop.firstMod.clearfix > div.centerBox > ul.newsList > li:nth-child(1) > a。
这是选中的第一条路径,但我们要获取所有的新闻头条,因此将:li:nth-child(1)中冒号(包含冒号)后面的删掉。如下:#main > div > div.mtop.firstMod.clearfix > div.centerBox > ul.newsList > li > a,然后就可以直接查询了。