‘壹’ SEO优化中如何利用好标签功能_标签seo
网站站内优化是非常重要的一个环节，当一个网站的页面数量达到一定量级的时候，要坚持把网余睁站做的扁平化就显得尤为困难，很多时候页面的堆积只能通过分类、分频道以及分页来保持页面能有一个单一的入口被蜘蛛爬取到，但是由于站内资源的限制，尤其对于个人站长，想尽各种办法增加每一个页面在站内体系的推荐数量，也就是站内页面投票用来提升目标页面的权重，增加被索引率，但是往往会造成页面臃肿，质量下降，影响用户的阅读体验，同样是不被搜索引擎认可。这个时候就开始有了索引标签的概念，如果你使用过wordpress、phpcms、dedecms等开源的网站程序，你就会发现程序集成或者一些插件引入了标签这样一个功能，他可以把海量的详情页面通过相关性聚合到一起，最大化实现网站结构的扁平化。
我把对SEO标签的使用心得给大家整理出来，主要围绕标签应该如何去选取、标签如何部署才会合理以及标签使用过程中的一些注意事项来做分享。
一、标签的选取
1、通过拓词工具(比如金花站长工具、网络关键词推荐工具、5118等一些工具)获取行业内用户搜索的关键词，之所以获取关键词是因为互联网上分享的资源都是基于这些关键词来实现索引，从而解决用户最终诉求的资源，拿到这些词以后通过关键词分组工具(比如光年提供的关键词分组工具竖孝岁或者通过python开发一些数据处理的小插件)按照词频归类，这些归类的关键词就是你要获取的最终标签。
想认识学习SEO网站优化，可以加裙，前面是461，中间是860，最后是887.。
2、文章系统增加自动提取标签功能，主要按照文章某些关键词出现的频次来定，生成的过程中一定要增加审核标签功能，至于原因后续会在注意事项里面提及。
3、人为增加关键词标签，如果你使用知乎或者自己发表博客的时候会有让你添加标签的选项框，虽然效率比较低，但是往往比较有效，也不容生成很多的重复页面或者空页面，给网站制造垃圾，通用有使用过wordpress的站长朋友，会发现每篇文章都要求作者添加一些标签，有数量限制，要求3或者5个这样子。
二、标签站内布局
1、文章的底部增加标签板块，不过要做数量限制，不超过5个，按照相关性降序调取;
2、文章详情页增加热门标签板块，调取访问量最多的关键词标签;
3、标签归类，按照业务、地区、或者字母等维度，只要是提升用户体验的维度都可以归类，聚合出一个标签大全频道页面，然后聚合页面在网站的公共头尾选择一个入口布局。
随着站内标签越来越多，你就要合理的规划这些标签，因为这些标签加强了你站内资源的相关性和关联性，使你的网站结构更加扁平化，也更有利于搜索引擎的爬取。
三、标签使用注意事项
1、如果是动态或者批量生成的标签关键词一定要把控生成页面的质量，如果是空页面先不要给站内增加入口，通过程序严格审核有了聚合的内容资源之后才给予入口;
2、人工添加标签不要选择形义相近的关键词，避免生成太多的重复页面，每个主题的关键词只选择一个即可;
3、对于行业内业务板块已经成熟的分类，在站内生成对应的分类列表页即可，因为标签页分为很多种，主要包含分类标签、专题标签以及索慎拦引标签，本篇文章着重介绍索引标签
‘贰’ Python适合什么年龄段人学习
Python适合什么年龄段人学习这个没有规定，只要想学都可以学，但是以下人群是比较需要掌握的。
1、编程新手
非常喜爱编程，以后想从事相关工作，但是零基础，不知道入门选择什么编程语言的朋友，其实是最适合选择Python编程语言的。
2、伏迟网站前端开发人员
平常只关注div+css这些页面技术，很多时候其实需要与后端开发人员进行交互的，学习python编程语言，更加便于沟通贺缺。
3、SEO人员
Python的学习可以帮助SEO人员有能力编禅厅辩写一些查询收录、排名以及自动生成网站地图等SEO工具，让SEO工作更简单便捷。
4、在校学生
Python已经被列为高中计算机学习课程，对于现在的在校大学生来说，空闲时间多，学习python编程语言在弥补相关技能的同时，还能掌握一种新技能，对以后的工作更有帮助。
5、java开发人员
相比于Java，python近两年更加火爆，很多java开发人员瞄准了这个市场，转型做python，能更轻松的获得高薪职业。
‘叁’ Python的就业前景怎么样
Python未来的前景怎么样？就业岗位多不多？薪资高不高？今天就来看一下详细分析。
1、为什么这么多人学Python呢？
很多初学者都听说python很火，可是为啥要学Python，下面谈谈我的感悟。
Python语言是我目前为止用的最爽的语言，因为它真的很优美。虽然C、C++、Java也非常的强大和伟大，但是每一种语言伟大的背后都是有一定的时代背景。
Python被广泛的用在Web开发、运维自动化、测试自动化、数据挖掘等多个行业和领域。
一项专业调查显示，75%的受访者将Python视为主要开发语言，反之，其他25%受访者则将其视为辅助开发语言。
将Python作为主要开发语言的开发者数量逐年递增，这表明Python正在成为越来越多开发者的开发语言选择。
那和纤激么未来10年到底哪种语言会独领风骚，笑傲江湖，我不得而知，但是未来10年一定是人工智能，万物互联的时代，现在AI、VR、无人驾驶汽车、无人机、智能家居离我们越来越近了。
未来10年将是大数据，人工智能爆发的时代，到时将会有大量的数据需要处理,而Python最大的优势，就是对数据的处理，有着得天独厚的优势，我相信未来的10年，Python会越来越火。
2、Python岗位需求量10万
从职友集最新Python招聘岗位需求来竖培看，Python工程师的岗位需求量巨大，并且岗位需求量还在呈现上涨的趋势。
全国Python岗位需求量接近10万；
北京岗位需求量居首位为20890个占比21.17%，
上海Python工程师岗位需求量居第二位为12843个占比13.02%，
其次是深圳、杭州、广州等一线城市合计占比16.53%。
从下图可知，Python相关职位的需求量，依然集中在三大经济圈，特别是在北京、上海、深圳这几个城市。
3、Python就业薪资水涨船高
从职友集最新Python招聘岗位需求来看，Python工程师的岗位需求量巨大，并且岗位需求量还在呈现上涨的趋势。
从市场整体需求来看，Python在招聘市场上的流行程度也是在逐步上升的，工资水平也是水涨船高。
一张图可以看清现在Python的就业薪资：唤袜
以上为Python各方向薪资
因为Python在大数据和人工智能领域的爆发性发展，导致Python方向岗位的薪水在水涨船高，从数据分析来看，月薪在20K-50K不等。
学习Python的程序员，除了能从事Python开发工程师、人工智能工程师、数据分析师、Python自动化测试外，也能够朝着Python游戏开发工程师、SEO工程师、Linux运维工程师等方向发展，发展方向较为多元化。
说这么多之后，你会发现，Python的发展前景十分广阔。并且Python是一门真正意义上的全栈语言，即使目前世界上使用最广泛的Java语言，在很多方面与Python相比也逊色很多！
‘肆’ 学会了seo为什么还要学python
Python是一门猜顷面向对象的编程语言，它相对于其他宏弯语言，更加易学、易读，非常适合快速开发穗绝陆
‘伍’ 想做好SEO需要做些什么呢
seo优化网站要做的工作还是比较多的，首先我们先思考SEO到底从哪几个方面入手。其实在做网站的时候，已经做过最基础的SEO工作，比如META标签的编辑，这是一项最基础也是非常重简扒要的SEO工作。在上传产品、上传文档的时候，就会把这些关键词SEO布局做到位。
★ 网站SEO的布局
第一步：选取SEO核心关键词
SEO核心关键词是指能给网站带来80%流量的关键词。一个企业的核心关键词要达到50-100个之间。怎么去挑选呢？方法很多，比如通过联想方式，或者是下拉方式，还有通过网络指数的方式等。
第二步：网站关键词布局
1.网站结构优化、品牌词优化
把拓展出来的最核心的关键词分配到网站主导航每个栏目中去，一个网站的主导航一般有10个栏目，每个栏目分配3-5个关键谨闭词，这样就消耗了50个关键词。
剩 下的词放到网站的二级列表页面，或者三级详情页面。每个页面用1个关键词，这个关键词一定要是长尾关键词。这就是网站的结构优化。
在网站结构优化过程中， 把品牌词加进去，就完成了网站的品牌词优化。
2.编辑META标签
每一个页面都应该用不同的关键词去编辑META标签，网站的每个页面都有它的身份，META标签就像他的身份证证号码。要赋予不同的页面以不同的身份，这样才容易被祥咐裂网络识别和抓取。
如果说你的身份证号码是一个，网络就只抓一个，所以每个页面的META标签都应该不同。
上面仅仅是做好了最基础的SEO布局，接下来教大家站内SEO到底该怎么做？
其实站内SEO优化的重点在站内文章的编辑上。
站内文章编辑：
站内文章编辑如何写？很多人更新网站的文章就是在写公司的新闻，请问谁会去看你的新闻呢？
另外，如果漫无目的去写文章，也是白费功夫一场。
一、站内文章长尾关键词布局技巧：
1.文章的标题当中应有含有长尾关键词；
2.文章的第一段，即文章头200-300个字内，出现相应长尾的关键词；
3.文章的内容段，即300-500字段内，出现2-3次相应长尾的关键词。
SEO优化是一个漫长的过程，每天网站文章更新也是必不可少的。
‘陆’ 如何学习SEO
首先，学习SEO我是建议采用自学的方式，效率更高，吸收程度也更好。先判陵分为入门，进阶，终极这3个阶段。
入门
网络站长学院 & Google Search Console帮助 。
这2个都是官方文档，信息可靠，而且会及时更新。
要学习科学的SEO（而不是玄学），要保证信息来源都是可靠的。
这2个文档能解决90%的SEO问题，比如title怎么写，description怎么设置等等。
官方文档藏有很多细节，英文SEOer甚至建议直接看英文文档。反正我是看了好多遍。
搜索引擎原理
知己知彼，了解搜索引擎如何运作，才能有的放矢。
推荐两本书《走进搜索引擎》《这就是搜索引擎》，刚开始看可能看不懂，坚持看完就会有突破。
更高阶一点是《信息检索导论》，反正我是试了三次看到一半就看不下去了。
SEO动态
中文SEO建议看网络站长学院；英文SEO建议看Search Engine Roundtable的Search Forum Recap栏目。如果觉得英文麻烦，也可以关注我博客或公众号，我一般一周会发一篇Google SEO快讯。
搜索引擎是不断升级的，各种SEO技巧也是不断发展。几年前有人用单页就能跟163邮箱争夺排名，到目前反作弊规则越来越完善，SEOer要不断提升网页质量，加快网页速度。
实战经验
所有的想法，思路都要经过实战历练；所有的知识只用通过应用才能真正掌握。
建立“规划 - 上线 - 监控 - 总结反思 - 规划”的闭环。一次达不到预期，有了正向迭代才能不断进步。
可以从自己的小网站，或者公司的小项目着手。
进阶
数据分析
你要看流量，看收录，看抓取。特别是流量异常时要细分，交叉，对比，才能面对领导的挑战。
最好是精通GA，再不济要熟悉网络统计，CNZZ，有监控数据的习惯。
编程
如果不会编程，即便再小的需求也要求助程序员GG，即便再简单的需求也会被忽悠。
学Python吧，简单易上手，会让你有一种“上厕所嘘嘘都要用脚本实现”的错觉。
跨界
产品。满足用户的需求是SEO长久之计（可参考之前文章：用正坦产品思维去做SEO）。比如用户是想要苹果电影未删减版的种子，你给他一个iPhone 8的谍报，是满足不了用户需求的。
运营。没有运营小伙伴，你怎么生产高质量原创内容？
行业知识
要想做一名好的SEO，过硬的行业知识是少不了的；你要懂你的用户，懂得他们的需求和痛点。
转化
只有变现，才能让SEO部门越来越重要，否则只是一个做流量的，可有可无，时间久了会边缘化。
高级
策略
不要只着眼于眼前的频道或项目，可以放眼整个网站或行业的SEO格局。
渠道
SEO只是流量渠道的一部分，要了解其他流量渠道，并对各个渠道的优缺点有大致的了解。
生态
SEO主要是基于web生态，而web生态已经不再一家独大。比如APP生态，微信生态，甚至说今日头条，知乎，微博，都在有影响到web生态。对生态的理解，可以帮助你预测SEO之后的发展。
终极
《颈椎病康复指南》
以前觉得自己头晕，心慌，胸闷，手发麻，失眠，是自己快要挂掘清戚了，其实都是颈椎问题。 ——来自朋友圈。
SEO培训推荐
除了自学外，参加大神的培训，来一次系统化的学习，我觉得也是有必要的。优就业培训推荐一下，也是我都有参加的。
‘柒’ SEO、SEOer有哪些是必备的工具
SEO工作主要围绕着关键词挖掘、关键词布局、网页收录、排名监控等过程，这几个过程同时也是影响SEO流量和定单转化的关键因素模枝梁。那么，在日常SEO工作中，我们需要用到哪些工具，以便SEO工作开展更有目的？
介绍这些工具之前，再提一下这个公式SEO流量＝网页收录量×首页率×点击率
通过这个公式，我们了解到要监控的数据有这些：网页收录量关键词排名SEO流量
再细搭塌分拆解，就有网页抓取量等等。这里就不展开讨论。思路理清后，我们开始介绍相关的工具，方便理解本文。
挖词工具
网页版
爱站网：
站长之家：
5118：
词库网：
各网页版的差别：爱站网与站长之家挖词功能类似，不同之外在于，站长之家有关键词导出的功能，这点会更便于用户。而5118比这2者更加爽快，只要是注册会员，登录后便可下载超过1500个关键词。词库网可以导出更大量级，但前提条件是，要！付！费！（免费时代过去了，别老在想着凡事都能免费）
软件版
推荐使用斗牛站长工具、金花站长工具。
这2款工具，个人更喜欢用金花站长旦运工具多一些，功能强大，体验更方便。
提醒：这2款工具有免费版也有付费版，特别推荐付费版，功能更强大一些。
以下为这2款软件的下载地址：
1.斗牛站长工具
排名查询工具
排名查询同样分2种情况：全网关键词排名情况（关键词覆盖率）、近期新布局关键词排名情况。
全网关键词排名情况查询推荐使用爱站、站长之家等进行监控，如果需要长期整站监控的话，推荐使用金花站长工具、爱站工具包等。
近期关键词排名情况查询
推荐使用斗牛站长工具
流量查询工具
个人最常用的流量查询工具主要是网络统计，可以通过页面分析、来源渠道、不同端口等维度进行分析。方便了解带来SEO流量的搜索词有哪些。使用方面也比较简单，但前提条件一定是得先把代码嵌入到网站中，才能统计。（这个主要是对小白用户的提醒，大白可以飘过了~）
其它工具
当网站页面达到成千上万级时，掌握一门程序语言会显得尤其重要，这里推荐python，可以用来处理大规模的数据。其它的还有：shell光年日志分析工具
以上这多款工具都是贯穿SEO整个工作过程，围绕着SEO数据展开做监控、做分析，有数据驱动才能做科学的SEO！
‘捌’ SEO如何布局关键词
清楚如何挖掘关键词后，下一步要做的便是布局关键词，那么关键词布局策略有哪些，如何布局关键词呢？从3方面来说明：
判断关键词竞争度
分析关键词共性，确定着陆页形态
页面关键词布局说明
一、判断关键词竞争度
再以咖啡这个行业为例来说明。（对这个行业相对比较了解，所以甭见怪）假设现在我们准备做一个咖啡门户网站，我们需要对游猛行业关键词进行分析。
分析关键词竞争度
取出有搜索量的关键词，进行查看在网络自然排名前10的页面类型有哪些？通常排名的页面类型有这些：网站首页、网站栏目页、网站标签页/专题页、网站详情页。
（1）当自然排名前10的页面类型超过60%以上为网站首页时，那么说明关键词的竞争度相对来说会比较高。
为何这样说呢？
从权重的角度来说，权重的先后顺序为：网站首页>网站栏目页>网站标签页/专题页>网站详情页。
而从搜索引擎的角度出发来考虑，搜索引擎的目标为更快、更好的满足用户多样化的需求，当出现的页面均是自家产品时，可以说明收录相关的页面较少，或者页面质量普遍低于网络自家页面，从侧面也可以反应竞争度不高。
分析完关键词竞争度，懂python的童鞋可以跑一下数据，查看这些有搜索量的关键词，自然排名前10的页面类型分布。可以做一个类似下面的表格，进行记录分析。方便确定页面类型。
二、分析关键词共性，确定着陆页形态
当我们分析咖啡行业时，会发现用户有这些方面的需求：购买物料/设备、了解使用方法/制作技巧。关键词的共性需求就有，咖啡豆价格/咖啡机价格等，XX咖啡制作方法。
通过排名页面类型的分析，以及通过关键词的共性分析，价格类的关键词，排名前10的站点页面类型更偏向于是使用栏目页面类型。如，咖啡机价格，排名前10的分别是一些商城的栏目页。
如果你对所处的行业非常了解，也知道目前的竞争对手有哪些，那么可以结合着上述的方法，再加一步，竞争对手分析。可以通过分析竞争对手的关键词覆盖情况、产品形态分析（即着陆页分析）、核心关键词排名等等
不了解行业有哪些竞争对手的，一样，可以通过python抓取有搜索量的行业关键词，排名前10的站点情况，再对排名前10的站点进行数据透视分析，排名数量最多的那几个站点，可以重点的作为分析对象。
三、页面关键词布局说明
确定好着陆页后，如果是个大型的网站，那么一般是由产品经理确定原型图（即着陆页形态），然后SEO输出需求文档。那么，在确定好的页面上，如何进行页面关键词布局呢？以泡泡网－咖啡机价格栏目页为例来说明：
url:/kafeiji/01222/
打开此页面，并进行右键——>源代码查看。以下这几个重点标签一定要布局上关键词。
（1）title：写好title规则，分2种情况，共性与非共性，共性的关键词，可以写好碰轮关键词的组合公式规则，如果是非共性的关键词，一般会单独设置手动填写title，再让开发将需求做成读取手动填写的内容。
title的写法规则：关键词3个－5个，避免关键词堆积，突出品牌词。eg:关键词1_关键词2_关键词3-品牌词
以泡泡网来为例来说明，见下图
首先，咖啡机价格是有共性需求的，比如：品牌+咖啡机+价格，类别+咖啡机+价格。因此，我们在写SEO关键词需求时，可以写共性规则，如：单选时，咖啡机价格_咖啡机报价－泡泡网；多选时，品牌+咖啡机价格_品牌+咖啡机报价－泡泡网。
（2）除了title标签外，可以适量、自然的在页面出现所有做的关键词，适当增加关键词密度。记住：过量则死，出现过度优化笑磨信也会被惩罚。标签方面，还有ALT标签要注意，出现图片，可以添加上ALT标签，表明图片内容是什么。比如，一台某品牌咖啡机，那么ALT＝"某品牌咖啡机"，可以按此写法来说明。
写了2.5小时，总算把关键词布局方法给写完了，不知道你是否真的明白了，如果明白了，就赶紧行动起来，看看你所负责的站点在关键词布局这块是否还有可优化的空间！
‘玖’ 48tools怎么下载
48Tools是一个基于Python编写的SEO工具集，提供了一系列实用且高效的网络营销工具。要下载48Tools，首先需要租中纯在自己的计算机上安装Python环境，并下载48Tools开源代码包。可以在Github上搜索48Tools，找到相应的项目页面，从页面上选择下载地址，或者培袜直接使用git clone命令下载，解压后在Python环境中按照提示完成安装即可。安装完成后，打开命令行或终端窗口，进入48Tools所在的目录中，使用Python运行其中弊咐的脚本文件来使用不同的SEO工具进行网站优化和营销。
‘拾’ 如何用最简单的Python爬虫采集整个网站
在之前的文章中Python实现“维基网络六度分隔理论“之基础爬虫，我们实现了在一个网站上随机地从一个链接到另一个链接，但是，如果我们需要系统地把整个网站按目录分类，或者要搜索网站上的每一个页面，我们该怎么办？我们需要采集整个网站，但是那是一种非常耗费内存资源的过程，尤其是处理大型网站时，比较合适的工具就是用一个数据库来存储采集的资源，之前也说过。下面来说一下怎么做。
网站地图sitemap
网站地图，又称站点地图，它就是一个页面，上面放置了网站上需要搜索引擎抓取的所有页面的链接（注：不是所有页面，一般来说是所有文章链接。大多数人在网站上找不到自己所需要的信息时，可能会将网站地图作为一种补救措施。搜索引擎蜘蛛非常喜欢网站地图。
对于SEO，网站地图的好处：
1．为搜索引擎蜘蛛提供可以浏览整个网站的链接简单的体现出网站的整体框架出来给搜索引擎看；
2．为搜索引擎蜘蛛提供一些链接，指向动态页面或者采用其他方法比较难以到达的页面；
3．作为一种潜在的着陆页面，可以为搜索流量进行优化；
4．如果访问者试图访问网站所在域内并不存在的URL，那么这个访问者就会被转到“无法找到文件”的错误页面，而网站地图可以作为该页面的“准”内容。
数据采集
采集网站数据并不难，但是需要爬虫有足够的深度。我们创建一个爬虫，递归地遍历每个网站，只收集那些网站页面上的数据。一般的比较费时间的网站采集方法从顶级页面开始（一般是网站主页），然后搜索页面上的所有链接，形成列表，再去采集到的这些链接页面，继续采集每个页面的链接形成新的列表，重复执行。
很明显，这是一个复杂度增长很快的过程。加入每个页面有10个链接，网站上有5个页面深度，如果采集整个网站，一共得采集的网页数量是105，即100000个页面。
因为网站的内链有很多都是重复的，所以为了避免重复采集，必须链接去重，在Python中，去重最常用的方法就是使用自带的set集合方法。只有“新”链接才会被采集。看一下代码实例：
from urllib.request import urlopenfrom bs4 import BeautifulSoupimport repages = set()def getLinks(pageurl):globalpageshtml= urlopen("" + pageurl)soup= BeautifulSoup(html)forlink in soup.findAll("a", href=re.compile("^(/wiki/)")):if'href' in link.attrs:iflink.attrs['href'] not in pages:#这是新页面newPage= link.attrs['href']print(newPage)pages.add(newPage)getLinks(newPage)getLinks("")
原理说明：程序执行时，用函数处理一个空URL，其实就是维基网络的主页，然后遍历首页上每个链接，并检查是否已经在全局变量集合pages里面，如果不在，就打印并添加到pages集合，然后递归处理这个链接。
递归警告：Python默认的递归限制是1000次，因为维基网络的链接浩如烟海，所以这个程序达到递归限制后就会停止。如果你不想让它停止，你可以设置一个递归计数器或者其他方法。
采集整个网站数据
为了有效使用爬虫，在用爬虫的时候我们需要在页面上做一些事情。我们来创建一个爬虫来收集页面标题、正文的第一个段落，以及编辑页面的链接（如果有的话）这些信息。
第一步，我们需要先观察网站上的页面，然后制定采集模式，通过F12（一般情况下）审查元素，即可看到页面组成。
观察维基网络页面，包括词条和非词条页面，比如隐私策略之类的页面，可以得出下面的规则：
所有的标题都是在h1→span标签里，而且页面上只有一个h1标签。
所有的正文文字都在div#bodyContent标签里，如果我们想获取第一段文字，可以用div#mw-content-text→p，除了文件页面，这个规则对所有页面都适用。
编辑链接只出现在词条页面上，如果有编辑链接，都位于li#ca-edit标签的li#ca-edit→span→a里面。
调整一下之前的代码，我们可以建立一个爬虫和数据采集的组合程序，代码如下：
import redef getLinks(pageUrl):global pageshtml = urlopen("" + pageUrl)soup = BeautifulSoup(html)try:print(soup.h1.get_text())print(soup.find(id="mw-content-text").findAll("p")[0])print(soup.find(id="ca-edit").find("span").find("a").attrs['href'])except AttributeError:print("页面缺少属性")for link in soup.findAll("a", href =re.compile("^(/wiki/)")):if 'href' in link.attrs:#这是新页面newPage = link.attrs['href']print("------------------\n"+newPage)
这个for循环和原来的采集程序基本上是一样的，因为不能确定每一页上都有所有类型的数据，所以每个打印语句都是按照数据在页面上出现的可能性从高到低排列的。
数据存储到MySQL
前面已经获取了数据，直接打印出来，查看比较麻烦，所以我们就直接存到MySQL里面吧，这里只存链接没有意义，所以我们就存储页面的标题和内容。前面我有两篇文章已经介绍过如何存储数据到MySQL，数据表是pages，这里直接给出代码：
import reimport datetimeimport randomimport pymysqlconn = pymysql.connect(host = '127.0.0.1',port = 3306, user = 'root', passwd = '19930319', db = 'wiki', charset ='utf8mb4')cur = conn.cursor()cur.execute("USE wiki")#随机数种子random.seed(datetime.datetime.now())#数据存储def store(title, content):cur.execute("INSERT INTO pages(title, content)VALUES(\"%s\", \"%s\")", (title, content))cur.connection.commit()def getLinks(articleUrl):html = urlopen("" + articleUrl)title = soup.find("h1").get_text()content =soup.find("div",{"id":"mw-content-text"}).find("p").get_text()store(title, content)returnsoup.find("div",{"id":"bodyContent"}).findAll("a",href=re.compile("^(/wiki/)((?!:).)*$"))#设置第一页links =getLinks("/wiki/Kevin_Bacon")try:while len(links)>0:newArticle = links[random.randint(0, len(links)-1)].attrs['href']print (newArticle)links = getLinks(newArticle)finally:cur.close()conn.close()
小结
今天主要讲一下Python中遍历采集一个网站的链接，方便下面的学习。
希望通过上面的操作能帮助大家。如果你有什么好的意见，建议，或者有不同的看法，我都希望你留言和我们进行交流、讨论。