㈠ python可以做到自动抓取互联网上的新闻更新到网站吗
理论上完全可以实现，相应的技术方案也是比较成熟的。不知道需要爬取的网站内容复杂不复杂的。目前我想到的方案是借助爬虫框架，数据存储可利用mysql，mongodb之类的。打个比方，这是我用scrapy爬取诗词网站的数据，腊纯然后存储到Mongodb中，就是缺少一部更新。
我们可以设定一个任务，任务可以是每1分钟更新一下爬取数据，这样就可以做到对应网站数据的更新，至于自身网站数据的更新，因为是客户端发起的，所以，只要做到服务器商数汪带据更新了，客户端就可以看到最新的数据，当然，需要注意相应的缓存技术的影响。
总的来说，爬取网站的数据然后更新到网站，是完全可以实现的。主要是看出于什么的目的，以及爬轮陵咐取的网站的复杂性问题。
㈡ [内附完整源码和文档] 基于python的新闻检索系统
1 系统介绍
1.1 系统需求
新闻检索系统：定向采集不少于 4 个中文社会新闻网站或频道，实现这些网站新闻信息及评论信息的自动爬取、抽取、索引和检索。本项目未使用 lucene，Goose 等成熟开源框架。
1.2 系统思路与框架
本系统总体的实现思路如图 1 所示：
一个完整的搜索系统主要的步骤是：
对新闻网页进行爬虫得到语料库
抽取新闻的主体内容，得到结构化的 xml 数据
内存式单遍扫描索引构建方法构建倒排索引，供检索模块使用
用户输入查询，得到相关文档返回给用户
2 设计方案
2.1 新闻爬取
2.1.1 算法简述
该模块针对搜狐，网易，腾讯三大主流新闻网站及官方的参考消息网站进行了新闻获取。并基于其网站结构，设计了不同的爬取模式。由于网站架构两两相似，以下选取两种类型的典型代表进行介绍：
（1）搜狐新闻
搜狐新闻除正常主页外，存在隐藏的列表式新闻页 ， 如 http://news.sohu.com/1/0903/62/subject212846206.shtml 。
（2）网易新闻
可以将网易新闻及腾讯新闻归结为一般类型的新闻主页，我们采用了自新闻主页开始的广度优先的递归爬取策略。注意到新闻的正文页往往是静态网页.html，因此，我们将网页中出现的所有以.html 结尾的网页的 URL 均记录下来，在爬取到一定量时，进行一次去重。
对于一些不是新闻的错分网页，容错处理即通过检查新闻正文标签
时会被剔除。
新闻正文页中我们重点关注内容，时间，评论获取。
2.1.2 创新点
实现了对新闻网页动态加载的评论进行爬取，如搜狐新闻评论爬取
未借助开源新闻爬取工具，自己实现了对新闻标题，正文，时间，评论内容，评论数目的高效爬取
2.2 索引构建
分词，我们借助开源的 jieba 中文分词组件来完成，jieba 分词能够将一个中文句子切成一个个词项，这样就可以统计 tf, df 了
去停用词，去停词的步骤在 jieba 分词之后完成
倒排记录表存储，词典用 B-树或 hash 存储，倒排记录表用邻接链表存储方式，这样能大大减少存储空间
倒排索引构建算法使用内存式单遍扫描索引构建方法（SPIMI），就是依次对每篇新闻进行分词，如果出现新的词项则插入到词典中，否则将该文档的信息追加到词项对应的倒排记录表中。
2.3 检索模块
2.3.1 检索模式
（1）关键词检索
查询即根据用户输入的关键字，返回其相应的新闻。首先根据用户的查询进行 jieba 分词，记录分词后词项的数量以字典形式进行存储。
完整的源码和详细的文档，上传到了 WRITE-BUG技术共享平台 上，需要的请自取：
https://www.write-bug.com/article/3122.html
㈢ 有哪些知名的公司在用Python
Reddit - 社交分享网站，最早用Lisp开发，在2005年转为python
Dropbox - 文件分享服务
豆瓣网 - 图书、唱片、电影等文化产品的资料数据库网站
Django - 鼓励快速开发的Web应用框架
Fabric - 用于管理成百上千台Linux主机的程序库
EVE - 网络游戏EVE大量使用Python进行开发
Blender - 以C与Python开发的开源3D绘图软件
BitTorrent - bt下载软件客户端
Ubuntu Software Center - Ubuntu 9.10版本后自带的图形化包管理器
YUM - 用于RPM兼容的Linux系统上的包管理器
IV - 游戏《文明4》
Battlefield 2 - 游戏《战地2》
Google - 谷歌在很多项目中用python作为网络应用的后端，如Google Groups、Gmail、Google Maps等，Google App Engine支持python作为开发语言
NASA - 美国宇航局，从1994年起把python作为主要开发语言
Instrial Light & Magic - 工业光魔，乔治·卢卡斯创立的电影特效公司
Yahoo! Groups - 雅虎推出的群组交流平台
YouTube - 视频分享网站，在某些功能上使用到python
Cinema 4D - 一套整合3D模型、动画与绘图的高级三维绘图软件，以其高速的运算和强大的渲染插件着称
Autodesk Maya - 3D建模软件，支持python作为脚本语言
gedit - Linux平台的文本编辑器
GIMP - Linux平台的图像处理软件
Minecraft: Pi Edition - 游戏《Minecraft》的树莓派版本
MySQL Workbench - 可视化数据库管理工具
Digg - 社交新闻分享网站
Mozilla - 为支持和领导开源的Mozilla项目而设立的一个非营利组织
Quora - 社交问答网站
Path - 私密社交应用
Pinterest - 图片社交分享网站
SlideShare - 幻灯片存储、展示、分享的网站
Yelp - 美国商户点评网站
Slide - 社交游戏/应用开发公司，被谷歌收购
㈣ 如何用python计算两篇新闻文档之间的距离
你好，你可以考虑使用gensim的来做文本的相识度分析。主要使用的算法是tf-idf
tf：term frequency 词频
idf：inverse document frequency 倒文档频率
主要思想是：如果某个词或短语在一篇文章中出现的频率高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。
第一步：把每个网页文本分词，成为词包（bag of words）。
第三步：统计网页（文档）总数M。
第三步：统计第一个网页词数N，计算第一个网页第一个词在该网页中出现的次数n，再找出该词在所有文档中出现的次数m。则该词的tf-idf 为：n/N * 1/(m/M) （还有其它的归一化公式，这里是最基本最直观的公式）
第四步：重复第三步，计算出一个网页所有词的tf-idf 值。
第五步：重复第四步，计算出所有网页每个词的tf-idf 值。
3、处理用户查询
第一步：对用户查询进行分词。
第二步：根据网页库（文档）的数据，计算用户查询中每个词的tf-idf 值。
4、相似度的计算
使用余弦相似度来计算用户查询和每个网页之间的夹角。夹角越小，越相似。
㈤ 哪个科技新闻类网站比较好
国家级的有＂中新网科技＂，＂光明网科技＂，＂中国科技新闻网＂，＂人民网科技＂，＂新华网科技＂，＂中国经济网科技＂，＂央广网科技＂，＂央视网科技＂，＂中国科技网＂等是我国主要发布科技新闻的网站。