豆瓣python架构

‘壹’ 豆瓣为什么用python

1.不同编程语言的运行效率虽然有不同,但是没有你想象的那么大的差异。
2.大型架构要想提高运行效率,关键在于提高伸缩性和吞吐量,而不是考虑单一程序的效率。高级的...
3.人家只是在应用层用某种语言,在大型架构中,这只是占到程序的一部分,特别是瓶颈不在这里。
4.Python也有高性能优化的方案,比如二次编译,JIT和runtime的优化

‘贰’ python可以用来干嘛

·Web应用开发
Python常被用于Web开发，随着Python的Web开发框架逐渐成熟，如Django、flask等等，开发者们可以更轻松地开发和管理复杂的Web程序。通过mod_wsgi模块，Apache可以运行Python编写的Web程序，举个最直观的例子，全球最大的搜索引擎
Google，在其网络搜索系统中就广泛使用 Python 语言。另外，我们经常访问的集电影、读书、音乐于一体的豆瓣网(如图 1 所示)，也是使用 Python
实现的。不仅如此，全球最大的视频网站 Youtube 以及 Dropbox(一款网络文件同步工具)也都是用 Python 开发的。
·自动化运维
Python 是标准的系统组件，可以在终端下直接运行 Python。有一些 Linux 发行版的安装器使用 Python 语言编写，例如 Ubuntu 的
Ubiquity 安装器、Red Hat Linux 和 Fedora 的 Anaconda 安装器等等。另外，Python
标准库中包含了多个可用来调用操作系统功能的库。例如，通过 pywin32 这个软件包，我们能访问 Windows 的 COM 服务以及其他 Windows
API;使用 IronPython，我们能够直接调用 .Net Framework。
·人工智能领域
人工智能是现如今非常火的一个方向， Python
在人工智能领域内的机器学习、神经网络、深度学习等方面，都是主流的编程语言。可以这么说，基于大数据分析和深度学习发展而来的人工智能，其本质上已经无法离开
Python 的支持了。
·网络爬虫
Python语言很早就用来编写网络爬虫。Google 等搜索引擎公司大量地使用 Python 语言编写网络爬虫。从技术层面上将，Python
提供有很多服务于编写网络爬虫的工具，例如 urllib、Selenium 和 BeautifulSoup 等，还提供了一个网络爬虫框架 Scrapy。
·游戏开发
很多游戏都是使用C++编写图形显示等高性能的模块，使用Python或Lua编写游戏的逻辑，相比Python，Lua的功能更简单，体积也更小，但Python支持更多的特性和数据类型。除此之外，Python
可以直接调用 Open GL 实现 3D 绘制，这是高性能游戏引擎的技术基础。事实上，有很多 Python 语言实现的游戏引擎，例如 Pygame、Pyglet
以及 Cocos 2d 等。

‘叁’ 《Python面向对象编程指南豆瓣》pdf下载在线阅读全文，求百度网盘云资源

《Python面向对象编程指南豆瓣》网络网盘pdf最新全集下载:
链接：https://pan..com/s/1gqhzxguIli3azhI1vTdPWQ

‘肆’ 豆瓣读书数据分析-python

豆瓣读书数据分析-python

（思路来自课程老师绿树）刚刚学完python数据分析的课程，决定做一个有关python数据分析的小项目，思来想去，还是决定分析豆瓣的数据，因为豆瓣是python写成的。用python爬虫抓取数据较为方便，比一般网站少很多页面bug问题，而且豆瓣上的数据量大概在million这个量级，算是算太大的，但也不小。正好手里有一份跑出的大概300多万的数据，直接开始分析。

首先导入数据，将数据赋给一个dataframe，取名为douban

douban=pd.read_table("douban.dat",sep="::",names=["user","book","rate"])

看一下这个数据的描述 

总共3648104行，其他的诸如平均数，中位数的值，是豆瓣书籍的链接后缀，并无实际意义。

然后关于豆瓣读书用户

user_count=douban.groupby('user').count()

user_count=user_count.sort('book',ascending=False)

、我们发现共有38万多读者，计数最多的一位eastwolf东狼，真的很厉害，一共写了4000多的书评。不过我们不排除这是个机器人或者公众号，因为4000度书评，就算一天看一本书，也要写11年，而豆瓣创建才不过11年。有点假，不过这个问题我们暂且不谈，仅从数据来看，第一名最爱读书的书霸，就是eastwolf了，大家鼓掌。

然后我们再来看一下书籍的信息

看一下描述

最受欢迎的书有2071个书评，平均每本书大概有45个书评。

看一下具体情况

我们挑出书评最多的10本，找到图片，就是以下这10本书

可以发现由于不同出版社不同翻译的问题，10本书实际是4本，豆瓣果然是文艺青年聚集地，《小王子》《追风筝的人》《活着》几乎就是文艺青年必备了。 

  豆瓣做为文艺青年聚集地，本身用户属于素质较高的群体。里面分很多小组，读书，电影，音乐，算是给大家找志同道合之友的好地方。关于读书这个方面，在大家都很爱读书的基础上，我们可以用户进行聚类分析。依靠的根据是对书籍的打分，这样来计算不同用户之间的距离。因为读的书目越相似，对同一本书打分结果越接近，说明价值观越相同，找出这样的相似者，就能给用户推荐一下潜在的‘同志’，算是给豆瓣增加一个社交功能了。

  首先我们把用户信息和书本信息结合，因为考虑到大部分书籍用户之间交集为空，而且我的电脑的处理能力有限，所以截取了用户和书籍的前100进行分析，这样得到一个新的dataframe

然后我们建立邻近性矩阵

ubrcore=doubancore.pivot('user','book','rate') 

即使在取前100的条件下，依然大部分是空白，为了能够计算，我们把空白处替换成0.

ubrcore1=ubrcore.fillna(value=0)

然后对要进行距离计算，由于本身对书本的打分在1到5之间，纯粹的大小差距并不大，所以我们更多的考虑在方向上的差异，所以用余弦距离来反应不同用户之间的差异性。

 构建公式，并将计算结果给userdistdf这个dataframe

Userdistdf结果如下

最像用户的就是他自己，余弦距离都是1。其他人只能是部分相像，果然人生得一知己难啊。不过知己找不到，我们可以给用户找10个部分相像的‘同志’

构建函数

试一下

Bingo，成功!!!!

这样，我们可以为用户qdmimi19810920找到了10个志同道合的‘同志’了。

‘伍’ 国内用ROR框架做的着名web网站的是不是不多，是不是国内的ROR社区环境不太好我只知道豆瓣是用python写的

因为Twitter, Github两个知名网站的使用ror也逐渐的出名态并起来。国内的iteye就是RoR开发的，还有http://ruby-china.org/。但是在国内，Ruby是小众语言，所以RoR的社区也不大。

每种技术的社区里，都有些布道者，他们会经常写一些文字，展现某种技术的优越。那样做，并非是为了体现自己“拽”帆局迹，只是发表自己的见解而已，这种做法对社区和自己都是有益的。好的框架，都是集成了众多“最佳实践”的，把一些重复的工作自动化了，这是进步的体现。用RoR和Django，你可以敲几句命令，就可以把一个网站的骨架搭起来，但是你想把这个骨架，开发成一个能解决实际问题，甚至能创造收益的产品，还是需要付出一番血和汗的。

至于“用 Ruby 做的成功商业网站少是什么原因”，我找到了一个人的回答，我也比较赞同，现贴出来：
首先 Ruby（on Rails） 是后起之秀，所以“少”，是一个正常的现象。一个技术要成功，需要一定的时间来证明。

一个项目用成熟的技术如 Java 和 PHP 来做，碰到问题，可以较容易找到解决的方案，因为这方面别人早都碰过了，但用 Ruby 这样的技术来做，就不一定。

另外还有一个整合问题，比如一些第三方类库（比如支付），是用 Java 或 PHP 来做，用 Ruby 做的项目，不能够直接集成它们。虽然这方面开发工作量不大，但仍让一部分人生畏。

最后一个我认为较重要的因素就是：项目不采用 Ruby 来做，很多时候不是技术（比如技术太难或这样的技术人员难腊灶找）的原因，更多是担心责任和风险。

如果用 Java 或 PHP 这样的技术来做项目，碰到问题或瓶颈，上级通常不会怀疑是开发语言选择的问题，但如果是用 Ruby 来做，可能管理层第一时间就会怀疑你技术人员没有选择好技术，是该技术导致的问题，这时候责任人通常是有口难辩。

好几年前那些用 Unix 的单位的技术主管宁愿继续选择昂贵的 Unix，而不愿意尝试技术上已经成熟且更便宜的 Linux，一个重要原因就是怕出问题自己一身责任。当初的免费 Linux 跟现在开发效率更高的 Ruby（Rails），有点相似。

‘陆’ 豆瓣为什么用python

这类网站的特点就是“Always Beta”，不断有新的产品和功能升级来为用户提供更好的服务。作为使用Python进行开发的网站，有效的程序开发配置和版本控岩斗制值得我们学习。
主要开发环境配置手枣迟就是SVN+Trac+Bitten。版本管理系统使用的是Subversion（SVN），使用Trac来管理协同开发，同时使用Trac的Bitten插件进行持续集成。
在开发模式方面，由于是Always Beta，采用的方式是：站点运行在主分支上，开发者在开发新功能时会建立一个子分支，新功能开发并测试完成后，会更新服务器的主分支版本，之后上线。
在开发框架方面，主要使用Quixote（被称之毕李为“堂吉诃德”，一个轻量级的Python Web框架，简单、高效，代码简洁）；后台运行的Web服务主要使用Web.py（web.py也是一个Python的Web框架，简单且功能强大）。

‘柒’ 【python爬虫实战】爬取豆瓣影评数据

爬取豆瓣影评数据步骤：
1、获取网页请求销谨册
2、解亏宏析获取的网页
3、提速数据晌备
4、保存文件

‘捌’ 学python推荐的10本豆瓣高分书单，小白到大佬，没看过太可惜了

前言：我自己整理了几本书籍的电子档，需要的可以私信我 “书籍” 免费领取

本书一共12章，每一章都会用一个完整的 游戏 来演示其中的关键知识点，并通过编写好玩的小软件这种方式来学习编程，引发读者的兴趣，降低学习的难度。每章最后都会对该章的知识点进行小结，还会给出一些小练习让读者试试身手。作者很巧妙的将所有编程知识嵌入到了这些例子中，真正做到了寓教于乐。

《Python编程初学者指南》内容浅显易懂，示例轻松活泼，是国际畅销的Python初学者教程，适合对Python感兴趣的初级和中级读者。

二，Python编程快速上手

本书是一本面向实践的Python编程实用指南。这本书不仅是介绍Python语言的基础知识，而且还通过项目实践教会读者如何应用这些知识和技能。 书的首部分介绍了基本Python编程概念，第二部分介绍了一些不同的任务，通过编写Python程序，可以让计算机自动完成它们。第二部分的每一章都有一些项目程序，供读者学习。每章的末尾还提供了一些习题和深入的实践项目，帮助读者巩固所学的知识。附录部分提供了所有习题的解答。

本书适合缺乏编程基础的初学者。通过阅读本书，读者将能利用强大的编程语言和工具，并且会体会到Python编程的快乐。

三，Python编程快速上手(第2版)

在本书中，你将学习利用Python编程在几分钟内完成手动需要几小时的工作，无须事先具备编程经验。通过阅读本书，你会学习Python的基本知识， 探索 Python丰富的模块库，并完成特定的任务（例如，从网站抓取数据，读取PDF和Word文档等）。本书还包括有关输入验证的实现方法，以及自动更新CSV文件的技巧。一旦掌握了编程的基础知识，你就可以毫不费力地创建Python程序，自动化地完成很多繁琐的工作，包括:

① 在一个文件或多个文件中搜索并保存同类文本；

② 创建、更新、移动和重命名成百上千个文件和文件夹；

③ 下载搜索结果和处理Web在线内容；

④ 快速地批量化处理电子表格；

⑤ 拆分、合并PDF文件，以及为其加水印和加密；

⑥ 向特定人群发送提醒邮件和文本通知；

⑦ 同时裁剪、调整、编辑成千上万张图片。

四，Python编程

本书是一本针对所有层次的Python 读者而作的Python 入门书。全书分两部分：第一部分介绍用Python 编程所必须了解的基本概念，包括matplotlib、NumPy 和Pygal 等强大的Python 库和工具介绍，以及列表、字典、if 语句、类、文件与异常、代码测试等内容；第二部分将理论付诸实践，讲解如何开发三个项目，包括简单的Python 2D 游戏 开发如何利用数据生成交互式的信息图，以及创建和定制简单的Web 应用，并帮读者解决常见编程问题和困惑。

五，Python编程（第2版)

本书是针对所有层次Python读者而作的Python入门书。全书分两部分：第一部分介绍用Python编程所必须了解的基本概念，包括Matplotlib等强大的Python库和工具，以及列表、字典、if语句、类、文件与异常、代码测试等内容；第二部分将理论付诸实践，讲解如何开发三个项目，包括简单的2D 游戏 、利用数据生成交互式的信息图以及创建和定制简单的Web应用，并帮助读者解决常见编程问题和困惑。

第2版进行了全面修订，简化了Python安装流程，新增了f字符串、get()方法等内容，并且在项目中使用了Plotly库以及新版本的Django和Bootstrap，等等。

六，Python深度学习

本书由Keras之父、现任Google人工智能研究员的弗朗索瓦•肖莱（François Chollet）执笔，详尽介绍了用Python和Keras进行深度学习的 探索 实践，涉及计算机视觉、自然语言处理、生成式模型等应用。书中包含30多个代码示例，步骤讲解详细透彻。由于本书立足于人工智能的可达性和大众化，读者无须具备机器学习相关背景知识即可展开阅读。在学习完本书后，读者将具备搭建自己的深度学习环境、建立图像识别模型、生成图像和文字等能力。

七，Python极客项目编程

本书包含了一组富有想象力的编程项目，它们将引导你用Python 来制作图像和音乐、模拟现实世界的现象，并与Arino 和树莓派这样的硬件进行交互。你将学习使用常见的Python 工具和库，如numpy、matplotlib 和pygame等等。

八，Python神经网络编程

本书揭示神经网络背后的概念，并介绍如何通过Python实现神经网络。全书分为3章和两个附录。第1章介绍了神经网络中所用到的数学思想。第2章介绍使用Python实现神经网络，识别手写数字，并测试神经网络的性能。第3章带领读者进一步了解简单的神经网络，观察已受训练的神经网络内部，尝试进一步改善神经网络的性能，并加深对相关知识的理解。附录分别介绍了所需的微积分知和树莓派知识。

本书适合想要从事神经网络研究和 探索 的读者学习参考，也适合对人工智能、机器学习和深度学习等相关领域感兴趣的读者阅读。

九，趣学ython编程

《趣学python编程》是一本轻松、快速掌握python编程的入门读物。全书分为3部分，共18章。第1部分是第1章到第12章，介绍python编程基础知识，包括python的安装和配置、变量、字符串、列表、元组和字典、条件语句、循环语句函数和模块、类、内建函数和绘图，等等。第2部分是第13章和第14章，介绍如何用python开发实例 游戏 弹球。第3部分包括第15章到第18章，介绍了火柴人实例 游戏 的开发过程。

这本书语言轻松，通俗易懂，讲解由浅入深，力求将读者阅读和学习的难度降到最低。任何对计算机编程有兴趣的人或者首次接触编程的人，不论孩子还是成人，都可以通过阅读本书来学习python编程。

十，Python网络编程（第3版)

本书针对想要深入理解使用Python来解决网络相关问题或是构建网络应用程序的技术人员，结合实例讲解了网络协议、网络数据及错误、电子邮件、服务器架构和HTTP及Web应用程序等经典话题。具体内容包括：全面介绍Python3中最新提供的SSL支持，异步I/O循环的编写，用Flask框架在Python代码中配置URL，跨站脚本以及跨站请求伪造攻击网站的原理及保护方法，等等。

‘玖’ 豆瓣为什么用python

1.不同编程语言的运行效率虽然有不同,但是没有你想象的那么大的差异。
2.大型架构要想提高运行效率,关键在于提高伸缩性和吞吐量,而不是考虑单一程序的效率。高级的...
3.人家只是在应用层用某种语言,在大型架构中,这只是占到程序的一部分,特别是瓶颈不在这里。
4.Python也有高性能优化的方案,比如二次编译,JIT和runtime的优化

‘拾’ python web开发需要引入哪些框架

对初学者来说，循序渐进是最重要的，我推荐学习 Flask（Welcome | Flask (A Python Microframework)）
Flask 很轻，花很少的成本就能够开发一个简单的网站。非常适合初学者学习。
Flask 框架学会以后，可以考虑学习插件的使用。例如使用 WTForm + Flask-WTForm 来验证表单数据，用 SQLAlchemy + Flask-SQLAlchemy 来对你的数据库进行控制。
BTW：果壳网基于 Flask 开发的。
另外也简单介绍下其他框架：
1. Django。如楼上所说，是一个全能型框架。目前 Django 的使用面还是很广的，有学习的价值，但是不建议初学者学习，因为要学习的东西太多了，一下子难以吸收会失去兴趣。当然，Django 的目的是为了让开发者能够 快速 地开发一个网站，它提供了很多模块，其中我最喜欢的就是 admin 模块，http://your.site.com/admin 就进入了网站的后台（内置的哦~）方便地对数据进行操作，等等。。。。因此，如果对 Django 熟悉的话，papapa 一下子就写好一个网站的原型了。
2. Tornado。传说中性能高高的框架。Tornado 是一个很好的框架，支持异步处理的功能，这是它的特点，其他框架不支持。另外一点是，Tornado 的设计似乎更注重 RESTful URL。但 Tornado 提供了网站基本需要使用的模块外，剩下的则需要开发者自己进行扩展。例如数据库操作，虽然内置了一个 database 的模块（后来独立出去了，现在叫做 torndb，bdarnell/torndb · GitHub）但是不支持 ORM，快速开发起来还是挺吃力的。如果需要 ORM 支持的话，还需要自己写一层将 SQLAlchemy 和 Tornado 联系起来，而且这里还有一个坑。
BTW：知乎就是基础 Tornado 开发的。
3. Bottle。Bottle 和 Flask 都属于轻量级的 Web 框架。但是 Bottle 似乎落寞了。我觉得跟他的 API 设计有关系。个人认为 Bottle 使用起来不那么顺手，因此也用得少。这里不做太多介绍。
4. web.py。也是很轻的一个框架，使用不多，也不做介绍。
5. web2py。我看楼上都没有对这个框架做介绍。这个框架是 Google 在 web.py 基础上二次开发而来的，兼容 GAE 。性能据说很高，曾经用他来做自己的主页，感觉也还不错。缺点同样是对扩展支持不太好，需要自己进行扩展。
6. Quixote。着名的 豆瓣 就是基于 Quixote 开发的。跟上面几个框架不同，Quixote 的路由会有些特别。另外 Quixote 的性能据说也好。