python站内搜索

1. 关于python的学习

1、Python 介绍

学习一门新的语言之前，首先简单了解下这门语言的背景。Python 是一种面向对象的解释型计算机程序设计语言，由荷兰人 Guido van Rossum 于 1989 年发明，第一个公开发行版发行于 1991 年。Python 在设计上坚持了清晰划一的风格，这使得 Python 成为一门易读、易维护，并且被大量用户所欢迎的、用途广泛的语言。Python 具有丰富和强大的库。它常被昵称为胶水语言，能够把用其他语言制作的各种模块(尤其是 C/C++)很轻松地联结在一起。

2、Python 技术浪潮

IT行业热门技术，更新换代非常的快，技术的浪潮一波接着一波，最初的浪潮无疑是桌面时代，使用 C# 搭建桌面应用开始崭露头角，MFC 还是计算机科学专业必学会的东西。接着就是以网站搭建为应用的背景，PHP，Ruby 等语言为主的。再到近几年非常火热的以移动开发为应用背景，java(Android 开发)或者 OC(iOS 开发)语言为主。很明显如今的浪潮就是以大数据和机器学习为应用背景，Python 语言为主。站在风尖浪口，猪都可以飞的起来。抓住这波技术浪潮，对于从事 IT 行业的人员来说有莫大的帮助。

3、Python 学习

学习一项新的技术，起步时最重要的是什么?就是快速入门。学习任何一个学科的知识时，都有一个非常重要的概念：最少必要知识。当需要获得某项技能的时候，一定要想办法在最短的时间里弄清楚都有哪些最少必要知识，然后迅速掌握它们。

对于快速入门 python 来说最少必要知识，有以下几点。

(1) Python 基础语法

找一本浅显易懂，例子比较好的教程，从头到尾看下去。不要看很多本，专注于一本。把里面的例程都手打一遍，搞懂为什么。推荐去看《简明python教程》，非常好的一本 Python 入门书籍。

(2)Python 实际项目

等你对 Python 的语法有了初步的认识，就可以去找些 Python 实际项目来练习。对于任何计算机编程语言来说，以实际项目为出发点，来学习新的技术，是非常高效的学习方式。在练习的过程中你会遇到各种各样的问题：基础的语法问题(关键字不懂的拼写)，代码毫无逻辑，自己的思路无法用代码表达出来等等。这时候针对出现的问题，找到对应解决办法，比如，你可以重新查看书本上的知识(关于基础语法问题)，可以通过谷歌搜索碰到的编译错误(编辑器提示的错误)，学习模仿别人已有的代码(写不出代码)等等。已实际项目来驱动学习，会让你成长非常的快。Python 实际项目网上非常的多，大家可以自己去搜索下。合理利用网络资源，不要意味的只做伸手党。

(3) Python 的学习规划

当你把上面两点做好以后，你就已经入门了 Python，接下来就是规划好自己的以后的学习规划。能找到一个已经会 Python 的人。问他一点学习规划的建议，然后在遇到卡壳的地方找他指点。这样会事半功倍。但是，要学会搜索，学会如何更好地提问，没人会愿意回答显而易见的问题。当然如果你身边没有人会 Python，也可以在网上搜索相应的资料。

Python 可以做的事非常的多，比如：Python 可以做日常任务，比如自动备份你的MP3;可以做网站，很多着名的网站像知乎、YouTube 就是 Python 写的;可以做网络游戏的后台，很多在线游戏的后台都是 Python 开发的。每个人都有自己感兴趣的方向，有的对网站开发比较感兴趣，有的对数据处理感兴趣，有的对后台感兴趣。所以你们可以根据自己感兴趣的方向，网上搜索相关资料，加以深入的学习，规划好自己未来的方向。只要坚持，你就能精通 Python，成为未来抢手的人才。

2. python 模块的路径搜索方法

导入一个叫 spam 的模块时，解释器先在当前目录中搜索名为 spam.py 的文件。如果没有找到的话，接着会到 sys.path 变量中给出的目录列表中查找。 sys.path 变量的初始值来自如下：
输入脚本的目录（当前目录）。
环境变量 PYTHONPATH 表示的目录列表中搜索
(这和 shell 变量 PATH 具有一样的语法，即一系列目录名的列表)。
Python 默认安装路径中搜索。
Note
在支持符号链接的文件系统中，输入的脚本所在的目录是符号链接指向的目录。 换句话说也就是包含符号链接的目录不会被加到目录搜索路径中。
实际上，解释器由 sys.path 变量指定的路径目录搜索模块，该变量初始化时默认包含了输入脚本（或者当前目录）， PYTHONPATH 和安装目录。这样就允许 Python 程序了解如何修改或替换模块搜索目录。需要注意的是由于这些目录中包含有搜索路径中运行的脚本，所以这些脚本不应该和标准模块重名，否则在导入模块时 Python 会尝试把这些脚本当作模块来加载。这通常会引发错误。

3. 求一python写的简单的搜索引擎

可能帮不上忙。

但别的语言有现成的。

用java 的 solr做搜索，索引，分词。只需要配置xml，不用写代码。
然后加上前端页面搜索就完成了。

用python的scrapy可以做爬虫。

你的需求我感觉简单做，都不需要索引，直接查数据库。模糊查询

还有一个java的nutch，几乎不用写代码，直接爬虫＋索引＋界面 一套都实现好了，什么高亮，快照都有，直接用。

不知道你能出多少钱？

4. 如何用python爬虫通过搜索获取某站上的商品图片

一般用raw_input，input会执行一次求值，一般不是想要的效果。

urlopen，貌似需要自己手动进行url编码，否则中文参数请求会失败。

5. 用python实现网页搜索功能

不知道你知道不知道AJAX，如果知道这个就容易弄了，用jq来POST数据，然后前面只用一个静太页就可以，点搜索就用ajax把搜索请求发过去，点修改就发修改请求
如果在一个页面要实现也可以在下面加一个隐藏的input用来定义是哪个功能，然后后台再根据这个功能名去判断如何处理

6. 毕业设计中怎样用python写一个搜索引擎的分

1、 网络连接需要持续连接（persistent connection），DNS解析的瓶颈（先查本地DNS缓存）

实现方法:基于python httplib（对http1.1完成对持续连接的支持(python的httplib完全支持http1.1)，如果不是http1.1那么可以使用urlopen对其进行一次连接）并对其socket对象进行控制,关键是加入对读取DNS本地缓存(在我的机制下这个根本就不是主要问题可以暂时忽略)，以及有settimeout(Igloo)(搞定,就用setdefaulttimeout())的支持(或者利用自己的DNS服务器,进行优化处理),以及对sock对象的settimeout进行设置,防止长时间的等待一个有可能连接不上的web服务器.(要测试一下连接模块和DNS解析模块在访问不存在url在默认情况下的时间消耗)对站点的ip解析出来后就直接用ip进行连接而避免了重复调用DNS解析.例子:socket.gethostbyname("www.163.com")

网络连接下载模块非常重要，需要精心反复测试，因为有可能碰到一些不规范的web服务器，如果没有加以考虑会使整个线程崩溃。

2、 多线程:机器任务的分配及站点任务的分配。

实现方法：（在某台机器上实现，在对本机内存cpu的消耗情况判断后对机器任务进行分配；在对和站点的连接情况进行判断后对站点任务进行分配）
机器任务的分配：对于机器负担的情况调整在一个机器开的线程的个数。（在关闭线程时注意要先让线程完成当前运行任务）
站点任务的分配：就是某个机器对一个站点开的线程的个数的分配。（同样是要注意关闭线程时先让其完成当前任务）

3、 对web文件树遍历过程更好的控制，对web文件树在广度优先遍历时层次的判断。（整个网络是一个图，而某个站点的模型更接近于一棵树）

实现方法：在每个地址进入队列时加一个层次号，那么要遍历第n层的话那么遍历到第一个n+1就停止读取。

4、 利用robotparser解析robots.txt

5、 单个机器spider的作用：

a) 同2多线程3文件树的遍历

b) 将获取的外部url发回中央控制器，并从中央控制器取回新的外部url。

6、 中央控制器的作用：

a) 观察各机器的状态包括：cpu、内存、线程、站点、网络流量
b) 观察对外整体网络流量和连接状况，可以根据网络状况来调节timeout。

c) 接受各个机器发送过来的外部url并对每个url的重复数字计数。然后分配到各个机器。（分配时要用爬行策略控制器对外部url进行排序来分配，Igloo利用Page Rank，我们可以使用最简单的重复越多重要系数就越高来进行排序）

d) 分布式URL分配算法：Igloo1.2的二级哈希映射算法（集中式分配算法那个中央控制器容易成为系统瓶颈）复习哈希算法，还有就是对url是否访问过的判断（Igloo使用的是URL Trie滞后合并策略）。可以使用Berkeley DB作为URL Trie的替代品。两种实现方式的比较：

i. 现在的想法：（面向站点，信息颗粒大）外部链接只是保存主机名比如:www.163.com, 站内访问用解析好的ip地址维持连接，用相对链接来得到各个页面，这样就要维护一个外部链接列表，几个站点的链接列表。优点：节省内存，对某个站点的信息获取全面，对站点的出现频率统计，排序，重要站点先取。 缺点：对链接的获取的全面性得不到保证，而且不能获取更多的重要页面，每个站点的重要页面也不会很多。
ii. 老方案：（面向页面，信息颗粒小）所有连接一视同仁。缺点：浪费资源，对单一站点的获取不一定全面。优点：可以得到全面的链接图，可以使用Page Rank对列表进行排序，页面更重要就在最前面。

7、 解析html（超级链接的提取）搞定（用python的sgmllib）缺点：速度太慢（可能会造成瓶颈，要好好包装好，以后有机会换掉它）

7. python 搜索

用 walk 函数 遍历全部文件

查找出 后缀为 jpg的文件

import os,shutil
path = "D:\\"
pattern = "*.jpg"

#Print files that match to file extensions
def printFiles(dirList, spaceCount, typeList):
for file in dirList:
for ext in typeList:
if file.endswith(ext):
print "/".rjust(spaceCount+1) + file

#shutil.file(src,dst)#并移动到F盘

break

#Print each sub-directory
def printDirectory(dirEntry, typeList):
print dirEntry[0] + "/"
printFiles(dirEntry[2], len(dirEntry[0]),
typeList)

#Convert pattern string to list of file extensions
extList = []
for ext in pattern.split(";"):
extList.append(ext.lstrip("*"))

#Walk the tree to print files
for directory in os.walk(path):
printDirectory(directory, extList)

8. python基于内容的搜索引擎怎么开发

...这个免费是不会给你的。。相信我没错的。

9. 如何用python实现在某网页搜索框中输入字段后自动搜索信息并抓取

用爬虫跟踪下一页的方法是自己模拟点击下一页连接，然后发出新的请求；
参考例子如下：
item1 = Item()
yield item1
item2 = Item()
yield item2
req = Request(url='下一页的链接', callback=self.parse)
yield req
注意：使用yield时不要用return语句。

10. 用python制作一个搜索引擎

可能帮不上忙。但别的语言有现成的。用java 的 solr做搜索，索引，分词。只需要配置xml，不用写代码。然后加上前端页面搜索就完成了。用python的scrapy可以做爬虫。你的需求我感觉简单做，都不需要索引，直接查数据库。模糊查询还有一个java的nutch，几乎不用写代码，直接爬虫＋索引＋界面 一套都实现好了，什么高亮，快照都有，直接用。不知道你能出多少钱？