数据墙python

1. python 数据挖掘可以通过C/S或B/S模式部署吗如果可以，本地需要安装什么软件，服务端需要安装什么软件

1、硬件环境不同：
C/S 一般建立在专用的网络上， 小范围里的网络环境， 局域网之间再通过专门服务器提供连接和数据交换服务。 B/S 建立在广域网之上的， 不必是专门的网络硬件环境，例与电话上网， 租用设备。 信息自己管理。 有比C/S更强的适应范围， 一般只要有操作行迅系统和浏览器就行。

2、对安全要求不同 ：
C/S 一般面向相对固定的用户群， 对信息安全的控制能力很强。 一般高度机密的信息系统采用C/S 结构适宜。 可以通过B/S发布部分可公开信息。
B/S 建立在广域网之上， 对安全的控制能力相对弱， 面向是不可知的用户群。

3、对程序架构不同：
C/S 程序可以更加注重流程， 可以对权限多层次校验， 对系统运行速度可以较少考虑。
B/S 对安全以及访问速度的多重的考虑， 建立在需要更加优化的基础之上。 比C/S有更高的要求 B/S结构的程序架构是发展的趋势， 从MS的。Net系列的BizTalk 2000 Exchange 2000等， 全面支持网络的构件搭建的系统。 SUN 和IBM推的JavaBean 构件技术等，使 B/S更加成熟。

4、软件重用不同：
C/S 程序可以不可避免的整体性考虑， 构件的重用性不如在B/S要求下的构件的重用性好。
B/S 对的多重结构，要求构件相对独立的功能。 能够相对较好的重用。就入买来的餐桌可以再利用，而不是做在墙上的石头桌子

5、系统维护不同 :
系统维护是软件生存周期中，开销大。
C/S 程序由于整体性， 必须整体考察， 处理出现的问题以及系统升级。 升级难。 可能是再做一个全新的系统
B/S 构件组成，方面构件个别的更换，实现系统的无缝升级。 系统维护开销减到最小。用户从网上自己下载安装就可以实现升级。

6、处理问题不同：
C/S 程序可以处理用户面固定， 并且在相同区域， 安全要求高需求， 与操作系统相关。 应该都是相同的系物带圆统
B/S 建立在广域网上， 面向不同的用户群， 分散地域， 这是C/S无法作到的。 与操作系统平台关系最小。

7、用罩塌户接口不同
C/S 多是建立的Window平台上，表现方法有限，对程序员普遍要求较高
B/S 建立在浏览器上， 有更加丰富和生动的表现方式与用户交流。 并且大部分难度减低，减低开发成本。

2. Python 在编程语言中是什么地位为什么很多大学不教 Python

python的地位很高，目前是世界第5大编程语言。。但我觉得大学不教python，其实是正确的。
Python在诞生之初，只是用来在Linux上给Perl和shell做衔接用的“胶水”，而今天已经成为了主流的编程语言，能获得今天的地位，当然具备诸多优势。。。比如数学运算相关的各种库，爬虫，等等。。。但这都不是导致Python流行的最根本原因。
有没有比Python运算更强的语言？多得是
有没有比Python爬虫效率更高的语言？也不少
所以其实平日里随口道来的种种优势，并不是不可替代的。。这些优势，很多语言都具备。就比如perl，erlang，Julia等语言，其实用来做运算或爬虫比Python更强，但为什么这些语言却流行不起来？
说到底，Python成功的秘诀只有一条，其实就是在功能基本够用的前提下，比其他语言简单。而比Python简单的语言，功能又不够全面，比如Lua，Javascript，Ruby这些语言比Python更简单，但往往只适合一两个领域的工作，而无法面面俱到。
Python可以提供的这些功能，对于非专业程序员来讲，已经显得非常强大了。。但对于专业程序员来说，Python最大的作用，其实也只是用来“偷懒”而已。因为相比JAVA或C#这种工业级的编程语言来讲，Python除了入门简单之外，并无任何优势可言。而Python的动态语言特性、不利于维护等缺点，成为了限制它迈向深层开发的重大缺陷。
而如果熟练掌握JAVA或C#中的任何一门，想利用闲暇之余学习一下Python，看几个案例便可以入门，几乎不需要专门学习。
如果你并不以成为专业程序员做为目标，那么以Python为主，是可以的。但若想靠编程养家糊口，静态语言才是重中之重。
但如果是计算机专业的话，仅仅学Python，似乎就有点对不起“科班出身”的称号了。。。。学生们花着昂贵的学费，消耗四年光阴，却只学个Python，岂不是误人子弟？
就像你若报考摄影专业，老师应该教你使用单反，而不是教你使用手机摄像头。

3. 很多职场人都在学习Python，这项技能有哪些优势

Python的优点：学习入门快，轻量，合适编程学习。python的库很丰富多彩，可以系统软件程序编写（尤其是Linux），图像处理数学课解决，文本处理，数据库编程，网络编程，，当然，web编程这也是可以的，也有许多，有一个库你也许有兴趣hack库，嘿嘿。用python写个爬虫工具是飞快的。针对引入情景，现阶段，可以用于开发设计web应用，运维管理应用的自动化技术脚本制作，电脑软件，计算机的应用，像云计算技术呐，数据统计分析呐，对了，也有人工智能技术这些，这种行业都是有python的影子。

合理使用Python的类库和开源软件，可以迅速的完成作用，达到业务流程要求。四、主要用途普遍：Python语言的另一大优势便是主要用途普遍，技术工程师可以应用Python做许多的事儿。例如，Web开发设计、网络编程、自动化运维、Linux管理信息系统、数据统计分析、计算机的应用、人工智能技术、人工神经网络这些。Python语言表达处于开发语言和系统语言中间，大家依据必须，既可以将它作为一门开发语言来撰写脚本制作，还可以将它当作一个系统语言来撰写服务项目。

4. 精通Python网络爬虫之网络爬虫学习路线

欲精通Python网络爬虫，必先了解网络爬虫学习路线，本篇经验主要解决这个问题。部分内容参考自书籍《精通Python网络爬虫》。

作者：韦玮

转载请注明出处

随着大数据时代的到来，人们对数据资源的需求越来越多，而爬虫是一种很好的自动采集数据的手段。

那么，如何才能精通Python网络爬虫呢？学习Python网络爬虫的路线应该如何进行呢？在此为大家具体进行介绍。

1、选择一款合适的编程语言

事实上，Python、PHP、JAVA等常见的语言都可以用于编写网络爬虫，你首先需要选择一款合适的编程语言，这些编程语言各有优势，可以根据习惯进行选择。在此笔者推荐使用Python进行爬虫项目的编写，其优点是：简洁、掌握难度低。

2、掌握Python的一些基础爬虫模块

当然，在进行这一步之前，你应当先掌握Python的一些简单语法基础，然后才可以使用Python语言进行爬虫项目的开发。

在掌握了Python的语法基础之后，你需要重点掌握一个Python的关于爬虫开发的基础模块。这些模块有很多可以供你选择，比如urllib、requests等等，只需要精通一个基础模块即可，不必要都精通，因为都是大同小异的，在此推荐的是掌握urllib，当然你可以根据你的习惯进行选择。

3、深入掌握一款合适的表达式

学会了如何爬取网页内容之后，你还需要学会进行信息的提取。事实上，信息的提取你可以通过表达式进行实现，同样，有很多表达式可以供你选择使用，常见的有正则表达式、XPath表达式、BeautifulSoup等，这些表达式你没有必要都精通，同样，精通1-2个，其他的掌握即可，在此建议精通掌握正则表达式以及XPath表达式，其他的了解掌握即可。正则表达式可以处理的数据的范围比较大，简言之，就是能力比较强，XPath只能处理XML格式的数据，有些形式的数据不能处理，但XPath处理数据会比较快。

4、深入掌握抓包分析技术

事实上，很多网站都会做一些反爬措施，即不想让你爬到他的数据。最常见的反爬手段就是对数据进行隐藏处理，这个时候，你就无法直接爬取相关的数据了。作为爬虫方，如果需要在这种情况下获取数据，那么你需要对相应的数据进行抓包分析，然后再根据分析结果进行处理。一般推荐掌握的抓包分析工具是Fiddler，当然你也可以用其他的抓包分析工具，没有特别的要求。

5、精通一款爬虫框架

事实上，当你学习到这一步的时候，你已经入门了。

这个时候，你可能需要深入掌握一款爬虫框架，因为采用框架开发爬虫项目，效率会更加高，并且项目也会更加完善。

同样，你可以有很多爬虫框架进行选择，比如Scrapy、pySpider等等，一样的，你没必要每一种框架都精通，只需要精通一种框架即可，其他框架都是大同小异的，当你深入精通一款框架的时候，其他的框架了解一下事实上你便能轻松使用，在此推荐掌握Scrapy框架，当然你可以根据习惯进行选择。

6、掌握常见的反爬策略与反爬处理策略

反爬，是相对于网站方来说的，对方不想给你爬他站点的数据，所以进行了一些限制，这就是反爬。

反爬处理，是相对于爬虫方来说的，在对方进行了反爬策略之后，你还想爬相应的数据，就需要有相应的攻克手段，这个时候，就需要进行反爬处理。

事实上，反爬以及反爬处理都有一些基本的套路，万变不离其宗，这些后面作者会具体提到，感兴趣的可以关注。

常见的反爬策略主要有：

IP限制

UA限制

Cookie限制

资源随机化存储

动态加载技术

……

对应的反爬处理手段主要有：

IP代理池技术

用户代理池技术

Cookie保存与处理

自动触发技术

抓包分析技术+自动触发技术

……

这些大家在此先有一个基本的思路印象即可，后面都会具体通过实战案例去介绍。

7、掌握PhantomJS、Selenium等工具的使用

有一些站点，通过常规的爬虫很难去进行爬取，这个时候，你需要借助一些工具模块进行，比如PhantomJS、Selenium等，所以，你还需要掌握PhantomJS、Selenium等工具的常规使用方法。

8、掌握分布式爬虫技术与数据去重技术

如果你已经学习或者研究到到了这里，那么恭喜你，相信现在你爬任何网站都已经不是问题了，反爬对你来说也只是一道形同虚设的墙而已了。

但是，如果要爬取的资源非常非常多，靠一个单机爬虫去跑，仍然无法达到你的目的，因为太慢了。

所以，这个时候，你还应当掌握一种技术，就是分布式爬虫技术，分布式爬虫的架构手段有很多，你可以依据真实的服务器集群进行，也可以依据虚拟化的多台服务器进行，你可以采用urllib+redis分布式架构手段，也可以采用Scrapy+redis架构手段，都没关系，关键是，你可以将爬虫任务部署到多台服务器中就OK。

至于数据去重技术，简单来说，目的就是要去除重复数据，如果数据量小，直接采用数据库的数据约束进行实现，如果数据量很大，建议采用布隆过滤器实现数据去重即可，布隆过滤器的实现在Python中也是不难的。

以上是如果你想精通Python网络爬虫的学习研究路线，按照这些步骤学习下去，可以让你的爬虫技术得到非常大的提升。

至于有些朋友问到，使用Windows系统还是Linux系统，其实，没关系的，一般建议学习的时候使用Windows系统进行就行，比较考虑到大部分朋友对该系统比较数据，但是在实际运行爬虫任务的时候，把爬虫部署到Linux系统中运行，这样效率比较高。由于Python的可移植性非常好，所以你在不同的平台中运行一个爬虫，代码基本上不用进行什么修改，只需要学会部署到Linux中即可。所以，这也是为什么说使用Windows系统还是Linux系统进行学习都没多大影响的原因之一。

本篇文章主要是为那些想学习Python网络爬虫，但是又不知道从何学起，怎么学下去的朋友而写的。希望通过本篇文章，可以让你对Python网络爬虫的研究路线有一个清晰的了解，这样，本篇文章的目的就达到了，加油！

本文章由作者韦玮原创，转载请注明出处。

5. 使用左手法则/右手法则摸墙法（左手或右手在迷宫中始终不离开墙）写一个python程序解迷宫

下面的代码假定你的迷宫数据一定是合法的 （单一的入口和出口，不会打环，不会无解），如果数据不合法，可能导致死循环，数据合法性的检查你自己实现。

另外，我用 东南西北四个方向来代替所谓的上下左右，因为左右概念是相对的。 用python 2。

puzzle_walk 函数返回一个list, 每个元素是每次移动的路径坐标， 其第一个参数为迷宫的list数据， 第二个参数默认为 True 表示左手抹墙， False 则是右手抹墙。

简单说一下算法：首先找到入口格，设定初始面向 East ( 如果是右手抹墙则是 West），然后重复执行以下操作：

1. 如果当前格为最后一排且向南可以移动，则说明当前格为终点，结束。

2. 根据当前格的数据，找到下一步需要面向的方向， 方法是，如果当前方向上有墙，则顺时针（右手抹墙则逆时针）转身，重复这一步骤直到面向的方向上可以行走. 这里可以参考 turn 函数

3. 沿当前方向走一步， 参考 move 函数

4. 逆时针（右手抹墙则顺时针）转身一次，使当前面对方向为第3步之后的左手（或右手）方向， 然后回到步骤1

最后， 我的代码假定迷宫入口一定是从第1行的North 方向进入，出口一定是从最后一行的 South 方向出去，如果要支持从第一行的其他方向进（比如从 (0, 0) 的West进） ，最后一行的其他方向出，你需修改查找入口的代码和判断出口的代码，这个很简单， 自己去搞定吧。

N=0
E=1
S=2
W=3

classWalker(object):
def__init__(self,x,y,direction):
#coordinates
self.x=x
self.y=y
self.direction=direction

defturn(self,clockwise=True):
ifclockwise:
self.direction=(self.direction+1)%4
else:
self.direction=(self.direction+4-1)%4

defmove(self):
ifself.direction==N:
self.x-=1
elifself.direction==E:
self.y+=1
elifself.direction==S:
self.x+=1
elifself.direction==W:
self.y-=1

defget_coords(self):
return(self.x,self.y)

defget_direction(self):
returnself.direction


defpuzzle_walk(puzzle,left_touching=True):
route=[]
rows=len(puzzle)
columns=len(puzzle[0])

#locatetheentrance
coords=(-1,-1)
foryinrange(columns):
cell=puzzle[0][y]
ifcell[N]:
coords=(0,y)
break
assertcoords[0]>=0andcoords[1]>=0

walker=Walker(coords[0],coords[1],Eifleft_touchingelseW)
whileTrue:
x,y=walker.get_coords()
cell=puzzle[x][y]
route.append(tuple([x,y]))

ifx==rows-1andcell[S]:
#foundtheexit
break

#
whilenotcell[walker.get_direction()]:
walker.turn(left_touching)

#move
walker.move()

#facetothedirectionofthehand
walker.turn(notleft_touching)

returnroute


#运行结果
>>>p=[[(False,True,True,False),(True,True,False,True),(False,False,True,True)],[(True,False,True,False),(False,True,False,False),(True,False,False,True)]]
#左手抹墙
>>>puzzle_walk(p)
[(0,1),(0,2),(1,2),(1,1),(1,2),(0,2),(0,1),(0,0),(1,0)]
#右手抹墙
>>>puzzle_walk(p,False)
[(0,1),(0,0),(1,0)]