⑴ python数据挖掘难不难
python数据挖掘，指用python对数据进行处理，从大型数据库的分析中，发现预测信息的过程。
什么是数据挖掘？
数据挖掘（英文全称Data Mining，简称DM），指从大量的数据中挖掘出未知且有价值的信息和只知识的过程。
对于数据科学家来说，数据挖掘可能是一项模糊而艰巨的任务 - 它需要多种技能和许多数据挖掘技术知识来获取原始数据并成功获取数据。您需要了解统计学的基础，以及可以帮助您大规模进行数据挖掘的不同编程语言。
python数据挖掘是什么？
数据挖掘建模的工具有很多种，我们这里重点介绍python数据挖掘，python是美国Mathworks公司开发的应用软件，创始人为荷兰人吉多·范罗苏姆，具备强大的科学及工程计算能力，它具有以矩阵计算为基础的强大数学计算能力和分析功能，而且还具有丰富的可视化图形表现功能和方便的程序设计能力。python并不提供一个专门的数据挖掘环境，但它提供非常多的相关算法的实现函数，是学习和开发数据挖掘算法的很好选择。
只要有方法，正确且循序渐进的学习，python数据挖掘也并没有想象中那么难！
⑵ 数据挖掘方向，Python中还需要学习哪些内容
就题论题，还包括：
1. Python 数据库连接库，例如MySQL 连接库的应用，这决定你的数据从哪里来。这里面涉及到sql语法和数据库基本知识，是你在学习的时候必须一起学会的。
2. Python 做基本数据计算和预处理的库，包括numpy ，scipy，pandas 这三个用得最多。
3. 数据分析和挖掘库，主要是sklearn，Statsmodels。前者是最广泛的机器学习库，后者是侧重于统计分析的库。（要知道统计分析大多时候和数据挖掘都错不能分开使用）
4. 图形展示库。matpotlib，这是用的最多的了。
说完题主本身 要求，楼上几位说的对，你还需要一些关于数据挖掘算法的基本知识和认知，否则即使你调用相关库得到结果，很可能你都不知道怎么解读，如何优化，甚至在什么场景下还如何选择算法等。因此基本知识你得了解。主要包括：
1.统计学相关，看看深入浅出数据分析和漫画统计学吧，虽然是入门的书籍，但很容易懂。
2.数据挖掘相关，看看数据挖掘导论吧，这是讲算法本身得书。
剩下的就是去实践了。有项目就多参与下项目，看看真正的数据挖掘项目是怎么开展的，流程怎样等。没有项目可以去参加一些数据挖掘或机器学习方面的大赛，也是增加经验得好方法。
⑶ Python数据挖掘从哪些
一. 基于Python的数据挖掘 基本架构
1. matplotlib， 图形化
2. pandas，数据挖掘的关键， 提供各种挖掘分析的算法
3. numpy， 提供基本的统计
scipy， 提供各种数学公式
4. python common lib，python基本框架
二. 环境搭建
1. 安装python
2. 安装pip
pandas依赖的pip版本，最低是8.0.0。如果pip是8以下的版本，如7.2.1，需要升级pip.
命令是“python -m pip install -U pip”，这是windows版本。
Linux是”pip install -U pip“
通过命令“pip --version”， 可以查看pip版本号
3. 安装pandas
命令“pip install pandas", 这是windows版本。
Linux平台可用
sudo apt-get install python-pandas
4. 安装matplotlib
pip install matplotlib
三. 数据类型
pypython common type
string list tuple dict set
6钟学列
list, tuple, string, unicode string, buffer object, xrange
pandas type
ndarray, series dateFrame
ndarray, 数组类型，新增原因：
list, tuple是基于指针+对象设计的。即list，tuple存储的是void*指针，指针指向具体对象的数据。
因为是void*指针，所以二者可以存储各种数据类型，即数据类型可以不统一。
虽然存储丰富，但如果数据量过大时，即处理大数据时，有弊端。
1. 存储空间大，浪费内存。因为存两部分，指针+数据
2. 读取慢，通过index，找到指针；基于指针，找到数据
所以在大数据处理时，新增ndarray，数字类型，类似C++ 数组。存储相同，读取、修改快捷。
别名：array, 有利于节省内存、提高CPU的计算时间，有丰富的处理函数
series，变长字典，
类似一维数组的对象；有数据和索引组成
新增原因：
dict是无序的，它的key和value存在映射关系。但key和value之间是不独立的，存储在一起。
如果需要对一项进行操作，会影响到另外一项。所以有了series， series的key和value是独立的，独立存储。
series的key是定长有序的。通过series.key获取整个索引， 通过series.values获取所有values.
series的key,可以通过series.index.name，设置唯一的名称。
series整体也可以设置唯一名称，通过series.name
DataFrame:
1. 一个表格型的数据结构
2. 含有一组有序的列（类似于index)
3. 可以认为是，共享一个index的Series集合
data1={'name':['java', 'c', 'python'], 'year': [2,2,3]}
frame = pd.DataFrame(data1)
------------------------------------------------
四. 基本的数据分析流程：
1. 数据的获取
2. 数据准备--规格化，建立各种索引index
3. 数据的显示、描述，用于调试
如df.index, df.values， df.head(n), df.tail(n） df.describe
4. 数据的选择
index获取， 切片获取, 行、列获取， 矩形区域获取
index获取，df.row1 或者 df['row1']
行列，df.loc[行list, 列list], 如df.loc[0:1,['co1','col2'] ]
通过二位索引，取二维左上角，df.iloc[0,0],也可以列表 df.iloc[0:2,0:2]，取前2行。
5. 简单的统计与处理
统计平均值、最大值等
6. Grouping 分组
df.groupby(df.row1)
7. Merge合并
append追加,
contact连接， 包含append功能，也可以两个不同的二维数据结构合并
join连接， SQL连接，基于相同字段连接，如 sql的where, a.row1 = b.row1
------------------------------------------------
五. 高级的数据处理与可视化：
1. 聚类分析
聚类是数据挖掘描述性任务和预测性任务的一个重要组成部分，它以相似性为基础，
把相似的对象通过静态分类，分成不同的组别和子集。
在python中，有很多第三方库提供了聚类算法。
聚类算法有很多， 其中K-均值算法，因为其简单、快捷的特点，被广泛使用。
基本原理是，
1. 查找某数据集的中心，
2. 使用均方差，计算距离。使得每一个数据点都收敛在一个组内；各个组是完全隔离的
案例：
>>> from pylab import *
>>> from scipy.cluster.vq import *
>>>
>>> list1=[88,64,96,85]
>>> list2=[92,99,95,94]
>>> list3=[91,87,99,95]
>>> list4 = [78,99,97,81]
>>> list5=[88,78,98,84]
>>> list6=[100,95,100,92]
>>> tempdate = (list1, list2, list3, list4, list5, list6)
>>>
>>> tempdate
([88, 64, 96, 85], [92, 99, 95, 94], [91, 87, 99, 95], [78, 99, 97, 81], [88, 78
, 98, 84], [100, 95, 100, 92])
>>> date = vstack(tempdate)
>>>
>>> date
array([[ 88, 64, 96, 85],
[ 92, 99, 95, 94],
[ 91, 87, 99, 95],
[ 78, 99, 97, 81],
[ 88, 78, 98, 84],
[100, 95, 100, 92]])
>>> centroids,abc=kmeans(date,2) #查找聚类中心，第二个参数是设置分N类，如5类，则为5
>>> centroids # 基于每列查找的中心点，可能是平均值
array([[88, 71, 97, 84],
[90, 95, 97, 90]])
>>>
>>> result,cde=vq(date,centroids) #对数据集，基于聚类中心进行分类
>>> result
array([0, 1, 1, 1, 0, 1])
2. 绘图基础
python描绘库，包含两部分，
绘图api, matplotlib提供各种描绘接口。
集成库，pylab（包含numpy和matplotlib中的常用方法），描绘更快捷、方便。
import numpy as np
import matplotlib.pyplot as plt
t = np.arange(0,10)
plt.plot(t, t+2）
plt.plot(t,t, 'o', t,t+2, t,t**2, 'o') #（x,y)一组，默认是折线；‘o'是散点，
plt.bar(t,t**2) # 柱状图
plt.show()
--------------------
import pylab as pl
t = np.arange(0,10)
plt.plot(t, t+2)
plt.show()
3. matplotlib图像属性控制
色彩、样式
名称： 图、横、纵轴,
plt.title('philip\'s python plot')
plt.xlabel('date')
plt.ylabel('value')
其他： pl.figure(figsize=(8,6),dpi=100)
pl.plot(x,y, color='red', linewidth=3, lable='line1')
pl.legend(loc='upper left')
子图
pl.subplot(211) # 整体图片，可以分为二维部分；
#第一个是图的行，第二个是列；第三个是index, 从左上开始0遍历 当前行，再下一行。
#如果是2位数，如11，需要‘，’
axes(left, bottom, width, height) # 参数取值范围是(0,1), left,是到左边的距离，bottom是到下面的距离
4. pandas作图
Series、DataFrame支持直接描绘，封装了调用matplotlib的接口，如
series.close.plot()
df.close.plot() #具体参数类似matplotlib普通接口
属性控制
类似matplotlib普通接口，修改各种图片的类型，柱形图、折线等
--------common-----------------
list, tuple, dict
--------numpy-----------------
ndarray, Series, DataFrame
⑷ 用python做数据分析和数据挖掘用哪个IDE比较好
给你推荐两个，试一下：
spyder和jupyter notebook， 这两个通过安装Anaconda，就同时有了。
Spyder： IDE， 界面和MATLAB很像
jupyter notebook: 交互性特别强， 非常适合一边写代码，一边查看运行结果， 写完了以后， 直接就是PPT了。
⑸ python数据挖掘——文本分析
作者 | zhouyue65
来源 | 君泉计量
文本挖掘：从大量文本数据中抽取出有价值的知识，并且利用这些知识重新组织信息的过程。
一、语料库（Corpus）
语料库是我们要分析的所有文档的集合。
二、中文分词
2.1 概念：
中文分词（Chinese Word Segmentation）：将一个汉字序列切分成一个一个单独的词。
eg：我的家乡是广东省湛江市-->我/的/家乡/是/广东省/湛江市
停用词（Stop Words）：
数据处理时，需要过滤掉某些字或词
√泛滥的词，如web、网站等。
√语气助词、副词、介词、连接词等，如 的，地，得；
2.2 安装Jieba分词包：
最简单的方法是用CMD直接安装：输入pip install jieba，但是我的电脑上好像不行。
后来在这里：https://pypi.org/project/jieba/#files下载了jieba0.39解压缩后 放在Python36Libsite-packages里面，然后在用cmd，pip install jieba 就下载成功了，不知道是是什么原因。
然后我再anaconda 环境下也安装了jieba，先在Anaconda3Lib这个目录下将jieba0.39的解压缩文件放在里面，然后在Anaconda propt下输入 pip install jieba，如下图：
2.3 代码实战：
jieba最主要的方法是cut方法：
jieba.cut方法接受两个输入参数:
1) 第一个参数为需要分词的字符串
2）cut_all参数用来控制是否采用全模式
jieba.cut_for_search方法接受一个参数：需要分词的字符串,该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细
注意：待分词的字符串可以是gbk字符串、utf-8字符串或者unicode
jieba.cut以及jieba.cut_for_search返回的结构都是一个可迭代的generator，可以使用for循环来获得分词后得到的每一个词语(unicode)，也可以用list(jieba.cut(...))转化为list代码示例( 分词 )
输出结果为： 我 爱
Python
工信处
女干事
每月 经过 下属 科室 都 要 亲口
交代
24 口 交换机 等 技术性 器件 的 安装
工作
分词功能用于专业的场景：
会出现真武七截阵和天罡北斗阵被分成几个词。为了改善这个现象，我们用导入词库的方法。
但是，如果需要导入的单词很多，jieba.add_word()这样的添加词库的方法就不高效了。
我们可以用jieba.load_userdict(‘D:PDM2.2金庸武功招式.txt’)方法一次性导入整个词库，txt文件中为每行一个特定的词。
2.3.1 对大量文章进行分词
先搭建语料库：
分词后我们需要对信息处理，就是这个分词来源于哪个文章。
四、词频统计
3.1词频（Term Frequency）：
某个词在该文档中出现的次数。
3.2利用Python进行词频统计
3.2.1 移除停用词的另一种方法，加if判断
代码中用到的一些常用方法：
分组统计：
判断一个数据框中的某一列的值是否包含一个数组中的任意一个值：
取反：（对布尔值）
四、词云绘制
词云（Word Cloud）：是对文本中词频较高的分词，给与视觉上的突出，形成“关键词渲染”，从而国旅掉大量的文本信息，使浏览者一眼扫过就可以领略文本的主旨。
4.1 安装词云工具包
这个地址：https://www.lfd.uci.e/~gohlke/pythonlibs/ ，可以搜到基本上所有的Python库，进去根据自己的系统和Python的版本进行下载即可。
在python下安装很方便，在anaconda下安装费了点劲，最终将词云的文件放在C:UsersAdministrator 这个目录下才安装成功。
五、美化词云（词云放入某图片形象中）
六、关键词提取
结果如下:
七、关键词提取实现
词频（Term Frequency）：指的是某一个给定的词在该文档中出现的次数。
计算公式： TF = 该次在文档中出现的次数
逆文档频率（Inverse Document Frequency）：IDF就是每个词的权重，它的大小与一个词的常见程度成反比
计算公式：IDF = log（文档总数/（包含该词的文档数 - 1））
TF-IDF（Term Frequency-Inverse Document Frequency）：权衡某个分词是否关键词的指标，该值越大，是关键词的可能性就越大。
计算公式：TF - IDF = TF * IDF
7.1文档向量化
7.2代码实战
⑹ python数据挖掘是什么
数据挖掘（data mining，简称DM），是指从大量的数据中，通过统计学、人工智能、机器学习等方法，挖掘出未知的、且有价值的信
息和知识的过程。
python数据挖掘常用模块
numpy模块：用于矩阵运算、随机数的生成等
pandas模块：用于数据的读取、清洗、整理、运算、可视化等
matplotlib模块：专用于数据可视化，当然含有统计类的seaborn模块
statsmodels模块：用于构建统计模型，如线性回归、岭回归、逻辑回归、主成分分析等
scipy模块：专用于统计中的各种假设检验，如卡方检验、相关系数检验、正态性检验、t检验、F检验等
sklearn模块：专用于机器学习，包含了常规的数据挖掘算法，如决策树、森林树、提升树、贝叶斯、K近邻、SVM、GBDT、Kmeans等
数据分析和挖掘推荐的入门方式是？小公司如何利用数据分析和挖掘?
关于数据分析与挖掘的入门方式是先实现代码和Python语法的落地（前期也需要你了解一些统计学知识、数学知识等），这个过程需要
你多阅读相关的数据和查阅社区、论坛。然后你在代码落地的过程中一定会对算法中的参数或结果产生疑问，此时再去查看统计学和数据
挖掘方面的理论知识。这样就形成了问题为导向的学习方法，如果将入门顺序搞反了，可能在硬着头皮研究理论算法的过程中就打退堂鼓
了。
对于小公司来说，你得清楚的知道自己的痛点是什么，这些痛点是否能够体现在数据上，公司内部的交易数据、营销数据、仓储数据等是
否比较齐全。在这些数据的基础上搭建核心KPI作为每日或每周的经营健康度衡量，数据分析侧重于历史的描述，数据挖掘则侧重于未来
的预测。
差异在于对数据的敏感度和对数据的个性化理解。换句话说，就是懂分析的人能够从数据中看出破绽，解决问题，甚至用数据创造价值；
不懂分析的人，做不到这些，更多的是描述数据。
更多技术请关注python视频教程。
⑺ Python 数据挖掘可以通过C/S或B/S模式部署吗如果可以，本地需要安装什么软件，服务端需要安装什么软件
1、硬件环境不同：
C/S 一般建立在专用的网络上， 小范围里的网络环境， 局域网之间再通过专门服务器提供连接和数据交换服务。 B/S 建立在广域网之上的， 不必是专门的网络硬件环境，例与电话上网， 租用设备。 信息自己管理。 有比C/S更强的适应范围， 一般只要有操作行迅系统和浏览器就行。
2、对安全要求不同 ：
C/S 一般面向相对固定的用户群， 对信息安全的控制能力很强。 一般高度机密的信息系统采用C/S 结构适宜。 可以通过B/S发布部分可公开信息。
B/S 建立在广域网之上， 对安全的控制能力相对弱， 面向是不可知的用户群。
3、对程序架构不同：
C/S 程序可以更加注重流程， 可以对权限多层次校验， 对系统运行速度可以较少考虑。
B/S 对安全以及访问速度的多重的考虑， 建立在需要更加优化的基础之上。 比C/S有更高的要求 B/S结构的程序架构是发展的趋势， 从MS的。Net系列的BizTalk 2000 Exchange 2000等， 全面支持网络的构件搭建的系统。 SUN 和IBM推的JavaBean 构件技术等，使 B/S更加成熟。
4、软件重用不同：
C/S 程序可以不可避免的整体性考虑， 构件的重用性不如在B/S要求下的构件的重用性好。
B/S 对的多重结构，要求构件相对独立的功能。 能够相对较好的重用。就入买来的餐桌可以再利用，而不是做在墙上的石头桌子
5、系统维护不同 :
系统维护是软件生存周期中，开销大。
C/S 程序由于整体性， 必须整体考察， 处理出现的问题以及系统升级。 升级难。 可能是再做一个全新的系统
B/S 构件组成，方面构件个别的更换，实现系统的无缝升级。 系统维护开销减到最小。用户从网上自己下载安装就可以实现升级。
6、处理问题不同：
C/S 程序可以处理用户面固定， 并且在相同区域， 安全要求高需求， 与操作系统相关。 应该都是相同的系物带圆统
B/S 建立在广域网上， 面向不同的用户群， 分散地域， 这是C/S无法作到的。 与操作系统平台关系最小。
7、用罩塌户接口不同
C/S 多是建立的Window平台上，表现方法有限，对程序员普遍要求较高
B/S 建立在浏览器上， 有更加丰富和生动的表现方式与用户交流。 并且大部分难度减低，减低开发成本。
⑻ python 数据挖掘需要用哪些库和工具
python 数据挖掘常用的库太多了！主要分为以下几大类：
第一数据获取：request,BeautifulSoup
第二基本数学库：numpy
第三 数据库出路 pymongo
第四 图形可视化 matplotlib
第五 树分析基本的库 pandas
数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘本质上像是机器学习和人工智能的基础，它的主要目的是从各种各样的数据来源中，提取出超集的信息，然后将这些信息合并让你发现你从来没有想到过的模式和内在关系。这就意味着，数据挖掘不是一种用来证明假说的方法，而是用来构建各种各样的假说的方法。
想要了解更多有关python 数据挖掘的信息，可以了解一下CDA数据分析师的课程。CDA数据分析师证书的含金量是很高的，简单从两个方面分析一下：首先是企业对于CDA的认可，经管之家CDA LEVEL Ⅲ数据科学家认证证书，属于行业顶尖的人才认证，已获得IBM大数据大学，中国电信，苏宁，德勤，猎聘，CDMS等企业的认可。CDA证书逐渐获得各企业用人单位认可与引进，如中国电信、中国移动、德勤，苏宁，中国银行，重庆统计局等。点击预约免费试听课。
⑼ 数据挖掘方向，Python中还需要学习哪些内容
对于数据挖掘：Python不是重点
重点槐尺是乱孙机器学习和数据库系统
Python基础知识扎实就好。参考刘江的铅陪高Python教程