python匹配数据

① 怎么用python进行数据

pandas是本书后续内容的首选库。pandas可以满足以下需求：

• 具备按轴自动或显式数据对齐功能的数据结构。这可以防止许多由于数据未对齐以及来自不同数据源（索引方式不同）的数据而导致的常见错误。.

• 集成时间序列功能

• 既能处理时间序列数据也能处理非时间序列数据的数据结构

• 数学运算和简约（比如对某个轴求和）可以根据不同的元数据（轴编号）执行

• 灵活处理缺失数据

• 合并及其他出现在常见数据库（例如基于SQL的）中的关系型运算

1、pandas数据结构介绍

两个数据结构：Series和DataFrame。Series是一种类似于以为NumPy数组的对象，它由一组数据（各种NumPy数据类型）和与之相关的一组数据标签（即索引）组成的。可以用index和values分别规定索引和值。如果不规定索引，会自动创建 0 到 N-1 索引。



• #-*- encoding:utf-8 -*-import numpy as npimport osimport pandas as pdfrom pandas import Series,DataFrameimport matplotlib.pyplot as pltimport time#下面看一下cummin函数#注意：这里的cummin函数是截止到目前为止的最小值，而不是加和以后的最小值frame = DataFrame([[1,2,3,4],[5,6,7,8],[-10,11,12,-13]],index = list('abc'),columns = ['one','two','three','four'])print frame.cummin()print frame


• >>>


• one two three four


• a 1 2 3 4


• b 1 2 3 4


• c -10 2 3 -13


• one two three four


• a 1 2 3 4


• b 5 6 7 8


• c -10 11 12 -13

相关系数与协方差

有些汇总

② 自学3年Python的我成了数据分析师，总结成一张思维导图

大家好，我是一名普通毕业生，现就职于某互联网公司。之前很多同学问我“ 为什么自学3年Python，最后却成为了数据分析师 ？”

首先肯定是数据分析师的前景和薪资条件，打动了我

下面是我的学习之路，附带一些必备学习的资料，可以 免费领取 ，相信感兴趣的你看完也可以找到自己的方向。

众所周知：Python是当今最火的编程语言之一，各大招聘网站上都会要求求职者会这门语言，并且它很容易上手，业务面宽泛，像Web网页工程师、网络爬虫工程师、自动化运维、自动化测试、 游戏 开发、数据分析、AI等等。

我们首先明确一个大的方向，知道自己以后要做什么。因为我是统计学专业，所以我会选择从事数据分析行业，那么 用Python做数据分析成了一个最佳选择 。

要想使用Python做数据分析，首先就应该知道“ 数据分析的流程是怎样的？ ”

我这次特地总结了一张 思维导图 给大家，点击放大看更清楚哦。

（点击查看高清大图）

基于此，我这里将我以前学习过程中用过的电子书（技能类、统计类、业务类），还有相关视频免费分享给大家，省去了你们挑选视频的时间，也希望能够对你们的学习有所帮助。

PS：我总结的资料有点多哦，差不多有4G，大家一定要给你的网络云盘空出位置来哦！

如果遇到一些环境配置，还有一些错误异常等bug，资料就显得不太够用，这时就需要找到老师，给我们特别讲解。

或者是想 快速学习 数据分析领域知识，不妨先找一找 直播课 看看， 了解当下最贴合实际的学习思路，确定自己的方向。

Day1 20:00&量化交易入门：

用Python做股票指标分析和买卖时机选择

场景工具：Python工具分解RSI指标流程处理: 业务场景分析建模和可视化学习成果：使用RSI指标模型做买卖点搜索、交易回溯实战案例：分析A股数据模型，制定投资策略

Day2 20:00&职场晋升必备：

制作酷炫报表，4步带你学习数据可视化

场景工具：用Tableau学习如何管理数据流程处理: 利用业务拆解找到数据指标、进行数据可视化学习成果：高效的对数据驱动型业务作出精准决策实战案例：利用可视化工具构建 旅游 客流量趋势地图

Day3 20:00&量化交易进阶：

0基础用Python搭建量化分析平台

场景工具：利用pandas工具分解KDJ指标构成流程处理: 交易数据爬取，业务场景分析建模和可视化分析结果：用KDJ指标模型对比特币行情买卖点搜索&交易回溯实战项目：掌握根据数据指数和分析工具寻找虚拟货币买卖原理

他们 每周都会定期分享 一些 干货 供大家学习参考，对学习很有帮助。

（深度学习DeepLearning.ai实验室认证）

（微软/甲骨文/Cloudera等公司颁发的数据分析证书）

4步学会数据可视化，办公效率提高三倍

（更多精彩内容 等你解锁）

③ python 正则表达式 我想找到字符串中成对匹配的数据 请指教

针对你所给的示例字符串，貌似无法一次性地提取出后面的那个abc的，只能提取出前面的ammmmmde：
可以这样写：

>>> re.findall(r'(?:\d+)([a-zA-Z]+)', 'sssa 123ammmmmde234abc aaaaa 123ammmmmde234abc llll')
['ammmmmde', 'abc', 'ammmmmde', 'abc']

原因在于：正则从左往右查找，没有在找后面的abc时，也去找到之前的abc。
因为之前的abc，被在查找ammmmmde时，藏在中间了：
123ammmmmde234abc aaaaa 123ammmmmde

搜索过了，后面没法再搜索。

一个折中的办法是，用：
>>> re.findall(r'(?:\d+)([a-zA-Z]+)', 'sssa 123ammmmmde234abc aaaaa 123ammmmmde234abc llll')
['ammmmmde', 'abc', 'ammmmmde', 'abc']
找到上述的
['ammmmmde', 'abc', 'ammmmmde', 'abc']
然后你自己再另外提取，组合出来你要的：
[(ammmmmde, ammmmmde), (abc, abc)]

④ python提取excel表中的数据两列

1、首先打开excel表格，在单元格中输入两列数据，需要将这两列数据进行比对相同数据。

2、然后在C1单元格中输入公式：=VLOOKUP(B1,A:A,1,0)，意思是比对B1单元格中A列中是否有相同数据。

3、点击回车，即可将公式的计算结果显示出来，可以看到C1中显示的是B1在A列中找到的相同数据。

4、将公式向下填充，即可发现C列中显示出的数字即为有相同数据的，显示“#N/A”的为没有找到匹配数据的。

5、将C1-C4中的数据进行复制并粘贴成数值，即可完成相同数据的提取操作。
在实际研究中，我们经常需要获取大量数据，而这些数据很大一部分以pdf表格的形式呈现，如公司年报、发行上市公告等。面对如此多的数据表格，采用手工复制黏贴的方式显然并不可取。那么如何才能高效提取出pdf文件中的表格数据呢？

Python提供了许多可用于pdf表格识别的库，如camelot、tabula、pdfplumber等。综合来看，pdfplumber库的性能较佳，能提取出完整、且相对规范的表格。因此，本推文也主要介绍pdfplumber库在pdf表格提取中的作用。

作为一个强大的pdf文件解析工具，pdfplumber库可迅速将pdf文档转换为易于处理的txt文档，并输出pdf文档的字符、页面、页码等信息，还可进行页面可视化操作。使用pdfplumber库前需先安装，即在cmd命令行中输入：

pip install pdfplumber

pdfplumber库提供了两种pdf表格提取函数，分别为.extract_tables( )及.extract_table( )，两种函数提取结果存在差异。为进行演示，我们网站上下载了一份短期融资券主体信用评级报告，为pdf格式。任意选取某一表格，其界面如下：

接下来，我们简要分析两种提取模式下的结果差异。

（1）.extract_tables( )

可输出页面中所有表格，并返回一个嵌套列表，其结构层次为table→row→cell。此时，页面上的整个表格被放入一个大列表中，原表格中的各行组成该大列表中的各个子列表。若需输出单个外层列表元素，得到的便是由原表格同一行元素构成的列表。例如，我们执行如下程序：

输出结果：

（2）.extract_table( )

返回多个独立列表，其结构层次为row→cell。若页面中存在多个行数相同的表格，则默认输出顶部表格；否则，仅输出行数最多的一个表格。此时，表格的每一行都作为一个单独的列表，列表中每个元素即为原表格的各个单元格内容。若需输出某个元素，得到的便是具体的数值或字符串。如下：

输出结果：

在此基础上，我们详细介绍如何从pdf文件中提取表格数据。其中一种思路便是将提取出的列表视为一个字符串，结合Python的正则表达式re模块进行字符串处理后，将其保存为以标准英文逗号分隔、可被Excel识别的csv格式文件，即进行如下操作：

输出结果：

尽管能获得完整的表格数据，但这种方法相对不易理解，且在处理结构不规则的表格时容易出错。由于通过pdfplumber库提取出的表格数据为整齐的列表结构，且含有数字、字符串等数据类型。因此，我们可调用pandas库下的DataFrame( )函数，将列表转换为可直接输出至Excel的DataFrame数据结构。DataFrame的基本构造函数如下：

DataFrame([data,index, columns])

三个参数data、index和columns分别代表创建对象、行索引和列索引。DataFrame类型可由二维ndarray对象、列表、字典、元组等创建。本推文中的data即指整个pdf表格，提取程序如下：

其中，table[1:]表示选定整个表格进行DataFrame对象创建，columns=table[0]表示将表格第一行元素作为列变量名，且不创建行索引。输出Excel表格如下：

通过以上简单程序，我们便提取出了完整的pdf表格。但需注意的是，面对不规则的表格数据提取，创建DataFrame对象的方法依然可能出错，在实际操作中还需进行核对。

关于我们

微信公众号“爬虫俱乐部”分享实用的stata命令，欢迎转载、打赏。爬虫俱乐部是由李春涛教授领导下的研究生及本科生组成的大数据分析和数据挖掘团队。

投稿要求：

1）必须原创，禁止抄袭；

2）必须准确，详细，有例子，有截图；