如何用python读取数据科学

Ⅰ 如何利用 python 读取数据科学中常见几种文件

前言
如果你是数据行业的一份子，那么你肯定会知道和不同的数据类型打交道是件多么麻烦的事。不同数据格式、不同压缩算法、不同系统下的不同解析方法——很快就会让你感到抓狂！噢！我还没提那些非结构化数据和半结构化数据呢。
对于所有数据科学家和数据工程师来说，和不同的格式打交道都乏味透顶！但现实情况是，人们很少能得到整齐的列表数据。因此，熟悉不同的文件格式、了解处理它们时会遇到的困难以及处理某类数据时的最佳／最高效的方法，对于任何一个数据科学家（或者数据工程师）而言都必不可少。
在本篇文章中，你会了解到数据科学家或数据工程师必须知道的几种常规格式。我会先向你介绍数据行业里常用的几种不同的文件格式。随后，我会向大家介绍如何在 Python 里读取这些文件格式。
PS：在后文中提到的数据科学家，同样也包括数据工程师以及所有的数据科学专家。
目录
文件格式是什么。数据科学家应当了解各种不同文件格式的原因。不同的文件格式以及从 Python 中读取这些文件的方法。
1. 逗号分隔值
2. XLSX
3. ZIP
4. 纯文本(txt)
5. JSON
6. XML
7. HTML
8. 图像
9. 分层数据格式
10. PDF
11. DOCX
12. MP3
13. MP4
1. 文件格式是什么。
文件格式是计算机为了存储信息而使用的对信息的特殊编码方式。首先，文件格式代表着文件的类型，如二进制文件或者 ASCII 文件等。其次，它体现了信息组织的方式。比如，逗号分隔值（CSV）文件格式用纯文本来储存列表数据。

为了识别一个文件的格式，你通常会去看这个文件的扩展名。比如，一个以“CSV”格式保存的名为“Data”的文件下方的文件名会显示为“Data.csv”。看到“.csv”这个扩展名，我们就会清楚地知道这是一个“CSV”文件，并且还可以知道其中的数据是以表格的形式储存的。
2. 数据科学家应当了解各种不同文件格式的原因。
通常，你碰到的文件类型取决于你当下构造的应用。举个例子，在一个图像处理系统中，你需要把图像作为输入和输出。所以，你所见到的文件大都是jpeg、gif 或者 png 格式的。
作为一个数据科学家，你需要了解各种文件格式的底层结构以及相应的优势和劣势。只有了解了数据的底层结构，你才能够进一步去探索它，或者决定如何来储存相关的数据。
选择一个最理想的文件格式来储存数据能够提升你的模型在处理数据时的性能。
现在，让我们讨论一下下方这些文件格式以及如何在 Python 中读取它们：
逗号分隔值（CSV）XLSXZIP纯文本（txt）JSONXMLHTML图像分层数据格式PDFDOCXMP3MP4
3. 不同的文件格式以及从 Python 中读取这些文件的方法。
3.1 逗号分隔值
逗号分隔值文件格式属于电子表格文件格式的一种。
什么是电子表格文件格式？
在电子表格文件格式中，数据被储存在单元格里。每个单元格都处于特定的行和列中。电子表格文件中的列拥有不同的类型。比如说，它可以是字符串型的、日期型的或者整数型的。最常用的电子表格文件格式包括：逗号分隔值（CSV）、Microsoft Excel 电子表格（xls）以及 Microsoft Excel Open XML 电子表格（xlsx）。
CSV 文件中的每一行都代表一份观察报告，或者也可以说是一条记录。每一个记录都包含一个或者更多由逗号分隔的字段。
有时你看你会遇到用制表符而非逗号来分隔字段的文件。这种文件格式被称为 TSV（制表符分隔值）文件格式。
下面是一个用 Notepad 打开的 CSV 文件。

在Python 中从 CSV 文件里读取数据
现在让我们看看如何在 Python 中读取一个 CSV 文件。你可以用 Python 中的“pandas”库来加载数据。import pandas as pd
df = pd.read_csv(“/home/Loan_Prediction/train.csv”)
上方的代码将会把 train.csv 文件加载进 DataFrame df 中。
3.2 XLSX文件
XLSX 是 Microsoft Excel Open XML 的文件格式，它同样可以归入电子表格文件格式这一类中。它是由 Microsoft Excel 开发的一种基于 XML 文件格式。Microsoft Office 2007 最先采用 XLSX 格式来储存数据。
在XLSX 中，数据被放在工作表的单元格和列当中。每个 XLSX 文件可能包含一个或者更多工作表，所以一个工作簿中可能会包含多个工作表。
下面是一个在 Microsoft Excel 中打开的“xlsx”文件。

上图显示的这个文件里包含多个工作表，这些工作表的名称分别为 Customers、Employees、Invoice 和 Order。图片中显示的是其中一个工作表——“Invoice”——中的数据。
从XLSX 文件读取数据
让我们一起来加载一下来自 XLSX 文件的数据并且定义一下相关工作表的名称。此时，你可以用 Python 中的“pandas”库来加载这些数据。import pandas as pd
df = pd.read_excel(“/home/Loan_Prediction/train.xlsx”,sheetname = “Invoice”)
上方的代码将会把来自“train.xlsx”文件的工作表“Invoice”加载进 DataFrame df 中。
3.3 ZIP 文件
ZIP 格式是一种归档文件格式。
什么是归档文件格式？
在归档文件格式中，你可以创建一个包含多个文件和元数据的文件。归档文件格式通常用于将多个数据文件放入一个文件中的过程。这么做是为了方便对这些文件进行压缩从而减少储存它们所需的存储空间。
有很多种常用的电脑数据归档格式可以创建归档文件。Zip、RAR 和 Tar 是最常用的3种用于压缩数据的归档文件格式。
因此，ZIP 文件格式是一种无损压缩格式，这意味着如果你用 ZIP 格式压缩了多个文件，那么在解压缩之后你能够完全恢复这些数据。ZIP 文件格式使用多种压缩算法来压缩文件。你可以通过 .zip 这个扩展名轻易地识别出一个 ZIP 文件。
在Python 中读取 .ZIP 文件
你可以通过导入“zipfile”包来读取 zip 文件。下方的代码可以实现读取“T.zip”中的“train.csv”文件。import zipfile
在这里我已经讨论了其中一种最常用的归档格式，也已经讨论了如何在 python 中打开这种归档格式。我不会再对其他的归档格式进行展开讨论。如果你想了解不同类型的归档格式并且想对其做出比较

Ⅱ python数据分析-科学计数法

用python进行数据分析时，查看数据，经常发生数据被自动显示成科学记数法的模式，或者多行多列数据只显示前后几行几列，中间都是省略号的情形。

import numpy as npnp.set_printoptions(suppress=True, threshold=np.nan)

suppress=True 取消科学记数法

threshold=np.nan 完整输出（没有省略号）

display.[max_categories, max_columns, max_colwidth, max_info_columns, max_info_rows, max_rows, max_seq_items, memory_usage, multi_sparse, notebook_repr_html, pprint_nest_depth, precision, show_dimensions]

详细介绍文档： pd.set_option

可以在pd.set_option设置display.float_format参数来以政策小数显示，比如下面设置显示到小数点后3位

pd.set_option('display.float_format', lambda x: '%.3f' % x)

set_option中还有其它一些控制设置，包括默认显示列数，行数等等

pd.set_option('display.max_columns',5, 'display.max_rows', 100)

import pandas as pdpd.set_option('display.max_columns', 10000, 'display.max_rows', 10000)

display.max_columns 显示最大列数

display.max_rows 显示最大行数

1、pd.set_option(‘expand_frame_repr’, False)

True就是可以换行显示。设置成False的时候不允许换行

2、pd.set_option(‘display.max_rows’, 10)

pd.set_option(‘display.max_columns’, 10)

显示的最大行数和列数，如果超额就显示省略号，这个指的是多少个dataFrame的列。如果比较多又不允许换行，就会显得很乱。

3、pd.set_option(‘precision’, 5)

显示小数点后的位数

4、pd.set_option(‘large_repr’, A)

truncate表示截断，info表示查看信息，一般选truncate

5、pd.set_option(‘max_colwidth’, 5)

列长度

6、pd.set_option(‘chop_threshold’, 0.5)

绝对值小于0.5的显示0.0

7、pd.set_option(‘colheader_justify’, ‘left’)

显示居中还是左边，

8、pd.set_option(‘display.width’, 200)

横向最多显示多少个字符， 一般80不适合横向的屏幕，平时多用200.

np.set_printoptions(precision=None, threshold=None, edgeitems=None, linewidth=None, suppress=None, nanstr=None, infstr=None, formatter=None)

参数：

precision 设置浮点数的精度 （默认值：8）

threshold 设置显示的数目（超出部分省略号显示， np.nan是完全输出，默认值：1000）

edgeitems 设置显示前几个，后几个 （默认值：3）

suppress 设置是否科学记数法显示 （默认值：False）

示例如下：

import numpy as npnp.set_printoptions(precision=4, threshold=8, edgeitems=4, linewidth=75, suppress=True, nanstr='nan', infstr='inf')print("precision=4, 浮点数精确小数点后4位: ", np.array([1.23446789]))print("threshold=8, edgeitems=4, 显示8个，前4后4: ", np.arange(10))np.set_printoptions(formatter={'all': lambda x :'int:'+str(-x)})print("formatter, 格式化输出: ", np.arange(5))

输出如下：

[图片上传失败...(image-15f596-1587702700460)]

注意：precision自动四舍五入

详细介绍文档: np.set_printoptions

pd.set_option

pd.set_option(pat, value)

Ⅲ 如何利用 Python 读取数据科学中常见几种文件

filename=open('i:\\install\\test.txt','r+')#读取xx路径xx文件；r+代表的是读写并存方式
print filename.read()#读取所有的文件

Ⅳ 如何利用python语言进行数据分析

随着互联网的不断发展，数据分析已经成为指导我们工作方向的主要依据之一，而今天我们就一起来了解一下，如何利用python编程开发来进行数据分析，下面电脑培训http://www.kmbdqn.com/就开始今天的主要内容吧。

为什么要学习Python进行数据分析?

Python作为一种用于数据分析的语言，近引起了广泛的兴趣。我以前学过Python的基础知识。下面是一些支持学习Python的原因:

开源-免费安装

很棒的在线社区

简单易学

可以成为数据科学和基于web的分析产品生成的通用语言

不用说，它也有一些缺点:

它是一种解释语言而不是编译语言——因此可能会占用更多的CPU时间。但是，考虑到节省了程序员的时间(由于易于学习)，它仍然是一个不错的选择。

Python 2.7 和 3.4

这是Python中受争议的话题之一。您一定会遇到它，特别是如果您是初学者的话。这里没有正确/错误的选择。这完全取决于情况和你的需要。我会试着给你一些建议来帮助你做出明智的选择。

为什么Python 2.7 ?

很棒的社区支持!这是你早年需要的东西。Python 2于2000年末发布，已经使用了超过15年。

过多的三方库!虽然许多库都提供了3.x支持，但仍然有很多模块只能在2.x版本上工作。如果您计划将Python用于特定的应用程序，比如高度依赖外部模块的web开发，那么使用2.7可能会更好。

Ⅳ 如何利用python进行数据分析

作者Wes McKinney是pandas库的主要作者，所以本书也可以作为利用Python实现数据密集型应用的科学计算实践指南。本书适合刚刚接触Python的分析人员以及刚刚接触科学计算的Python程序员。
•将IPython这个交互式Shell作为你的首要开发环境。
•学习NumPy（Numerical Python）的基础和高级知识。
•从pandas库的数据分析工具开始。
•利用高性能工具对数据进行加载、清理、转换、合并以及重塑。
•利用matplotlib创建散点图以及静态或交互式的可视化结果。
•利用pandas的groupby功能对数据集进行切片、切块和汇总操作。
•处理各种各样的时间序列数据。
•通过详细的案例学习如何解决Web分析、社会科学、金融学以及经•济学等领域的问题。

Ⅵ 如何用python进行数据分析

利用python进行数据分析

链接: https://pan..com/s/15VdW4dcuPuIUEPrY3RehtQ

本书也可以作为利用Python实现数据密集型应用的科学计算实践指南。本书适合刚刚接触Python的分析人员以及刚刚接触科学计算的Python程序员。