python数据单位统一减小

⑴ python气象数据处理进阶之Xarray(6)：数据重组与换形

这一部分涉及到了常用的操作，比如调换维度的位置，给数据重新reshape换形等等，建议大家可以认真阅读这部分。
老样子，先新建一个数组

比如说在求某个东西时需要将时间维放在最后一维，但是数据本身的时间在第一维，那么便可以用到这个操作。
第一种是精准换位，指定每个维度的位置

第二种是单独换位，只对指定维度换位,将time放在最后，其余不变

第三种为全部换位，相当于数组转置

扩展指增加一个维度，压缩指将一个维度挤压掉

官方文档中接下来有一段是关于DataArray向DataSet转换的，个人感觉放在这一章节并不合理，我后边会整理放进Python气象数据处理进阶之Xarray(1)中(我觉得两种基础数据结构以及互相转换应该最开始介绍的)。所以接下来跳过这部分。

个人感觉可能处理站点数据会用到这个方法
换一个数组演示

现在将这个2维数组堆叠成1维

也可以拆分，其实就是反堆叠

最重要的是不同于Pandas，Xarray的stack不缺自动丢失缺测值！！！
Xarray还提供了将不同变量stack的例子，有兴趣的可以去看看。这个用法感觉比较鸡肋

这块比较难理解，建议还是先读第一篇文章，弄清数据结构，da数组显示Dimensions without coordinates: x，而通过da.set_index函数，将X设置为混合索引号。
之后便可以实线自由索引：

通过mda.reset_index('x')重置。
reorder_levels()函数允许调换索引顺序（个人感觉比较鸡肋）

这小节应该是这篇文章和数组换形换维同等重要的。

这就是对数组进行滚动。这个的作用主要在于做差分计算。虽然前边讲过Xarray提供了中央差计算函数，但是仍需要更灵活的操作，滚动函数就实现了这个目的。

⑵ 优化Python编程的4个妙招

1. Pandas.apply() – 特征工程瑰宝

Pandas 库已经非常优化了，但是大部分人都没有发挥它的最大作用。想想它一般会用于数据科学项目中的哪些地方。一般首先能想到的就是特征工程，即用已有特征创造新特征。其中最高效的方法之一就是Pandas.apply()，即Pandas中的apply函数。

在Pandas.apply()中，可以传递用户定义功能并将其应用到Pandas Series的所有数据点中。这个函数是Pandas库最好的扩展功能之一，它能根据所需条件分隔数据。之后便能将其有效应用到数据处理任务中。

2. Pandas.DataFrame.loc – Python数据操作绝妙技巧

所有和数据处理打交道的数据科学家(差不多所有人了!)都应该学会这个方法。

很多时候，数据科学家需要根据一些条件更新数据集中某列的某些值。Pandas.DataFrame.loc就是此类问题最优的解决方法。

3. Python函数向量化

另一种解决缓慢循环的方法就是将函数向量化。这意味着新建函数会应用于输入列表，并返回结果数组。在Python中使用向量化能至少迭代两次，从而加速计算。

事实上，这样不仅能加速代码运算，还能让代码更加简洁清晰。

4. Python多重处理

多重处理能使系统同时支持一个以上的处理器。

此处将数据处理分成多个任务，让它们各自独立运行。处理庞大的数据集时，即使是apply函数也显得有些迟缓。

关于优化Python编程的4个妙招，青藤小编就和您分享到这里了。如果您对python编程有浓厚的兴趣，希望这篇文章可以为您提供帮助。如果您还想了解更多关于python编程的技巧及素材等内容，可以点击本站的其他文章进行学习。

⑶ PYTHON实现对CSV文件多维不同单位数据的归一化处理

1）线性归一化
这种归一化比较适用在数值比较集中的情况，缺陷就是如果max和min不稳定，很容易使得归一化结果不稳定，使得后续的效果不稳定，实际使用中可以用经验常量来代替max和min。
2）标准差标准化
经过处理的数据符合标准正态分布，即均值为0，标准差为1。
3）非线性归一化
经常用在数据分化较大的场景，有些数值大，有些很小。通过一些数学函数，将原始值进行映射。该方法包括log、指数、反正切等。需要根据数据分布的情况，决定非线性函数的曲线。
log函数：x = lg(x)/lg(max)
反正切函数：x = atan(x)*2/pi
Python实现
线性归一化
定义数组：x = numpy.array(x)
获取二维数组列方向的最大值：x.max(axis = 0)
获取二维数组列方向的最小值：x.min(axis = 0)
对二维数组进行线性归一化：
def max_min_normalization(data_value, data_col_max_values, data_col_min_values):
""" Data normalization using max value and min value

Args:
data_value: The data to be normalized
data_col_max_values: The maximum value of data's columns
data_col_min_values: The minimum value of data's columns
"""
data_shape = data_value.shape
data_rows = data_shape[0]
data_cols = data_shape[1]

for i in xrange(0, data_rows, 1):
for j in xrange(0, data_cols, 1):
data_value[i][j] = \
(data_value[i][j] - data_col_min_values[j]) / \
(data_col_max_values[j] - data_col_min_values[j])

标准差归一化
定义数组：x = numpy.array(x)
获取二维数组列方向的均值：x.mean(axis = 0)
获取二维数组列方向的标准差：x.std(axis = 0)
对二维数组进行标准差归一化：
def standard_deviation_normalization(data_value, data_col_means,
data_col_standard_deviation):
""" Data normalization using standard deviation

Args:
data_value: The data to be normalized
data_col_means: The means of data's columns
data_col_standard_deviation: The variance of data's columns
"""
data_shape = data_value.shape
data_rows = data_shape[0]
data_cols = data_shape[1]

for i in xrange(0, data_rows, 1):
for j in xrange(0, data_cols, 1):
data_value[i][j] = \
(data_value[i][j] - data_col_means[j]) / \
data_col_standard_deviation[j]

非线性归一化（以lg为例）
定义数组：x = numpy.array(x)
获取二维数组列方向的最大值：x.max(axis=0)
获取二维数组每个元素的lg值：numpy.log10(x)
获取二维数组列方向的最大值的lg值：numpy.log10(x.max(axis=0))
对二维数组使用lg进行非线性归一化：
def nonlinearity_normalization_lg(data_value_after_lg,
data_col_max_values_after_lg):
""" Data normalization using lg

Args:
data_value_after_lg: The data to be normalized
data_col_max_values_after_lg: The maximum value of data's columns
"""

data_shape = data_value_after_lg.shape
data_rows = data_shape[0]
data_cols = data_shape[1]

for i in xrange(0, data_rows, 1):
for j in xrange(0, data_cols, 1):
data_value_after_lg[i][j] = \
data_value_after_lg[i][j] / data_col_max_values_after_lg[j]

⑷ Python元组常用操作小技巧

所以这篇文章，我们先来回顾和总结Python数据结构里常用操作。Python中常见的数据结构可以统称为容器（container）。序列（如列表和元组）、映射（如字典）以及集合（set）是三类主要的容器。而扁平序列如str、bytes、bytearray、memoryview 和 array.array等不在这篇文章的讨论范围内。

在此，我们先从元组开始说起。

元组区别于列表的显着特征之一就是它不能被修改，但其另外一个作用就是 用于没有字段名的记录 [1] 。因为后者经常被忽略，我们先来看看元组作为记录的作用。

使用括号就可以定义一个元组。元组中的每个元素都存放了记录中一个字段的数据，外加这个字段的位置。正是这个位置信息给数据赋予了意义。下面的例子中，元组就被当作记录加以利用：

输出为：

上述for循环中的操作提取了元组中的元素，也叫作拆包（unpacking）。平行赋值是对元组拆包很好的应用，示例如下：

还有一个经典而优雅的应用是交换变量的值：

用 * 运算符把一个可迭代对象拆开作为函数的参数，例如Python的内置函数pmod接收两个数字类型的参数，返回商和余数。以下范例将使用 * 将元组传入函数。

输出为：

有些函数有多个返回值，将其赋给一个变量时，变量类型即是元组：

输出为：

zip是Python的内置函数，能够接收两个或多个序列，并组成一个元组列表，在Python3中会返回一个迭代器，如下所示：

输出为：

元组当然也支持一些常规操作，如对于元组 a = (1, 'y', 5, 5, 'x') ：

上述内容不仅涵盖了元组的基本操作，同时也结合了实际工作中常搭配使用的其他函数、运算符等。在回顾这些知识时主要参考了两本经典的Python编程书籍：《流畅的Python》和《像计算机科学家一样思考Python》，有兴趣的朋友可以深入阅读！

希望这篇文章对你有帮助，下回将总结Python列表的使用技巧。

[1]《流畅的Python》: https://book.douban.com/subject/27028517/

⑸ 如何提高python的计算精度

1.round()内置方法

round()如果只有一个数作为参数，不指定位数的时候，返回的是一个整数，而且是最靠近的整数（这点上类似四舍五入）。但是当出现.5的时候，两边的距离都一样，round()取靠近的偶数，这就是为什么round(2.5) = 2。当指定取舍的小数点位数的时候，一般情况也是使用四舍五入的规则，但是碰到.5的这样情况，如果要取舍的位数前的小树是奇数，则直接舍弃，如果偶数这向上取舍。看下面的示例：

2. 使用格式化（效果和round（）是一样的。）

>>> a=("%.2f"%2.635)>>> a'2.63'>>> a=("%.2f"%2.645)>>> a'2.65'>>> a=int(2.5)>>> a2