python运算效率

㈠ python处理Excel效率高十倍(下篇)通篇硬干货，再也不用加班啦

《用Python处理Excel表格》下篇来啦！

身为工作党或学生党的你，平日里肯定少不了与Excel表格打交道的机会。当你用Excel处理较多数据时，还在使用最原始的人工操作吗？现在教你如何用Python处理Excel，从此处理表格再也不加班，时间缩短数十倍！

上篇我们进行了一些事前准备，目的是用Python提取Excel表中的数据。而这一篇便是在获取数据的基础上，对Excel表格的实操处理。

第9行代码用来指定创建的excel的活动表的名字：
·不写第9行，默认创建sheet
·写了第9行，创建指定名字的sheet表

第9行代码，通过给单元格重新赋值，来修改单元格的值
第9行代码的另一种写法sheet['B1'].value = 'age'
第10行代码，保存时如果使用原来的（第7行）名字，就直接保存；如果使用了别的名字，就会另存为一个新文件

插入有效数据
使用append()方法，在原来数据的后面，按行插入数据

·insert_rows(idx=数字编号, amount=要插入的行数)，插入的行数是在idx行数的下方插入
·insert_cols(idx=数字编号, amount=要插入的列数)，插入的位置是在idx列数的左侧插入

·delete_rows(idx=数字编号, amount=要删除的行数)
·delete_cols(idx=数字编号, amount=要删除的列数)

move_range(“数据区域”,rows=,cols=)：正整数为向下或向右、负整数为向左或向上

举个例子：

openpyxl.styles.Font(name=字体名称,size=字体大小,bold=是否加粗,italic=是否斜体,color=字体颜色)
其中，字体颜色中的color是RGB的16进制表示

再者，可以使用for循环，修改多行多列的数据，在这里介绍了获取的方法

Alignment(horizontal=水平对齐模式,vertical=垂直对齐模式,text_rotation=旋转角度,wrap_text=是否自动换行)
水平对齐：‘distributed’，‘justify’，‘center’，‘left’， ‘centerContinuous’，'right，‘general’
垂直对齐：‘bottom’，‘distributed’，‘justify’，‘center’，‘top’

当然，你仍旧可以调用for循环来实现对多行多列的操作

设置行列的宽高：
·row_dimensions[行编号].height = 行高
·column_dimensions[列编号].width = 列宽

合并单元格有下面两种方法，需要注意的是，如果要合并的格子中有数据，即便python没有报错，Excel打开的时候也会报错。
merge_cells(待合并的格子编号)
merge_cells(start_row=起始行号，start_column=起始列号，end_row=结束行号，end_column=结束列号)

拆分单元格的方法同上
unmerge_cells(待合并的格子编号)
unmerge_cells(start_row=起始行号，start_column=起始列号，end_row=结束行号，end_column=结束列号)

create_sheet(“新的sheet名”)：创建一个新的sheet表

第11行，使用title修改sheet表的名字

remove(“sheet名”)：删除某个sheet表
要删除某sheet表，需要激活这个sheet表，即：将其作为活动表（关于活动表的定义请看前面文章开头写的有）下面8~11行代码展示了原始活动表与手动更换活动表，第13行代码删掉活动表

背景知识
numpy与pandas
NumPy是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库；pandas 是基于NumPy 的一种工具，该工具是为解决数据分析任务而创建的，我们需要利用Pandas进行Excel的合并

1.下面的代码生成了一个5行3列的包含15个字符的嵌套列表
（注意，第4行代码：15是等于35的，如果是15对应43，或者16对应5*3都会报错）
（注意，第5行代码，虽然5行3列是15个数据，但是可以指定数据从1开头，到16结束）

2.添加表头
使用pandas库的DataFrame来添加表头。关于打印的结果，把最左侧的一列去掉之后会发现结果很和谐，这是因为最左侧的一列代表行号。此时xx变量的类型是

xlsxwriter模块一般是和xlrd模块搭配使用的，
xlsxwriter：负责写入数据，
xlrd：负责读取数据。

1.创建一个工作簿

2.创建sheet表

3.写入数据

㈡ 如何提高python的运行效率

窍门一：关键代码使用外部功能包

Python简化了许多编程任务，但是对于一些时间敏感的任务，它的表现经常不尽人意。使用C/C++或机器语言的外部功能包处理时间敏感任务，可以有效提高应用的运行效率。这些功能包往往依附于特定的平台，因此你要根据自己所用的平台选择合适的功能包。简而言之，这个窍门要你牺牲应用的可移植性以换取只有通过对底层主机的直接编程才能获得的运行效率。以下是一些你可以选择用来提升效率的功能包：

Cython
Pylnlne
PyPy
Pyrex

这些功能包的用处各有不同。比如说，使用C语言的数据类型，可以使涉及内存操作的任务更高效或者更直观。Pyrex就能帮助Python延展出这样的功能。Pylnline能使你在Python应用中直接使用C代码。内联代码是独立编译的，但是它把所有编译文件都保存在某处，并能充分利用C语言提供的高效率。

窍门二：在排序时使用键

Python含有许多古老的排序规则，这些规则在你创建定制的排序方法时会占用很多时间，而这些排序方法运行时也会拖延程序实际的运行速度。最佳的排序方法其实是尽可能多地使用键和内置的sort()方法。譬如，拿下面的代码来说：

import operator
somelist = [(1, 5,]
在每段例子里，list都是根据你选择的用作关键参数的索引进行排序的。这个方法不仅对数值类型有效，还同样适用于字符串类型。

窍门三：针对循环的优化

每一种编程语言都强调最优化的循环方案。当使用Python时，你可以借助丰富的技巧让循环程序跑得更快。然而，开发者们经常遗忘的一个技巧是：尽量避免在循环中访问变量的属性。譬如，拿下面的代码来说：

lowerlist = ['this', 'is', 'lowercase']
upper = str.upper
upperlist = []
append = upperlist.append
for word in lowerlist:
append(upper(word))
print(upperlist)
#Output = ['THIS', 'IS', 'LOWERCASE']
每次你调用str.upper, Python都会计算这个式子的值。然而，如果你把这个求值赋值给一个变量，那么求值的结果就能提前知道，Python程序就能运行得更快。因此，关键就是尽可能减小Python在循环中的工作量。因为Python解释执行的特性，在上面的例子中会大大减慢它的速度。

（注意：优化循环的方法还有很多，这只是其中之一。比如，很多程序员会认为，列表推导式是提高循环速度的最佳方法。关键在于，优化循环方案是提高应用程序运行速度的上佳选择。）

窍门四：使用较新的Python版本

如果你在网上搜索Python，你会发现数不尽的信息都是关于如何升级Python版本。通常，每个版本的Python都会包含优化内容，使其运行速度优于之前的版本。但是，限制因素在于，你最喜欢的函数库有没有同步更新支持新的Python版本。与其争论函数库是否应该更新，关键在于新的Python版本是否足够高效来支持这一更新。

你要保证自己的代码在新版本里还能运行。你需要使用新的函数库才能体验新的Python版本，然后你需要在做出关键性的改动时检查自己的应用。只有当你完成必要的修正之后，你才能体会新版本的不同。

然而，如果你只是确保自己的应用在新版本中可以运行，你很可能会错过新版本提供的新特性。一旦你决定更新，请分析你的应用在新版本下的表现，并检查可能出问题的部分，然后优先针对这些部分应用新版本的特性。只有这样，用户才能在更新之初就觉察到应用性能的改观。

窍门五：尝试多种编码方法

每次创建应用时都使用同一种编码方法几乎无一例外会导致应用的运行效率不尽人意。可以在程序分析时尝试一些试验性的办法。譬如说，在处理字典中的数据项时，你既可以使用安全的方法，先确保数据项已经存在再进行更新，也可以直接对数据项进行更新，把不存在的数据项作为特例分开处理。请看下面第一段代码：

n = 16
myDict = {}
for i in range(0, n):
char = 'abcd'[i%4]
if char not in myDict:
myDict[char] = 0
myDict[char] += 1
print(myDict)
当一开始myDict为空时，这段代码会跑得比较快。然而，通常情况下，myDict填满了数据，至少填有大部分数据，这时换另一种方法会更有效率。

n = 16
myDict = {}
for i in range(0, n):
char = 'abcd'[i%4]
try:
myDict[char] += 1
except KeyError:
myDict[char] = 1
print(myDict)
在两种方法中输出结果都是一样的。区别在于输出是如何获得的。跳出常规的思维模式，创建新的编程技巧能使你的应用更有效率。

窍门六：交叉编译你的应用

开发者有时会忘记计算机其实并不理解用来创建现代应用程序的编程语言。计算机理解的是机器语言。为了运行你的应用，你借助一个应用将你所编的人类可读的代码转换成机器可读的代码。有时，你用一种诸如Python这样的语言编写应用，再以C++这样的语言运行你的应用，这在运行的角度来说，是可行的。关键在于，你想你的应用完成什么事情，而你的主机系统能提供什么样的资源。

Nuitka是一款有趣的交叉编译器，能将你的Python代码转化成C++代码。这样，你就可以在native模式下执行自己的应用，而无需依赖于解释器程序。你会发现自己的应用运行效率有了较大的提高，但是这会因平台和任务的差异而有所不同。

（注意：Nuitka现在还处在测试阶段，所以在实际应用中请多加注意。实际上，当下最好还是把它用于实验。此外，关于交叉编译是否为提高运行效率的最佳方法还存在讨论的空间。开发者已经使用交叉编译多年，用来提高应用的速度。记住，每一种解决办法都有利有弊，在把它用于生产环境之前请仔细权衡。）

在使用交叉编译器时，记得确保它支持你所用的Python版本。Nuitka支持Python2.6, 2.7, 3.2和3.3。为了让解决方案生效，你需要一个Python解释器和一个C++编译器。Nuitka支持许多C++编译器，其中包括Microsoft Visual Studio,MinGW 和 Clang/LLVM。

交叉编译可能造成一些严重问题。比如，在使用Nuitka时，你会发现即便是一个小程序也会消耗巨大的驱动空间。因为Nuitka借助一系列的动态链接库（DDLs）来执行Python的功能。因此，如果你用的是一个资源很有限的系统，这种方法或许不太可行。

㈢ python为啥运行效率不高

原因：1、python是动态语言；2、python是解释执行，但是不支持JIT；3、python中一切都是对象，每个对象都需要维护引用计数，增加了额外的工作。4、python GIL；5、垃圾回收。

当我们提到一门编程语言的效率时：通常有两层意思，第一是开发效率，这是对程序员而言，完成编码所需要的时间；另一个是运行效率，这是对计算机而言，完成计算任务所需要的时间。编码效率和运行效率往往是鱼与熊掌的关系，是很难同时兼顾的。不同的语言会有不同的侧重，python语言毫无疑问更在乎编码效率，life is short，we use python。

虽然使用python的编程人员都应该接受其运行效率低的事实，但python在越多越来的领域都有广泛应用，比如科学计算 、web服务器等。程序员当然也希望python能够运算得更快，希望python可以更强大。

首先，python相比其他语言具体有多慢，这个不同场景和测试用例，结果肯定是不一样的。这个网址给出了不同语言在各种case下的性能对比，这一页是python3和C++的对比，下面是两个case：

从上图可以看出，不同的case，python比C++慢了几倍到几十倍。

python运算效率低，具体是什么原因呢，下列罗列一些：

第一：python是动态语言

一个变量所指向对象的类型在运行时才确定，编译器做不了任何预测，也就无从优化。举一个简单的例子：r = a + b。a和b相加，但a和b的类型在运行时才知道，对于加法操作，不同的类型有不同的处理，所以每次运行的时候都会去判断a和b的类型，然后执行对应的操作。而在静态语言如C++中，编译的时候就确定了运行时的代码。

另外一个例子是属性查找，关于具体的查找顺序在《python属性查找》中有详细介绍。简而言之，访问对象的某个属性是一个非常复杂的过程，而且通过同一个变量访问到的python对象还都可能不一样（参见Lazy property的例子）。而在C语言中，访问属性用对象的地址加上属性的偏移就可以了。

第二：python是解释执行，但是不支持JIT（just in time compiler）。虽然大名鼎鼎的google曾经尝试Unladen Swallow 这个项目，但最终也折了。

第三：python中一切都是对象，每个对象都需要维护引用计数，增加了额外的工作。

第四：python GIL，GIL是Python最为诟病的一点，因为GIL，python中的多线程并不能真正的并发。如果是在IO bound的业务场景，这个问题并不大，但是在CPU BOUND的场景，这就很致命了。所以笔者在工作中使用python多线程的情况并不多，一般都是使用多进程（pre fork），或者在加上协程。即使在单线程，GIL也会带来很大的性能影响，因为python每执行100个opcode（默认，可以通过sys.setcheckinterval()设置）就会尝试线程的切换，具体的源代码在ceval.c::PyEval_EvalFrameEx。

第五：垃圾回收，这个可能是所有具有垃圾回收的编程语言的通病。python采用标记和分代的垃圾回收策略，每次垃圾回收的时候都会中断正在执行的程序，造成所谓的顿卡。infoq上有一篇文章，提到禁用Python的GC机制后，Instagram性能提升了10%。感兴趣的读者可以去细读。

推荐课程：Python机器学习(Mooc礼欣、嵩天教授)

㈣ 如何提高python的运行效率

使用“if value in b”来替换第二个for循环能够提高一点效率，但是对于楼主的这个问题，优化地还很不够。对于楼主这类检查一个元素是否在某个集合之中，当数据量很大的时候，最符合需求的优化应该是“使用set类型来替换list类型”。
因为set在内部是使用哈希表来实现的，而list仅仅相当于C中的普通数组，因此查询效率对于set来说，大部分情况下能达到O(1)，而list是O(n)，这个当数据量很大的时候差别就极其明显了。
优化的效果十分显着，我深有体会。有次我写一个有点复杂的查询，数据量大概在几百万级别，跑完整个代码大概花了20min，然后我在网上找到了这种优化方式之后，对我的主for循环就进行了这么一点小修改，执行时间立马缩短到了2s，速度提高了600多倍！

顺便给楼主一个建议，这种写法依然是在用传统C的思维在写Python代码，用个词来形容叫不够Pythonic，也就是不够简洁，不能表现出Python的特色。很多Python专用的写法是明显提高代码效率的，比如另外一位给出的建议使用“if value in b”这个语句来替换第二个for循环。

㈤ 为什么python内置的sort比自己写的快速排序快100倍

主要原因，内置函数用C写的。在Python语言内无论如何造不出内置函数的轮子。这也是通常C跟C++语言用户更喜欢造基础算法的轮了的原因。因为C/C++用户真有条件写出匹敌标准库的算法，但很多高级语言不行，不是程序员技术差，是客观条件就根本做不到。

你比如说Java语言没人造字符串的轮子，C++光一个字符串类就有无数多的实现。是因为C+用户更喜欢写字符串类吗？显然不是，一方面是因为Java语言内没法造出匹敌Java内置标准库算法的轮子，而C++真的可以，另外一个比较惨的原因是C++标准库的字符串功能太弱了，大多数高级语言的字符串类功能都比C+标准库字符串类功能更强。

Cpp内置的排序是快排和堆排的结合，最坏时间复杂度为nlogn，而快排最坏是n2。至于python内部的排序，我认为是一个道理，不会简简单单是一个快排，举个简单例子，当你数据已经是有序的时候，再传入快排肯定就不合适。那你设置排序函数的时候，是不是预先将他打乱，再进行快排会更好呢。当然具体不会这么简单，只是我认为官方给的接口都是很精妙的，很值得学习。

一方面Python中sort函数是用C语言写的，C++内部的sort是由快排，直接插入和堆排序混合的，当数据量比较大的时候先用的快排，当数据量小的时候用直接插入，因为当数据量变小时，快排中的每个部分基本有序，接近直接插入的最好情况的时间复杂度O（n），就比快排要好一点了。

另外一方面这个的底层实现就是归并排序。，只是使用了Python无法编写的底层实现，从而避免了Python本身附加的大量开销，速度比我们自己写的归并排序要快很多，所以说我们一般排序都尽量使用sorted和sort。