1. python 函数 - 返回生成器
如果函数要返回一系列结果，我们常见的方法就是将结果放到一份列表中，然后返回给调用者。比如下面的函数，返回字符串中每个单词的首字首皮母在真个字符串中的索引：
运行结果：
上述的结果完全符合我们的预期，但 get_word_index 函数不够简洁。下袭燃面我们尝试使用生成器来实现：
运行结果：
改写之后，不仅运行结果符合要求，由于不需要和 result 列表交互，函数也变得非常简洁。下面我们就来详细学习下生成器吧~
生成器是指使用 yield 表达式的函数，调用生成器函数时，它并不会真的运行，而是会返回迭代器。每次在这个迭代器上面调用内置的 next 函数时，迭代器就会把生成器推进到下一个 yield 表达式那里。生成器传给 yield 的值均会由迭代器返回给调用者。
此外，如果输入量非常大，使用列表作为返回值，那拍芹虚么程序就有可能耗尽内存并崩溃。相反，使用生成器之后，则可以应对任意长度的输入数据。
例如，下面这个生成器函数可以获取文件中单词的索引，而不管文件内容多大，该函数执行时消耗的内存，只由单行的文本长度决定：
其中 test_generator.txt 中的内容如下：
运行结果：
下面这句话特别重要： 生成器函数返回的迭代器，是由状态的，及调用者不应该反复使用它 。我们那 word_index_iter 来说明：
如果想重复调用，请将其封装成容器：
运行结果：
关于上述自定义容器的实现原理，我的另外一篇文章做了详细介绍，链接奉上： https://www.jianshu.com/p/0bae644d393a
2. python生成器主要用在哪里
就是生成相关数据，比如破解wifi密码，生成很多密码，通过python一个个试。
3. python生成器是怎样工作的
1、主要是开发快，语言简洁，没那么多技巧，所以读起来很清楚容易。 2、C/C++可以写python的mole，标准库锋历里就有用液唤C/C++写的东闹基凯西，这个跟java的JNI类似。 3、python的gui一般是用tkinter，就是tk的python的wrapper。python没有像xna那么方便的...
是，可以叫高阶函式，在Python中，这种一边回圈一边计算的机制，称为生成器（Generator）。
4. Python中生成器的理解
9.10. 生成器
Generator 是创建迭代器的简单而强大的工具。它们写起来就像是正规的函数，需要返回数据的时候使用 yield 语句。每次 next() 被调用时，生成器回复它脱离的位置（它记忆语句最后一次执行的位置和所有的数据值）。以下示例演示了生成器可以很简单的创建出来:
前一节中描述了基于类的迭代器，它能作的每一件事生成器也能作到。因为自动创建了 __iter__() 和 __next__() 方法，生成器显得如此简洁。
另一个关键的功能在于两次执行之间，局部变量和执行状态都自动的保存下来。这使函数很容易写，而且比使用 self.index 和 self.data 之类的方式更清晰。
除了创建和保存程序状态的自动方法，当发生器终结时，还会自动抛出 StopIteration 异常。综上所述，这些功能使得编写一个正规函数成为创建迭代器的最简单方法。
Generator 是创建迭代器的简单而强大的工具。它们写起来就像是正规的函数，需要返回数据的时候使用 yield 语句。每次 next() 被调用时，生成器回复它脱离的位置（它记忆语句最后一次执行的位置和所有的数据值）。以下示例演示了生成器可以很简单的创建出来:
前一节中描述了基于类的迭代器，它能作的每一件事生成器也能作到。因为自动创建了 __iter__() 和 __next__() 方法，生成器显得如此简洁。
另一个关键的功能在于两次执行之间，局部变量和执行状态都自动的保存下来。这使函数很容易写，而且比使用 self.index 和 self.data 之类的方式更清晰。
除了创建和保存程序状态的自动方法，当发生器终结时，还会自动抛出 StopIteration 异常。综上所述，这些功能使得编写一个正规函数成为创建迭代器的最简单方法。
5. python生成器是怎么使用的
生成器(generator)概念
生成器不会把结果保存在一个系列中，而是保存生成器的状态，在每次进行迭代时返回一个值，直到遇到StopIteration异常结束。
生成器语法
生成器表达式： 通列表解析语法，只不过把列表解析的[]换成()
生成器表达式能做的事情列表解析基本都能处理，只不过在需要处理的序列比较大时，列表解析比较费内存。
Python
1
2
3
4
5
6
7
8
9
10
11
>>> gen = (x**2 for x in range(5))
>>> gen
<generator object <genexpr> at 0x0000000002FB7B40>
>>> for g in gen:
... print(g, end='-')
...
0-1-4-9-16-
>>> for x in [0,1,2,3,4,5]:
... print(x, end='-')
...
0-1-2-3-4-5-
生成器函数： 在函数中如果出现了yield关键字，那么该函数就不再是普通函数，而是生成器函数。
但是生成器函数可以生产一个无线的序列，这样列表根本没有办法进行处理。
yield 的作用就是把一个函数变成一个 generator，带有 yield 的函数不再是一个普通函数，Python 解释器会将其视为一个 generator。
下面为一个可以无穷生产奇数的生成器函数。
Python
1
2
3
4
5
6
7
8
9
10
11
def odd():
n=1
while True:
yield n
n+=2
odd_num = odd()
count = 0
for o in odd_num:
if count >=5: break
print(o)
count +=1
当然通过手动编写迭代器可以实现类似的效果，只不过生成器更加直观易懂
Python
1
2
3
4
5
6
7
8
9
10
11
class Iter:
def __init__(self):
self.start=-1
def __iter__(self):
return self
def __next__(self):
self.start +=2
return self.start
I = Iter()
for count in range(5):
print(next(I))
题外话： 生成器是包含有__iter()和next__()方法的，所以可以直接使用for来迭代，而没有包含StopIteration的自编Iter来只能通过手动循环来迭代。
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
>>> from collections import Iterable
>>> from collections import Iterator
>>> isinstance(odd_num, Iterable)
True
>>> isinstance(odd_num, Iterator)
True
>>> iter(odd_num) is odd_num
True
>>> help(odd_num)
Help on generator object:
odd = class generator(object)
| Methods defined here:
|
| __iter__(self, /)
| Implement iter(self).
|
| __next__(self, /)
| Implement next(self).
......
看到上面的结果，现在你可以很有信心的按照Iterator的方式进行循环了吧！
在 for 循环执行时，每次循环都会执行 fab 函数内部的代码，执行到 yield b 时，fab 函数就返回一个迭代值，下次迭代时，代码从 yield b 的下一条语句继续执行，而函数的本地变量看起来和上次中断执行前是完全一样的，于是函数继续执行，直到再次遇到 yield。看起来就好像一个函数在正常执行的过程中被 yield 中断了数次，每次中断都会通过 yield 返回当前的迭代值。
yield 与 return
在一个生成器中，如果没有return，则默认执行到函数完毕时返回StopIteration；
Python
1
2
3
4
5
6
7
8
9
10
11
>>> def g1():
... yield 1
...
>>> g=g1()
>>> next(g) #第一次调用next(g)时，会在执行完yield语句后挂起，所以此时程序并没有执行结束。
1
>>> next(g) #程序试图从yield语句的下一条语句开始执行，发现已经到了结尾，所以抛出StopIteration异常。
Traceback (most recent call last):
File "<stdin>", line 1, in <mole>
StopIteration
>>>
如果遇到return,如果在执行过程中 return，则直接抛出 StopIteration 终止迭代。
Python
1
2
3
4
5
6
7
8
9
10
11
12
>>> def g2():
... yield 'a'
... return
... yield 'b'
...
>>> g=g2()
>>> next(g) #程序停留在执行完yield 'a'语句后的位置。
'a'
>>> next(g) #程序发现下一条语句是return，所以抛出StopIteration异常，这样yield 'b'语句永远也不会执行。
Traceback (most recent call last):
File "<stdin>", line 1, in <mole>
StopIteration
如果在return后返回一个值，那么这个值为StopIteration异常的说明，不是程序的返回值。
生成器没有办法使用return来返回值。
Python
1
2
3
4
5
6
7
8
9
10
11
>>> def g3():
... yield 'hello'
... return 'world'
...
>>> g=g3()
>>> next(g)
'hello'
>>> next(g)
Traceback (most recent call last):
File "<stdin>", line 1, in <mole>
StopIteration: world
生成器支持的方法
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
>>> help(odd_num)
Help on generator object:
odd = class generator(object)
| Methods defined here:
......
| close(...)
| close() -> raise GeneratorExit inside generator.
|
| send(...)
| send(arg) -> send 'arg' into generator,
| return next yielded value or raise StopIteration.
|
| throw(...)
| throw(typ[,val[,tb]]) -> raise exception in generator,
| return next yielded value or raise StopIteration.
......
close()
手动关闭生成器函数，后面的调用会直接返回StopIteration异常。
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
>>> def g4():
... yield 1
... yield 2
... yield 3
...
>>> g=g4()
>>> next(g)
1
>>> g.close()
>>> next(g) #关闭后，yield 2和yield 3语句将不再起作用
Traceback (most recent call last):
File "<stdin>", line 1, in <mole>
StopIteration
send()
生成器函数最大的特点是可以接受外部传入的一个变量，并根据变量内容计算结果后返回。
这是生成器函数最难理解的地方，也是最重要的地方，实现后面我会讲到的协程就全靠它了。
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
def gen():
value=0
while True:
receive=yield value
if receive=='e':
break
value = 'got: %s' % receive
g=gen()
print(g.send(None))
print(g.send('aaa'))
print(g.send(3))
print(g.send('e'))
执行流程：
通过g.send(None)或者next(g)可以启动生成器函数，并执行到第一个yield语句结束的位置。此时，执行完了yield语句，但是没有给receive赋值。yield value会输出初始值0注意：在启动生成器函数时只能send(None),如果试图输入其它的值都会得到错误提示信息。
通过g.send(‘aaa’)，会传入aaa，并赋值给receive，然后计算出value的值，并回到while头部，执行yield value语句有停止。此时yield value会输出”got: aaa”，然后挂起。
通过g.send(3)，会重复第2步，最后输出结果为”got: 3″
当我们g.send(‘e’)时，程序会执行break然后推出循环，最后整个函数执行完毕，所以会得到StopIteration异常。
最后的执行结果如下：
Python
1
2
3
4
5
6
7
0
got: aaa
got: 3
Traceback (most recent call last):
File "h.py", line 14, in <mole>
print(g.send('e'))
StopIteration
throw()
用来向生成器函数送入一个异常，可以结束系统定义的异常，或者自定义的异常。
throw()后直接跑出异常并结束程序，或者消耗掉一个yield，或者在没有下一个yield的时候直接进行到程序的结尾。
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
def gen():
while True:
try:
yield 'normal value'
yield 'normal value 2'
print('here')
except ValueError:
print('we got ValueError here')
except TypeError:
break
g=gen()
print(next(g))
print(g.throw(ValueError))
print(next(g))
print(g.throw(TypeError))
输出结果为：
Python
1
2
3
4
5
6
7
8
normal value
we got ValueError here
normal value
normal value 2
Traceback (most recent call last):
File "h.py", line 15, in <mole>
print(g.throw(TypeError))
StopIteration
解释：
print(next(g))：会输出normal value，并停留在yield ‘normal value 2’之前。
由于执行了g.throw(ValueError)，所以会跳过所有后续的try语句，也就是说yield ‘normal value 2’不会被执行，然后进入到except语句，打印出we got ValueError here。然后再次进入到while语句部分，消耗一个yield，所以会输出normal value。
print(next(g))，会执行yield ‘normal value 2’语句，并停留在执行完该语句后的位置。
g.throw(TypeError)：会跳出try语句，从而print(‘here’)不会被执行，然后执行break语句，跳出while循环，然后到达程序结尾，所以跑出StopIteration异常。
下面给出一个综合例子，用来把一个多维列表展开，或者说扁平化多维列表)
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
def flatten(nested):
try:
#如果是字符串，那么手动抛出TypeError。
if isinstance(nested, str):
raise TypeError
for sublist in nested:
#yield flatten(sublist)
for element in flatten(sublist):
#yield element
print('got:', element)
except TypeError:
#print('here')
yield nested
L=['aaadf',[1,2,3],2,4,[5,[6,[8,[9]],'ddf'],7]]
for num in flatten(L):
print(num)
如果理解起来有点困难，那么把print语句的注释打开在进行查看就比较明了了。
总结
按照鸭子模型理论，生成器就是一种迭代器，可以使用for进行迭代。
第一次执行next(generator)时，会执行完yield语句后程序进行挂起，所有的参数和状态会进行保存。再一次执行next(generator)时，会从挂起的状态开始往后执行。在遇到程序的结尾或者遇到StopIteration时，循环结束。
可以通过generator.send(arg)来传入参数，这是协程模型。
可以通过generator.throw(exception)来传入一个异常。throw语句会消耗掉一个yield。可以通过generator.close()来手动关闭生成器。
next()等价于send(None)
6. python 代码生成器怎么用
生成器是一个包含了特殊关键字yield的函数。当被调用的时候，生成器函数返回一个生成器。可以使用send，throw，close方法让生成器和外界交互。
生成器也是迭代器，但是它不仅仅是迭代器，拥有next方法并且行为和迭代器完全相同。所以生成器也可以用于python的循环中，
生成器如何使用？
首先看一个例子：
复制代码 代码如下:
#!/usr/bin/python
# -*- coding: utf-8 -*-
def flatten(nested):
for sublist in nested:
for element in sublist:
yield element
nested = [[1,2],[3,4],[5,6]]
for num in flatten(nested):
print num,
结果为1，2，3，4，5，6
递归生成器：
复制代码 代码如下:
#!/usr/bin/python
# -*- coding: utf-8 -*-
def flatten(nested):
try:
for sublist in nested:
for element in flatten(sublist):
yield element
except TypeError:
yield nested
for num in flatten([[1,2,3],2,4,[5,[6],7]]):
print num
结果为：1 2 3 2 4 5 6 7
让我们一起来看看生成器的本质
首先看下：
复制代码 代码如下:
#!/usr/bin/python
# -*- coding: utf-8 -*-
def simple_generator():
yield 1
print simple_generator
def repeater(value):
while True:
new = (yield value)
if new is not None: value = new
r = repeater(42)
print r.next()
print r.send('hello,world!')
结果为：
复制代码 代码如下:
<function simple_generator at 0x10c76f6e0>
42
hello,world!
可以看出：
1）生成器就是一函数
2）生成器具有next方法
3）生成器可以使用send 方法和外界交互。
7. python生成器多次遍历（一）------复制生成器
当python中的生成器被完整遍历一次后，就无法再次遍历。
我们希望享有生成器迭代占扒哪用内存小的特性，又希望这个生成器能被遍历多次。
方案之一是使用函数 itertools.tee 来复制生成器
语法： generator1, generator2 = itertools.tee(generator, n=2)
generator是需要复制的生成器， n是复制出生成器个数，默认为2。
我们为了生成器能多次遍历，可以这样写：
generator, _generator = itertools.tee(generator, 2)
然春瞎码后遍历_generator，保存的generator可以再次复制。
1、generator被复制后尽量不要使用
2、如果生成器中迭代的还是生成器，复神贺制最外层生成器，生成器依然只能遍历一次。
下一篇
python生成器多次遍历（二）------创建生成器类
8. Python Generator(生成器)
什么是Python Generator(生成器) ？
Python Generator(生成器)用于在内存资源有限的情况下，把处键凳理大数据的任务，分解为一段一段可以管理和处理的数据块(chunk)，建立起数据流(data pipeline)，从而一步一步的解决完大数据任务的技术。例如，假设有500G的数据待处理，内存只有32G，我们可以把数据分为200M的数据块，然后借助Python Generator技术，实现一边加载数据一边进行数据处理的效果。
生成器关键字yield 与 函数返回语句return的区别 ：
return语句 终止函数运行并返回return语句后面的变量值；return语句后面的语句不执行。
Python生成稿握旅器可以由以下两种方式创皮州建：
9. 闲话python 45: 浅谈生成器yield
生成器似乎并不是一个经常被开发者讨论的语法，因此也就没有它的大兄弟迭代器那么着名。大家不讨论它并不是说大家都已经对它熟悉到人尽皆知，与之相反，即使是工作多年的开发者可能对生成器的运行过程还是知之甚少。这是什么原因导致的呢？我猜想大概有以下几点原因： (1)运行流程不同寻常，(2)日常开发不需要，(3)常常将生成器与迭代器混淆。 生成器的运行流程可以按照协程来理解，也就是说 返回中间结果，断点继续运行 。这与我们通常对于程序调用的理解稍有差异。这种运行模式是针对什么样的需求呢？ 一般而言，生成器是应用于大量磁盘资源的处理。 比如一个很大的文件，每次读取一行，下一次读取需要以上一次读取的位置为基础。下面就通过代码演示具体看看生成器的运行机制、使用方式以及与迭代器的比较。
什么是生成器？直接用文字描述可能太过抽象，倒不如先运行一段代码，分析这段代码的运行流程，然后总结出自己对生成器的理解。
从以上演示可以看出，这段代码定义漏明了一个函数，这个函数除了yield这个关键字之外与一般函数并没有差异，也就是说生成器的魔法都是这个yield关键字引起的。 第一点，函数的返回值是一个生成器对象。 上述代码中，直接调用这个看似普通的函数，然后将返回值打印出来，发现返回值是一个对象，而并不是普通函数的返回值。 第二点，慧搜拿可以使用next对这个生成器对象进行操作 。生成器对象天然的可以被next函数调用，然后返回在yield关键字后面的内容。 第三，再次调用next函数处理生成器对象，发现是从上次yield语句之后继续运行，直到下一个yield语句返回。
生成器的运行流程确实诡异，下面还要演示一个生成器可以执行的更加诡异的操作：运行过程中向函数传参。
返回生成器和next函数操作生成器已经并不奇怪了，但是在函数运行过程中向其传参还是让人惊呆了。 调用生成器的send函数传入参数，在函数内使用yield语句的返回值接收，然后继续运行直到下一个yield语句返回。 以前实现这种运行流程的方式是在函数中加上一个从控制台获取数据的指令，或者提前将参数传入，但是现在不用了，send方式使得传入的参数可以随着读取到的参数变化而变化。
很多的开发者比较容易混淆生成器和迭代器，而迭代器的运行过程更加符合一般的程序调用运行流程，因此从亲进度和使用熟悉度而言，大家对迭代器更有好感。比如下面演示一个对迭代器使用next方法进行操作。
从以上演示来看，大家或许会认为迭代器比生成器简单易用得太多了。不过，如果你了解迭代前搭器的实现机制，可能就不会这么早下结论了。python内置了一些已经实现了的迭代器使用确实方便，但是如果需要自己去写一个迭代器呢？下面这段代码就带大家见识以下迭代器的实现。
在python中，能被next函数操作的对象一定带有__next__函数的实现，而能够被迭代的对象有必须实现__iter__函数。看了这么一段操作，相信大家对迭代器实现的繁琐也是深有体会了，那么生成器的实现是不是会让你觉得更加简单易用呢？不过千万别产生一个误区，即生成器比迭代器简单就多用生成器。 在实际开发中，如果遇到与大量磁盘文件或者数据库操作相关的倒是可以使用生成器。但是在其他的任务中使用生成器难免有炫技，并且使逻辑不清晰而导致可读性下降的嫌疑。 这大概也能解释生成器受冷落的原因。不过作为一个专业的开发者，熟悉语言特性是分内之事。
到此，关于生成器的讨论就结束了。本文的notebook版本文件在github上的cnbluegeek/notebook仓库中共享，欢迎感兴趣的朋友前往下载。
10. Python生成器简介
Python 中的 yield 关键字鲜为人知，但是作用却很大，族绝正是因为有了yield，才有了Python生成器。
yield 是 Python 的关键字，它用于 从函数返回而不破坏其局部变量的状兆没姿态 ，并且在调用该函数时，从最后一个 yield 语句开始执行。任何包含 yield 关键字的函数都称为生成器。
Python 中的 yield 关键字的作用类似于 Python 中的 return 语句，不同之处在于：
yield的优点
yield的缺点
Python 可以使用 括号() 创建生成器
更多时候，我们使用 yield 关键字创建生成器
下面这个生成器，前4次调用它时，返回的是0-3这几个特殊值，第5次调用它时返回一个10-20之间的随机整数。
更多时察旅候，生成器可以返回无限的值。
注意 generator() 函数返回的是一个生成器对象，要想获取它的值，可以像上面那样在迭代器中取出它的值，我们也可以显式的调用next函数获取值。
Python | yield Keyword - GeeksforGeeks：https://www.geeksforgeeks.org/python-yield-keyword/
https://c.runoob.com/compile/9/