Python 中的生成器趣味实践

1. 遍历文本文件中的单词

假设存在文本文件 test.txt,内容如下:

The Zen of Python

Beautiful is better than ugly

Simple is better than complex

注意文件包含有空行,要求完成如下任务:

  1. 统计文件有多少个单词
  2. 统计文件中每个单词出现的频率

2. 直接遍历的方法

请参考词条 “Python 中的迭代器趣味实践” 的第 2 小节,通过直接遍历文件中单词的方式实现 “统计单词的个数” 和 “统计单词的出现频率”。

2.1 优点

直接遍历的方式的优点在于代码简单,框架代码如下:

file = open('test.txt')

while True:
    line = file.readline()
    if not line:
        break

    words = line.split() 
    for word in words:
        处理 word
  • 在第 4 行,读取文件的每一行
  • 在第 8 行,将文件的一行分割为多个单词
  • 在第 10 行,对当前正在遍历的单词进行处理

2.2 缺点

直接遍历的方式的缺点在于代码重复,实现 “统计单词个数” 和 “统计单词出现频率” 这两个功能需求时,遍历单词的框架代码是重复的。

3. 基于迭代器的方法

请参考词条 “Python 中的迭代器趣味实践” 的第 3 小节和第 4 小节,通过基于迭代器的方式实现 “统计单词的个数” 和 “统计单词的出现频率”。

3.1 优点

使用迭代器的方式的优点在于遍历单词的代码简单,使用如下代码:

for word in IterateWord(file):
    处理 word

即可对文件中所有的单词进行遍历。

3.2 缺点

使用迭代器的方式的缺点在于迭代器的实现较为复杂,相比之下,直接遍历的框架代码则非常简单直观。在下面的小节中,我们基于生成器简化迭代器的实现。

4. 基于生成器的方法

4.1 实现生成器

本小节使用生成器实现遍历文件中所有的单词,代码如下:

def generateWord(file):
    while True:
        line = file.readline()
        if not line:
            break

        words = line.split() 
        for word in words:
            yield word         
  • 在第 1 行,定义生成器函数 generateWord,遍历文件 file 中的单词
  • 在第 3 行,读取文件的一行
    • 在第 4 行,如果 not line 为真,则表示读取文件结束,使用 break 退出
  • 在第 7 行,把 line 切割为多个单词
  • 在第 8 行,遍历列表 words
    • 在第 9 行,使用 yield 关键字返回当前正在遍历的单词

4.2 统计单词的个数

file = open('test.txt')

count = 0
for word in generateWord(file):
    print(word)
    count = count + 1
  • 在第 1 行,打开文件 test.txt
  • 在第 2 行,变量 count 用于记录文件中单词的个数
  • 在第 4 行,遍历文件中的每一个单词
    • 在第 5 行,打印当前遍历的单词
    • 在第 6 行,统计单词个数

程序运行输出结果如下:

The
Zen
of
Python
Beautiful
is
better
than
ugly
Simple
is
better
than
complex
count = 14

4.3 统计单词的出现频率

file = open('test.txt')
dict = {}

for word in generateWord(file):
    if word in dict:
        dict[word] += 1
    else:
        dict[word] = 1

for word,count in dict.items():
    print('%s: %d' % (word, count)) 
  • 在第 1 行,打开文件 test.txt,变量 file 标识已经打开的文件
  • 在第 4 行,遍历每一行文本的单词
    • 在第 5 行,如果 word 已经存在于 dict 中
      • 则在第 5 行,该单词出现的次数加 1
    • 在第 7 行,如果 word 不存在于 dict 中
      • 则在第 8 行,该单词出现的次数初始化为 1
  • 在第 10 行,打印 dict 的键和值

程序运行输出结果如下:

The: 1
Zen: 1
of: 1
Python: 1
Beautiful: 1
is: 2
better: 2
than: 2
ugly: 1
Simple: 1
complex: 1

结果表明:

  • 单词 is better than 出现了 2 次
  • 其它单词出现了 1 次

4.4 总结

与 “直接遍历” 和 “通过迭代器遍历” 这两种方式相比,基于生成器的方法由如下优点:

4.4.1 实现生成器简单

实现生成器的函数 generateWord 的逻辑简单直观,代码如下:

def generateWord(file):
    while True:
        line = file.readline()
        if not line:
            break

        words = line.split() 
        for word in words:
            yield word         
  • 首先,函数依次读取文件的每一行
  • 然后,再把读取的行切割成单词
  • 最后,遍历单词

4.4.2 使用生成器简单

通过 for 循环即可遍历文件中的单词,generateWord 隐藏了各种实现细节,代码如下:

for word in generateWord(file):
    处理 word