with open(file.txt) as f是每个Python开发者都会写的代码。但with语句背后的协议——上下文管理器——是Python资源管理机制的核心实现。理解这个协议的本质是理解如何正确管理文件、锁、数据库连接等资源的前提。一、上下文管理器协议上下文管理器协议包含两个方法__enter__和__exit__。pythonclass ManagedFile: def __init__(self, name): self.name name def __enter__(self): self.file open(self.name, w) return self.file def __exit__(self, exc_type, exc_val, exc_tb): if self.file: self.file.close() return False # 不抑制异常with语句的执行流程如下调用__enter__方法返回值赋给as后面的变量执行with块中的代码无论块中是否抛出异常__exit__都会被调用__exit__接收异常信息返回True表示抑制异常False表示传播异常__exit__的三参数设计让上下文管理器可以区分正常退出和异常退出。exc_type是异常类型exc_val是异常实例exc_tb是回溯对象。这三者中有一个为None时表示正常退出否则表示异常退出。二、contextlib模块的实用工具contextlib模块提供了简化上下文管理器创建的工具。contextmanager装饰器将生成器函数转换为上下文管理器。pythonfrom contextlib import contextmanager contextmanager def managed_file(name): f open(name, w) try: yield f finally: f.close()yield之前的代码相当于__enter__yield返回的值赋给as变量finally块相当于__exit__。生成器函数转换为上下文管理器时会在yield处暂停执行并返回结果块执行完毕后继续执行finally块。closing确保对象在使用后被正确关闭。pythonfrom contextlib import closing import urllib.request with closing(urllib.request.urlopen(http://example.com)) as page: content page.read()closing的作用是保证实现了close方法的对象在退出时调用close。ExitStack管理多个上下文管理器简化清理逻辑。pythonfrom contextlib import ExitStack with ExitStack() as stack: files [stack.enter_context(open(fname)) for fname in filenames] # 所有文件在退出时自动关闭ExitStack内部维护一个栈每次调用enter_context时返回的__enter__返回值入栈。退出时按相反顺序调用__exit__。当需要动态创建不确定数量的资源时ExitStack使清理逻辑简化。三、工程应用场景锁的管理threading.Lock实现了上下文管理器协议。with lock:获取锁__exit__释放锁。即使临界区抛出异常锁也会被释放。事务管理数据库连接或事务对象可以设计为上下文管理器__enter__开始事务__exit__根据异常决定提交或回滚。计时器contextmanager可以封装计时逻辑在yield前后记录时间用于性能测量和基准测试。资源清理临时目录、网络连接、内存映射文件等资源都可以通过上下文管理器确保清理逻辑的执行。四、常见的陷阱多重退出__exit__中调用其他可能抛出异常的操作需要额外处理。抑制异常__exit__返回True会隐藏异常通常应返回False或省略返回值。资源泄漏__enter__中成功获取了资源但后续抛出异常导致__exit__未被调用资源可能泄漏。with语句保证__exit__的执行前提是__enter__成功返回。五、小结上下文管理器的本质是确保资源的获取与释放配对。with语句将资源的生命周期与代码块绑定确保在任何退出路径正常执行或异常下资源都被正确释放。这种确定性清理机制是Python管理外部资源的标准方式也是编写健壮代码的基础。Python迭代器与生成器惰性求值的实现路径迭代是Python中最普遍的操作——for循环遍历列表、字典的键值、文件的每一行。Python的迭代协议提供了统一的遍历接口而生成器在此基础上实现了一种全新的数据生成方式。一、迭代器协议迭代器协议要求对象实现两个方法__iter__和__next__。__iter__返回迭代器对象本身。__next__返回下一个元素没有元素时抛出StopIteration异常。pythonclass Counter: def __init__(self, limit): self.limit limit self.current 0 def __iter__(self): return self def __next__(self): if self.current self.limit: raise StopIteration self.current 1 return self.currentfor循环的工作方式调用iter()获取迭代器反复调用next()直到捕获StopIteration。pythonfor item in iterable: # 内部实现 it iter(iterable) while True: try: item next(it) except StopIteration: break可迭代对象与迭代器的区别可迭代对象实现了__iter__每次返回一个新的迭代器迭代器同时实现了__iter__和__next__自身是迭代器只能遍历一次。二、生成器函数生成器函数是包含yield关键字的函数。调用生成器函数返回生成器对象生成器对象实现了迭代器协议但延迟执行。pythondef count_up_to(n): i 0 while i n: yield i i 1yield与return的本质区别return返回值并终止函数执行yield在生成值并暂停执行状态被保留下次调用时从暂停点恢复执行。生成器函数的执行时机发生在next()调用时而不是函数调用时。count count_up_to(5)返回生成器对象next(count)才开始执行函数体。三、生成器的状态模型生成器对象在暂停时保存以下状态当前栈帧局部变量、程序计数器、异常状态当前yield表达式的位置生成器函数被挂起后栈帧被从调用栈移出存储在堆上。这解释了为什么生成器可以表示无限序列而不消耗内存。pythondef fibonacci(): a, b 0, 1 while True: yield a a, b b, a b生成器的内存占用与当前栈帧的大小有关与序列长度无关。生成器内部保存的状态仅限于函数体内的局部变量不会因为遍历长度增加而增长。四、生成器的双向通信yield可以作为表达式接收值。send()方法向生成器发送值yield返回该值。pythondef echo(): while True: received yield print(fReceived: {received}) gen echo() next(gen) # 推进到第一个yield gen.send(42) # 发送42yield返回42throw()方法向生成器内部抛出异常。生成器可以捕获并处理异常或让异常传播到调用方。close()方法终止生成器。生成器内部的GeneratorExit异常被触发。五、生成器表达式pythonsquares (x**2 for x in range(10)) # 生成器表达式惰性 list_squares [x**2 for x in range(10)] # 列表推导式立即创建生成器表达式与列表推导式的语法相似但行为不同。生成器表达式返回生成器对象不立即创建列表仅在需要时逐个计算元素节省内存适合大数据集。列表推导式立即创建完整的列表占用内存。六、工程应用读取大文件生成器逐行读取文件将内存占用从文件大小降到单行大小。pythondef read_large_file(file_path): with open(file_path) as f: for line in f: yield line.rstrip(\n)yield在每行读取后暂停调用方处理一行后next()恢复生成器读取下一行。数据管道生成器可以串联成处理管道每个阶段负责一部分转换。pythondef read_data(): for line in open(data.txt): yield line def filter_empty(lines): for line in lines: if line.strip(): yield line def parse_lines(lines): for line in lines: yield line.split(,) pipeline parse_lines(filter_empty(read_data()))延迟计算生成器仅在需要时计算结果避免不必要的计算开销。七、小结迭代器协议是Python遍历操作的基础。生成器在此之上提供了更高效的实现方式——按需产生值、低内存占用、状态可暂停和恢复。生成器将序列生成逻辑和消费逻辑解耦有助于构建数据流处理架构。