1. Python一周入门迭代器与生成器实战解析第一次接触Python的迭代器时我被那个神秘的__iter__方法弄得一头雾水。直到在爬虫项目中处理百万级数据时才真正理解迭代器为何能拯救内存。让我们从一个实际案例开始假设你需要处理一个10GB的日志文件传统做法是open().readlines()结果内存直接爆炸——这就是迭代器该出场的时候了。1.1 迭代器协议深度拆解迭代器的核心在于实现两个魔法方法class MyIterator: def __iter__(self): return self # 必须返回迭代器对象本身 def __next__(self): # 返回下一个值或抛出StopIteration ...我曾在Django ORM查询优化中吃过亏。当用list(queryset)强制求值时数据库突然卡死。后来改用迭代器方案for item in queryset.iterator(): process(item)内存占用从2GB直降到50MB关键点在于迭代器不预加载所有数据每次__next__调用才获取单个元素适合处理流式数据或大规模集合1.2 生成器的三种进阶玩法1.2.1 基础生成器表达式nums (x**2 for x in range(1000000)) # 圆括号创造生成器这种形式在数据管道处理中极为高效。去年做ETL项目时用生成器链式处理节省了60%内存pipeline (transform(x) for x in extract() if filter(x))1.2.2 yield协程模式def data_consumer(): while True: batch yield # 接收数据 process(batch) consumer data_consumer() next(consumer) # 启动生成器 consumer.send(data) # 发送数据这种模式在异步IO框架中很常见。最近在FastAPI项目中用它处理WebSocket流数据比回调方式代码清晰得多。1.2.3 yield from语法糖def chain(*iterables): for it in iterables: yield from it # 代替嵌套for循环在实现组合模式时特别有用。比如合并多个数据库查询结果时results chain(query_mysql(), query_redis(), query_es())关键经验生成器执行到yield时会将整个栈帧挂起包括局部变量状态。这意味着要避免在生成器中保存大型对象引用。2. 装饰器工程化实践指南2.1 装饰器本质揭秘很多人以为decorator是语法黑魔法其实它等价于def func():... func decorator(func) # 这就是装饰器我习惯用这个模板编写生产级装饰器from functools import wraps def metric_logger(func): wraps(func) # 保留原函数元信息 def wrapper(*args, **kwargs): start time.perf_counter() try: result func(*args, **kwargs) latency time.perf_counter() - start log_metrics(func.__name__, latency) return result except Exception as e: log_error(e) raise return wrapper2.2 多层装饰器执行顺序当看到A B C def f():...时实际执行顺序是A(B(C(f)))。去年在Flask项目中调试时发现一个典型问题app.route(/) login_required # 这个先执行 cache.cached(timeout60) # 这个后执行 def view(): ...如果调换顺序会导致未登录用户也能访问缓存正确顺序应该是先认证再缓存。2.3 带参数的装饰器工厂需要三层嵌套实现参数化装饰器def retry(max_attempts3, delay1): # 工厂参数 def decorator(func): # 接收函数 wraps(func) def wrapper(*args, **kwargs): # 接收函数参数 for attempt in range(max_attempts): try: return func(*args, **kwargs) except Exception: if attempt max_attempts - 1: raise time.sleep(delay) return wrapper return decorator在微服务调用中这种重试机制配合指数退避算法能显著提升系统健壮性。3. with上下文管理器的隐藏技巧3.1 实现自定义上下文管理器除了用contextmanager装饰器还可以通过类实现class DatabaseConnection: def __enter__(self): self.conn create_connection() return self.conn def __exit__(self, exc_type, exc_val, exc_tb): self.conn.close() if exc_type is not None: log_error(exc_val) return False # 不抑制异常在爬虫项目中用上下文管理器管理Selenium浏览器实例特别方便with BrowserContext() as driver: driver.get(url) # 无需手动关闭浏览器3.2 忽略异常的高级用法__exit__方法返回True可以静默处理异常class SuppressValueError: def __exit__(self, exc_type, exc_val, exc_tb): return exc_type is ValueError # 只抑制ValueError但要注意过度使用会导致调试困难。我一般在临时文件清理等场景才用这个技巧。4. 性能优化实战对比4.1 迭代器 vs 列表的内存测试import sys def memory_test(): lst [i for i in range(1000000)] # 列表推导式 gen (i for i in range(1000000)) # 生成器表达式 print(sys.getsizeof(lst)) # 约9MB print(sys.getsizeof(gen)) # 128字节4.2 装饰器性能影响用timeit测试简单装饰器的开销import timeit def no_op_decorator(func): wraps(func) def wrapper(*args, **kwargs): return func(*args, **kwargs) return wrapper no_op_decorator def test_func(): pass # 测试结果每次调用增加约150ns开销在需要极致性能的热点路径上可以考虑用functools.lru_cache缓存装饰器替代重复计算。5. 常见坑点排查手册5.1 生成器耗尽问题gen (x for x in range(3)) list(gen) # [0,1,2] list(gen) # [] 第二次就是空的解决方案是用itertools.tee创建副本或重新创建生成器。5.2 装饰器元信息丢失decorator def func():... print(func.__name__) # 显示wrapper而不是func必须使用functools.wraps装饰内部函数。5.3 上下文管理器异常处理class BadContext: def __enter__(self): return self def __exit__(self, *args): return True # 会吞掉所有异常 with BadContext(): 1/0 # 这个ZeroDivisionError会被静默处理除非明确需要否则__exit__应该返回False。这些特性在Python 3.10中有更多优化比如|操作符支持类型联合模式匹配等。但迭代器、生成器、装饰器这些核心概念始终是Pythonic编程的基石。掌握它们不仅能写出更优雅的代码更能深入理解Python的设计哲学。