1. 项目概述电商爬虫系统的核心挑战与解决方案电商平台数据爬取一直是爬虫领域的硬骨头。去年我接手一个跨境电商价格监控项目时曾用两周时间专门攻克这类页面的特殊结构。与普通网页不同现代电商平台普遍采用动态渲染技术传统爬虫工具几乎全军覆没。这个爬虫系统需要处理五种典型技术障碍无限滚动列表Infinite Scroll页面下拉时动态加载新内容延迟加载Lazy Loading图片和详情仅在视窗出现时加载AJAX分页点击分页按钮时不刷新整个页面Shadow DOM商品评价区常见的封装DOM结构反爬机制包括请求频率限制、行为验证等2. 技术选型与核心组件2.1 基础工具链配置我选择PlaywrightPytest组合而非常见的Scrapy原因有三对动态渲染支持更完善实测处理Shadow DOM成功率提升40%自带智能等待机制解决AJAX加载时序问题可模拟真实用户行为绕过基础反爬# 基础环境配置 pip install playwright pytest-playwright python -m playwright install2.2 核心架构设计系统采用分层架构采集层(Playwright) → 解析层(lxml/cssselect) → 存储层(MongoDB/CSV) → 监控层(Prometheus)关键创新点是加入了自适应采集策略def adaptive_delay(response_time): 根据最近10次响应时间动态调整等待时间 base_delay max(1, response_time * 1.5) random_factor random.uniform(0.8, 1.2) return base_delay * random_factor3. 五大技术难点实战解析3.1 无限滚动列表处理方案常规方法是通过监听滚动事件但电商平台往往有动态加载阈值。我的解决方案计算视窗高度与文档高度比值当滚动到阈值位置通常70%-80%时触发截图验证通过OCR识别加载中提示需处理多语言情况async def handle_infinite_scroll(page): last_height await page.evaluate(document.body.scrollHeight) while True: await page.evaluate(window.scrollBy(0, document.body.scrollHeight*0.7)) await page.wait_for_timeout(adaptive_delay()) new_height await page.evaluate(document.body.scrollHeight) if new_height last_height: break last_height new_height3.2 Shadow DOM穿透技巧商品评价区通常封装在Shadow DOM中常规选择器无法直接获取。通过Playwright的locatorAPI可以穿透reviews page.locator(div.product-reviews).locator( .review-item) count await reviews.count() for i in range(count): item reviews.nth(i) text await item.locator(.review-text).inner_text()重要提示部分平台会检测Shadow DOM访问行为建议在非高峰期操作并加入随机间隔3.3 反爬绕过实战方案根据实测经验电商平台反爬通常有三级防御防御等级特征解决方案初级UserAgent检测轮换UA池设备指纹模拟中级行为模式分析随机滚动鼠标移动轨迹模拟高级验证码挑战第三方打码服务请求降级我的UA池配置示例USER_AGENTS [ Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36..., Mozilla/5.0 (iPhone; CPU iPhone OS 15_4 like Mac OS X) AppleWebKit/605.1.15..., # 准备20条不同设备类型的UA ]4. 数据存储与性能优化4.1 MongoDB分片存储方案针对商品数据特点采用复合分片键设计sh.shardCollection(db.products, { category: 1, # 范围分片 _id: hashed # 哈希分片 })写入优化技巧使用bulk_write替代单条insert设置writeConcern为w:1禁用临时索引自动创建4.2 CSV导出内存优化当处理百万级数据时采用流式写入def export_to_csv(data_iter, filename): with open(filename, w, newline, encodingutf-8) as f: writer None for batch in chunked(data_iter, 1000): if not writer: writer csv.DictWriter(f, fieldnamesbatch[0].keys()) writer.writeheader() writer.writerows(batch) f.flush() # 避免内存堆积5. 运维监控体系搭建5.1 Prometheus监控指标设计关键监控指标crawl_duration_seconds采集耗时items_scraped_total成功采集数http_requests_total请求统计Grafana看板应包含成功率热力图按小时分布异常请求类型饼图响应时间趋势图5.2 异常处理机制建立三级告警系统轻微异常重试自动处理中等异常触发备用IP池严重异常停止任务并通知class AntiScrapingError(Exception): def __init__(self, response): self.status response.status self.url response.url self.headers response.headers def handle(self): if self.status 429: return self._handle_rate_limit() # 其他错误处理逻辑...6. 实战经验与避坑指南时间戳陷阱某平台使用服务器时间校验请求解决方案timestamp int(time.time() * 1000) - random.randint(100, 500)字体反爬破解针对CSS字体映射的干扰数据下载woff字体文件使用fontTools解析字形映射建立Unicode到实际字符的映射表请求参数加密常见于价格接口可通过以下步骤逆向定位加密参数入口通常为XHR断点追踪参数生成路径复现核心加密函数需处理环境依赖血泪教训某次爬取因未设置合理的超时时间导致IP被永久封禁。建议任何请求都必须设置双重超时page.goto(url, timeout30000) # 总超时 page.wait_for_selector(.product, timeout5000) # 元素超时这套系统经过6个月的生产验证日均稳定采集200万商品数据关键突破在于动态负载均衡的请求调度基于机器学习的反爬识别前置分布式断点续爬机制对于想深入优化的开发者建议研究Playwright的请求拦截功能可以实现更精细的资源加载控制比如仅下载必要的API接口数据能降低30%以上的带宽消耗。