1. 项目缘起与核心价值最近在做一个区域性的应急资源调度分析项目需要评估不同区域的电力供应稳定性对周边设施的影响。其中一个关键的数据来源就是各地供电公司发布的计划停电公告。理想很丰满但现实是当我像往常一样准备用Python写个简单的requests加BeautifulSoup的脚本去抓取时发现事情没那么简单。目标网站的公告列表页其HTML结构看起来“一切正常”但用常规方法提取到的div、li标签里全是乱码或者无意义的占位符文本真正的公告内容——停电区域、时间、线路——一个都看不到。这立刻让我警觉起来这是遇到了前端反爬虫技术中比较棘手的“文本混淆”。简单说就是网站在前端渲染时并没有将真实的文本直接写在HTML里而是通过一套加密或映射规则将真实文本转换成了另一套“密码”再通过JavaScript动态解密并渲染到页面上。对于爬虫程序来说你下载到的HTML源码是“密文”而浏览器执行JS后呈现给用户的才是“明文”。我查了一下这种技术在2024年下半年到2025年变得非常流行尤其是在一些对数据有一定保护需求但又必须公开信息的政务、公共服务类网站上2026年的最新变种混淆强度更高动态性更强。所以这个“停电公告信息抓取(26年最新混淆版)”项目本质上是一场与前端混淆技术对抗的实战。它的价值在于当你需要从这类“看得见却摸不着”的网页中自动化获取关键信息时提供一套经过验证的、可复现的技术解决方案。2. 反混淆核心思路与技术选型面对前端混淆直接解析静态HTML这条路基本被堵死了。我们的核心思路必须转变为模拟浏览器环境让目标网页的JavaScript代码完整执行待其将混淆的文本解密并渲染到DOM文档对象模型中之后我们再从完全渲染好的页面里提取所需信息。这听起来就像是派一个“机器人”去帮我们打开网页等网页完全加载好再把屏幕上的字抄下来。基于这个思路技术选型就非常明确了我们需要一个能无头Headless即不显示图形界面运行、可编程控制的浏览器。主流的方案有三个Selenium、Playwright和Puppeteer。我最终选择了Playwright原因有以下几点执行速度与稳定性Playwright由微软开发其对现代Web技术的支持如Shadow DOM、Service Workers更原生执行复杂JS和等待网络请求的速度通常比Selenium快且API设计更现代化。自动等待机制Playwright内置了智能等待可以等待元素出现、网络请求完成等减少了手动编写time.sleep的需要代码更健壮。强大的选择器支持CSS、XPath、文本内容等多种定位方式并且自带text_content()方法能直接获取渲染后的文本这对我们提取已解密的文本至关重要。跨浏览器支持一套代码可以轻松在Chromium、Firefox、WebKitSafari内核上运行方便应对不同网站的兼容性要求。因此本项目的技术栈确定为Python Playwright。我们将用Playwright启动一个真实的浏览器内核加载目标页面等待混淆文本被JS解密并渲染然后像用户在浏览器里查看一样去抓取那些已经变成明文的信息。注意使用Playwright这类工具会完整加载网页的所有资源图片、样式、脚本流量和耗时远大于简单的HTTP请求。因此务必在代码中合理设置超时、限制并发并尊重网站的robots.txt规则避免对目标服务器造成不必要的压力。3. 环境搭建与Playwright实战配置工欲善其事必先利其器。第一步是搭建我们的“机器人”工作环境。3.1 安装Python与必要库确保你已安装Python 3.7及以上版本。然后我们通过pip安装Playwright的Python库。pip install playwright安装完库之后Playwright本身并不包含浏览器内核。我们需要安装它需要驱动的浏览器。执行以下命令这会下载Chromium、Firefox和WebKit的可用版本虽然我们可能只用其中一个但一次性安装全了更方便后续测试。playwright install这个过程会下载几百MB的浏览器文件请保持网络通畅。3.2 编写基础爬虫框架接下来我们创建一个基础的Python脚本框架。这个框架将完成启动浏览器 - 打开页面 - 等待渲染 - 提取数据 - 关闭浏览器 的核心流程。import asyncio from playwright.async_api import async_playwright import pandas as pd import logging # 配置日志方便调试 logging.basicConfig(levellogging.INFO, format%(asctime)s - %(levelname)s - %(message)s) async def fetch_power_outage_announcements(url): 抓取指定URL的停电公告信息 announcements [] # 用于存储抓取到的公告列表 async with async_playwright() as p: # 1. 启动浏览器。headlessFalse可以让你看到浏览器操作过程调试时非常有用。 # 对于26年最新的混淆网站建议使用Chromium其对复杂JS的支持最好。 browser await p.chromium.launch(headlessFalse, slow_mo100) # slow_mo让操作变慢便于观察 context await browser.new_context( viewport{width: 1920, height: 1080}, user_agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 ) page await context.new_page() try: logging.info(f正在访问页面: {url}) # 2. 导航到目标URL并等待页面达到“网络空闲”状态确保主要资源加载完毕。 await page.goto(url, wait_untilnetworkidle) # **关键步骤额外等待** # 对于混淆页面JS解密渲染可能需要额外时间或者由某些特定事件触发。 # 这里等待5秒是一个保守估计实际应根据页面情况调整。 await page.wait_for_timeout(5000) # 3. 定位公告列表容器。这里需要你手动分析已渲染页面的HTML结构。 # 使用浏览器的开发者工具F12在Elements页签里找到包含公告的父元素。 # 例如公告可能在一个class为‘outage-list’的div里。 list_selector div.outage-list # 请替换为实际的选择器 # 等待这个列表容器出现在DOM中 await page.wait_for_selector(list_selector, stateattached) # 4. 提取列表项 # 假设每个公告是列表容器下的一个 li 或 div.item item_selector f{list_selector} li items await page.query_selector_all(item_selector) if not items: logging.warning(未找到公告列表项请检查选择器或页面加载状态。) # 可以尝试截图保存当前页面状态用于调试 await page.screenshot(pathdebug_page.png) return announcements logging.info(f共找到 {len(items)} 条公告项。) # 5. 遍历每个项提取已渲染的明文信息 for index, item in enumerate(items): try: # 使用 text_content() 或 inner_text() 获取元素内所有渲染后的文本 # text_content() 获取所有子节点的文本包括隐藏元素的。 # inner_text() 更接近用户看到的会考虑CSS样式。 # 对于混淆解密后的文本通常两者皆可优先用 inner_text()。 text await item.inner_text() # 你可能需要进一步解析这个text字符串提取出“停电区域”、“时间”、“线路” # 这里假设文本格式规整可以用字符串方法或正则表达式解析。 # 例如 # area, time, line parse_announcement_text(text) announcement_data { index: index 1, raw_text: text.strip(), # 保存原始文本供后续解析 # area: area, # time: time, # line: line } announcements.append(announcement_data) logging.debug(f已提取第 {index1} 条公告。) except Exception as e: logging.error(f处理第 {index1} 条公告时出错: {e}) continue except Exception as e: logging.error(f爬取过程发生错误: {e}) finally: # 6. 无论如何最后都要关闭浏览器释放资源 await browser.close() return announcements async def main(): target_url https://example-power-company.com/outage-announcements # 替换为真实URL data await fetch_power_outage_announcements(target_url) if data: # 将数据转换为DataFrame并保存 df pd.DataFrame(data) df.to_csv(power_outage_announcements.csv, indexFalse, encodingutf-8-sig) logging.info(f数据已保存至 power_outage_announcements.csv共 {len(df)} 条记录。) print(df.head()) # 打印前几条看看效果 else: logging.info(未抓取到任何数据。) # 运行异步主函数 if __name__ __main__: asyncio.run(main())这个框架提供了完整的骨架但其中最关键也最易变的部分是选择器list_selector,item_selector和文本解析逻辑。这两个部分需要你针对目标网站进行具体的分析。3.3 定位元素与解析文本的实战技巧1. 如何找到正确的选择器不要依赖你最初看到的“混乱的”HTML源码。而是在脚本中设置headlessFalse让浏览器窗口弹出来。让脚本运行到page.goto之后手动在弹出来的浏览器里滚动、点击确保所有内容特别是通过滚动加载的都呈现出来。在这个完全渲染的页面上按F12打开开发者工具。使用工具左上角的“选择元素”箭头点击你感兴趣的公告条目。在“Elements”面板中高亮显示的HTML就是渲染后的真实DOM。从这里寻找唯一且稳定的父容器如ul class”list”或div id”content”以及子项的特征如div class”item”。使用它们的class、id或属性来构造CSS选择器。2. 如何处理动态加载滚动加载很多公告列表是分页或滚动加载的。Playwright可以模拟滚动和点击。# 模拟滚动到底部触发加载更多 previous_height await page.evaluate(document.body.scrollHeight) while True: await page.evaluate(window.scrollTo(0, document.body.scrollHeight)) await page.wait_for_timeout(2000) # 等待新内容加载 new_height await page.evaluate(document.body.scrollHeight) if new_height previous_height: break # 高度不再变化说明已加载完毕 previous_height new_height3. 文本解析的复杂性从inner_text()拿到可能是一整段字符串如“计划停电通知2026-03-15 09:00至17:00影响XX路沿线小区...”。你需要编写parse_announcement_text函数利用正则表达式或字符串分割来提取结构化字段。正则表达式在这里是利器。import re def parse_announcement_text(text): 从原始文本中解析出结构化的停电信息。 这是一个示例函数你需要根据实际文本格式调整正则表达式。 # 示例正则匹配“日期 开始时间-结束时间”格式 time_pattern r(\d{4}-\d{2}-\d{2})\s(\d{2}:\d{2})至(\d{2}:\d{2}) time_match re.search(time_pattern, text) # 示例匹配“影响”后面的区域描述 area_pattern r影响([\u4e00-\u9fa5、a-zA-Z0-9](?:小区|路|街|村|镇)) area_match re.search(area_pattern, text) area area_match.group(1) if area_match else 未解析到区域 start_time f{time_match.group(1)} {time_match.group(2)} if time_match else end_time f{time_match.group(1)} {time_match.group(3)} if time_match else return area, start_time, end_time4. 应对高级反爬与稳定性优化2026年的混淆网站可能不止一层防御。除了基础混淆还可能伴有其他反爬措施。4.1 检测自动化浏览器Playwright启动的浏览器虽然是无头的但其一些特征如navigator.webdriver属性可能被网站检测到。我们可以通过添加启动参数来尝试隐藏这些特征。browser await p.chromium.launch( headlessFalse, args[ --disable-blink-featuresAutomationControlled, # 禁用自动化控制特征 --disable-dev-shm-usage, --no-sandbox, ] ) context await browser.new_context( viewport{width: 1920, height: 1080}, user_agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36..., # 注入JS覆盖navigator.webdriver属性 bypass_cspTrue, # 有时需要绕过内容安全策略来执行脚本 ) # 在页面加载前执行一段JS覆盖可能被检测的属性 await page.add_init_script( Object.defineProperty(navigator, webdriver, { get: () undefined }); window.chrome { runtime: {} }; // 模拟更完整的Chrome环境 )4.2 处理验证码与交互挑战如果网站弹出验证码如点选、滑动自动化处理将变得非常困难且不稳定。此时可以考虑降低请求频率在代码中增加随机延迟await page.wait_for_timeout(random.uniform(2000, 5000))模拟人类操作间隔。使用付费打码服务对于必须突破的情况可以接入第三方打码平台的API将验证码图片发送过去获取识别结果后再模拟输入。但这会增加复杂性和成本。寻找替代数据源评估是否可以通过其他官方渠道如数据开放平台、API接口、邮件订阅获取相同信息这往往是最合规、最稳定的方式。4.3 网络错误与重试机制网络不稳定、目标服务器临时故障都会导致爬虫中断。必须实现健壮的重试机制。import asyncio from tenacity import retry, stop_after_attempt, wait_exponential, retry_if_exception_type # 定义需要重试的异常类型 retry_exceptions (TimeoutError, ConnectionError, playwright._impl._api_types.Error) retry( stopstop_after_attempt(3), # 最多重试3次 waitwait_exponential(multiplier1, min2, max10), # 指数退避等待 retryretry_if_exception_type(retry_exceptions) ) async def robust_goto(page, url): 带重试的页面跳转函数 logging.info(f尝试访问: {url}) response await page.goto(url, wait_untilnetworkidle, timeout30000) if response and response.status 400: raise ConnectionError(fHTTP {response.status} for {url}) return response # 在主函数中调用 try: await robust_goto(page, target_url) except Exception as e: logging.error(f经过重试后仍无法访问页面: {e}) # 可以在这里记录失败URL后续再试4.4 数据存储与增量抓取对于定期发布的公告我们更关心的是新内容。实现增量抓取可以避免重复存储和浪费资源。标识去重为每条公告生成一个唯一标识符例如对“停电区域开始时间”进行MD5哈希。记录最新时间每次抓取后记录下最新公告的发布时间。下次抓取时可以只抓取发布时间晚于这个记录的公告如果网站支持按时间筛选。数据库存储使用SQLite或MySQL存储数据便于查询和去重。SQLite非常适合这种单机爬虫场景。import sqlite3 import hashlib def init_database(): conn sqlite3.connect(outage.db) c conn.cursor() c.execute(CREATE TABLE IF NOT EXISTS announcements (id TEXT PRIMARY KEY, area TEXT, start_time TEXT, end_time TEXT, raw_text TEXT, fetch_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP)) conn.commit() conn.close() def save_to_db(announcement_data): 保存数据到SQLite并去重 conn sqlite3.connect(outage.db) c conn.cursor() for item in announcement_data: # 生成唯一ID unique_string f{item[area]}_{item[start_time]} item_id hashlib.md5(unique_string.encode(utf-8)).hexdigest() # 插入或忽略已存在的记录 c.execute(INSERT OR IGNORE INTO announcements (id, area, start_time, end_time, raw_text) VALUES (?, ?, ?, ?, ?), (item_id, item[area], item[start_time], item[end_time], item[raw_text])) conn.commit() inserted_count conn.total_changes conn.close() logging.info(f本次新增 {inserted_count} 条记录到数据库。)5. 常见问题排查与实战心得在实际操作中你肯定会遇到各种各样的问题。下面是我踩过坑后总结的一些常见问题及解决方法。问题1页面一直加载中wait_until‘networkidle’超时。原因页面可能有永不终止的轮询请求如WebSocket、长轮询或者有大量动态加载的资源。解决改用wait_until‘domcontentloaded’DOM加载完成然后针对你关心的具体元素使用page.wait_for_selector进行等待。或者设置一个更长的超时时间timeout60000。问题2选择器能找到元素但inner_text()返回空。原因文本可能被加载到Shadow DOM中或者元素是通过::before/::after伪元素显示的内容。解决Shadow DOM使用page.evaluate执行JS来穿透Shadow Root获取文本。text await page.evaluate((element) element.shadowRoot.textContent, element_handle)伪元素伪元素的内容无法通过.textContent获取。你需要获取计算后的样式或者换个思路直接截图该区域进行OCR最后的手段。问题3网站频繁更换混淆算法或DOM结构。原因这是网站主动反爬的升级。解决定期维护将选择器、URL等易变部分提取到配置文件如config.yaml中方便快速修改。增加健壮性编写多个备选选择器一个失效时尝试另一个。监控与告警设置脚本定期运行如果连续多次抓取不到数据或数据量异常则通过邮件、钉钉机器人等方式通知你。问题4运行速度太慢。原因headlessFalse会打开GUI消耗资源页面加载了太多无关资源图片、视频、广告。解决线上运行时务必使用headlessTrue。通过browser.new_context设置拦截无关请求只加载文档、脚本和必要样式。context await browser.new_context( bypass_cspTrue, # 拦截请求只放行特定类型 # 注意过度拦截可能导致页面功能异常需测试 ) # 或者使用 page.route 进行更精细的控制我个人最深刻的实操心得是耐心和观察。对付混淆最笨的方法往往最有效——手动在浏览器里操作一遍用开发者工具仔细观察每一个网络请求、每一段JS执行、每一次DOM变化。很多时候混淆的密钥或映射表就藏在某个看似无关的JS文件里。不要急于写代码先花时间彻底理解目标网站的前端逻辑这能节省后面大量的调试时间。另外务必给你的爬虫加上详尽的日志记录下每一步的操作和结果当出现问题时这些日志是唯一的“黑匣子”能帮你快速定位是网络问题、页面结构变化还是反爬升级。最后永远记住爬虫的伦理和法律边界公开数据用于个人学习或公益分析无可厚非但大规模商业抓取或对服务器造成干扰则是必须避免的。