㊗️本期内容已收录至专栏《Python爬虫实战》持续完善知识体系与项目实战建议先订阅收藏后续查阅更方便㊙️本期爬虫难度指数⭐ (基础入门篇)福利一次订阅后专栏内的所有文章可永久免费看持续更新中保底1000(篇)硬核实战内容。全文目录 开篇语0️⃣ 前言Preface1️⃣ 摘要Abstract2️⃣ 背景与需求Why3️⃣ 合规与注意事项必写4️⃣ 技术选型与整体流程What/How5️⃣ 环境准备与依赖安装Setup6️⃣ 核心实现请求层Fetcher7️⃣ 核心实现解析层Parser8️⃣ 数据存储与导出Storage9️⃣ 运行方式与结果展示Execution 常见问题与排错Troubleshooting1️⃣1️⃣ 进阶优化Optional1️⃣2️⃣ 总结与延伸阅读 文末✅ 专栏持续更新中建议收藏 订阅✅ 互动征集✅ 免责声明 开篇语哈喽各位小伙伴们你们好呀我是【喵手】。运营社区 C站 / 掘金 / 腾讯云 / 阿里云 / 华为云 / 51CTO欢迎大家常来逛逛一起学习一起进步我长期专注Python 爬虫工程化实战主理专栏 《Python爬虫实战》从采集策略到反爬对抗从数据清洗到分布式调度持续输出可复用的方法论与可落地案例。内容主打一个“能跑、能用、能扩展”让数据价值真正做到——抓得到、洗得净、用得上。专栏食用指南建议收藏✅ 入门基础环境搭建 / 请求与解析 / 数据落库✅ 进阶提升登录鉴权 / 动态渲染 / 反爬对抗✅ 工程实战异步并发 / 分布式调度 / 监控与容错✅ 项目落地数据治理 / 可视化分析 / 场景化应用专栏推广时间如果你想系统学爬虫而不是碎片化东拼西凑欢迎订阅专栏《Python爬虫实战》一次订阅后专栏内的所有文章可永久免费阅读持续更新中。订阅后更新会优先推送按目录学习更高效0️⃣ 前言Preface一句话说明本文将利用 Python 自动化采集政府公开的历史建筑保护名录将零散的网页表格转化为包含建筑名、地点、年代及保护级别的结构化 CSV 数据库。读完能获得什么掌握**文化遗产类元数据Cultural Heritage Metadata**的精准解析与归一化技巧。学会处理政府类静态站点常见的“嵌套表格”与“多行合并”难题。产出一份可用于城市规划分析或文化研究的标准数据集。1️⃣ 摘要Abstract本文聚焦于历史建筑名录的自动化提取。通过Requests获取页面利用BeautifulSoup的层级遍历能力攻克非标准化年代描述的提取痛点并最终实现数据的持久化存储。2️⃣ 背景与需求Why为什么要爬历史建筑是不可再生的文化资源。通过数据爬取我们可以进行城市建筑年代分布分析、保护级别权重研究甚至为古建筑爱好者提供离线地图支持。目标字段清单Building_Name: 建筑名称如武康大楼Address: 具体地点/街道Era: 建造年代如1924年Protection_Level: 保护级别如国家级、市级Brief_Description: 建筑特色或保护说明3️⃣ 合规与注意事项必写robots.txt 基本说明政府信息公开类页面通常允许抓取但禁止用于商业镜像或恶意篡改。频率控制此类站点通常维护频率较低服务器带宽有限。建议单线程爬取每请求一次休息 2s 以上避免造成“拒绝服务攻击”的假象。敏感性声明不涉及未公开的内部保护档案仅采集官方已公示的社会公开数据。4️⃣ 技术选型与整体流程What/How类型静态 HTML 列表页部分含二级跳转。选型理由RequestsBS4组合在处理这种结构相对传统多为 Table 标签嵌套的政府页面时比 Scrapy 更轻便调试更直观。流程图5️⃣ 环境准备与依赖安装SetupPython 版本3.10安装命令pipinstallrequests beautifulsoup4 pandas lxml项目结构heritage_scraper/ ├── main.py # 核心运行逻辑 ├── utils.py # 年代清洗工具函数 └── output/ # 存放生成的 CSV 文件6️⃣ 核心实现请求层Fetcher政府站点往往对Referer和User-Agent有特定要求必须完整伪装。importrequestsclassHeritageFetcher:def__init__(self):self.headers{User-Agent:Heritage-Data-Bot/1.0 (Educational Research),Referer:http://www.heritage-gov.example/,# 模拟来源页Accept:text/html,application/xhtmlxml}deffetch(self,url):try:# 增加 timeout 应对响应缓慢的政府服务器responserequests.get(url,headersself.headers,timeout20)response.raise_for_status()response.encodingutf-8# 显式指定编码防止乱码returnresponse.textexceptExceptionase:print(f❌ Error fetching data:{e})returnNone7️⃣ 核心实现解析层Parser实战重点跨行合并Rowspan的字段补全。在很多名录中同一地点的多个建筑会合并单元格直接抓取会导致字段缺失。frombs4importBeautifulSoupdefparse_heritage_table(html):soupBeautifulSoup(html,lxml)tablesoup.find(table)buildings[]current_address# 用于补全跨行合并的地点forrowintable.find_all(tr)[1:]:# 略过表头colsrow.find_all(td)ifnotcols:continue# 补全逻辑如果当前单元格为空沿用上一行的地点addrcols[1].get_text(stripTrue)ifaddr:current_addressaddrelse:addrcurrent_address data{name:cols[0].get_text(stripTrue),address:addr,era:cols[2].get_text(stripTrue),level:cols[3].get_text(stripTrue)}buildings.append(data)returnbuildings8️⃣ 数据存储与导出Storage我们将使用 Pandas 的DataFrame来导出数据并进行去重处理防止页面翻页导致的重复项。Field Mapping Table:Field NameTypeExamplebuilding_nameStringOld British ConsulateaddressStringNo.33 Bund, ShanghaieraString1872protection_levelStringNational Level9️⃣ 运行方式与结果展示Execution运行python main.py输出./output/heritage_buildings_2023.csv结果示例Rockbund, No.14 Yuanmingyuan Rd, 1920s, Municipal LevelCustoms House, No.13 Bund, 1927, National Level 常见问题与排错Troubleshooting解析年代乱码部分文档将“1920年”写成“一九二〇年”。对策在清洗层加入数字转化映射表。403 Forbidden对策检查是否开启了代理或者降低抓取速度。政府网站防火墙对“突发性流量”非常敏感。HTML 结构不规范标签未闭合对策强制使用lxml作为 BeautifulSoup 的解析核它的容错性最强。1️⃣1️⃣ 进阶优化Optional可视化分析利用Matplotlib绘制一份“Buildings Count by Era”的柱状图Chart labels will be in English。经纬度逆解析通过Address字段调用地理编码接口Geocoding API获取经纬度在地图上打点。断点续爬记录已经抓取的页码防止中途断网导致从头开始。1️⃣2️⃣ 总结与延伸阅读复盘我们攻克了文化遗产名录中“合并单元格”和“非标准文本描述”两大技术坑点构建了一个稳健的采集链路。下一步尝试学习使用PyPDF2抓取那些藏在扫描版 PDF 里的名录。将建筑照片进行异步下载构建视觉索引库。️ 文末好啦以上就是本期的全部内容啦如果你在实践过程中遇到任何疑问欢迎在评论区留言交流我看到都会尽量回复咱们下期见小伙伴们在批阅的过程中如果觉得文章不错欢迎点赞、收藏、关注哦三连就是对我写作道路上最好的鼓励与支持❤️✅ 专栏持续更新中建议收藏 订阅墙裂推荐订阅专栏 《Python爬虫实战》本专栏秉承着以“入门 → 进阶 → 工程化 → 项目落地”的路线持续更新争取让每一期内容都做到✅ 讲得清楚原理✅ 跑得起来代码✅ 用得上场景✅ 扛得住工程化想系统提升的小伙伴强烈建议先订阅专栏 《Python爬虫实战》再按目录大纲顺序学习效率十倍上升✅ 互动征集想让我把【某站点/某反爬/某验证码/某分布式方案】等写成某期实战评论区留言告诉我你的需求我会优先安排实现(更新)哒~⭐️ 若喜欢我就请关注我叭更新不迷路⭐️ 若对你有用就请点赞支持一下叭给我一点点动力⭐️ 若有疑问就请评论留言告诉我叭我会补坑 更新迭代✅ 免责声明本文爬虫思路、相关技术和代码仅用于学习参考对阅读本文后的进行爬虫行为的用户本作者不承担任何法律责任。使用或者参考本项目即表示您已阅读并同意以下条款合法使用 不得将本项目用于任何违法、违规或侵犯他人权益的行为包括但不限于网络攻击、诈骗、绕过身份验证、未经授权的数据抓取等。风险自负 任何因使用本项目而产生的法律责任、技术风险或经济损失由使用者自行承担项目作者不承担任何形式的责任。禁止滥用 不得将本项目用于违法牟利、黑产活动或其他不当商业用途。使用或者参考本项目即视为同意上述条款,即 “谁使用谁负责” 。如不同意请立即停止使用并删除本项目。