4.1 数据采集概述数据采集Data Collection就是把外部数据网页、API、文件、数据库取到本地。最常见、最适合入门的就是网页爬虫通常分三步请求用 HTTP 把网页源码下载下来解析从 HTML 里提取想要的字段存储把结果写成文件或存入数据库。合规提醒只采集公开数据遵守目标站点的robots.txt控制请求频率不碰需登录的隐私内容。用什么库——优先标准库很多教程第一句就是pip install requests beautifulsoup4但这两包在你的环境里经常因为镜像超时而装不上。其实纯标准库就能完成全部工作需求标准库方案行业常用需安装发 HTTP 请求urllib.requestrequests解析 HTMLhtml.parser内置BeautifulSoup存 CSVcsvpandas存 JSONjsonjson存数据库sqlite3sqlite3本章案例全部用标准库你复制就能跑文末附上requests BeautifulSoup的对照写法方便你了解业界习惯。4.2 用标准库采集网页4.2.1 发送请求urllib4.2.2 解析 HTMLhtml.parserhtml.parser是 Python 自带的解析器我们用它写一个轻量链接提取器只收集a href...文本/a4.3 完整案例爬取新浪教育新闻新浪文章链接格式固定为.../yyyy-mm-dd/doc-xxx.shtml发布日期直接嵌在 URL 里提取极方便。下面这段代码可以直接运行产出sina_edu_news.csv正是第三章 pandas 分析的素材。4.4 数据存储方案采集结果有几种常见落盘方式按结构化程度 / 查询需求选择方式适合场景优点缺点CSV表格数据、给 Excel / pandas 用简单通用、肉眼可读不适合海量、难做复杂查询JSON嵌套结构、前后端接口表达力强、原生支持不适合关系型统计SQLite需要查询/去重/多表关联轻量数据库、支持 SQL比文本稍重4.4.1 存 CSV标准库 csv细节utf-8-sig带 BOM让 Excel 双击中文不乱码newline避免多出空行。4.4.2 存 JSON标准库 json4.4.3 存 SQLite标准库 sqlite3支持去重与查询4.5 端到端流水线采集 → 存储 → 分析把本笔记与第三章串起来就是最基础的数据闭环骨架代码4.6 行业对照requests BeautifulSoup 写法等你的环境能装第三方包时同样的需求可以写得更优雅一些功能等价仅作了解区别标准库urllib html.parser开箱即用、零依赖requests BeautifulSoup代码更简洁、生态更丰富但需要pip install。课程作业优先保证能跑推荐标准库写法。4.7 反爬与异常处理加 UA默认请求头常被拦截务必带User-Agent。控频率循环采集时time.sleep(1~3)别压垮对方服务器。看 robotshttps://站点/robots.txt查允许范围。兜底异常网络会超时、页面会改版用try/except保护。4.8 本章小结采集 urllib 请求 html.parser 解析标准库零依赖、必能跑发布日期等字段常藏在 URL 或标签属性里善用正则(\d{4}-\d{2}-\d{2})存储按需求选CSV表格/ JSON嵌套/ SQLite查询与第三章的 pandas 组合即构成「采集 → 存储 → 分析」最小闭环。