前言feapder 是一个由国内开发者维护的开源爬虫框架官方对自己的定位是「支持分布式、批次采集、数据防丢、报警丰富的 Python 爬虫框架」。标题里「上手简单、功能强大」这两句前半句对它的轻量模式AirSpider成立后半句对它的分布式模式成立——但这两者其实是不同的形态本文的重点就是把「什么时候用哪一种」讲清楚。feapder 目前仍在活跃维护PyPI 上最新版本是 1.9.32025 年底还有新版本发布。它是纯 Python 3 框架代码风格现代用yield产出请求网上若有 Python 2 风格的示例——print ...、.iteritems()、xrange——都属于该被淘汰的写法Python 2.7 早在 2020 年 1 月 1 日就停止维护了请一律改写成print(...)、.items()、range。feapder 是第三方库它的 API 更新较快本文给出的调用以官方文档和仓库示例为准实际字段名与参数请以你安装的那个版本的官方文档为准。另外任何爬虫都要先讲合规遵守目标站点的 robots.txt 与使用条款、把请求频率控制在礼貌范围内、不去触碰需要登录或付费的内容。一、四种爬虫按需选型feapder 把「爬虫」按复杂度分成四档选错了会觉得它难用选对了会觉得它顺手类型类名特点适用场景轻量爬虫AirSpider单机、无数据库依赖、开箱即用小规模、一次性抓取常规爬虫Spider带任务队列与去重、可接数据库中等规模、需要断点续爬任务爬虫TaskSpider以外部任务表为驱动离线下载、定时任务批次爬虫BatchSpider按批次采集、数据防丢全站周期性抓取一句话选型先用AirSpider把逻辑跑通只有当「数据量大到需要队列和断点续爬」时才升级到Spider及其后续形态。很多教程一上来就讲分布式反而把初学者劝退了。二、AirSpider 最小实例feapder 提供了脚手架命令来生成爬虫骨架运行后你会得到一个可以直接跑的文件# 需要 Python 3feapder 当前版本为 1.9.xpip install feapderfeapder create -s first_spider它生成的代码结构大致是这样下面这段是我按官方示例整理的可直接运行# 适用于 Python 3feapder 1.9.ximport feapderclass FirstSpider(feapder.AirSpider):def start_requests(self):# start_requests 负责生产任务yield feapder.Request(https://quotes.toscrape.com/page/1/)def parse(self, request, response):# parse 负责解析数据注意参数顺序是 (request, response)# response.text 是响应正文文本print(正文前 80 个字符, response.text[:80])# feapder 的响应对象还提供了结构化提取接口如选择器# 具体的属性名与方法名以官方文档为准不同版本可能不同。if __name__ __main__:FirstSpider().start()这里有三个必须记牢的约定start_requests()用来产出起始任务解析方法的签名是parse(self, request, response)参数顺序是 request 在前、response 在后和 Scrapy 的parse(self, response)不一样从 Scrapy 转过来的人最容易在这里写错启动方式是实例化后调用.start()。响应对象的正文用response.text取结构化提取接口选择器的具体方法名以官方文档为准。三、自定义参数与下载中间件feapder 允许你在创建请求时携带任意自定义参数在解析时再从request上取回来。这个机制很适合传递「页码」「分类」「来源列表页」这类上下文# 适用于 Python 3feapder 1.9.ximport feapderclass PagedSpider(feapder.AirSpider):def start_requests(self):for page in range(1, 4):# 自定义参数直接作为关键字参数传入yield feapder.Request(fhttps://quotes.toscrape.com/page/{page}/,page_nopage,sourcedemo,)def parse(self, request, response):print(当前页码, request.page_no, 来源, request.source)想统一给所有请求加请求头、超时或代理就重写下载中间件方法download_midware(self, request)在里面改request再返回它。它的典型用途有两个一是统一设置 User-Agent请写真实的爬虫身份而不是伪装成浏览器二是给request.proxies赋值。该方法的准确名称与可设置的字段以官方文档为准不同版本有过调整。去重方面轻量的AirSpider依赖你给出的 URL 本身不重复带队列的Spider才有基于数据库的任务去重与断点续爬能力。所以「要不要上Spider」的判断标准很直接如果你的爬虫可能中途崩掉、需要第二天接着跑那就该用Spider。四、项目化、渲染与合规当爬虫超过一个文件时用脚手架生成完整项目把配置、模型、爬虫分开放。feapder 还支持和浏览器渲染结合在请求上开启渲染开关后可以在解析里从response.browser取渲染后的内容。需要执行 JavaScript 的页面才用得上它代价是开销大得多开关名与浏览器对象的方法以官方文档为准。无论用哪种形态请把这几条当成前置条件而不是可选项先读目标站点的 robots.txt 与使用条款确认你要抓的路径没被禁止。在 User-Agent 里标明自己的爬虫身份和联系方式方便对方在需要时找到你。把并发和请求间隔调到你确认对方能承受的水平先小批量试跑。需要登录、付费或明确被拒绝的内容不要写绕过方案改去申请官方 API 或授权。常见坑点1.parse的参数顺序写反❌def parse(self, response, request):从 Scrapy 迁移过来时常犯。 ✅def parse(self, request, response):request 在前。2. 忘了在start_requests里yield❌def start_requests(self): feapder.Request(url)只是构造了对象却没交给框架。 ✅yield feapder.Request(url)。3. 小任务硬上分布式❌ 只抓几十页却搭一整套队列、数据库、批次调度。 ✅ 小任务用AirSpider规模上来再迁移到Spider。4. 自定义参数在解析时当成响应属性取❌ 用response.page_no取自己传的参数。 ✅ 自定义参数挂在request上用request.page_no取。5. 把 UA 伪装成浏览器❌ 为了不被发现把 User-Agent 设成某个浏览器的字符串。 ✅ 写明真实的爬虫身份与联系方式伪装既不明智也不解决是否被允许这个问题。6. 用默认并发直接开跑❌ 不调并发就对着小站跑等于一次压力测试。 ✅ 先设低并发和请求间隔观察对方响应后再谨慎放宽。7. 忽视断点续爬崩了就重来❌ 长任务用AirSpider中断后只能从头再抓一遍。 ✅ 需要续爬时改用带任务队列的Spider。8. 照抄旧版本的 API 字段名❌ 从不认识的博客里抄一个字段名运行直接报属性不存在。 ✅ 以你安装版本的官方文档为准第三方库更新快博客常常滞后。总结需求选择快速验证解析逻辑AirSpider需要队列、去重、断点续爬Spider按外部任务表驱动TaskSpider周期性全站批次采集BatchSpider起始任务yield feapder.Request(url, ...)解析数据parse(self, request, response)统一下载配置重写下载中间件方法启动实例化().start()feapder 把国内爬虫实践中反复出现的需求队列、去重、报警、防丢做成了开箱选项轻量模式确实做到了「几行代码就能跑」。它的使用要点只有两个按规模选对爬虫类型以及以官方文档为准核对 API 字段。最后再重复一次那条不会过时的原则先确认能抓、抓什么、以什么频率抓再谈怎么写代码。