Scrapling 爬虫框架完全指南从安装、反爬抓取到 Spider 实战【免费下载链接】Scrapling️ An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl!项目地址: https://gitcode.com/GitHub_Trending/sc/Scrapling写爬虫脚本的人都遇到过同一类麻烦网站一改版选择器全部失效换个 IP请求又被拦。Scrapling 是一个自适应 Web 爬虫框架把单请求抓取、反爬浏览器、完整 Spider 爬虫装进同一个 Python 库选择器失效时能靠元素指纹自动找回。本文带你装好环境、跑通第一个请求再演示反爬抓取与断点续爬两个真实场景。网站改版、反爬拦截爬虫脚本为什么总是挂普通爬虫有两个硬伤。第一是选择器脆页面 class 一改css(.price)直接取不到东西只能人肉重改。第二是过不了反爬Cloudflare、指纹检测、请求限速requests 一行代码都绕不过去。Scrapling 的对应做法是三件事解析器会记录元素的特征指纹网站改版后用相似度算法重新定位选择器不用重写内置三种 fetcher 覆盖不同反爬等级Fetcher走纯 HTTP 请求可伪装浏览器 TLS 指纹DynamicFetcher开浏览器渲染 JSStealthyFetcher主打反检测能过 Cloudflare Turnstile/Interstitial抓取量变大时不用换框架Spider 子系统提供并发控制、按域名限速、断点续爬和代理轮换。 解析性能来自仓库内置的 benchmarks.py 基准测试100 次以上运行取平均库5000 个嵌套元素文本提取对比 ScraplingScrapling1.99 ms1.0xPyQuery23.98 ms约 12xBS4 lxml1562.1 ms约 785x代码库有 92% 的测试覆盖率全量类型提示适合在 IDE 里放心重构。五分钟跑通第一个抓取 环境只需要 Python 3.10 及以上Linux / macOS / Windows 都行也提供 Docker 镜像。1️⃣装解析引擎。在虚拟环境里执行pip install scrapling完成后你得到一个可用的解析器但还没有抓取能力。2️⃣装 fetcher 依赖和浏览器。要用抓取或爬虫功能必须装 fetchers 扩展并单独装浏览器驱动pip install scrapling[fetchers] scrapling install # 下载浏览器及其系统依赖完成后你得到可用的Fetcher、DynamicFetcher、StealthyFetcher和 Spider 框架。3️⃣跑第一个请求from scrapling.fetchers import Fetcher page Fetcher.get(https://quotes.toscrape.com/, impersonatechrome) quotes page.css(.quote .text::text).getall() print(quotes[:3])运行完你拿到页面上全部引文文本。impersonatechrome会用最新版 Chrome 的 TLS 指纹发请求对很多基础检测已经够用。 不想写代码也可以直接验证安装是否成功scrapling extract get https://example.com out.md会把页面提取成 Markdown 文件。三个核心场景实战按反爬等级选 fetcher场景用哪个说明静态页、普通接口Fetcher最快支持 TLS 指纹伪装、HTTP/3JS 渲染、小自动化DynamicFetcherPlaywright 驱动 Chromium 或 Google ChromeCloudflare、指纹检测StealthyFetcher反检测最强可自动过验证被 Cloudflare 拦住的页面加一个参数就能过from scrapling.fetchers import StealthyFetcher page StealthyFetcher.fetch( https://nopecha.com/demo/cloudflare, headlessTrue, solve_cloudflareTrue, # 自动处理验证页 ) print(page.status)需要长期登录态时改用StealthySession/DynamicSession保持浏览器常驻cookie 和状态在多次请求间自动延续。网站改版后选择器还能用吗 这是 Scrapling 的招牌能力 adaptive。首次抓取时用auto_saveTrue把元素指纹存下来改版后选择器失效了换adaptiveTrue解析器按相似度找回原元素page StealthyFetcher.fetch(https://某商品列表页) # 第 1 次保存元素指纹 items page.css(.product, identifierproducts, auto_saveTrue) # 网站改版、选择器失效后按指纹重新定位 items page.css(.new-product-class, identifierproducts, adaptiveTrue)不用重写选择器数据管道继续跑。从抓单页到全量爬虫️ Spider 子系统是 Scrapy 风格的start_urls 异步parse内置并发、按域名限速和断点续爬from scrapling.spiders import Spider, Response class QuotesSpider(Spider): name quotes start_urls [https://quotes.toscrape.com/] concurrent_requests 10 # 并发数 async def parse(self, response: Response): for quote in response.css(.quote): yield {text: quote.css(.text::text).get()} next_page response.css(.next a) if next_page: yield response.follow(next_page[0].attrib[href]) result QuotesSpider(crawldir./crawl_data).start() result.items.to_json(quotes.json)crawldir参数开启 CheckpointCtrlC 是优雅暂停进度自动落盘下次用同一目录重启 Spider 即从断点继续。限速不用自己拍脑袋AutoThrottle 会按网站响应速度自动调每个域名的延迟被限流时加倍退避、恢复后再提速。⚡ 代理轮换怎么配给 session 传一个ProxyRotator即可from scrapling.engines.toolbelt.proxy_rotation import ProxyRotator rotator ProxyRotator([ http://user:pass1.2.3.4:8000, http://user:pass5.6.7.8:8000, ]) session FetcherSession(proxy_rotatorrotator) # 请求自动轮换代理默认循环策略某个代理报错后自动换下一个。常见报错与排查️ 按出现频率排了序ModuleNotFoundError: No module named scrapling.fetchers基础安装只含解析引擎。执行pip install scrapling[fetchers]再跑一次scrapling install装浏览器。浏览器类 fetcher 报找不到可执行文件 / browser 缺失漏了scrapling install它下载浏览器和系统依赖。不想本地装浏览器时可拉官方 Docker 镜像docker pull pyd4vinci/scrapling开箱即带全部浏览器。Linux 无桌面服务器上无头浏览器起不来缺图形依赖。两个思路装 xvfb 虚拟显示或用real_chromeTrue走系统里已装好的 Chrome。Cloudflare 页面反复验证过不去确认用的是StealthyFetcher且传了solve_cloudflareTrue仍失败就试试real_chromeTrue真实 Chrome 的指纹比内置 Chromium 更接近普通用户。调试 parse 逻辑时被目标网站限流开启开发模式缓存首次运行的响应会存到磁盘后续运行直接回放不再重复打目标服务器。另外给浏览器 session 传capture_xhrapi页面发出的所有匹配 XHR/fetch 请求会被收进response.captured_xhr想抓的网站 API 不用自己逆向。继续深挖 一句话总结Scrapling 把「选择器」升级成了「指纹」把「单请求」升级成了「可断点的 Spider」把「手工 delay」升级成了自动限速。选择器与元素查找细节docs/parsing/selection.md反检测与 Cloudflare 处理docs/fetching/stealthy.md代理轮换、断点续爬与模板爬虫docs/spiders/proxy-blocking.md、docs/spiders/getting-started.mdfetcher 源码scrapling/fetchers/Spider 引擎与调度scrapling/spiders/【免费下载链接】Scrapling️ An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl!项目地址: https://gitcode.com/GitHub_Trending/sc/Scrapling创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考