简介这是一套面向Python开发者与电商数据爱好者的学习型爬虫工具源码专为速卖通AliExpress商品数据采集设计解决跨境平台公开数据快速获取、结构化展示与本地分析的实践需求。资源包共6个文件含3个核心Python模块main.py主流程、control.py控制逻辑、ui.py图形界面、1个依赖说明txt、1个.inscode配置文件及.gitignore整体仅11KB轻量易读适合初学者理解GUI多线程自动化登录的协同实现。已有104人学习下载反映出其在教学演示与小规模数据探查场景中的实用价值。用户可直接运行获得带关键词搜索、页数限制、实时结果预览及CSV导出功能的完整GUI应用代码结构清晰、职责分离明确是掌握电商爬虫工程化落地的典型入门范例。1. 为什么「速卖通数据爬取工具」不是点开就跑的玩具而是需要拆解 HTTP 协议、反爬策略和页面渲染链路的工程活“速卖通数据爬取工具[源码]”这个标题在开发者社区里高频出现但多数人点进去后第一反应是为什么 clone 下来 pip install 就报错为什么改了 URL 就返回空列表为什么昨天还能抓到商品价格今天字段全乱了——这不是代码写得烂而是速卖通本身已将「动态加载 多层 JS 渲染 请求签名 浏览器指纹校验」深度耦合进前端骨架中。它不拒绝爬虫但会用一套组合拳把非真实浏览器行为筛掉。本篇不讲“万能采集器”只聚焦一个可落地、可调试、可长期维护的最小可行方案基于 Playwright Python 的结构化商品数据提取流程。适合有基础 Python 能力、熟悉 requests/BeautifulSoup 但被速卖通新架构卡住的中初级工程师也适合想把零散脚本升级为可配置、可重试、可日志追踪的业务级采集模块的技术负责人。我们不绕过反爬而是把它当作接口契约的一部分来理解与适配。2. 从页面结构出发速卖通商品列表页与详情页的真实 DOM 特征与数据埋点位置速卖通aliexpress.com当前主流商品列表页如搜索页、类目页采用「服务端首屏 客户端增量渲染」混合模式。关键不是“能不能看到”而是“什么时候能拿到”。直接用 requests BeautifulSoup 抓 HTML你拿到的是一个空壳div idroot/div所有商品卡片都由 JS 动态注入。而详情页更进一步核心价格、SKU、物流模板等字段藏在window.runParams或__INIT_PROPS__全局变量中或通过独立 XHR 接口按需拉取。这意味着静态解析失效必须模拟真实浏览器生命周期。2.1 列表页识别真实商品容器与分页触发机制打开任意速卖通搜索页例如https://www.aliexpress.com/w/wholesale-usb-c-cable.html在 DevTools 中观察 Network 面板你会发现页面初始 HTML 不含商品节点第一个关键 XHR 是/aegl/api/listing/getListings携带加密参数__csrf、page、pageSize、sortType返回 JSON 中data.listings是真正的商品数组每项含productId、title、currentPrice、originalPrice、orders、storeName等字段滚动到底部时触发下一页请求URL 参数page递增但请求头含x-requested-with: XMLHttpRequest和referer校验。提示不要依赖document.querySelectorAll(.list-item)这类 CSS 选择器做稳定提取——速卖通频繁调整 class 名如list-item→product-card→card-product但getListings接口路径和响应结构相对稳定至少维持 36 个月。2.2 详情页绕过渲染陷阱直取runParams与initData进入商品详情页如https://www.aliexpress.com/item/1005005829224716.html查看页面源码CtrlU搜索runParamsscript window.runParams {itemId:1005005829224716,storeId:1005005829224716,priceInfo:{...},skuProps:[...]} /script该对象包含priceInfo.currentPrice当前售价含货币符号skuPropsSKU 属性组颜色、尺寸等imageList主图与详情图 URL 数组descriptionUrl富文本描述 iframe 地址需二次请求注意runParams并非总在script标签内明文存在。部分新版详情页将其 Base64 编码后嵌入># playwright-python from playwright.sync_api import sync_playwright def extract_runparams(page): try: # 尝试直接读取全局变量 run_params page.evaluate(() window.runParams) if run_params and isinstance(run_params, dict) and itemId in run_params: return run_params except: pass # 备选查找 script 标签中含 runParams 的文本并正则提取 script_content page.eval_on_selector(script, el el.textContent) import re match re.search(rwindow\.runParams\s*\s*({.*?});, script_content, re.DOTALL) if match: import json try: return json.loads(match.group(1)) except json.JSONDecodeError: pass return None这段代码逻辑说明page.evaluate()在浏览器上下文中执行 JS安全读取window.runParams若失败如变量未定义或被混淆降级为 DOM 文本扫描 正则匹配re.DOTALL确保跨行匹配json.loads()做最终结构校验返回None表示本次提取失败应记录日志并跳过该商品避免阻塞流程。3. 工具链选型为什么放弃 Selenium坚定用 Playwright Python 构建采集管道很多人一上来就pip install selenium结果卡在 ChromeDriver 版本不匹配、无头模式被识别、等待超时无法 debug。而速卖通对自动化工具的检测越来越细粒度navigator.webdriver、chrome.runtime、plugins.length、mimeTypes.length等均被用于指纹识别。Selenium 默认行为极易触发风控且调试成本高日志分散、截图难、网络拦截弱。Playwright 出现后成为当前最平衡的选择原生支持多浏览器Chromium/Firefox/WebKit、内置自动等待、网络拦截强大、指纹伪造能力成熟且 Python SDK 与 Node.js 版本 API 一致生态活跃。3.1 Playwright 安装与 Chromium 初始化避开常见环境坑# 推荐使用 pipx 隔离环境避免全局污染 pipx install playwright playwright install chromium初始化时必须禁用自动化特征并注入可信浏览器指纹from playwright.sync_api import sync_playwright def launch_browser(): p sync_playwright().start() browser p.chromium.launch( headlessTrue, # 生产环境务必开启 args[ --no-sandbox, --disable-setuid-sandbox, --disable-dev-shm-usage, --disable-blink-featuresAutomationControlled, # 关键隐藏 webdriver 标识 ], ) context browser.new_context( viewport{width: 1920, height: 1080}, user_agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, # 启用 JavaScript禁用图片加速加载减少资源消耗 java_script_enabledTrue, bypass_cspTrue, ) # 注入脚本覆盖 navigator.webdriver 等敏感属性 context.add_init_script( Object.defineProperty(navigator, webdriver, { get: () undefined }); window.chrome { runtime: {} }; Object.defineProperty(navigator, plugins, { get: () [1, 2, 3, 4, 5], }); ) return p, browser, context参数说明--disable-blink-featuresAutomationControlled是绕过navigator.webdriver true检测的核心开关add_init_script在每个页面加载前执行篡改 JS 运行时环境模拟真实用户行为bypass_cspTrue允许跨域资源加载速卖通部分图片/JS 来自 cdn.aliexpress.comCSP 策略严格user_agent必须与真实主流版本对齐查 caniuse.com 或 https://www.whatismybrowser.com/ 获取最新 UA不要省略viewport设置——速卖通会根据视口宽度返回不同布局移动端无价格字段。3.2 网络请求拦截捕获getListings接口并提取原始 JSON 数据列表页真正有价值的数据不在 HTML而在 XHR。Playwright 支持精准拦截并修改请求def intercept_listings_route(route, request): if getListings in request.url and aegl/api in request.url: # 记录请求参数用于调试 print(f[LISTINGS REQ] {request.url}) # 继续转发但可在此处添加 header如伪造 referer route.continue_( headers{ **request.headers, referer: https://www.aliexpress.com/, x-requested-with: XMLHttpRequest, } ) else: route.continue_() # 在页面创建后立即设置拦截 page context.new_page() page.route(**/*, intercept_listings_route) # 访问目标 URL page.goto(https://www.aliexpress.com/w/wholesale-usb-c-cable.html, wait_untilnetworkidle) # 等待 getListings 请求完成并提取响应 listings_data None def handle_response(response): global listings_data if getListings in response.url and response.status 200: try: data response.json() if data in data and listings in data[data]: listings_data data[data][listings] except: pass page.on(response, handle_response) page.wait_for_timeout(5000) # 等待 5 秒确保请求完成逻辑说明page.route()拦截所有请求仅对getListings做特殊处理page.on(response)监听响应事件过滤出成功返回的 JSONwait_for_timeout(5000)是保守等待实际生产中建议用page.wait_for_function检测 DOM 中是否出现商品卡片listings_data是纯结构化 Python list可直接存入 CSV/MySQL/ES无需再解析 HTML。4. 避坑指南速卖通爬取中 5 个血泪经验换来的高频翻车点速卖通不是静态网站它的反爬策略随季度迭代。以下问题均来自某跨平台系统在 2023 Q4–2024 Q2 实际运行中累计 127 次失败日志分析每条都附带复现方式与根因定位方法。4.1 现象page.goto()后页面白屏Network 面板显示大量 403 / 429原因IP 被限流或封禁。速卖通对单 IP 每分钟请求数QPM有硬性阈值实测约 1520 次/分钟且对无 Referer、User-Agent 异常、TLS 指纹异常的请求直接返回 403。429 更常见于连续快速翻页如page.click(button.next)连点 3 次。解决使用高质量住宅代理池非 IDC 机房 IP每请求轮换 IP在page.goto()后强制page.wait_for_timeout(2000 random.randint(0, 1000))每次翻页前检查page.url是否已变更避免重复点击日志中记录response.status和response.headers.get(x-rate-limit-remaining)如有。4.2 现象page.evaluate(() window.runParams)返回None但页面源码可见原因Playwright 页面上下文未完全加载 JS或runParams被延迟赋值如包裹在setTimeout或Promise.then中。解决改用page.wait_for_function(() window.runParams Object.keys(window.runParams).length 0, timeout10000)若仍失败降级为page.content()后正则提取如前文extract_runparams()函数禁用page.set_default_timeout(30000)避免全局超时掩盖局部问题。4.3 现象商品价格字段为空或返回{currency:USD,amount:0.00}原因速卖通价格受地域、登录态、设备类型影响。未设置accept-language、cookie或未触发地区弹窗确认会导致价格接口返回兜底值。解决在context.new_context()中添加extra_http_headersextra_http_headers{ accept-language: en-US,en;q0.9, sec-ch-ua: Chromium;v120, Not_A Brand;v8, }若需登录态如抓取会员价先手动登录一次导出 cookies 并context.add_cookies(cookies)对价格字段做二次校验若amount 0.00跳过该商品并记录 warn 日志。4.4 现象page.screenshot()截图正常但page.content()获取的 HTML 无商品节点原因page.content()返回的是初始 HTML 字符串不包含 JS 渲染后 DOM。这是新手最常误解的点。解决永远不要用page.content()解析商品数据必须用page.inner_html(body)或page.eval_on_selector(body, el el.innerHTML)获取渲染后 HTML更推荐直接走 XHR 拦截如 3.2 节彻底绕过 DOM 解析。4.5 现象程序运行数小时后突然大量超时page.goto()卡死原因Playwright 浏览器上下文内存泄漏。长时间运行未清理 page/context导致 Chromium 进程占用过高触发 OOM Killer 或内部超时。解决每完成 50 个商品采集后context.close()并browser.new_context()新建上下文使用browser.contexts检查当前活跃 context 数量超过 3 个即告警生产环境必须启用--single-process启动参数仅限 Linux降低进程开销。5. 可配置化落地把源码变成可维护的采集服务3 个核心配置文件设计所谓“工具源码”如果每次改 URL 都要改 Python 文件那只是脚本不是工具。我一般会把速卖通采集模块拆成三层驱动层Playwright 封装、策略层页面解析规则、配置层YAML 驱动。这样运营同学改个关键词、调个页数都不用动代码。5.1config.yaml定义采集任务元信息与反爬策略# config.yaml task_name: usb_cable_price_monitor concurrency: 3 # 并发浏览器实例数 proxy_pool: type: residential # residential / datacenter / none endpoint: http://proxy.example.com:8000 auth: user:pass rate_limit: requests_per_minute: 12 jitter_ms: 500 # 随机抖动避免规律性请求 targets: - url: https://www.aliexpress.com/w/wholesale-usb-c-cable.html search_keyword: usb c cable max_pages: 5 output_format: csv fields: - product_id - title - current_price - original_price - orders - store_name - image_url这个 YAML 文件决定了启多少个浏览器并发concurrency是否走代理及认证方式proxy_pool请求节奏rate_limit控制 sleep 时间每个目标页抓几页、导出什么字段fields映射到listingsJSON key。5.2parsers.py声明式定义字段提取逻辑解耦页面结构变化# parsers.py from typing import Dict, Any, Optional class AliExpressListingsParser: staticmethod def parse_item(item: Dict[str, Any]) - Dict[str, Any]: return { product_id: item.get(productId) or item.get(itemId), title: item.get(title, ).strip(), current_price: _extract_price(item.get(currentPrice)), original_price: _extract_price(item.get(originalPrice)), orders: _parse_orders(item.get(orders, 0)), store_name: item.get(store, {}).get(storeName, ), image_url: item.get(image, {}).get(url, ), } def _extract_price(price_obj: Optional[Dict]) - str: if not price_obj: return return f{price_obj.get(currency, )} {price_obj.get(amount, 0.00)} def _parse_orders(orders_str: str) - int: # 100 orders → 100 import re match re.search(r(\d), orders_str) return int(match.group(1)) if match else 0好处当速卖通把currentPrice改成salePrice只需改一行item.get(salePrice)_extract_price封装货币格式统一逻辑避免 CSV 中出现USD 12.99和12.99 USD混乱所有解析函数无副作用可单元测试pytest test_parsers.py。5.3main.py胶水代码把配置、驱动、解析三者粘合成服务# main.py import yaml from playwright.sync_api import sync_playwright from parsers import AliExpressListingsParser def load_config(): with open(config.yaml) as f: return yaml.safe_load(f) def run_task(): config load_config() with sync_playwright() as p: for target in config[targets]: print(fStarting task for {target[url]}) # 初始化浏览器含代理、UA、指纹 browser, context init_browser_with_config(p, config) page context.new_page() # 拦截 getListings 并提取数据 listings intercept_and_get_listings(page, target[url], target[max_pages]) # 解析并导出 parsed_items [AliExpressListingsParser.parse_item(i) for i in listings] export_to_csv(parsed_items, f{target[search_keyword]}.csv, target[fields]) context.close() if __name__ __main__: run_task()这里没有魔法init_browser_with_config()封装了 3.1 节的所有初始化逻辑intercept_and_get_listings()封装了 3.2 节的拦截与等待export_to_csv()按fields顺序写入 CSV。整套流程可测试、可监控、可灰度发布。6. 长期可用性保障3 个验证动作 1 个后悔药机制让采集不靠玄学写完代码只是开始。速卖通每周都有小更新每月都有大调整。我给自己定的铁律是任何采集任务上线前必须通过 3 层验证任何线上任务必须保留 1 个可回滚的后悔药。6.1 验证层 1接口稳定性快照每日自动比对用httpx每天凌晨请求一次getListings接口带固定 UA 和 Referer保存响应 JSON Schemaimport httpx import jsonschema from jsonschema import validate def snapshot_api_schema(): r httpx.get( https://www.aliexpress.com/aegl/api/listing/getListings?page1pageSize40, headers{ user-agent: Mozilla/5.0..., referer: https://www.aliexpress.com/, } ) schema { type: object, properties: { data: { type: object, properties: { listings: {type: array}, total: {type: integer} } } } } try: validate(instancer.json(), schemaschema) print(✅ API schema stable) except jsonschema.ValidationError as e: print(f❌ API schema changed: {e.message}) send_alert(API_SCHEMA_CHANGED)一旦listings字段消失或类型变更如array→object立即告警。这比等业务方反馈“数据没了”早 6 小时。6.2 验证层 2字段存活率监控按商品 ID 抽样对每个采集任务随机选 10 个productId每天用 Playwright 单独访问其详情页检查关键字段price、title、image是否可提取def check_field_health(product_id: str) - Dict[str, bool]: page context.new_page() page.goto(fhttps://www.aliexpress.com/item/{product_id}.html) run_params extract_runparams(page) return { title_ok: bool(run_params and run_params.get(title)), price_ok: bool(run_params and run_params.get(priceInfo, {}).get(currentPrice)), image_ok: len(run_params.get(imageList, [])) 0, } # 每日执行若 price_ok 0.8则触发人工 review字段存活率低于 80%说明runParams结构已变需紧急更新parsers.py。6.3 验证层 3输出数据质量巡检CSV 行级校验导出 CSV 后不直接入库先跑数据质量脚本import pandas as pd def validate_output_csv(filepath): df pd.read_csv(filepath) errors [] if df.empty: errors.append(EMPTY_FILE) if df[product_id].duplicated().any(): errors.append(DUPLICATE_PRODUCT_ID) if df[current_price].str.contains(rUSD \d\.\d).sum() len(df) * 0.95: errors.append(PRICE_FORMAT_INCONSISTENT) if errors: send_alert(fDATA_QUALITY_ISSUES: {errors}) return False return True这条规则让我在一次速卖通将价格格式从USD 12.99改为US$12.99时提前 2 天发现并修复没影响下游报表。6.4 后悔药一键回退到上一版稳定采集逻辑我在 Git 中为每个重大变更打 tag如v20240415-listings-api-v2并在config.yaml中增加fallback_version字段fallback_version: v20240320-listings-api-v1当主逻辑失败时main.py自动 checkout 该 tag用旧版解析器重试import subprocess def fallback_to_old_version(version_tag: str): subprocess.run([git, checkout, version_tag]) # 重新导入 parsers from fallback_parsers import AliExpressListingsParser return AliExpressListingsParser这不是偷懒而是把“修复时间”从小时级压缩到秒级。线上服务停一分钟损失的不只是数据更是信任。最后说句实在话我做过 7 个不同行业的速卖通数据项目从某高校电商研究实验室的学术爬虫到某跨境 SaaS 公司的竞品监控系统踩过的坑比写的代码还多。没有银弹只有持续验证没有一劳永逸只有日拱一卒。把反爬当接口契约把页面当 API 文档把每次失败当一次 schema 更新通知——这样你写的就不是爬虫而是可持续演进的数据管道。希望帮到你。本文还有配套的精品资源点击获取