简介这份资源是一套面向互联网营销与数据分析人员的抖音关键词搜索自动化脚本适合具备一定Python基础、希望批量采集抖音视频与用户信息的开发者使用。包内共5个文件包含Python脚本、批处理文件、APK安装包及依赖清单等压缩包约9.8MB覆盖从环境配置到数据抓取的主要环节。脚本涉及关键词匹配、网络爬虫、数据解析与API调用等核心知识点并借助中间人代理方式拦截网络通信便于调试与数据获取同时提供依赖文件方便快速搭建运行环境。已有922人学习下载读者可据此了解抖音搜索脚本的整体实现思路掌握请求构造、反爬应对、HTML与JSON解析等实用技巧并参考代理配置与依赖管理方法完成本地部署为后续二次开发与数据分析打下基础。1. 抖音关键词搜索脚本到底在搜什么从手动刷到批量拉取的边界刷抖音找素材的人都有过这种体验想找某个话题下的爆款视频手动搜关键词、往下滑、记标题、点进主页、复制链接一条两条还行一百条就是纯体力活。抖音关键词搜索脚本要解决的就是这件事——把「搜索关键词 → 翻页 → 提取视频信息」这条链路自动化让程序替你把结果拉回来。它适合做选题调研、竞品监控、素材归集的运营和开发不适合想刷量、刷互动的人那是另一条路风险也完全不同。需要先把预期摆正抖音没有开放公开的搜索 API 给普通开发者所以脚本本质上是在模拟一个真实浏览器或客户端的请求行为。这意味着两件事——第一你能拿到的是页面渲染出来的公开信息比如标题、作者、点赞数、视频链接第二请求频率、登录态、签名参数任何一个不对返回的就是空列表或者验证页。这篇笔记按「先跑通最小链路再谈稳定和规模」的顺序讲重点放在怎么用、参数怎么调、哪里会翻车。2. 先想清楚抓什么搜索页的数据结构和字段取舍2.1 搜索结果页里真正能拿到的字段打开抖音网页版搜索一个关键词你会看到一列视频卡片。每张卡片在 DOM 里对应的信息大致是这几类视频标题或描述文案、作者昵称、作者主页链接、视频详情页链接、点赞数有时还有评论数和收藏数、封面图地址。这些是「列表页可见」的字段不需要点进详情就能拿到。再往里一层点进视频详情页能拿到更完整的描述、话题标签、音乐信息、发布时间。但每多进一层请求数就翻一倍被限流的概率也成倍上升。我的做法是列表页能拿到的字段全部拿全详情页只在确实需要发布时间或完整话题时才补抓而且做去重和缓存同一个视频不重复请求。字段取舍上有个容易忽略的点——点赞数在列表页经常是「1.2万」这种带单位的字符串直接存下来没法做数值排序。要么在脚本里写个转换函数把它还原成整数要么就接受它是字符串后续用的时候再处理。我一般在前端就转掉省得后面每处都判断。2.2 用请求还是用浏览器两种技术路线的选型抓取抖音搜索页有两条主流路线选错了后面全是坑。第一条是纯 HTTP 请求路线用 requests 或 httpx 直接构造搜索接口请求解析返回的 JSON。优点是快、省资源、容易并发缺点是抖音的接口带签名参数常见的是 a_bogus 或 x-bogus 这类签名算法会变一旦变了你的请求全部返回空。这条路适合有逆向能力、能持续跟进签名变化的团队。第二条是浏览器自动化路线用 Playwright 或 Selenium 驱动真实浏览器让页面自己完成签名和渲染你只负责从 DOM 里读数据。优点是签名问题交给浏览器稳定性高得多缺点是慢、吃内存、并发上不去。对绝大多数做运营调研的人来说这条路才是能长期跑下去的。我一般会这么选如果只是每天拉几百条做选题直接上 Playwright如果要做到几万条级别并且有专人维护才考虑去啃接口签名。下面两章的代码都基于 Playwright因为它是新手能最快跑通、熟手也愿意用来兜底的方案。提示无论走哪条路都不要在未登录状态下高频请求。未登录态的搜索页返回内容更少且更容易触发验证。3. 用 Playwright 跑通关键词搜索的最小链路3.1 环境准备和依赖安装先把环境搭起来。Python 3.9 以上即可Playwright 对版本不挑。装依赖就三行命令注意 playwright 装完还要单独装一次浏览器内核这一步经常被漏掉漏了就会报「找不到浏览器可执行文件」。pip install playwright pandas playwright install chromium第一行装 Playwright 本体和 pandas后面存表格用。第二行才是关键它会把 Chromium 内核下载到本地Playwright 默认用这个内核跑。如果你在服务器上跑没有图形界面Chromium 也能以 headless 模式运行不需要额外装桌面环境。参数上唯一要注意的是playwright install后面跟的内核名写chromium就够了不要写chrome那是调用系统已装的 Chrome服务器上通常没有。3.2 打开搜索页并等待结果渲染抖音搜索页是动态渲染的page.goto返回时 DOM 里往往还没有视频卡片。必须显式等待卡片元素出现否则你抓到的永远是空列表。下面是最小可运行版本。from playwright.sync_api import sync_playwright import time def search_douyin(keyword, max_scroll5): results [] with sync_playwright() as p: # headlessFalse 方便第一次调试时看页面 browser p.chromium.launch(headlessTrue) context browser.new_context( user_agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 ) page context.new_page() url fhttps://www.douyin.com/search/{keyword} page.goto(url, wait_untildomcontentloaded) # 等待视频卡片出现超时就放弃 try: page.wait_for_selector(div[data-e2escroll-list], timeout15000) except Exception as e: print(列表未加载:, e) browser.close() return results for i in range(max_scroll): # 滚动到底触发懒加载 page.mouse.wheel(0, 3000) time.sleep(2) # 给渲染留时间别省这一秒 # 抓取卡片文本 cards page.query_selector_all(li[data-e2escroll-list-item]) for c in cards: title_el c.query_selector(div[data-e2evideo-desc]) link_el c.query_selector(a) results.append({ title: title_el.inner_text() if title_el else , link: link_el.get_attribute(href) if link_el else , }) browser.close() return results if __name__ __main__: data search_douyin(露营装备, max_scroll3) print(len(data), 条)逻辑上分四步启动浏览器并设置 UA、打开搜索页、等待列表容器出现、滚动若干次后统一抓取。wait_for_selector里的选择器div[data-e2escroll-list]是抖音列表的容器标识>import pandas as pd def parse_like(s): # 1.2万 - 12000, 345 - 345 if not s: return 0 s s.strip() if 万 in s: return int(float(s.replace(万, )) * 10000) return int(s) if s.isdigit() else 0 def save_results(rows, pathdouyin_search.csv): df pd.DataFrame(rows) if like in df.columns: df[like_num] df[like].apply(parse_like) df df.drop_duplicates(subset[link]) df.to_csv(path, indexFalse, encodingutf-8-sig) print(f写入 {len(df)} 条到 {path}) # 用法把 3.2 抓到的 results 传进来 # save_results(data)parse_like处理的是带单位的字符串drop_duplicates按链接去重因为滚动加载时同一条视频可能被重复渲染。encodingutf-8-sig是为了 Excel 打开不乱码这个细节很多人踩过坑用普通 utf-8 存中文 CSV双击打开就是乱码。注意这套代码跑通不代表能无限跑。连续搜索多个关键词时每个关键词之间至少间隔十几秒否则很快会遇到验证页。4. 让脚本能长期跑登录态、翻页和频率控制4.1 复用登录态别每次都重新登未登录状态下抖音搜索返回的结果有限而且更容易触发验证。正确做法是第一次手动登录一次把浏览器的登录态cookies 和 localStorage保存下来后续脚本直接加载不用重复登录。def save_login_state(): with sync_playwright() as p: browser p.chromium.launch(headlessFalse) context browser.new_context() page context.new_page() page.goto(https://www.douyin.com) input(手动登录完成后按回车继续...) # 把登录态存到本地文件 context.storage_state(pathstate.json) browser.close() def search_with_state(keyword): with sync_playwright() as p: browser p.chromium.launch(headlessTrue) # 加载之前保存的登录态 context browser.new_context(storage_statestate.json) page context.new_page() page.goto(fhttps://www.douyin.com/search/{keyword}) # ...后续抓取逻辑同上storage_state是 Playwright 提供的登录态序列化机制存下来的是一个 JSON包含 cookies 和 localStorage。第一次跑save_login_state手动扫码登录回车后生成state.json之后所有抓取都走search_with_state加载这个文件即可。这个文件等于你的登录凭证别提交到代码仓库也别随便分享。登录态不是永久的一般几天到一两周会失效。失效的表现是搜索结果变少或者直接跳登录页这时候重新跑一次save_login_state就行。可以在脚本里加个判断如果抓到的条数为 0就提示登录态可能过期。4.2 翻页和滚动到底的处理抖音搜索结果是无限滚动的没有传统意义上的「下一页」按钮。翻页靠的是不断滚动触发懒加载直到页面不再出现新卡片为止。判断「到底了」有个简单办法记录上一次滚动后的卡片数量如果连续两次滚动数量没变化就认为加载完了。def scroll_until_end(page, max_round20): last_count 0 for _ in range(max_round): page.mouse.wheel(0, 4000) page.wait_for_timeout(2000) cards page.query_selector_all(li[data-e2escroll-list-item]) if len(cards) last_count: break # 数量不再增长到底了 last_count len(cards) return last_countmax_round是安全上限防止页面异常时死循环。wait_for_timeout是 Playwright 自带的等待比time.sleep更贴合浏览器事件循环。连续两轮数量不变就退出这个判断在绝大多数情况下够用。4.3 频率控制和并发边界这是整个脚本能不能长期跑的核心。抖音对搜索行为的频率很敏感短时间内大量请求必然触发验证。我的经验参数是单个关键词的完整抓取控制在 30 秒以上多个关键词之间随机间隔 15 到 40 秒一天总量控制在几百条以内。并发方面浏览器自动化路线基本不要想高并发。开多个浏览器实例会迅速吃满内存而且并发请求更容易被识别。如果确实需要更大规模正确方向是分布式加代理池但那是另一个量级的工程不是这篇能覆盖的。对多数人来说串行加合理间隔一天稳定拉几百条已经够做选题调研了。提示把间隔时间写成随机值而不是固定值固定间隔的行为特征太明显。用random.uniform(15, 40)这种。5. 关键词搜索脚本的避坑清单五个真实翻车现场5.1 抓到空列表但页面明明有内容现象脚本跑完返回 0 条手动打开同一个 URL 却能看到一堆视频。原因九成是等待时机不对。page.goto默认在load事件后返回但抖音的卡片是异步渲染的此时 DOM 里还没有卡片。另一个可能是选择器写错了抖音前端改版会换>import sqlite3 def init_db(pathdouyin.db): conn sqlite3.connect(path) conn.execute(CREATE TABLE IF NOT EXISTS videos ( link TEXT PRIMARY KEY, title TEXT, keyword TEXT, like_num INTEGER, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP )) conn.commit() return conn def save_incremental(conn, rows, keyword): new_count 0 for r in rows: try: conn.execute( INSERT INTO videos (link, title, keyword, like_num) VALUES (?,?,?,?), (r[link], r[title], keyword, r.get(like_num, 0)) ) new_count 1 except sqlite3.IntegrityError: pass # 链接已存在跳过 conn.commit() return new_countlink设成主键重复插入会抛IntegrityError捕获后跳过天然实现去重。keyword字段记下这条视频是从哪个词搜出来的方便后面分析不同关键词的内容重合度。这个表结构简单但足够支撑几个月的增量抓取。验证抓取质量有个笨办法但很有效随机抽 10 条抓到的链接手动打开核对标题和点赞数是否一致。如果对不上说明选择器抓错了元素或者页面结构和你的假设有偏差。我一般在新写或改版后必做这一步比看日志靠谱。最后一个习惯把每次抓取的元信息也记下来——关键词、抓取时间、抓到条数、新增条数。跑一段时间后回看这些数字能提前发现登录态失效、限流加剧这类问题。比如某天新增条数突然掉到个位数多半就是被限了这时候停下来调整比继续硬跑明智。这套东西不复杂难的是持续维护的耐心抖音前端一改版选择器就得跟着更新这是做这类脚本绕不开的日常。希望帮到你。本文还有配套的精品资源点击获取