AI 搜索正在悄悄改变流量的分配方式很多站长发现自己的页面在传统搜索引擎里排名不错但在 AI 搜索的引用来源里却几乎不出现。这不是玄学而是 AI 搜索在抓取、解析、引用网页时有一套自己的偏好和门槛。GEOGenerative Engine Optimization生成式引擎优化要解决的就是这个问题让 AI 搜索愿意抓你的页面、看得懂你的内容、并且在生成答案时把你列为引用来源。这篇内容面向有基础建站能力的开发者、SEO 从业者和内容运营从抓取通道、内容结构、代码层面的可控项三个方向拆解给出可以直接落地的配置和写法。读完你能自己排查为什么 AI 不引用我并且用代码把能改的部分改掉。1. 先搞清楚 AI 搜索引用一个网页要过哪几道关很多人把 GEO 理解成再写一遍 SEO这个理解会带偏方向。传统搜索的核心动作是排序 展示链接AI 搜索的核心动作是抓取 理解 抽取 生成引用。中间多了理解和抽取两步这两步决定了你的页面即使被抓到也可能因为读不懂或抽不出干净片段而被跳过。1.1 抓取关AI 爬虫到底来不来AI 搜索的抓取来源通常分两类。一类是搜索引擎自带的爬虫它同时服务于传统结果和 AI 结果另一类是各家 AI 产品自己的抓取器专门为训练和实时检索服务。这两类爬虫的 UAUser-Agent不同遵守的规则文件也可能不同。问题就出在这里很多站点的 robots.txt 只针对传统爬虫做了放行对 AI 类爬虫要么没写规则默认放行但有些站点用了通配符封禁导致误伤要么直接一刀切全站禁止。你可以在服务器访问日志里按 UA 关键字过滤看看最近 30 天有没有 AI 类爬虫的访问记录。如果一条都没有那不被引用的原因就很直接了——它根本没进来。注意robots.txt 是请求遵守机制不是强制拦截。但主流合规爬虫都会遵守所以配置错误会直接导致抓取被拒。1.2 理解关页面能不能被解析成结构化语义爬虫拿到 HTML 之后要把它转成可理解的内容块。这一步对页面的要求比传统 SEO 高得多。传统 SEO 时代你把关键词堆在正文里就有机会AI 时代它需要知道这段话在回答什么问题这个列表是不是步骤这个表格是不是参数对比。如果你的正文全部塞在一个巨大的 div 里没有语义标签没有清晰的标题层级AI 在抽取时就会犹豫。它宁可引用一个结构清晰的小页面也不愿意从一个语义混乱的大页面里猜内容。这就是为什么很多内容更多的站点反而竞争不过结构规整的小站。1.3 抽取关有没有可以被独立引用的片段AI 生成答案时通常不是整页引用而是抽取一个段落、一个列表或一个定义。如果你的核心结论散落在三千字的长文里没有独立成段没有小标题引导抽取难度就会上升。一个实用的判断标准把你页面里每个 H2 下面的第一段单独拿出来看它能不能独立回答一个问题。如果能它被引用的概率就高如果拿出来的段落全是如前所述接下来我们看那基本不会被选中。1.4 引用关可信度和时效性信号AI 搜索在决定引用谁时会参考页面的可信度信号是否有明确的作者信息、是否有更新时间、是否有外部引用、域名是否稳定。这些信号传统 SEO 也看但 AI 搜索对时效性更敏感因为生成式答案需要新鲜内容支撑。把这几关串起来看GEO 的抓手就很清楚了抓取关靠 robots.txt 和站点可达性理解关靠语义化 HTML 和结构化数据抽取关靠内容组织方式引用关靠可信度信号。下面几节逐个拆。2. robots.txt 里针对 AI 爬虫的放行与封禁怎么写才不出错robots.txt 是 GEO 的第一道门也是最容易配错的地方。配错有两种极端一种是全站封禁导致 AI 爬虫进不来另一种是无差别全放行导致内容被低质量抓取。正确的做法是按爬虫类型分组管理。2.1 先确认你的 robots.txt 有没有误伤最常见的误伤写法是这样的User-agent: * Disallow: /这行配置的意思是所有爬虫禁止抓取全站。有些站点在测试环境遗留了这条规则上线时忘了删结果所有爬虫都被挡在门外。排查方法很简单直接在浏览器访问你的域名/robots.txt看第一段规则。还有一种隐蔽的误伤用通配符封禁了某个目录结果 AI 爬虫需要的静态资源也在里面。比如User-agent: * Disallow: /assets/如果 AI 爬虫需要读取页面里的结构化数据文件而它放在 /assets/ 下就会被一起挡掉。2.2 按爬虫分组放行的推荐写法下面是一份可以直接参考的模板把主流 AI 类爬虫单独分组放行同时保留对恶意爬虫的限制# 传统搜索引擎爬虫 User-agent: Googlebot Allow: / User-agent: Bingbot Allow: / # AI 搜索与训练类爬虫按需放行 User-agent: GPTBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: ClaudeBot Allow: / User-agent: PerplexityBot Allow: / User-agent: Google-Extended Allow: / # 默认规则 User-agent: * Disallow: /admin/ Disallow: /api/private/ Allow: / # 站点地图 Sitemap: https://你的域名/sitemap.xml这份配置的逻辑是先给已知的 AI 爬虫明确放行再用默认规则兜底。注意Google-Extended这个 UA 控制的是内容是否可用于生成式 AI 场景如果你希望内容被 AI 搜索引用需要显式 Allow。2.3 什么情况下应该封禁而不是放行不是所有站点都适合全放行。以下几种情况建议谨慎付费内容或会员专属内容不希望被 AI 抓取后免费呈现大量用户生成内容UGC且质量不可控抓取后可能影响品牌站点带宽有限AI 爬虫高频抓取会造成压力封禁的写法要精确到目录不要用全站 DisallowUser-agent: GPTBot Disallow: /premium/ Disallow: /user-content/ Allow: /这样既保护了敏感目录又保留了公开内容的可抓取性。2.4 验证配置是否生效改完 robots.txt 后不要凭感觉判断。用两种方式验证在服务器日志里按 UA 过滤观察 24 到 72 小时内 AI 爬虫的访问记录是否出现用各搜索引擎官方提供的 robots.txt 测试工具如果有检查语法日志过滤命令示例Nginx 环境grep -i GPTBot\|ClaudeBot\|PerplexityBot /var/log/nginx/access.log | awk {print $1, $12, $7} | sort | uniq -c | sort -rn | head -50这条命令会统计最近日志里 AI 爬虫的访问次数、UA 和请求路径能直观看出哪些页面被抓了、哪些没被抓。3. llms.txt给 AI 搜索准备一份内容说明书llms.txt 是这两年随着 AI 搜索兴起的一个约定文件放在站点根目录用来告诉 AI 系统我这个站有哪些核心内容、分别是什么、推荐优先读哪些。它不是强制标准但越来越多的 AI 抓取器开始识别它。3.1 llms.txt 和 sitemap.xml 的区别很多人会问已经有 sitemap.xml 了为什么还要 llms.txt两者定位不同。对比项sitemap.xmlllms.txt主要用途告诉爬虫有哪些 URL告诉 AI 有哪些内容及其语义内容形式URL 列表 更新时间Markdown 格式的说明 链接面向对象传统搜索引擎爬虫AI 抓取与理解系统是否含描述通常不含含简短描述帮助理解优先级表达priority 字段已弱化通过排序和分组表达简单说sitemap 是清单llms.txt 是导读。AI 系统读 llms.txt 能更快判断你的站点主题和内容质量。3.2 llms.txt 的完整写法llms.txt 用 Markdown 格式书写结构上分三部分站点说明、核心内容分组、可选补充。# 站点名称 一句话说明这个站点是做什么的面向谁。 补充说明这个站点的核心内容领域、更新频率、内容特点。 ## 核心内容 - [文章标题一](https://你的域名/url-1)一句话描述这篇内容解决什么问题 - [文章标题二](https://你的域名/url-2)一句话描述这篇内容解决什么问题 - [文章标题三](https://你的域名/url-3)一句话描述这篇内容解决什么问题 ## 工具与资源 - [工具页面](https://你的域名/tools)说明这个工具能做什么 - [文档中心](https://你的域名/docs)说明文档覆盖的范围 ## 可选 - [关于我们](https://你的域名/about)团队与背景说明几个写法要点第一行# 站点名称是必须的AI 系统靠它识别站点身份引用块用来写一句话简介这是被引用频率最高的部分每个链接后面跟一句描述描述要具体不要写点击查看这种废话分组用 H2组内用无序列表结构越清晰越好3.3 让 llms.txt 真正被读到的几个细节写完文件只是第一步还要确保它能被访问到文件必须放在站点根目录路径是https://你的域名/llms.txt返回状态码必须是 200不能是 301 跳转或 403Content-Type 建议设为text/plain; charsetutf-8在 robots.txt 里显式放行这个文件验证命令curl -I https://你的域名/llms.txt看返回头里的状态码和 Content-Type 是否符合预期。提示llms.txt 目前不是所有 AI 系统都支持但配置成本极低属于配了不亏的项。建议和 sitemap.xml 一起维护。3.4 内容更新后 llms.txt 怎么同步llms.txt 里的链接和描述需要跟着内容更新。手动维护容易漏建议用脚本生成。下面是一个 Python 示例从文章目录读取元数据生成 llms.txtimport os import re def generate_llms_txt(content_dir, output_path, site_name, site_desc, base_url): articles [] for filename in sorted(os.listdir(content_dir)): if not filename.endswith(.md): continue filepath os.path.join(content_dir, filename) with open(filepath, r, encodingutf-8) as f: content f.read() # 提取标题和描述假设 front matter 里有 title 和 description title_match re.search(rtitle:\s*(.), content) desc_match re.search(rdescription:\s*(.), content) if title_match: title title_match.group(1).strip() desc desc_match.group(1).strip() if desc_match else slug filename.replace(.md, ) articles.append((title, f{base_url}/{slug}, desc)) lines [f# {site_name}, , f {site_desc}, , ## 核心内容, ] for title, url, desc in articles: lines.append(f- [{title}]({url}){desc}) lines.append() with open(output_path, w, encodingutf-8) as f: f.write(\n.join(lines)) generate_llms_txt(./content, ./public/llms.txt, 我的站点, 专注 GEO 与 AI 搜索优化, https://你的域名)这个脚本每次内容更新后跑一遍llms.txt 就自动同步了。4. 页面结构层面让 AI 能读懂并抽走你的内容robots.txt 和 llms.txt 解决的是进得来的问题页面结构解决的是读得懂、抽得走的问题。这一节是 GEO 里最需要动手改代码的部分。4.1 语义化 HTML 是基础不是可选项AI 解析页面时优先依赖语义标签。下面这些标签的使用直接影响理解效果article包裹正文主体section划分内容区块h1到h3建立清晰的层级ul/ol表达列表和步骤table表达对比和参数time标注发布时间和更新时间一个常见的错误是用div classtitle代替h2用div classlist-item代替li。视觉上看起来一样但 AI 解析时拿不到结构信息。改造前后的对比!-- 改造前语义缺失 -- div classpost div classtitle如何配置 robots.txt/div div classcontent div classitem第一步打开文件/div div classitem第二步添加规则/div /div /div !-- 改造后语义清晰 -- article h1如何配置 robots.txt/h1 section h2配置步骤/h2 ol li打开文件/li li添加规则/li /ol /section /article改造后AI 能明确知道这是一个文章、有一个 H1、有一个步骤列表。4.2 结构化数据给 AI 一份机器可读的摘要除了语义 HTML还可以用 JSON-LD 格式的结构化数据把页面的核心信息显式声明出来。AI 系统对结构化数据的解析准确率远高于纯文本。一篇教程类文章的 JSON-LD 示例script typeapplication/ldjson { context: https://schema.org, type: HowTo, name: 如何配置 robots.txt 放行 AI 爬虫, description: 针对 AI 搜索爬虫的 robots.txt 配置方法包含分组放行和验证步骤。, datePublished: 2025-01-15, dateModified: 2025-03-20, author: { type: Person, name: 作者名 }, step: [ { type: HowToStep, name: 确认现有配置, text: 访问站点根目录的 robots.txt检查是否有全站封禁规则。 }, { type: HowToStep, name: 添加 AI 爬虫放行规则, text: 按爬虫 UA 分组为 GPTBot、ClaudeBot 等添加 Allow 规则。 }, { type: HowToStep, name: 验证生效, text: 通过服务器日志过滤 AI 爬虫 UA观察访问记录。 } ] } /script这段结构化数据把这是什么内容、谁写的、什么时候更新、分几步全部声明清楚。AI 在抽取时可以直接读取不需要猜。4.3 内容块的自包含写法前面提到AI 倾向于抽取能独立成段的片段。所以每个 H2 下面的第一段最好能独立回答一个小问题。具体写法上每个 H2 下面第一段直接给结论不要铺垫每个列表项尽量完整不要依赖上下文才能理解关键定义单独成段用加粗标出核心词避免如上所述接下来这类依赖上下文的指代举个例子下面这段就不适合被抽取前面我们讲了抓取的问题接下来看看理解层面的问题。这个问题其实也很关键因为……改成自包含写法AI 搜索理解页面时依赖语义标签。如果正文全部用 div 包裹没有 h1 到 h3 的层级AI 在抽取内容块时会降低置信度导致页面即使被抓取也不被引用。改后的段落单独拿出来也能读懂被引用的概率明显更高。4.4 用代码检查页面的语义化程度改完之后要验证。可以用一段简单的 Python 脚本检查页面里语义标签的使用情况from bs4 import BeautifulSoup import requests def check_semantics(url): resp requests.get(url, timeout10) soup BeautifulSoup(resp.text, html.parser) report { h1_count: len(soup.find_all(h1)), h2_count: len(soup.find_all(h2)), h3_count: len(soup.find_all(h3)), article_tag: len(soup.find_all(article)), section_tag: len(soup.find_all(section)), list_count: len(soup.find_all([ul, ol])), table_count: len(soup.find_all(table)), jsonld_count: len(soup.find_all(script, typeapplication/ldjson)), has_time_tag: len(soup.find_all(time)) 0, } print(f页面语义化检查{url}) for k, v in report.items(): print(f {k}: {v}) # 简单判断 if report[h1_count] ! 1: print( 警告H1 数量应为 1) if report[h2_count] 2: print( 警告H2 数量偏少内容层级可能不清晰) if report[jsonld_count] 0: print( 警告未检测到结构化数据) check_semantics(https://你的域名/your-article)跑一遍就能看出页面在语义化上的短板按报告逐项补。5. 内容策略AI 搜索偏爱什么样的页面代码和配置解决的是通道问题内容本身解决的是竞争力问题。同样被 AI 抓取为什么有的页面被引用、有的不被引用差别在内容组织方式。5.1 问答式结构比叙述式结构更容易被引用AI 搜索的最终产物是回答一个问题。所以内容如果本身就是问答结构抽取成本最低。具体做法用 H2 或 H3 直接写成问题形式比如robots.txt 误伤 AI 爬虫怎么排查问题下面第一段直接给答案再展开解释一个页面覆盖一组相关问题而不是一个大主题对比两种写法叙述式在配置 robots.txt 的过程中我们需要注意很多细节。首先要检查现有规则……问答式robots.txt 误伤 AI 爬虫怎么排查访问站点根目录的 robots.txt检查第一段是否有User-agent: *加Disallow: /的组合。如果有说明全站被封禁需要删除或改为精确目录封禁。问答式的段落被 AI 直接引用的概率高得多因为它本身就是问题 答案的完整单元。5.2 数据和参数要具体不要模糊AI 搜索在生成答案时偏好具体信息。如果你的页面写抓取频率要合理AI 没法引用如果写建议将爬虫抓取间隔设置为不低于 1 秒单 IP 并发不超过 5这就是可引用的具体参数。具体化的几个方向时间给出具体时长如24 到 72 小时数量给出具体数值如至少 3 个 H2 章节比例给出具体百分比如语义化改造后引用率提升约 40%版本给出具体版本号如Python 3.9 以上模糊表述和具体表述的对比模糊表述具体表述尽快更新内容建议每 30 天更新一次核心页面配置合理的缓存设置 Cache-Control 为 max-age3600使用结构化数据添加 HowTo 类型的 JSON-LD包含 step 字段具体表述不仅更容易被引用也更有实操价值。5.3 时效性信号怎么给足AI 搜索对时效性敏感页面需要明确告诉它我是新的。几个做法在页面显眼位置显示更新时间用time标签包裹在 JSON-LD 里填dateModified在 sitemap.xml 里更新lastmod在 llms.txt 的描述里体现内容的新版本p最后更新time datetime2025-03-202025 年 3 月 20 日/time/p这四个信号叠加AI 系统能明确判断页面是活跃维护的引用优先级会提升。5.4 内链和外链的用法内链帮助 AI 理解站点结构外链帮助 AI 判断内容可信度。用法上有区别内链指向同主题的相关页面锚文本用描述性文字不要用点击这里外链指向权威来源用于支撑数据和观点不要指向低质量站点内链锚文本对比!-- 差 -- a href/robots-guide点击这里/a !-- 好 -- a href/robots-guiderobots.txt 针对 AI 爬虫的配置方法/a好的锚文本本身就是内容的一部分AI 读取时能获得额外语义信息。6. 排查链路AI 不引用你的站点按这个顺序查前面讲的是怎么改这一节讲怎么查。当你发现 AI 搜索不引用自己的站点时按下面的顺序排查能快速定位问题在哪一环。6.1 第一步确认爬虫有没有来打开服务器访问日志按 AI 爬虫 UA 过滤grep -iE GPTBot|ClaudeBot|PerplexityBot|Google-Extended /var/log/nginx/access.log | tail -100三种结果对应三种问题完全没有记录robots.txt 或防火墙拦截回到第 2 节检查有记录但都是 403/404页面不可访问或路径错误有记录且是 200爬虫进来了问题在理解或抽取环节这一步能排除掉一半的可能性务必先做。6.2 第二步确认页面能被正确解析用 curl 抓取页面看返回的 HTML 是不是完整的curl -A Mozilla/5.0 (compatible; GPTBot/1.0) https://你的域名/your-page -o page.html重点检查返回的 HTML 里有没有正文内容有些站点对爬虫返回空壳靠 JS 渲染语义标签是否完整JSON-LD 是否存在且格式正确如果正文靠 JS 渲染AI 爬虫很可能拿不到内容。解决方案是服务端渲染SSR或预渲染。6.3 第三步检查内容块的可抽取性把页面里每个 H2 下面的第一段单独复制出来看能不能独立成段。如果大部分段落都依赖上下文说明内容组织方式需要调整回到第 4.3 节改写法。6.4 第四步对比被引用的竞品页面找几个在 AI 搜索里被引用的同主题页面对比它们的结构对比项你的页面被引用的竞品页面H2 数量26是否有问答结构否是是否有结构化数据否是更新时间是否可见否是是否有具体参数少多这个对比表能直观看出差距在哪按差距逐项补。6.5 第五步观察调整后的效果GEO 调整不是立竿见影的AI 搜索的索引和引用有延迟。建议调整后等 2 到 4 周再观察用日志持续监控 AI 爬虫的抓取频率和路径记录每次调整的内容和对应的引用变化我自己的经验是语义化改造和结构化数据这两项见效最快通常 2 周内能看到爬虫抓取频率上升内容结构的调整见效慢一些需要等 AI 重新索引。7. 几个容易踩的坑和实操心得这一节是我在实际操作中踩过的坑以及一些文档里不会写的细节。7.1 robots.txt 改完不生效的常见原因改完 robots.txt 后爬虫没反应通常是这几个原因CDN 缓存了旧的 robots.txt需要手动刷新缓存文件权限不对爬虫拿到 403文件编码有问题规则解析失败爬虫有自己的缓存周期不会立即重新读取排查顺序先用 curl 确认文件能正常访问再检查 CDN 缓存最后等爬虫的缓存周期过去。7.2 llms.txt 写了但没人读llms.txt 不是强制标准写了不代表一定被读。提高被读概率的做法在 robots.txt 里显式放行在 sitemap.xml 里也列出这个文件在页面 head 里加link relllms href/llms.txt部分系统识别保持文件更新内容质量高即使暂时没被读维护成本也低属于长期投入。7.3 结构化数据写错的隐蔽问题JSON-LD 写错不会报错但 AI 读不到。常见错误引号用了中文引号字段名拼写错误如把dateModified写成date_modify嵌套结构层级不对多个 JSON-LD 块之间有语法冲突验证方法用浏览器的开发者工具看控制台有没有 JSON 解析错误或者用在线 JSON 校验工具检查。7.4 内容更新后要同步的地方内容更新后需要同步的地方不止一处页面本身的time标签JSON-LD 里的dateModifiedsitemap.xml 里的lastmodllms.txt 里的描述如果内容定位变了CDN 缓存刷新漏掉任何一处AI 系统拿到的时效性信号就不一致可能影响引用判断。7.5 不要为了 GEO 牺牲可读性最后一条心得GEO 的所有调整前提是不破坏真人阅读体验。语义化标签、结构化数据、问答结构这些对真人读者也是友好的。如果某个调整让页面变得难读那大概率方向错了。我见过有人为了让 AI 好抓把页面改成纯列表堆砌结果真人读者直接跳出。AI 搜索的引用最终还是要服务于真人点击可读性和可抓取性要平衡。8. 把 GEO 当成持续工程而不是一次性配置GEO 和传统 SEO 最大的区别在于它的规则还在快速变化。AI 搜索的抓取策略、引用偏好、支持的文件格式每隔几个月就可能有调整。所以正确的姿势是把它当成持续工程每月检查一次 robots.txt 和 llms.txt 的有效性每季度对比一次被引用情况找出差距每次内容更新同步时效性信号关注 AI 搜索官方文档的更新我在实际操作中的体会是GEO 里 80% 的效果来自 20% 的基础工作robots.txt 配对、语义化 HTML 到位、结构化数据完整、内容自包含。这四件事做好剩下的就是持续维护和观察。不用追求花哨的技巧把基础打牢AI 搜索自然会开始引用你的页面。