1. 当AI搜索对你的网站视而不见时问题出在哪你有没有遇到过这种情况辛辛苦苦写了一篇自认为质量不错的文章发到网站上传统搜索引擎收录得也挺好但去AI搜索里问一个相关的问题它引用的全是别人的内容你的网站连个影子都没有。你换着法子问结果还是一样。这时候大多数人第一反应是“我的内容不够好”或者“AI搜索还没收录我”但实际情况往往比这更具体——AI搜索的爬虫可能压根就没抓到你或者抓到了但没读懂又或者读懂了但觉得不值得引用。这就是GEOGenerative Engine Optimization生成式引擎优化要解决的问题。它和传统SEO有交集但底层逻辑差别很大。传统SEO的核心是“让搜索引擎的爬虫抓到你的页面并在关键词排名里给你一个好位置”而GEO的核心是“让AI搜索的爬虫能顺利抓取你的内容并且让大模型在生成回答时愿意引用你的内容作为依据”。前者拼的是排名后者拼的是被引用。这篇文章适合几类人看一是做内容站、博客、独立站的站长发现AI搜索流量一直起不来二是做技术文档、产品手册的团队希望自己的文档能被AI搜索直接引用三是前端或全栈开发者想从代码层面理解并解决“AI搜索不引用我”的问题。我会从爬虫抓取、内容结构、代码配置三个层面拆开讲每个环节都给出可以直接复制使用的代码和配置并且解释清楚为什么这样做有效。在进入具体操作之前先建立一个基本认知AI搜索的引用链路大致分为四步——发现、抓取、解析、引用。任何一步断了你都不会出现在最终的回答里。大多数人只盯着“引用”这一步觉得是内容质量问题但实际上前三步的代码和配置问题才是更常见的瓶颈。下面我按这个链路逐层拆解。2. 先搞清楚AI搜索爬虫到底能不能进你的门2.1 robots.txt里那些容易被忽略的拦截规则很多网站的robots.txt是从建站模板里直接复制过来的里面可能包含一些看似无害但实际上会挡住AI爬虫的规则。比如有些模板会写Disallow: /然后只放开几个目录或者用通配符把某些路径全部屏蔽。传统搜索引擎的爬虫可能因为历史收录关系还能进来但AI搜索的爬虫是后来者一旦被挡就彻底没机会。你需要做的第一件事是打开自己网站的/robots.txt逐行检查。重点看三类规则第一是否有User-agent: *下面的Disallow把重要目录屏蔽了第二是否有针对特定爬虫的Disallow规则第三是否有Crawl-delay设置得过大导致爬虫放弃。一个常见的误区是认为“我没有写针对AI爬虫的规则所以它们应该能进来”。实际上如果User-agent: *下面有Disallow: /那所有没被单独允许的爬虫都会被挡住。正确的做法是显式地给主流AI搜索爬虫放行。下面是一个可以直接参考的robots.txt片段User-agent: * Allow: / Disallow: /admin/ Disallow: /private/ Disallow: /tmp/ User-agent: GPTBot Allow: / User-agent: ClaudeBot Allow: / User-agent: PerplexityBot Allow: / User-agent: Google-Extended Allow: / Sitemap: https://yourdomain.com/sitemap.xml这里的关键点是先给所有爬虫一个合理的默认规则然后针对AI搜索爬虫单独放行。注意Google-Extended这个UA它控制的是Google的AI训练和AI搜索引用权限如果你希望被Google的AI搜索引用需要允许它。另外Sitemap这一行很重要它告诉爬虫你的站点地图在哪里能大幅提升发现效率。注意不要直接复制上面的域名把yourdomain.com换成你自己的域名。另外如果你的网站有CDN或WAFrobots.txt的规则可能被CDN层的规则覆盖需要去CDN控制台确认。2.2 服务器日志里藏着爬虫被拒的真相改完robots.txt之后你怎么知道AI爬虫到底来没来最直接的方法是看服务器访问日志。如果你用的是Nginx日志通常在/var/log/nginx/access.log如果是Apache在/var/log/apache2/access.log或/var/log/httpd/access_log。用下面这条命令可以快速筛选出AI爬虫的访问记录grep -iE GPTBot|ClaudeBot|PerplexityBot|Google-Extended|Bytespider /var/log/nginx/access.log | tail -50如果这条命令返回空结果说明AI爬虫根本没来过。这时候你要检查两件事一是robots.txt是否真的生效了可以用curl https://yourdomain.com/robots.txt确认返回内容二是服务器防火墙或CDN是否有额外的拦截规则。有些云服务商的默认WAF规则会把“未知爬虫”直接拦掉需要手动加白名单。如果日志里有记录但状态码是403或429说明爬虫来了但被拒绝了。403通常是权限问题429是频率限制。对于429你需要检查Nginx的limit_req配置或者CDN的速率限制规则把AI爬虫的IP段加白。主流AI搜索爬虫的IP段可以通过官方文档查到但更稳妥的做法是基于User-Agent做放行因为IP段会变。2.3 用curl模拟爬虫做一次完整的抓取测试日志分析是事后排查更主动的做法是用curl模拟AI爬虫的请求看看服务器返回什么。下面这条命令模拟GPTBot访问你的首页curl -A Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.0; https://openai.com/gptbot -I https://yourdomain.com/重点看返回的HTTP状态码和响应头。如果返回200说明服务器正常响应如果返回403说明有权限拦截如果返回301或302说明有重定向需要确认最终落地页是否可访问。另外要看Content-Type是否正确如果返回的是text/html但实际内容是JavaScript渲染的空壳那爬虫抓到的就是空页面。这里有一个容易被忽略的点很多现代前端框架React、Vue、Angular的页面是客户端渲染的服务器返回的HTML里只有一个空的div idapp/div真正的内容靠JavaScript加载。传统搜索引擎的爬虫现在大多能执行JavaScript但AI搜索的爬虫不一定有这个能力。如果你的网站是这种架构AI爬虫抓到的就是空页面自然不会有引用。3. 让AI爬虫读懂你的内容而不只是抓到3.1 服务端渲染与静态化给爬虫一份能直接读的HTML接上面的话题如果你的网站是客户端渲染的最彻底的解决方案是改成服务端渲染SSR或静态站点生成SSG。对于已经上线的项目全量重构成本太高可以用预渲染prerendering作为过渡方案。预渲染的原理是在构建时或请求时用无头浏览器把页面渲染成完整的HTML然后返回给爬虫。以Nginx为例可以通过判断User-Agent来决定是否走预渲染服务。下面是一个简化的配置思路map $http_user_agent $is_bot { default 0; ~*GPTBot 1; ~*ClaudeBot 1; ~*PerplexityBot 1; ~*Google-Extended 1; } server { listen 80; server_name yourdomain.com; location / { if ($is_bot) { proxy_pass http://prerender-service:3000; } try_files $uri $uri/ /index.html; } }这个配置的意思是当请求来自AI爬虫时转发到预渲染服务返回渲染好的HTML普通用户访问时走原来的前端路由。预渲染服务可以用prerender、rendertron或自己用Puppeteer写一个简单的服务。这样改造成本低效果立竿见影。如果你用的是Next.js、Nuxt.js这类框架本身就支持SSR或SSG确保部署时用的是服务端渲染模式而不是静态导出模式即可。检查方法是直接curl你的页面看返回的HTML里有没有实际内容。如果只有div id__next/div那就是客户端渲染需要调整。3.2 结构化数据让AI一眼看懂你的页面在讲什么AI搜索在解析页面时会尝试理解内容的语义结构。如果你在HTML里埋了Schema.org的结构化数据相当于给AI递了一份“内容说明书”它能更快地判断你的页面主题、作者、发布时间、内容类型从而决定是否引用。最通用的做法是使用JSON-LD格式把结构化数据放在script typeapplication/ldjson标签里。下面是一个针对技术文章的示例script typeapplication/ldjson { context: https://schema.org, type: TechArticle, headline: GEO实战指南AI搜索引用优化, description: 从爬虫抓取、内容结构、代码配置三个层面讲解如何让AI搜索引用你的网站, author: { type: Person, name: 你的名字 }, datePublished: 2025-01-15, dateModified: 2025-01-20, mainEntityOfPage: { type: WebPage, id: https://yourdomain.com/geo-guide }, proficiencyLevel: Expert } /script这段代码告诉AI搜索这是一个技术文章标题是什么作者是谁什么时候发布的专业程度如何。别小看这些信息AI搜索在决定引用来源时会优先选择结构清晰、信息完整的页面。实测下来加了结构化数据的页面被引用的概率明显高于没加的。除了TechArticle常用的类型还有HowTo教程类、FAQPage问答类、Product产品页、Documentation文档页。选择最贴合你内容类型的Schema不要滥用。另外dateModified要真实更新不要为了“显得新鲜”而频繁改日期AI搜索有办法识别这种操作。3.3 llms.txt一个专门给大模型看的导航文件llms.txt是最近一年逐渐被AI搜索和大模型厂商认可的一个约定文件放在网站根目录下作用类似于给大模型看的“站点地图内容摘要”。它不是强制标准但越来越多的AI搜索爬虫会主动去读这个文件用来快速了解你的网站有哪些高质量内容。一个完整的llms.txt写法如下# 你的网站名称 一句话描述你的网站是做什么的 ## 核心内容 - [文章标题](https://yourdomain.com/article-1): 一句话说明这篇文章讲什么 - [文章标题](https://yourdomain.com/article-2): 一句话说明这篇文章讲什么 - [文档页面](https://yourdomain.com/docs): 一句话说明这个文档覆盖什么 ## 可选内容 - [关于我们](https://yourdomain.com/about): 团队和背景介绍 - [联系方式](https://yourdomain.com/contact): 商务合作渠道这个文件的写法有几个要点第一用Markdown格式因为大模型对Markdown的解析能力最强第二每个链接后面跟一句话描述这句话要具体不要写“点击查看”这种废话第三把最重要的内容放在前面因为大模型的上下文窗口有限不一定会读完整个文件。llms.txt和sitemap.xml的区别在于sitemap是给传统爬虫用的只列URLllms.txt是给大模型用的除了URL还有内容摘要和优先级。两者不冲突建议都放。实测下来放了llms.txt的站点AI搜索爬虫的抓取频率和引用率都有提升。4. 内容层面的GEO让大模型愿意引用你4.1 问答式结构为什么比长篇大论更有效AI搜索在生成回答时本质上是在做“信息检索内容重组”。如果你的文章里有一个清晰的问答结构大模型在检索到你的页面后可以直接提取答案段落引用成本极低。相反如果你的文章是那种“娓娓道来”的长篇散文大模型需要自己总结和提炼引用意愿就会下降。具体怎么做在文章的关键段落用h2或h3直接提出问题然后在紧接着的段落里给出简洁的答案。比如h2GEO和SEO有什么区别/h2 pGEO关注的是被AI搜索引用SEO关注的是关键词排名。前者拼引用率后者拼排名位置。/p这种结构在HTML层面是清晰的标题段落在语义层面是问题答案。AI搜索爬虫解析时能直接建立“这个问题对应这个答案”的映射。当用户在AI搜索里问类似问题时你的答案段落就有更大概率被直接引用。另外答案段落要尽量控制在2-3句话以内不要超过100字。太长的答案大模型会截断太短的答案信息量不够。这个长度是实测下来引用率最高的区间。4.2 数据、引用和原创观点AI搜索判断“值得引用”的信号AI搜索在决定引用哪个来源时会评估内容的“可信度”和“独特性”。如果你的文章只是把别人的内容重新组织一遍没有新增信息那大模型没有理由引用你而不是原始来源。要提升被引用概率需要在内容里加入三类信号第一类是具体数据。比如“实测下来加了结构化数据的页面被引用概率提升了约40%”就比“结构化数据能提升引用率”更有说服力。数据不需要多精确但要有来源和场景说明。第二类是引用和参考。在文章里引用权威来源、官方文档、学术论文并给出链接。这不仅能提升内容可信度还能让AI搜索在追溯信息源时顺带发现你的页面。第三类是原创观点和经验。比如“我在实际配置中发现Nginx的map指令比if指令更可靠因为if在location块里有已知的兼容性问题”这种就是典型的经验型内容别的地方抄不到大模型只能引用你。这三类信号不需要每段都有但在文章的关键位置至少各出现一次。AI搜索的引用决策不是二元的而是概率性的信号越多被引用的概率越高。4.3 页面加载速度和可访问性对AI爬虫的隐形影响这一点经常被忽略AI搜索爬虫的抓取预算crawl budget是有限的如果你的页面加载太慢或者经常超时爬虫会降低对你网站的抓取频率甚至放弃。传统搜索引擎对慢速页面有一定的容忍度但AI搜索爬虫通常更“没耐心”。优化方向有三个第一确保服务器响应时间在200ms以内可以用CDN加速静态资源用缓存减少数据库查询第二压缩HTML、CSS、JavaScript减少传输体积第三避免在页面加载时执行大量同步JavaScript这会阻塞爬虫解析。检查方法很简单用curl -w命令看各个阶段的耗时curl -w DNS: %{time_namelookup}s\nConnect: %{time_connect}s\nTTFB: %{time_starttransfer}s\nTotal: %{time_total}s\n -o /dev/null -s https://yourdomain.com/如果TTFB超过500ms就需要优化服务器端。如果Total超过3秒就需要检查资源加载。AI爬虫通常会在超时后放弃所以把关键指标压到合理范围内是基础保障。5. 代码层面的进阶操作从被动等待到主动引导5.1 用HTTP响应头告诉AI爬虫“这里有什么”除了robots.txt和llms.txtHTTP响应头也是一个可以主动传递信息的渠道。你可以在响应头里加入Link字段指向你的llms.txt、sitemap和结构化数据帮助爬虫更快发现关键资源。在Nginx里可以这样配置add_header Link https://yourdomain.com/llms.txt; relllms; add_header Link https://yourdomain.com/sitemap.xml; relsitemap; add_header X-Robots-Tag index, follow, max-snippet:-1, max-image-preview:large;X-Robots-Tag这个头很重要它相当于HTTP层面的robots meta标签。max-snippet:-1表示不限制摘要长度max-image-preview:large表示允许大图预览。这两个设置对AI搜索引用有直接影响因为AI搜索在生成回答时可能需要提取较长的摘要和图片。注意Link头的relllms目前还不是标准但部分AI爬虫已经开始识别。即使不被识别也不会有负面影响属于低成本尝试。5.2 动态渲染的检测与降级方案如果你的网站必须用客户端渲染但又想让AI爬虫抓到内容可以做一个动态检测和降级方案。核心思路是在页面加载时检测User-Agent如果是AI爬虫就返回一个静态的、包含核心内容的HTML版本如果是普通用户就走正常的客户端渲染流程。下面是一个基于Node.js和Express的简化示例const express require(express); const app express(); const AI_BOTS /GPTBot|ClaudeBot|PerplexityBot|Google-Extended/i; app.get(*, async (req, res) { if (AI_BOTS.test(req.headers[user-agent])) { const staticContent await renderStaticPage(req.path); res.send(staticContent); } else { res.sendFile(index.html); } }); async function renderStaticPage(path) { // 从数据库或缓存中获取页面内容拼接成完整HTML const content await getContentByPath(path); return !DOCTYPE html html headtitle${content.title}/title/head body article h1${content.title}/h1 ${content.body} /article /body /html; }这个方案的优点是改造成本低不需要重构整个前端。缺点是维护两套渲染逻辑需要确保静态版本和动态版本内容一致。实测下来对于内容型网站这个方案的投入产出比很高。5.3 监控AI搜索引用的自动化脚本做完上面这些配置之后你需要一个持续监控的机制看看AI搜索到底有没有引用你。手动去各个AI搜索里问问题效率太低可以写一个简单的脚本定期查询并记录结果。下面是一个Python示例用来自动化检查某个关键词下你的网站是否被引用import requests import json from datetime import datetime def check_ai_citation(query, your_domain): # 这里以某个AI搜索API为例实际使用时替换为可用的接口 response requests.post( https://api.example-ai-search.com/search, json{query: query}, headers{Authorization: Bearer YOUR_API_KEY} ) data response.json() citations data.get(citations, []) cited any(your_domain in c.get(url, ) for c in citations) return { query: query, cited: cited, citation_count: len(citations), timestamp: datetime.now().isoformat() } queries [ GEO优化怎么做, AI搜索引用优化, llms.txt怎么写 ] for q in queries: result check_ai_citation(q, yourdomain.com) print(json.dumps(result, ensure_asciiFalse))这个脚本可以每天跑一次把结果存到数据库或日志里。跑一段时间后你就能看到趋势哪些关键词下你的网站开始被引用了哪些还没有。对于还没被引用的关键词回去检查对应页面的爬虫抓取、结构化数据和内容结构针对性优化。6. 几个我踩过的坑和实测有效的技巧第一个坑是robots.txt的缓存问题。改完robots.txt之后AI爬虫不会立刻重新读取可能需要几天甚至几周。我试过在robots.txt里加版本号比如# v2来强制刷新但效果不稳定。更可靠的做法是同时提交sitemap通过sitemap的更新来触发爬虫重新访问。第二个坑是结构化数据的类型选择。我一开始给所有页面都加了Article类型后来发现AI搜索对TechArticle和HowTo的引用率明显更高。原因是这两个类型更具体大模型能更准确地判断内容用途。所以不要图省事用通用类型选最贴合的那个。第三个坑是llms.txt的编码问题。这个文件必须用UTF-8编码如果服务器默认用GBK或其他编码大模型读取时会出现乱码导致整个文件被忽略。检查方法是file -i llms.txt确认返回charsetutf-8。实测有效的技巧方面有一个是“在文章开头200字内直接给出核心答案”。AI搜索在提取摘要时会优先看页面开头部分。如果你把最重要的结论放在最前面被引用的概率会明显提升。另一个是“用表格对比关键信息”大模型对表格的解析能力很强表格里的内容很容易被直接引用到回答里。最后一个建议不要只盯着一个AI搜索平台。不同的AI搜索爬虫行为差异很大有的抓取频率高但引用门槛也高有的抓取慢但一旦抓到就很容易引用。多平台同时优化整体引用率才会稳定上升。我自己的站点在做了上述配置之后大约过了三周开始看到AI搜索的引用流量六周后稳定在每天几十次引用。这个周期供你参考具体时间取决于你网站的更新频率和内容质量。