资讯动态

JSON-LD结构化数据与9大AI爬虫:gtm-engineer-skills的AEO技术优化深度指南

发布时间:2026/10/24 17:38:09 来源:尧图企业网站定制
AI 技能人工智能AI 应用AI 写作AI 评测【免费下载链接】gtm-engineer-skillsClaude Code skill for improving website AEO (AI Engine Optimization) and GEO (Generative Engine Optimization) scores — 16 foundational checks, 6 intelligence dimensions, framework-specific fixes项目地址https://gitcode.com/gh_mirrors/gt/gtm-engineer-skills点击查看免费下载gtm-engineer-skills 是一套开源的 Claude Code 技能包专为网站 AEO 技术优化而生它通过 JSON-LD 结构化数据、9 大 AI 爬虫放行检查、16 项基础检查与 6 大智能维度评分让 ChatGPT、Claude、Perplexity 等 AI 引擎能发现、解析并引用你的网站内容。本文将带你吃透其中最关键的两块技术底座——JSON-LD 结构化数据与 AI 爬虫访问策略并附一条命令即可上手的 AEO 基线测评方法。为什么 AEO 技术优化是下一个流量战场 传统 SEO 优化的是人在搜索结果里的点击而 AEOAI Engine OptimizationAI 引擎优化优化的是AI在回答时对你的引用。AI 爬虫不像人类浏览页面——它们直接抽取结构化数据、扫描直接答案并在毫秒级内判断内容是否值得引用。行业数据已经给出信号ChatGPT 贡献了87.4%的 AI 推荐流量Conductor2025分析 3.3B 次会话44.2%的 ChatGPT 引用来自页面内容的前 30%Kevin Indig分析 1.2M 条 AI 回答AI 助手引用的内容平均比传统搜索结果新鲜 25.7%Ahrefs分析 1700 万条引用。换句话说你的网站若没有为 AI 机器做好准备正在流失最快速增长的那股流量。上图为 AEO 审计工具的AI Agent View视角——右侧面板正是 AI 爬虫真正看到的内容title、meta、H1、schema 类型、JSON-LD 块数量与内链数。你的页面在它眼里就是这些字段。9大AI爬虫完整名单robots.txt 放行设置 在 16 项基础检查中AI 爬虫访问ai-bot-access是分值最高的一项12 分也是优先级第一的阻塞项。gtm-engineer-skills 的爬虫脚本内置了 9 大主流 AI 爬虫名单见 audit-website-aeo/scripts/aeo-audit.mjs爬虫所属引擎作用GPTBotOpenAIChatGPT抓取内容供 AI 回答引用OAI-SearchBotOpenAIOpenAI 搜索场景抓取ChatGPT-UserOpenAI模拟用户在 ChatGPT 内浏览ClaudeBot/anthropic-aiAnthropicClaudeClaude 的网页抓取PerplexityBotPerplexityPerplexity 搜索引用Google-ExtendedGoogleGemini 与 AI OverviewsBytespider字节跳动国内 AI 引擎抓取CCBotCommon Crawl为多家 LLM 提供训练语料官方技能的判断非常直接如果 AI 爬虫被拦截其他一切都不重要improve-aeo-geo/SKILL.md。检查逻辑是只要robots.txt中对上述任一爬虫写有Disallow: /且没有对应的Allow: /该检查即判定失败。正确的 robots.txt 应该显式放行并附上站点地图User-agent: GPTBot Allow: / User-agent: ClaudeBot Allow: / User-agent: PerplexityBot Allow: / # …其余爬虫同理… Sitemap: https://yourdomain.com/sitemap.xml 常见坑不少站长会顺手禁掉 AI 爬虫以防内容被训练结果直接把自己排除在所有 AI 回答的引用池之外。AEO 优化的第一步就是先把 9 个访客放进来。JSON-LD结构化数据让AI读懂你页面的身份证 JSON-LDJSON for Linking Data是嵌在页面head里的一段结构化数据脚本用 schema.org 词汇描述这个页面到底是什么。它是 16 项检查中直接关联的两项检查项验证内容分值schema页面至少存在 1 个script typeapplication/ldjson块8 分schema-typesJSON-LD 中使用了可识别的 schema.orgtype8 分审计脚本会解析每一块 JSON-LD提取type、name、author、datePublished、dateModified等字段aeo-audit.mjs。官方认可14 种typeOrganization、WebSite、WebPage、Article、Product、FAQPage、BreadcrumbList、LocalBusiness、Person、Event、HowTo、Recipe、VideoObject、SoftwareApplication。最低配置建议improve-aeo-geo/SKILL.md位置应添加的 Schema关键字段全站根布局Organizationname、url、logo首页WebSiteSearchActionname、potentialAction博客文章Articleauthor、datePublished、dateModified产品页Productname、description、brandFAQ 区块FAQPagemainEntity 问答列表一篇博客文章的最小 JSON-LD 示例{ context: https://schema.org, type: Article, headline: 文章标题, datePublished: 2025-01-15, dateModified: 2025-06-01, author: { type: Person, name: 作者名 } }为什么它对 AEO 如此重要真实审计案例给出了答案anthropic.com 的 AEO 审计中6 个被爬页面只有 2 个带有任何结构化数据为所有关键模板补充 JSON-LD 被列为第一大修复项audit-website-aeo/examples/anthropic-com-audit.md。结构化数据正是 AI 对页面实体与意图进行分类的依据——没有它AI 只能靠猜。AEO评分体系16项基础检查 6大智能维度 gtm-engineer-skills 的 AEO 评分由两半组成audit-website-aeo/SKILL.md最终分 50% × 基础分16项确定性检查满分142分 50% × 智能分6个内容维度0-5分制16 项基础检查一览完整定义检查验证内容分值检查验证内容分值title标题存在且 ≥10 字符10image-alt80% 图片有 alt8meta-description描述存在且 ≥50 字符10text-depth正文 ≥250 词12canonical规范链接存在8indexability无 noindex10h1恰好 1 个 H18ai-meta-tags无 nosnippet/noai6schema≥1 个 JSON-LD 块8heading-hierarchy标题层级不跳级6schema-types使用可识别 type8llms-txt有效的 llms.txt10ogog:title og:description8ai-bot-access未拦截 9 大 AI 爬虫12internal-links每页 ≥5 个内链10rss-feed可发现 RSS/Atom 源8站点级规则某项检查在80% 以上页面通过才算通过。最终分映射为 A95-100到 F40的等级修复目标是80 分B 及以上。新鲜度信号用JSON-LD告诉AI你的内容是新的 AI 引擎明显偏爱新内容76% 的 ChatGPT 高频引用页面在 30 天内更新过3 个月内更新的内容平均获得 6 次引用而 2 年以上未更新的内容只有 3.9 次SE Ranking分析 230 万页面。让新鲜度机器可读的三板斧JSON-LD 日期字段每篇内容都带上datePublished与dateModifiedMeta 日期标签article:published_time与article:modified_time页面可见的最后更新文字对爬虫来说不够需要机器可读标记llms.txt RSSllms.txt给 AI 系统一份可信 URL 索引RSS/Atom 源帮助 AI 发现新内容两者合计占 18 分。上图来自官方 create-geo-charts 技能的数据可视化模板——注意它同时配有文字摘要、HTML 数据表格和Dataset类型的 JSON-LD模板定义因为AI 引用的是文字而不是像素图表本身对 LLM 是不可见的。快速上手一条命令测出网站AEO基线分 ⚡整个工作流只有三步测基线 → 修代码 → 复测对比audit-website-aeo→improve-aeo-geo→audit-website-aeo复测。第一步安装技能包git clone https://gitcode.com/gh_mirrors/gt/gtm-engineer-skills cd gtm-engineer-skills mkdir -p ~/.claude/skills ln -s $PWD/audit-website-aeo ~/.claude/skills/audit-website-aeo ln -s $PWD/improve-aeo-geo ~/.claude/skills/improve-aeo-geo第二步运行零依赖爬虫审计仅需 Node 18无需 npm installaudit-website-aeo/README.mdnode audit-website-aeo/scripts/aeo-audit.mjs https://yourdomain.com --max-pages10脚本会按 AI 代理的方式爬取站点sitemap robots.txt 内链最多 30 页逐页跑 16 项检查输出基础分、失败项与按影响度排序的修复清单写入 JSON 报告。第三步交给improve-aeo-geo修代码该技能会自动识别你的技术栈Next.js、Nuxt、Astro、SvelteKit、WordPress、Hugo、Jekyll、11ty、Remix 等按阻塞项 → 高影响结构 → 内容质量的优先级动手修改并内置 17 项验收清单improve-aeo-geo/SKILL.md。官方案例一个 Next.js 博客初始分42/100D——robots.txt 拦截了 GPTBot 与 ClaudeBot、全站无 JSON-LD、60% 页面内容过薄。约 45 分钟修复后提升至87/100A-改动就是本文讲的那几件事放行爬虫、补 Organization/Article 两层 JSON-LD、加 llms.txt 与 RSS、重写答案优先的开头improve-aeo-geo/examples/nextjs-blog-before-after.md。常见问题FAQQ1JSON-LD 会不会直接提升 Google 搜索排名它的主要价值是让 AI 引擎准确理解页面实体与意图文章、产品、FAQ从而增加被 ChatGPT、Claude、Perplexity、Google AI Overviews 引用的概率对传统搜索则是补充结构化信号。在 gtm-engineer-skills 的评分体系中它占 16 分且是智能分中 Quotability可引用性评估的输入之一。Q2必须 9 个 AI 爬虫全部放行吗官方检查的判定标准是9 大爬虫中任何一个被Disallow: /拦截且无Allow: /覆盖该检查12 分即失败。AEO 优化的前提是AI 能进得来建议显式全部放行。Q3我没有 AI 技能只想要个分数怎么办直接运行node audit-website-aeo/scripts/aeo-audit.mjs 你的URL即可获得基础分Foundational Score与失败项清单完整的 A-F 最终评级由 agent 层的 6 维度内容评估补齐。写在最后 ✍️AEO 技术优化的核心逻辑其实很简单先让 AI 爬虫进得来robots.txt 放行再让 AI 看得懂JSON-LD 结构化数据 清晰标题层级最后让 AI 信得过日期信号 证据密度 可引用的答案段落。gtm-engineer-skills 把这套方法论沉淀成了可执行、可复测的技能包——用一条命令拿到基线分按优先级修代码再测一次看提升这就是一个可持续的 AEO 优化闭环。赞分享AI 技能人工智能AI 应用AI 写作AI 评测【免费下载链接】gtm-engineer-skillsClaude Code skill for improving website AEO (AI Engine Optimization) and GEO (Generative Engine Optimization) scores — 16 foundational checks, 6 intelligence dimensions, framework-specific fixes项目地址https://gitcode.com/gh_mirrors/gt/gtm-engineer-skills点击查看免费下载相关推荐Remote In Tech 站点 SEO 改进实战URL 数据修复、JSON-LD 结构化数据与 AI 爬虫策略Remote In Tech 站点 SEO 改进实战URL 数据修复、JSON LD 结构化数据与 AI 爬虫策略 本文对应仓库博客文章 src/blog/2数据集React 技术站 SEO 优化实战从 robots.txt、Canonical 到 JSON-LD 结构化数据的完整技术指南React 技术站 SEO 优化实战从 robots.txt、Canonical 到 JSON LD 结构化数据的完整技术指南 导读 本文以开源仓库 preg前端教程2025 Node.js官网SEO优化JSON-LD结构化数据实施指南2025 Node.js官网SEO优化JSON LD结构化数据实施指南 引言为什么Node.js官网需要结构化数据 你是否曾困惑为什么优质的技术文档在搜索前端文档创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价 →
↑