这几天开源开发圈里有一个讨论度快速上升的事件Sourcehut 更新了服务条款明确把“将平台内容用于大语言模型训练LLM”写进了禁止行为。放在几个月前这可能只是一个小众平台的一次文档更新但在当前 LLM 训练语料到处采样的背景下这件事被看作开源社区对 AI 爬虫的一次明确表态数据采集不能没有边界。Sourcehutsr.ht是一个老牌开源开发者服务平台提供 git 托管、邮件列表、问题追踪、CI/CD 等能力。它和 GitHub、GitLab 最大的区别是页面极简、几乎不用 JavaScript、偏好纯文本工作流、强调对用户隐私和资源的尊重。这样一个偏“极客”的平台突然对 LLM 训练相关行为亮明态度说明 AI 爬虫已经不只是带宽问题而是直接关系到平台定位、用户授权和内容控制权的问题。这篇文章会拆几块来讲先看这次服务条款变更的核心内容再对比 robots.txt 与服务条款谁更有效接着看主流代码托管平台对 AI 爬虫的不同处理方式最后给出可以自己动手落地的拦截配置与排查方法。适合三种读者自己搭过 git 服务或社区站点的人、正在做 LLM 语料采集相关工作的开发者以及关心“公开数据到底能不能随便拿去训练”这个问题的技术爱好者。1. Sourcehut 服务条款变更核心信息速览先把这次事件的关键信息整理成一张表方便快速判断和你有没有关系。信息项说明事件主体Sourcehutsr.ht开源开发者服务平台核心动作更新服务条款Terms of Service主要变化将“未经授权抓取平台内容用于 LLM 等机器学习训练”纳入禁止行为受影响对象使用 Sourcehut 托管代码、文档、邮件的开发者以及各类自动爬虫技术背景Sourcehut 长期维持低资源消耗、反商业化追踪的产品取向行业背景GitHub、GitLab 在积极加入 AI 功能Sourcehut 选择用条款限制数据出口对开发者的意义服务条款是自动爬虫博弈中比 robots.txt 更有法律约束力的手段对普通用户的意义公开内容不等于可以任意采集训练平台开始替用户划定边界这里要说明一点由于条款原文的逐条措辞没有在公开材料中完整披露文章只围绕已经可以确认的变更方向展开具体条款表述最终以 Sourcehut 官方页面为准。从现有信息看这次变更的重点不是限制普通用户访问而是限制“以训练为目的的大规模自动抓取”。这个差异很重要后面会展开说。2. 背景Sourcehut 是什么为什么它率先做出这个决定理解这次条款变更得先理解 Sourcehut 的平台定位。Sourcehut 由开源开发者 Drew DeVault 发起是一个强调“少即多”的协作平台。它提供 git 托管、Mercurial 支持、邮件列表、问题追踪、wiki、CI 服务builds.sr.ht等功能。和主流托管平台相比Sourcehut 的页面非常轻量不依赖重型前端框架访问速度极快。这种设计不是为了炫技而是为了降低资源消耗、提高可访问性。也正因为这种定位Sourcehut 对“爬虫拖垮服务资源”这件事特别敏感。大量 AI 爬虫会高频抓取页面内容导致带宽和 CPU 成本上升。对大型平台来说这可能只是账单变大但对 Sourcehut 这类偏小众、强调资源节约的服务来说影响会更直接。另一个背景点是平台创始人以及核心用户群对 AI 生成内容的态度。开源社区里一直有开发者对 AI 生成的文档、代码、Pull Request 持保留态度认为大量未经验证的自动生成内容会污染代码仓库和社区讨论质量。Sourcehut 这次在服务条款里明确限制 LLM 训练用途可以理解为对这类担忧的制度化回应。更直接的原因是Sourcehut 之前已经通过 robots.txt 屏蔽了一批已知的 AI 爬虫。这次从“技术策略”升级到“服务条款”是在告诉整个行业不要以为公开部署的代码和文档就可以随便抓取、随便训练。想用这些数据至少要先获得授权并且不能对平台造成过大负担。3. 变更内容拆解这次条款到底改了哪些边界从社区讨论和公开信息来看这次服务条款变更不是一个简单的新增段落而是围绕“数据采集、模型训练、平台控制权”三条线做了一次明确的规则收敛。3.1 禁止以训练为目的的大规模自动抓取这是最核心的变化。过去绝大多数代码托管平台的服务条款只限制“非法访问”或“影响服务稳定性的行为”对于“抓取公开页面用于训练模型”往往没有明确说法。Sourcehut 这次直接把训练用途点出来意味着即使爬虫没有造成服务故障只要被识别出是用于 LLM 训练就属于违反服务条款。从实际影响来看这条主要针对两类行为对 Sourcehut 上的公开仓库、文档页面、邮件列表存档进行系统性抓取。将抓取内容直接或间接输入到模型训练流程中包括用抓取文本构造指令微调数据集。需要强调的是普通开发者通过 git clone、阅读文档、访问邮件列表不受影响。条款限制的是“以训练为目的的批量采集”不是正常使用。3.2 对影响平台稳定性的高频访问做出限制即使不用于训练纯粹的爬虫行为也会带来资源压力。Sourcehut 的页面设计本就追求轻量高频请求对它的冲击比对大型平台更明显。从技术角度看这次条款也大概率涵盖了“影响服务质量或资源使用”的通用限制。也就是说不管爬虫的目的是训练模型还是做搜索引擎索引只要访问频率超出合理范围平台方都有权处理。这一点对开发者有参考价值如果你在做数据采集必须设计合理的抓取频率和重试策略不能只盯着 robots.txt 里有没有禁止字段还要考虑对目标服务的实际压力。3.3 用户内容权利的强调代码托管平台上的内容大部分属于用户平台只是提供托管和分发服务。Sourcehut 这次强调禁止将平台内容用于 LLM 训练相当于替用户守住了内容控制权默认情况下用户没有授权自己的代码、文档被第三方模型训练采集。这引出一个更深层的问题开源许可证是否天然允许模型训练使用从法律角度看MIT、Apache-2.0 等开源许可证规范的是代码的分发、修改、商用条件并不直接回答“能否把代码灌入训练集并用在商业模型里”。不同地区、不同许可证条款的理解存在差异。Sourcehut 用服务条款的方式来约束平台侧行为是一种更直接的控制手段。3.4 违规处理从君子协议到可执行规则服务条款和 robots.txt 最大的区别在于约束力。robots.txt 是君子协议靠爬虫自觉遵守服务条款则构成平台和用户、访问者之间的合同关系。如果爬虫无视 robots.txt平台方只能通过 IP 封禁、反爬策略来应对但如果爬虫违反服务条款平台方有了更清晰的追责依据。这给所有自建服务的团队提了一个醒防 AI 爬虫不能只靠技术应该在产品条款里明确写出数据使用边界。先有规则再上技术手段处理违规时才有依据。4. robots.txt、服务条款与反爬技术三者边界在哪不少人会把 robots.txt 当成万能拦截工具实际上它只是整个防御体系的第一层。4.1 robots.txt君子协议robots.txt 的作用是向合规爬虫声明“哪些路径不能抓”。主流搜索引擎的爬虫一般会遵守但 AI 爬虫的遵守情况参差不齐。更关键的是robots.txt 不会被强制执行它最多算“请求”不算“阻止”。下面是一个常见的拒绝 AI 爬虫的 robots.txt 配置示例User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: PerplexityBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: CCBot Disallow: /这份配置覆盖了目前比较活跃的几个 AI 爬虫。写完后建议用浏览器的隐身模式访问https://你的域名/robots.txt确认内容已经生效。但要知道非合规爬虫根本不会先读 robots.txt。4.2 服务条款规则层面的补充服务条款约束的是“人”和“使用行为”它不直接阻止网络请求但明确了违规之后的处理依据。Sourcehut 这次升级的本质就是把“禁止训练用途”从技术声明升级为契约条款。对个体开发者来说如果你运营一个开源工具站点并希望保留拒绝 AI 训练采集的权利也可以在页面下方加一段“内容使用条款”写明允许普通访问未经授权禁止批量抓取禁止将站点内容用于商业模型训练。这种文字不一定能拦住爬虫但至少能让你在维权时有据可依。4.3 反爬技术最后的实际防线真正能拦住不合规爬虫的是 Web 服务器层面的拦截。常见手段包括按 User-Agent 拦截、按 IP 频率限制、使用边缘防护服务。下面是一段 Nginx 按 User-Agent 拦截 AI 爬虫的配置示例# 在 server 块中配置 if ($http_user_agent ~* (GPTBot|ClaudeBot|PerplexityBot|Google-Extended|CCBot)) { return 403; }注意这里用的是正则匹配你希望拦截的爬虫标识。Nginx 的if指令放在location或server块中时行为有细微差别建议放在server块并提前做完整测试。实际生产环境更稳妥的做法是使用 Lua、OpenResty 或 Cloudflare 规则实现同样的逻辑。Cloudflare 防火墙规则示例(http.user_agent contains GPTBot) and (http.request.uri.path contains /)动作选择“Block”。这种方式的好处是可以在边缘层直接拦截不消耗源站资源。三层手段结合使用时正确的顺序是服务条款声明边界robots.txt 约束合规爬虫反爬技术处理不合规流量。5. 主流代码托管平台对 AI 爬虫的应对差异Sourcehut 不是唯一面临 AI 爬虫问题的平台但它选择了相对明确和强硬的姿态。对比一下各平台的做法能更清楚这次变更在整个行业里的位置。平台对 AI 爬虫的公开态度主要考虑Sourcehut服务条款禁止训练用途抓取资源节约、用户授权、极客社区共识GitHub同时提供 AI 功能对第三方爬虫限制有限自身 AI 产品与开放平台之间的平衡GitLab有 AI 功能也遇到过公开数据被训练采集的讨论产品功能与数据安全的平衡Codeberg非营利运营社区对 AI 数据采集讨论较多自由软件价值观、平台独立性需要说明的是这张表比较粗粒度各平台的条款细节一直在更新具体要以官方文档为准。从整体趋势看AI 训练语料的获取方式正在从“随意爬取”转向“协议约束”。Sourcehut 这次的条款变更很可能会被更多中小型开源平台参考。原因很简单当 AI 爬虫带来的成本超过收益时平台必须有办法保护自己和用户。6. 开发者实战如何防止开源项目被 AI 爬虫抓取如果你不依赖 Sourcehut而是自己搭建了 Gitea、GitLab 社区版或者用 Nginx 托管文档站同样可以主动阻止 AI 爬虫。下面给一套通用的操作流程。6.1 第一步确认平台层是否支持自定义 robots.txt如果是 Gitea可以在仓库根目录或站点配置中放置 robots.txt如果是自建 GitLab需要在 Nginx 层处理因为 GitLab 自身没有暴露 robots.txt 的简单配置入口。确认方式先访问https://你的域名/robots.txt看返回内容是否由你控制。6.2 第二步在 Nginx 层拦截已知 AI 爬虫将下面这段配置放入 Nginx 的server块中然后执行nginx -t检查语法再nginx -s reload重载。# 检查配置语法 sudo nginx -t # 重载配置 sudo nginx -s reload完整的拦截配置已经在前文给出。如果站点使用了 CDN优先在 CDN 防火墙规则里拦截这样可以隐藏源站 IP 并节省源站资源。6.3 第三步查看访问日志确认爬虫来源AI 爬虫不一定都伪装成常见 UA所以不能只靠 UA 判断。可以通过日志分析访问频率和抓取路径。常用的日志查找命令# 查找已知 AI 爬虫的访问记录 grep -E GPTBot|ClaudeBot|PerplexityBot|Google-Extended|CCBot /var/log/nginx/access.log | tail -20 # 统计访问量最高的前 10 个 User-Agent awk -F {print $6} /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -10如果看到某些 UA 访问量异常高或者单个 IP 在短时间内连续抓取大量页面就要考虑在防火墙层加频率限制。6.4 第四步用防火墙或 fail2ban 处理异常 IP对于已经确认的恶意爬虫可以按 IP 封锁# 使用 UFW 封锁单个 IP sudo ufw deny from 1.2.3.4 # 使用 iptables 封锁 sudo iptables -A INPUT -s 1.2.3.4 -j DROP更工程化的做法是配置 fail2ban监控 Nginx 访问日志中返回 403 或 404 的高频 IP自动封禁并解封。以下是一个简单的 fail2ban 过滤思路实际配置需要安装 fail2ban 后按模板调整[nginx-ai-crawler] enabled true filter nginx-ai-crawler action iptables-multiport[namenginx-ai-crawler, porthttp,https] logpath /var/log/nginx/access.log maxretry 10 findtime 60 bantime 3600这套流程适合个人维护的中小型服务。对大型平台来说还需要考虑爬虫分布式 IP、动态 UA 变换等对抗手段。6.5 第五步避免误伤正常访问拦截 AI 爬虫时最容易犯的错误是误伤搜索引擎和真实用户。两个建议仅拦截已知的 AI 爬虫名单不要用“非主流 UA 全部拦截”这种粗暴策略。对搜索引擎爬虫放行否则站点收录会受严重影响。7. 为什么 Sourcehut 和 LLM 会一起成为热词“Sourcehut”和“LLMs”这两个词同时进入热搜本身就说明这次事件踩中了当前技术社区的集体焦虑。第一个原因是 LLM 训练语料的来源问题。大模型的训练数据需要海量文本和代码公开互联网是最主要的语料池。对开发者来说自己辛苦维护的开源项目、技术文档、讨论内容可能在没有授权的情况下被系统性抓取并进入商业模型的训练流程这种“被白嫖”的感受是真实存在的。第二个原因是开源许可证的灰色地带。传统开源协议管的是代码分发没有预见到模型训练这个场景。一个 MIT 协议的项目别人拿去改完闭源商用协议本身是允许的但把整个仓库的代码、Issue 讨论、文档全部灌进训练集模型的输出还带有原仓库的代码风格和逻辑这种使用方式到底算不算合理业内并没有统一答案。Sourcehut 用服务条款来约束等于绕开了许可证解释的争论直接从“平台授权”层面切断抓取理由。第三个原因是小平台敢表态。GitHub 自己也做 AI 产品很难完全限制第三方 AI 抓取因为产品立场决定了它的摇摆。Sourcehut 没有 AI 商业化包袱所以可以更直接地说“不”。这种表态对自建站、独立开发者、非营利社区有示范效应不一定要和 AI 时代对立但可以明确划分数据使用边界。第四个原因是它给技术上的“反爬”提供了可执行的逻辑闭环先用条款声明权利边界再用 robots.txt 声明机器可读的规则最后用流量管理手段强制兜底。这种三层结构才是这次事件里最有技术借鉴价值的部分。8. 合规与伦理数据授权是绕不开的问题围绕这次条款变更技术讨论之外更重要的其实是合规意识。下面几条边界值得所有做数据采集和模型训练的人反复确认。8.1 公开数据不等于训练授权一个页面可以公开访问不代表它的内容可以被任意抓取、复制、输入模型并用于训练。平台服务条款、站点 robots.txt、页面版权声明都是授权边界的表达方式。Sourcehut 这次更新条款本质上就是把“默认允许访问”和“默认允许训练”两个概念区分开。8.2 不得绕过平台限制如果平台已经在 robots.txt 中禁止了某类爬虫或者在服务条款中明确了训练用途限制继续用改 UA、分布式 IP、无头浏览器等方式绕过属于违反平台规则的行为。无论训练目标是否非商用绕过访问控制都会带来合规风险。8.3 涉及个人数据和隐私内容要格外谨慎邮件列表存档、个人博客评论、用户生成的讨论内容中可能包含真实姓名、联系方式、非公开个人信息。把这类内容抓入训练集即使对公众可见也可能违反隐私保护相关法律。做语料采集之前务必先做一轮个人信息识别和过滤不能简单“全都抓回来再说”。8.4 商用前做效果复核和授权审查如果你的模型或产品在商业场景中使用含训练数据授权问题的风险会被放大。建议在项目早期就建立数据来源清单记录每个数据集是否获得明确授权。没有授权来源的数据尽量不用或者选择使用有明确协议的数据集。8.5 合法合规地获取数据现在有不少模型公司提供官方数据授权渠道也有机构发布专门用于训练的开源数据集。优先使用这些明确授权的内容比到处爬取再赌运气要稳妥得多。Sourcehut 这次变更也再次证明数据获取的合规路径正在从“默认抓取”变成“默认授权”。9. 常见问题与排查方法在实际操作中如果你也想为自己的站点配置 AI 爬虫拦截或者正在排查爬虫问题可以参考这个表格。问题现象可能原因排查方式解决方案robots.txt 配置了但还是有 AI 爬虫爬虫不遵守 robots.txt查看 Nginx 访问日志中的 UA 和 IP在 Nginx 或 CDN 层按 UA 拦截站点被高频抓取CPU 和带宽飙升分布式爬虫UA 伪装成浏览器按 IP 统计访问频率查看路径特征配置 fail2ban 或 CDN 频率限制规则拦截后搜索引擎收录下降误伤了搜索引擎爬虫 UA检查日志中 Bingbot、Googlebot 是否被拦截在白名单中放行搜索引擎 UA配置文件修改后不生效Nginx 未重载或配置语法错误执行nginx -t检查语法修复语法后执行nginx -s reload自建 Git 服务不支持自定义 robots.txt平台层没有暴露配置入口查看反向代理配置在 Nginx/CDN 层统一处理日志中没有爬虫记录但流量异常爬虫使用真实浏览器 UA 或走代理分析访问路径与请求频率特征配置速率限制和验证码挑战不确定某个 UA 是否为 AI 爬虫名单更新不及时搜索官方文档或备案信息维护一份动态 UA 名单定期更新最简单的排查起点永远是访问日志。先把日志格式调整成包含 UA、响应码、请求路径的标准格式再开始做分析不要靠猜测。10. 总结与下一步Sourcehut 这次服务条款变更最大的价值不是“又封了几个爬虫”而是把 LLM 训练数据采集这个模糊地带明确化平台有权拒绝被当作免费训练语料用户内容的使用边界应该由用户和平台共同决定。如果你运营自己的站点并希望保持数据控制权下一步可以做三件事检查当前服务器的访问日志确认是否有已知 AI 爬虫在抓取。在 Nginx 或 CDN 层加入对 GPTBot、ClaudeBot、PerplexityBot 等常见爬虫的拦截规则。在站点页面中补充内容使用条款明确禁止未经授权的批量抓取和训练用途。如果你在做 LLM 相关项目下一步则是重新审视训练数据的来源哪些数据获得过明确授权哪些只是“因为能访问所以抓了”。把授权边界理清楚比在模型效果上多调几个参数重要得多。技术上的拦截手段会不断更新AI 爬虫的伪装也会越来越复杂但规则层面的方向已经清晰数据使用需要授权采集行为需要边界。Sourcehut 只是把这个趋势提前摆到了所有人面前。