谷歌来了一万七，百度一次没来——从一份真实爬虫日志读懂 2026 年的搜索与 AI 引擎

要点速览

一个刚做完 SEO/GEO 基建的中文博客，七天内被 16 个 AI 引擎爬虫抓取 549 次——ClaudeBot、GPTBot、字节 Bytespider 等主流玩家全部到齐，说明“被 AI 发现”的门槛比多数人想象的低，但每一次抓取的用途截然不同。
AI 爬虫只分三种：训练爬虫决定“下一代模型知不知道你”，检索爬虫决定“AI 搜索答案里引不引你”，用户代理则是真人流量本身。robots.txt 里它们是三把独立的闸，混为一谈是最常见的决策错误。
传统搜索没有退场：Googlebot 一周抓了 17,790 次，是全部 AI 爬虫总和的 32 倍；但百度爬虫一次都没来——中文站等百度被动收录约等于不被收录，主动推送是必选项。
AI 带来的访客少而贵：多项 2026 年研究显示 AI 引荐流量的转化率是传统自然搜索的 4-5 倍。爬虫日志里 14 次“真人点击”，是整份报告含金量最高的数字。
行业正在从“免费抓取”走向“付费门票”：Cloudflare 已对新域名默认拦截 AI 爬虫并推出按次付费市场。内容第一次有了机读的报价机制，合规身份成为爬虫的准入门槛。

2026 年 7 月 6 日到 12 日，我们数了数自家网站门口的“脚印”。

这个网站是 timebank.space——一个自托管的中文博客，写 AI 商业分析，约九十篇文章，一周前刚做完全套搜索引擎优化（SEO）与生成式引擎优化（GEO）基建。七天里，服务器一共接到 277,040 次请求。把访问日志按身份归类之后，出现了三个反直觉的事实：

第一，来得最勤的不是读者，是谷歌——Googlebot 一家就抓了 17,790 次。第二，全球排名第二的爬虫已经不是任何一家搜索引擎，而是 Anthropic 的 ClaudeBot：它在我们站上抓了 278 次，几乎扫遍全站；而在全网口径里，它刚刚历史性地超过 Meta 和 OpenAI，直逼 Googlebot。第三，百度的爬虫，整整一周，一次都没来。

这份日志就是本次课程的教材。它只是一个小站的微观切片，但切片里能看到 2026 年整个内容分发体系的构造：谁在抓你的内容、抓去干什么、哪些通道值钱、哪些动作必须自己做。下面我们按监测报告的四个部分——概览、AI 引擎排行、每日趋势、路径与端点——逐层拆开，最后落到一份回去就能执行的清单。

先交代方法，因为方法决定了数字的边界：所有统计来自 nginx 访问日志（服务器的“访客登记簿”），按 User-Agent 归类。User-Agent（下称 UA）是每个访问者在 HTTP 请求头里自报的身份字符串——正规爬虫会如实填写并公开说明，这也意味着 UA 本质上是“自报口径”，后文讲鉴伪时会回到这一点。这套方法与 Cloudflare Radar 等宏观爬虫报告同源，区别只在于他们看的是全网，我们看的是自己家。

一、概览：四个数字，先给四个判断

GEO 爬虫监测报告概览卡：近 7 天 AI 引擎抓取 549 次，16 家到访

每日爬虫监测报告第一部分：概览。数据窗口 2026-07-06 至 07-12。

549 次 AI 抓取、触达 381 个 URL。 绝对值不大，但要看名单：全球 AI 爬虫流量前六名——ClaudeBot、GPTBot、OAI-SearchBot、Meta 的 meta-externalagent、字节的 Bytespider、苹果的 Applebot——七天内全部到齐。一个上线基建刚满一周的中文小站，被所有主流 AI 引擎完成了“验货”。这说明发现通道（robots.txt、sitemap、RSS、主动推送）只要是通的，AI 世界找到你的速度以天计，不以月计。

14 次真人点击。 日志里有两个特殊 UA：ChatGPT-User（10 次）和 Perplexity-User（4 次）。它们不是爬虫——是真实用户在 ChatGPT 或 Perplexity 的对话里，让 AI 实时打开了我们的页面，或者直接点击了答案里的引用链接。这 14 次访问每一次背后都站着一个已经被 AI“预热”过的读者。为什么说它含金量最高，第五节讲转化数据时会给出定量答案。

llms.txt 被抓 10 次。 llms.txt 是放在网站根目录的一份机读简介，告诉 AI 引擎“本站是什么、招牌内容在哪”。行业对它争议很大：Ahrefs 对 13.7 万个网站的研究显示，97% 的 llms.txt 整月无人读取。我们的文件上线次日起七天被抓 10 次——处在“从未被读”的另一侧。这个反差怎么解释，第六节展开。

17,790 比 549，32 倍。 传统搜索爬虫的抓取量仍然是 AI 爬虫的三十多倍。正确的解读不是“AI 还不重要”，而是两条赛道的工作方式不同：搜索引擎靠反复重爬维持一个巨大的实时索引，抓取量天然大；AI 引擎抓得少，但一次抓取可能把内容写进训练语料或答案索引——影响的不是“你排第几”，而是“模型的世界里有没有你”。收录基本盘和 AI 可见性，一个都不能放。

二、先立框架：AI 爬虫只有三种，别背名字，先认抽屉

十六个 UA 看起来杂乱，其实全部能放进三个抽屉。这个三分类是全篇的分析框架，也是你日后做 robots.txt 决策的依据。

训练爬虫（Training）。 把网页内容收进训练语料——也就是喂给下一代大模型的“教材”。你的内容进了语料，模型就“读过你”，将来在没有联网检索的情况下也可能复述你的观点、记得你的品牌。代表：GPTBot、ClaudeBot、meta-externalagent、Bytespider、CCBot。Cloudflare 2026 年 6 月的口径：训练用途占全部 AI 爬虫流量的 47.4%，是最大头。

检索/索引爬虫（Search/Index）。 为 AI 搜索产品维护一个实时索引，决定“用户提问时，AI 答案里有没有你、引不引你”。代表：OAI-SearchBot（ChatGPT 搜索）、Claude-SearchBot、PerplexityBot、YouBot。这一类是当前增速最快的：同一口径下检索用途占比首次突破 10.5%，创历史新高。

用户代理（User-triggered Fetch）。 真人在 AI 对话里提问或点击，AI 实时替用户取页。代表：ChatGPT-User、Perplexity-User、Claude-User。严格说这已经不是“机器流量”，而是你的读者换了一扇门进来。

一个关键的工程事实：三类开关互相独立。允许 GPTBot（训练）不等于允许 OAI-SearchBot（检索）；把训练爬虫全挡在门外，照样可以出现在 AI 搜索答案里。robots.txt——网站根目录那份“门口告示”——里每个 UA 名字是一把独立的闸。后面行动清单里的决策树，就建立在这三个抽屉上。

三、十六张面孔：AI 引擎逐家过堂

GEO 爬虫监测报告 AI 引擎排行：ClaudeBot 278 次居首，金色条为真人点击类

监测报告第二部分：AI 引擎排行。金色条与金色副行为真人点击类 UA；排行只画前十三名，尾部聚合为“其余 3 家”。

以下按我们站上七天的抓取量排序。每一家给三样东西：它是谁、我们观测到什么、它在行业里的位置与走向。

ClaudeBot（Anthropic）：一年爬成全球第二

278 次抓取、触达 167 个 URL——基本等于把全站文章和栏目页系统性收录了一遍，而不是零星探测。

Anthropic 在官方文档里把自家爬虫拆成清晰的“三件套”：ClaudeBot 负责收集公开网页用于模型训练与改进，Claude-SearchBot 负责搜索索引质量，Claude-User 负责用户触发的实时取页，三者都声明遵守 robots.txt。这种“声明—分工—可验证”的姿态，在爬虫圈算得上模范生。

行业位置更值得记：第三方对 Cloudflare Radar 数据的月度整理显示，2026 年 6 月 ClaudeBot 占全网已验证爬虫流量约 20%，单月暴涨 66%，超越 Meta 与 GPTBot，成为仅次于 Googlebot（24.9%，历史新低）的全网第二大爬虫；若再加上 Claude-SearchBot 的 3.3%，Anthropic 两只爬虫合计已距 Googlebot 不到两个百分点。一家 AI 公司的爬虫逼近传统搜索霸主——这是 2026 年“内容分发权力转移”最直观的一个数字。

我们的排行里还出现了 anthropic-ai（10 次）和 Claude-Web（7 次）。注意：这两个是 Anthropic 官方文档明确标注已弃用的旧 UA，真身不再使用。它们为什么还会出现在日志里？第五节的鉴伪案例会给出答案——这正是伪装流量的铁证。

Bytespider（字节跳动）：最凶的爬虫，喂最大的中文 AI

61 次、38 个 URL，我们站上的第二名。

Bytespider 是字节跳动的训练爬虫，为豆包等模型收集语料。它的历史名声是“最激进”：2024 年末有第三方测算其抓取速率约为 OpenAI 爬虫的 25 倍，并多次被站长投诉不遵守 robots.txt（官方声明遵守，实测存在滞后与变体不一致）。到了 2026 年 6 月，它的全网份额从 10.1% 回落到 7.3%——在 Cloudflare 默认拦截的时代（第七节），不守规矩的爬虫份额正在被系统性压缩。我们站上放行了它，观测到的行为比传闻收敛。

对中文内容方，这一家的权重要单独拎出来说：豆包 2026 年一季度月活约 2.6 亿，首次超过百度文心，成为中国用户量第一的 AI 助手，并深度嵌入抖音生态。Bytespider 抓不抓你，直接决定豆包的答案里有没有你。 做中文 GEO，放行 Bytespider 是权重最高的动作之一——哪怕你对它的爬取风格有意见。

OpenAI 三兄弟：GPTBot、OAI-SearchBot、ChatGPT-User 各管一段

三个 UA 合计 81 次，分工恰好是三分类的活教材：

GPTBot（30 次/23 URL）：训练爬虫，2023 年 8 月上线，robots 遵守记录良好。2026 年 6 月全网占比约 9.5%，被 ClaudeBot 反超。挡它=向 OpenAI 声明“我的内容不进你的训练集”。
OAI-SearchBot（41 次/24 URL）：ChatGPT 搜索的索引爬虫，与训练无关。它在我们站上的抓取持续到观测窗口最后一天——索引在保活。挡它=退出 ChatGPT 搜索答案。这个索引背后的曝光池：ChatGPT 官方口径 9 亿周活跃用户（2026 年 2 月宣布），App 端 6 月被第三方测到突破 10 亿月活。
ChatGPT-User（10 次/6 URL）：用户代理。6 个 URL 里包括两篇当周新发的文章——发文当天就有真人经由 ChatGPT 读到了它们。

OpenAI 官方文档明确：三个开关互相独立。这就是为什么 robots.txt 要逐个写，而不是“一刀切 OpenAI”。

Applebot（Apple）：十年老兵，加了一道 AI 闸门

34 次、33 个 URL，几乎不重复——典型的广度索引式抓取。

Applebot 从 2015 年就存在，喂 Siri、Spotlight 和 Safari 的内容建议，是“AI 时代之前”就有的老兵。Apple Intelligence 发布后，苹果新增了 Applebot-Extended——注意，它不是一个爬虫，而是 robots.txt 里的一个授权记号：决定 Applebot 已经抓到的数据能不能用于生成式 AI 训练。挡 Applebot-Extended 不影响你在 Siri/Spotlight 里的收录。这种“抓取与授权分离”的二段式设计，谷歌也在用（见下文 Google-Extended），是近两年爬虫治理最重要的一个机制创新。

meta-externalagent（Meta）：Llama 的补课爬虫

25 次、22 个 URL。Meta 2024 年年中才推出这只自有训练爬虫——在此之前，Llama 系列的早期训练大量依赖公共语料库 Common Crawl。现在 Meta 自建管道补课，同时这个开关也控制你的内容能否出现在 Facebook/Instagram/WhatsApp 内嵌的 Meta AI 答案里。全网占比约 10%，长期稳居训练爬虫前三。

Perplexity：一场关于“偷爬”的行业公案

PerplexityBot 13 次，加上用户代理 Perplexity-User 4 次。

Perplexity 是“答案引擎”范式的代表：答案自带引用来源，引用即流量。但它也是 2025 年行业最大爬虫争议的主角——当年 8 月，Cloudflare 公开指控 Perplexity 在被 robots.txt 和防火墙拦截后，改用未声明的普通浏览器 UA、轮换网络出口来绕过封锁（所谓 stealth crawling，涉及数万域名、日均数百万请求），并把它从“已验证爬虫”名单中除名；Perplexity 则反驳称 Cloudflare 把第三方云浏览器服务的流量错误归因到自己头上。

这场公案的是非细节至今各执一词，但它把一个问题推成了行业共识：UA 自报身份不可信，爬虫需要可验证的身份体系（官方 IP 段、反向域名解析、乃至请求签名）。第七节讲“爬取经济学”时你会看到，身份验证正在变成爬虫的准入门槛。

Google 系：GoogleOther，以及两个“影子开关”

GoogleOther 11 次。它是谷歌的“非搜索用途通用爬虫”，承担研发、内部实验等杂项任务，与 Googlebot 分开命名，以免站长误把实验流量当成搜索收录。

这里必须澄清一个高频误区：Google-Extended 和 Applebot-Extended 在日志里永远看不到。它们不是爬虫，是 robots.txt 里的授权记号——Google-Extended 控制 Googlebot 抓到的内容能否用于 Gemini 训练，挡它不影响谷歌搜索排名。把这两个名字加进日志监测清单，等于永远空欢喜（我们自己的监测脚本注释里就钉着这条教训）。

长尾，以及报告里的“其余 3 家”

监测图上排行只画前十三名，尾部聚合成一行“其余 3 家”。讲义把它们逐一展开——长尾恰恰说明 AI 抓取生态已经不是三五家巨头的游戏：

Amazonbot（9 次/8 URL）：亚马逊的爬虫，喂 Alexa 问答与亚马逊系 AI 功能。对内容站优先级不高，放行无害。
CCBot（9 次/9 URL）：非营利组织 Common Crawl 的爬虫，产出全网最大的开放语料库——GPT、Llama、Claude 的早期版本都用过这份数据。挡 CCBot 等于退出“默认进入所有新模型训练集”的公共管道；但它同时是学术研究的基础设施。放行与否是价值观选择题，本讲义给框架不替你作答。（另有一个细节：本窗口内的“CCBot”访问集中出现在一个可疑时间点上，见第五节。）
cohere（cohere-ai）（5 次）：Cohere 是主打企业市场的大模型公司，这个 UA 既做训练采集也做用户触发检索。体量小，但代表一个趋势——企业级 AI 也在自建网页语料管道。
Perplexity-User（4 次）：见上文，真人点击，与 ChatGPT-User 同类。
YouBot（2 次）：You.com 的 AI 搜索索引爬虫，答案带内联引用，合规声明清晰。

记住长尾的管理含义：监测靠可维护的清单加定期更新，不靠背名字。 今天的完整名单已经超过一打，明年只会更长。

四、传统搜索对照组：老霸主的两个“历史新低”

Googlebot：17,790 次。 依然是无可争议的第一，但要把两个“历史新低”并排看：全网爬虫份额 24.9% 创历史新低（AI 爬虫在稀释它），谷歌搜索输送给内容方的点击也在下滑（第七节的零点击数据）。我们站上还有个值得学的细节：17,790 次里有 17,709 次集中在 7 月 7 日一天——这是 Googlebot 的深爬突发（recrawl burst）模式：平日每天几十次维持性抓取，攒到足够的更新信号（新文章、结构变更、sitemap 更新）后，一天内把全站深爬一遍。看到单日尖峰不要慌，先看 UA 是谁。

bingbot：16 次。 量小，分量不小。Bing 的索引是微软 Copilot 乃至 ChatGPT 搜索底层检索的数据源之一；更重要的是 Bing 吃 IndexNow 主动推送——你发新文章后调一次 API，秒级通知 Bing/Yandex 系引擎，无需等它轮询。它“抓得少”，部分原因正是推送替代了轮询。这是“主动推送优于被动等待”的第一个证据。

Baiduspider：0 次。 整周一次没来。这不是我们站的个例，而是中文站长的普遍处境：百度分配给中小站点、尤其新站的抓取预算极低，等被动收录约等于不被收录。解法是百度“普通收录”主动推送 API：站长平台验证后按配额每日推送 URL（新站配额一般是每天 10 条），响应秒级。我们接通当天就把配额推满了。这个“零”，就是本课“为什么主动推送是必选项”最有力的论据。

YandexBot 22 次、Sogou 10 次、360Spider 7 次。 俄系引擎与国内存量引擎的维持性抓取，了解即可。

五、每日趋势与鉴伪：那个假峰是怎么被拆穿的

GEO 爬虫监测报告每日趋势：07-07 的 256 次是伪装假峰，07-10 的 90 次是基建上线真峰

监测报告第三部分：每日趋势。两个峰里只有一个是真的。

七天的 AI 抓取日曲线是：91 → 256 → 47 → 48 → 90 → 13 → 4。两个峰。7 月 10 日的 90 是真的——那天 SEO/GEO 基建全量上线，各家来验货。7 月 7 日的 256 是假的。 拆穿它用了四步，这四步就是日志鉴伪的方法论：

同秒扎堆。 当天 09:56 的同一两秒内，anthropic-ai、Claude-Web、CCBot、cohere、Amazonbot、PerplexityBot、Perplexity-User 等八个分属不同公司的 UA 同时出现。八家公司的爬虫不会约好同一秒来访——一台扫描器轮换伪装身份才会。
“死人 UA”指纹。 anthropic-ai 和 Claude-Web 是 Anthropic 官方明确弃用的旧标识，真身已不再发送。日志里出现“已死”的 UA，等于伪造者拿着过期证件登记。
源 IP 与反查验证。 真 Googlebot/GPTBot/ClaudeBot 都发布官方 IP 段或支持反向域名解析验证；UA 只是请求头里一段自由文本，谁都能填。IP 才是硬证据。
行为节奏。 真训练爬虫低频而稳定，真索引爬虫围绕内容更新回访；扫描器是一波流，扫完即走。

由此得出一条要写进方法论的纪律：UA 级统计是“自报口径”，做趋势看板足够；做拦截或付费决策，必须升级到 IP 级验证。 这也解释了为什么 Cloudflare 在 2026 年力推“已验证爬虫+签名机制”——整个行业都在补“身份”这一课。

顺带交代日志的全貌：27.7 万次总请求里，可识别的爬虫（AI+搜索）约 1.86 万次，剩下的是真人访问与各种未识别机器人。业界通行口径是机器人流量约占全网一半——单站日志里存在大量“看不懂的流量”是常态，不必恐慌，但要有鉴别手段。

六、路径与端点：AI 爬虫最勤快抓的，是两个最不起眼的文件

GEO 爬虫监测报告路径榜：robots.txt 与 sitemap.xml 遥遥领先

监测报告第四部分：AI 爬虫最常抓的路径 TOP6。

AI 爬虫抓取路径的头两名不是任何一篇文章，而是 robots.txt（84 次）和 sitemap.xml（54 次）。它们把这两个文件当“门牌+目录”高频轮询：robots.txt 告诉爬虫哪里能进，sitemap.xml 告诉爬虫站里有什么、何时更新过。这两个文件的健康度——返回 200、格式正确、带真实更新时间——是 GEO 的地基，坏一个等于全家闭门。 具体文章里被抓最多的，是当周两篇新文加几篇被 llms.txt 收进“精选”的旧文——新鲜度有效，精选位也有效。

然后是 llms.txt 的诚实版全景，三方证词都要听：

反方：谷歌官方明确不用它——搜索代言人 John Mueller 把它类比为早已失效的 keywords meta 标签；2026 年 6 月 15 日更新的官方指南原文写着“你不需要为出现在 Google 搜索（包括其生成式功能）创建 AI 文本文件”。采用率也不高：SE Ranking 对 30 万域名的抽样约 10%；Ahrefs 的研究更冷——97% 的有效 llms.txt 整月无一次读取。
正方：Perplexity 与 Anthropic 系工具确实会取用它；更重要的是编码与办公代理（Claude Code、Cursor 这类“替人干活”的 AI 代理）重度依赖它做站点导航。它真正的定位不是搜索排名信号，而是 B2A——Business to Agent——接口：第一份让 AI 代理“读得懂你家门面”的标准化文件。
我方实证：上线次日起七天被抓 10 次，处在“97% 从未被读”的另一侧——因为我们同时把它写进了 robots.txt 并做了主动推送，发现通道是通的。

结论一句话：成本是一个文本文件，收益不对称——值得做，不值得神化。 另外别忽视 RSS：feed 端点七天被抓 12 次，多家 AI 索引把 RSS 当增量发现通道——这个“上古协议”在 AI 时代悄悄复活了。

七、四条大趋势：爬虫背后的钱、流量与地缘

趋势一：爬取经济学成型——从免费自助餐到付费门票。 2025 年 7 月 1 日起，Cloudflare（承载约两成 web 流量的基础设施商）对新接入域名默认拦截 AI 爬虫，并推出 Pay Per Crawl 市场：爬虫要么在请求头里带支付意图，要么收到 HTTP 402（“需要付款”）状态码。内容授权从新闻集团与 OpenAI 那种零星大额合同，走向基础设施化的按次计费。对内容方，这是第一次拥有机读的报价机制；对爬虫方，可验证身份成了入场券——Perplexity 公案正是这条线上的冲突样本。

趋势二：零点击时代加速，GEO 从可选变必选。 随机对照实验显示，搜索结果页出现 AI 摘要（Google AI Overviews）时，外链点击下降 39.8%；Similarweb 口径下零点击检索已占全部检索的 69%；谷歌更激进的 AI Mode 会话 93% 零点击、75% 的会话全程不离开谷歌界面；截至 2025 年 11 月的一年里，出版方从谷歌获得的流量缩水约三分之一。含义直白：“排名第一”的价值在贬值，“被 AI 引用”的价值在升值。 GEO 不是 SEO 的插件，是流量结构变化的应对。

趋势三：AI 引荐流量少而贵——质量溢价是做 GEO 的商业理由。 2026 年多项独立研究口径一致：一项覆盖 312 家 B2B 科技公司的归因分析测得 AI 引荐访客转化率 14.2%，对比自然搜索 2.8%，约 5 倍；Ahrefs 观测到 AI 引荐仅占会话量 0.5% 却贡献 12.1% 的注册；Adobe Analytics 2026 年 3 月零售数据显示 AI 引荐购物者转化率高 42%、产品页停留时间多 48%。机理不神秘：AI 已经替用户完成了比较和筛选，点过来的人带着“被说服了一半”的状态进门。我们日志里那 14 次真人点击，就是这条通道的最小样本。

趋势四：中国战场——入口在超级 App 里，爬虫在墙外。 2026 年一季度口径：豆包月活约 2.6 亿（首超百度文心的 2.2 亿，嵌入抖音），夸克 1.8 亿（阿里），元宝 1.5 亿（腾讯，嵌入微信），Kimi 约 9 千万——头部五家合计月活超过 9 亿。对中文内容方，行动指向非常具体：豆包的答案取决于 Bytespider 的语料与字节系检索，百度的答案取决于文心加百度收录——所以“放行 Bytespider”加“做百度主动推送”，是中文 GEO 最不该省的两个动作。再考虑到国产模型 API 价格只有西方的十分之一到三十分之一、企业应用渗透还在加速，中文内容被 AI 消费的比例只会上升。

四条线收束成一句话：SEO 与 GEO 共用同一个地基——可抓取、结构化、语义清晰、来源可信；区别只是出口，一个通向搜索结果页，一个通向 AI 的答案。地基打好的站，两边都收。

八、行动清单：回去就能做的六件事

地基自检（一次性）。 robots.txt 返回 200 且没有误杀 AI 爬虫（重点检查是否把 GPTBot/ClaudeBot/Bytespider 一刀切 Disallow 了）；sitemap.xml 带真实的 lastmod 更新时间；每篇文章页有 canonical 标签、Open Graph 标签和 BlogPosting 结构化数据；站点级加一块 WebSite 结构化数据。
robots 策略决策树（每家自己答）。 训练爬虫放不放 = 你要不要进下一代模型的“世界知识”（品牌曝光与内容资产保护的权衡）；检索爬虫放不放 = 你要不要出现在 AI 搜索答案里（一般放，付费墙内容除外）；用户代理原则上全放——那是你的读者。中间态完全可行：挡训练、放检索，在 robots.txt 里逐个 UA 写即可。
主动推送三家。 IndexNow：一次 API 到达 Bing/Yandex 系，密钥文件挂站点根目录，发文即推；百度普通收录 API：中文站必做，注意新站每日配额约 10 条，存量分天投喂、新文发布即推；谷歌：没有推送 API（sitemap ping 端点已于 2023 年废弃），在 Search Console 验证一次、提交一次 sitemap，之后靠自然抓取。
llms.txt。 做，一小时成本：站点定位一句话、精选五到八篇招牌内容、写明引用政策。别指望它影响谷歌排名，它服务的是 AI 代理。
监测闭环。 用 UA 级日志统计做趋势看板（本报告的方法，脚本化加定时推送）；拦截或付费决策前升级到 IP 验证；每季度重跑一次审计；盯三个先行指标——训练爬虫的覆盖度、检索爬虫的回访频率、用户代理的点击数。最后一个直接连着钱。
内容层 GEO（发稿时就做）。 开头给要点速览、文末给自包含的 FAQ、关键概念用定义式句子、实体首次出现用全称、文末列信息来源——AI 引擎抽取内容的最小单元是“能独立成立的段落”，你的每一段都该经得起被单独引用。

爬虫已经到门口了——名单比你想的长，来意比你想的多样，而且它们之间的钱、规则和身份体系正在重构。剩下的问题只有一个：它们进门之后，读到的是不是你最想被记住的那一页。

先被读懂，再谈被引用。

常见问题

Q：把训练爬虫全部拦掉，会影响我在 AI 搜索里的曝光吗？

A：不会直接影响。训练爬虫（GPTBot、ClaudeBot、Bytespider 等）与检索爬虫（OAI-SearchBot、Claude-SearchBot、PerplexityBot 等）是独立开关，挡了前者仍可被后者索引并在 AI 搜索答案中被引用。真正的代价在长期：你的内容不进训练语料，模型“离线状态”的世界知识里就没有你，品牌在 AI 一代用户的默认认知中缺席。

Q：日志里 AI 爬虫来得很多，是不是说明 GEO 已经做成了？

A：抓取只是第一步，且要先鉴伪（同秒多 UA 扎堆、已弃用 UA 出现都是伪装特征）。判断 GEO 是否生效要看三级递进指标：训练与检索爬虫是否持续、系统性地抓取（覆盖全站而非零星探测）；llms.txt、feed 等专用端点是否被读取；最终是否出现 ChatGPT-User、Perplexity-User 这类真人点击。第三级才是钱。

Q：中文站资源有限，只做一件事的话先做什么？

A：先做百度主动推送加放行 Bytespider——原因是两个硬事实：百度爬虫对中小站点几乎不来（我们观测七天为零），等收录等于不收录；而豆包已是中国用户量第一的 AI 助手，它的语料正来自 Bytespider。这两个动作合计成本不到半天，覆盖的却是中文世界最大的搜索入口和最大的 AI 入口。