大家好,我是SEO小平,最近疯狂使用Codex和Hermes Agent上网站,

我的习惯是每上线一个网站必须使用尖叫青蛙爬行一下全站排查诊断SEO问题。同时也要使用谷歌官方的 pagespeed.web.dev 优化用户体验。

最近谷歌新增了给AI智能体的体验标准。如下图所示的:智能体浏览


其实谷歌之前一直在说 llms.txt 不是SEO和GEO排名因素。谷歌官方还说搜索引擎爬虫极少爬取 llms.txt 文件。但是现在为何谷歌检查工具有把这个作为优化标准呢。SEO小平分析如下。

一、谷歌一边说没用,一边又检测?根本不是一回事


很多人看到「谷歌」两个字就默认是同一个声音,其实这是谷歌内部两个完全独立的团队,各管一摊,目标天差地别。

部门一:管排名的搜索团队说的是:llms.txt 不影响收录,也不影响排名


负责搜索抓取、排名算法的团队,从去年到今年态度一直没变:谷歌搜索体系,包括传统蓝色链接和 AI Overviews 生成式搜索,不使用、不依赖、也不参考 llms.txt 做排名

原因很直白:搜索引擎的本职是公平评判全网内容质量。如果仅凭站长自己写的一份「自我介绍」就给权重,那这个文件迟早会被塞满关键词,变成当年被彻底淘汰的 keywords 元标签一样的作弊重灾区。

谷歌有全世界最强的页面解析能力,能直接读懂你网页里的真实内容,根本不需要你额外写一份摘要给它看。想靠 llms.txt 涨搜索流量、提升 AI 搜索曝光,基本是白费功夫。

部门二:管体验的 Lighthouse 团队:检测的是「AI 逛网站顺不顺畅」


而 PageSpeed 背后的 Chrome/Lighthouse 团队,管的从来都不是排名,是浏览体验—— 以前管真人用户打开快不快、用着顺不顺,现在多加了一项:AI 代理逛你网站的时候,效率高不高。


什么是 AI 代理(AI Agent)?

其实就是现在大家在用的小龙虾,Claude Code,Codex,Hermes等等AI工具,就是未来能替用户干活的 AI:替采购商找供应商发询盘、替消费者比价填订单、替用户查资料做对比。这些 AI 逛网站和真人不一样,它们怕冗余内容、怕算力消耗、怕定位出错。

llms.txt 对它们来说,就是一张贴在网站门口的精简导览图:首页在哪、产品页在哪、联系方式在哪。有了这张图,AI 不用把整个网站从头到尾扒一遍,省时间、省算力,出错率也低。

所以结论非常清楚:

  • 想靠它涨搜索排名?没用,别白费力气。
  • 想让未来的 AI 代理逛你家站更顺畅?它有用,但优先级远没那么高。

二、llms.txt 到底是啥?一句话就能讲明白


很多人到现在还对这个文件懵懵懂懂,咱们拿大家最熟悉的 robots.txt 做个对比,一秒就懂:

  • robots.txt: 网站的「门禁规则」。告诉爬虫哪些区域能进、哪些不能进,是强制性规则,合规爬虫必须遵守。


  • llms.txt:网站的「导览手册」。AI 已经进到网站里了,告诉它核心内容在哪、重点页面怎么走,只是引导作用,不具备强制性。

它就是个放在网站根目录的普通 Markdown 文件,用标题、链接和简短描述,把你网站的核心业务、重点页面整理清楚。AI 拿到它,几秒钟就能搞懂你家是做什么的、重要页面在哪,不用去解析满是导航、广告、冗余代码的 HTML 页面。

三、PageSpeed 的 AI 检测,到底查了些啥?


这次新增的「智能体浏览」检测,一共两大类,大家对应自己的网站就能知道哪些要管、哪些不用急。

第一类:都是你本来就在做的,守住就行


这三项其实全是老优化项,只是从「对人友好」延伸到了「对 AI 友好」,你大概率已经达标了。

  1. 无障碍功能树格式正确说白了就是语义化 HTML、规范的标签结构、正确的 ARIA 属性。以前做这个是为了屏幕阅读器、为了 SEO 基础分;现在 AI 代理逛网站,也是靠这个结构识别按钮、表单、标题。做好一次,人和 AI 都受益,零额外成本,维持住现有规范就行。


  2. Cumulative Layout Shift(CLS)布局稳定性Core Web Vitals 的经典老指标,衡量页面加载时元素会不会乱跳。对真人来说是体验差;对 AI 来说就是致命问题 ——AI 算好坐标去点「提交询盘」,结果页面突然插了个广告,按钮往下挪了,AI 直接点空甚至点错。你只要保持 CLS 在优秀区间,完全不用额外管。


  3. llms.txt 符合规范也就是我们说的导览文件。注意它不是必选项,没有的话会标「不适用」,不会扣分;但如果你放了,格式就得对 —— 要有且只有一个一级标题、链接要用标准 Markdown 格式、内容不能太短,不然检测会报错。


第二类:还在开发,不计分,先观望就好


剩下三项全是 WebMCP 相关的,官方自己都写了「仍在开发中,可能会变化」,而且全部不计入评分。

WebMCP 你可以简单理解成:给网站的表单、按钮、功能模块,贴上「AI 可识别标签」。以后 AI 代理不用靠猜哪个是输入框、哪个是提交键,看标签就知道:这是询盘表单,要填姓名、邮箱、需求,填完点这个按钮提交。

对独立站来说,未来想象空间很大 ——AI 客户能自动给你发询盘、查价格。但现在标准还没定、也不计分、更没真实流量,完全不用急着全站改造,拿一个核心表单试试水、了解下规则就够了。

四、落地实操:3 种建站场景,照着做不踩坑


聊完原理,大家最关心的肯定是:到底要不要做llms.txt?

SEO小平建议还是做吧,毕竟也没什么技术难度,也没什么成本,而且交给ChatGPT ,Claude,Gemini,Codex这些任何一个AI工具几分钟就能给你搞定的事情。而且你们发现没,最近大家都深度使用AI Agent去写网站,写代码,调研市场,抓取数据,现在所有的网站已经不是写给人看的了,是写给AI Agent看的了,所以,第一步你必须要让AI Agent 看得见你啊。

那LLMS.TXT 怎么做呢,分三种最常见的场景,说清做法和坑点,看完就能上手。

1. WordPress 站:Yoast 一键搞定,但别开完就不管


从 25.3 版本开始,Yoast SEO 已经原生集成了 llms.txt 生成功能,后台「Yoast SEO → 设置 → 站点功能 → AI 工具」里开个开关就自动生成,对普通站长非常友好。

但有两个坑一定要避开:

  • 自动选的内容不一定是你想给 AI 看的
    。它默认会拉基石内容、最新文章、热门分类,很多时候会带大量博客内容。B2B 独立站更建议切手动模式,只留首页、核心产品页、关于我们、联系我们、FAQ 这些高价值页面,别让无关内容稀释重点。

  • 能生成≠一定过检测

  • Yoast 早期版本生成的链接格式、标题层级偶尔有小瑕疵。开完开关一定要自己访问一遍 

你的域名/llms.txt,确认格式规范,基本就没问题。

2. 自己开发站:AI 工具生成超快,核对 3 步就稳


不管是 Astro、Next.js 还是其他框架做的站,把网站结构、核心页面链接丢给 Claude、Codex 这类工具,几分钟就能生成一份符合规范的初稿,效率非常高。

生成完只需要人工核对 3 件事,就能避开 90% 的坑:

  1. 开头有且只有一个 H1 标题(你的品牌 / 站点名)
  2. 所有链接都是 [页面名称](url) 的标准 Markdown 格式,不要裸贴 URL
  3. 只放公开可访问的页面,别混入后台、内网、测试页链接

全程下来也就 10 分钟,完全谈不上什么工作量。

3. Shopify 站:平台原生兜底,不用自己手动写


很多人没注意,Shopify 在 2026 年 5 月已经全站原生上线了 AI 代理适配体系,比单纯的 llms.txt 走得更远。

现在访问 Shopify 站点的 /llms.txt 会自动重定向到 /agents.md,这是平台官方的 AI 代理说明文件,默认自动同步店铺名称、核心品类、产品目录索引,普通商家完全不用自己手动创建。详情可参考这篇文章:Shopify往AI时代冲刺,重磅推出 agents.md


点赞(24) 打赏

评论列表 共有 0 条评论

暂无评论

服务号

订阅号

备注【拉群】

商务洽谈

微信联系站长

发表
评论
立即
投稿
返回
顶部