爬虫看到的，和你看到的不一样-关于SSR、CSR和爬虫可见性的基础认知

做SEO的同学有一个常见误区：网站上线了，内容写好了，Google就能抓到。

实际上，爬虫看到的页面和你在浏览器里看到的页面，可能截然不同。这不是小概率事件，而是现代网站架构下普遍存在的隐患。

为什么会有这个问题？

现代网站大多采用前后端分离架构，页面内容有两种生成方式：

两类爬虫的工作方式完全不同

这是很多人没有意识到的关键差异。

SEO爬虫（Googlebot、Bingbot）

Googlebot能执行JavaScript，但采用"两阶段渲染"机制：

1. 第一阶段：抓取原始HTML，建立初步索引

2. 第二阶段：将页面放入渲染队列，用Chromium执行JS，更新索引

两个阶段之间存在延迟，有时长达数天。如果正文内容不在原始HTML里，第一阶段就是空的，第二阶段渲染能否成功还取决于页面JS是否有报错。

AI爬虫（GPTBot、ClaudeBot、PerplexityBot等）

AI爬虫基本不执行JavaScript，只抓取原始HTML。这意味着：

• 如果页面内容靠JS渲染，AI爬虫拿到的就是空页面

• FAQ、商品描述、文章正文，如果不在原始HTML里，AI搜索平台对这些内容一无所知

• 随着ChatGPT、Perplexity等AI搜索使用量持续增长，这个问题对品牌曝光的影响越来越大

一个快速自查方法

不需要任何工具，30秒就能判断：

在Chrome里打开任意一个重要页面，Wins用户按 Ctrl+U（Mac用户按 Command+U），打开页面的原始源代码。

然后按 Ctrl+F，搜索代码页面上任意一段正文内容、FAQ文字，或者商品描述

SEO有一条铁律：初始 HTML 必须具有完整的语义- Initial HTML must be fully meaningful。服务器第一次返回的HTML，就应该包含页面所有核心内容，不依赖JS填充。这是SEO和GEO共同的基础要求。