无限滚动与分页:滚动加载的内容怎么被收录

做电商和资讯类站点,产品列表、文章流都喜欢上无限滚动——用户滑到底自动加载下一页,体验顺滑。但搜索引擎不滑屏,它只认 URL。无限滚动把所有内容塞进一个页面,爬虫抓到的永远是第一屏,后面的商品、文章根本进不了索引。

这篇文章讲清楚无限滚动和 SEO 的冲突在哪,以及不改体验的前提下怎么两全。你正打算上无限滚动,先看完再动手,能省掉后期一大堆收录补救的功夫。

先把结论放在这里:无限滚动对用户体验好,但对爬虫不友好——内容没有独立 URL 就进不了索引。解法是无限滚动做给真人,分页 URL 留给爬虫,两者并存。每页必须有独立可抓 URL(?p=2 这类),并在 XML 站点地图里列出;关键内容别只藏在滚动后面,首屏放最重要、最该被索引的。

无限滚动的SEO替代方案内容列表分页?p=2加载独立URL索引可被抓

图:无限滚动与分页并存方案(运营GO 整理)

冲突在哪

无限滚动本质是「一次请求加载,前端 JS 渲染后续」。爬虫(尤其是还没执行 JS 的抓取阶段)拿到的是初始 HTML,里面只有第一屏的内容和一个「加载更多」的触发逻辑,没有后续商品的链接。结果就是:你以为全站几千个商品都在线,Google 只收录了第一屏那几十个。

更隐蔽的问题是权重分散:所有流量和链接都指向那一个列表页 URL,内部链接权重没法传到具体商品,商品页自己也没机会在搜索里直接出现。这对电商是致命的——用户搜具体型号时,你的商品页根本不在候选里。我见过一个站上了无限滚动后,商品页自然流量三个月掉了 60%,回退分页才慢慢涨回来。

怎么验证收录有没有出问题

上线无限滚动后,别凭感觉判断。去 GSC 的「网址检查」里抽样查几个本来在第二屏之后的商品/文章 URL,看「Google 选中了此网址吗」是不是「是」、「检索到但未被编入索引」还是「找不到」。如果发现大批分页内容没被收录,基本就是无限滚动的锅。另一个快速检查:在站内搜 site:你的站.com + 具体商品名,看商品页有没有出现在结果里。这个验证建议上线后每周做一次,早发现早改。

两全方案:滚动给真人,分页给爬虫

第一步,保留分页 URL。 无限滚动加载下一页时,URL 要同步变化(比如 #page=2 或 ?p=2),让每一「屏」内容都有独立地址。这个地址要能被爬虫直接访问拿到对应内容,而不是依赖 JS 触发。技术上叫「可寻址状态」,是 SPA 和无限流做 SEO 的基本功。

第二步,首屏放核心内容。 最重要的商品、最新的文章,放在第一屏和前几屏,确保即使爬虫只抓到初始 HTML,收录的也是最有价值的部分。别把爆款藏在第三屏之后。一个判断标准:假设爬虫只抓初始 HTML,你最想被收录的 10 个 URL 是不是都在里面?不在就调整顺序。

第三步,站点地图兜底。 所有分页 URL 和具体商品/文章 URL 都列进 XML 站点地图,提交给 GSC。爬虫不滑屏没关系,地图里一条条给它指好路。技术细节可以参考 抓取预算优化,把预算花在高价值 URL 上,别让分页把抓取额度耗在低质页。

一个常见的错误实现

很多人以为「用了 history API 改 URL 就算分页」——不对。如果改 URL 后,直接访问那个 URL 返回的是第一屏内容(靠 JS 重新拉取),爬虫拿不到对应页的静态内容,等于没分页。正确做法是服务端渲染(SSR)或预渲染每个分页 URL,让爬虫直接拿到那一页的完整 HTML。这是无限滚动做 SEO 最容易被忽略、也最致命的一步。

移动端还要多想一层:无限滚动在手机上最容易让用户「迷路」——滑到底想回顶部找不到入口,或者分页参数在移动端路由里没同步。建议移动端保留一个常驻的「回到顶部 / 页码」控件,并保证 ?p= 参数在移动路由里也能被爬虫拿到。别因为「手机上用户不 care 分页」就省掉,爬虫在手机和桌面用的是同一套索引逻辑。

分页方式 抓取友好度 适用场景
传统分页 ?page=2 内容列表多页
无限滚动 低(需配合) 移动端信息流
加载更多(按钮) 中短列表

什么时候该直接放弃无限滚动

两类站点建议干脆别上无限滚动:一是内容深度优先的(博客、文档),用户要的是精准跳转和分享具体页,分页体验更好;二是 SEO 是主要流量来源的,无限滚动的收益抵不过收录损失。资讯流如果一定要上,至少保证分类页有「查看全部 / 分页」入口,别把路堵死。想从架构层看怎么让爬虫顺畅走完全站,可以对照 扁平导航架构 那篇,把内容层级压平,爬虫走的路才短。

已经上了无限滚动怎么补救

如果站已经上线了无限滚动、收录也掉了,别慌着重写。按这个顺序补:先给每个分页加独立 URL 并确保直访返回静态内容(最慢但最关键);再把所有分页和详情 URL 补进站点地图提交 GSC;然后去 GSC 的「网址检查」逐个请求重新收录关键分页;最后观察 4-6 周,看商品页流量有没有回来。补救期别急着重构前端,先把「能被抓」这关过了,收录回来再谈体验优化。我经手的一个站按这个顺序走,商品页自然流量在第八周恢复到上无限滚动前的 90%。

下一步行动清单

  • 检查你站无限滚动加载时 URL 是否变化,不变就改(加 ?p= 参数)。
  • 确认每个分页 URL 直接访问能返回对应静态内容,不只靠 JS。
  • 把所有分页和详情 URL 补进 XML 站点地图并提交 GSC。
  • 把爆款内容挪到第一屏,别藏在滚动深处。
  • 纯内容站或 SEO 为主的一律改用分页,放弃无限滚动。
热门标签
滚动至顶部