指南
孤立页面:如何找到它们以及如何处理它们
孤立页面是指没有任何内部链接指向它的页面。它确实存在,可能也包含在您的网站地图中,但对于任何依靠链接抓取的内容来说,它是不可见的。几乎所有运行了一年以上的网站都有这类页面——而且几乎没有人能说出自己网站上有哪些这样的页面。.
什么算作孤儿,什么不算
当同一个网站上的其他页面都没有链接到某个页面时,该页面就成为了孤立页面。这是唯一的判定标准。有三类事物经常与它混淆:
- 已添加 noindex 标签的页面并不是孤立页面。. 你故意让搜索引擎忽略它。这是一个决定,而不是意外。.
- 404 错误页面不是孤儿页面。. 该孤立对象确实存在且加载正常。正因如此,它才很容易被忽略——因为没有任何问题。.
- 出现在站点地图中并不表示它已被保存。. 网站地图会告知爬虫某个URL的存在。内部链接则会告诉它该URL的重要性,以及其重要性的大致程度。仅靠网站地图本身,其信号强度较弱。.
一个有用的补充说明:仅能通过分页存档访问的页面——例如博客列表的第七页——从技术上讲并非孤立页面,但情况非常接近,因此可将其视为孤立页面。从业者有时将此类页面称为 近乎孤儿. 他们收到了一 链接, ,但该页面本身层级较深且权重很低。.
孤立页面是如何产生的
没有人会故意制造孤立页面。它们是在日常网站维护过程中逐渐积累起来的:
- 档案滚动消失。. 一篇博文从博客首页消失,接着从第三页消失,最终除了一个没人会深入爬取的分页列表外,再也没有任何链接指向它。.
- 一场活动结束了。. 即使链接到该页面的横幅广告已下线,该着陆页仍会继续保持在线状态。.
- 导航栏变得更整洁了。. 删除一个菜单项以简化页头,而挂在其下的所有页面都失去了唯一的链接。.
- 内容已迁移。. 页面在导入时得以保留,但它们之间的链接却没有。.
- 类别被重构了。. 产品或文章发生移动,旧的分类页面被取消发布,其子页面随之脱离。.
共同点是:该页面曾被链接过一次,而链接却通过一次与它无关的更改消失了。.
它实际花费你的成本
有三项独立的费用,而第三项才是最让人心疼的:
- 爬取。. 搜索引擎对每个网站分配的注意力是有限的。没有任何链接指向的页面访问频率很低,因此对它们的更改会被很晚才注意到。.
- 权威。. 无论您的域名拥有何种权重,都会通过内部链接传递。一个未获得任何权重的页面将无法继承任何权重,只能从零开始独立竞争。.
- 这项工作已经付过钱了。. 有人对该页面进行了调研、撰写和编辑。该页面内容依然不错。只是无法通过你们其他大多数页面所依赖的机制被检索到。孤立页面通常是一个网站上获取流量成本最低的来源,正是因为最费力的部分已经完成了。.
寻找属于你的,一步一个脚印
该方法是一种减法:将所有存在的内容,减去爬虫通过追踪链接所能触及的所有内容。剩下的就是孤立页面。.
- 获取所有已存在事物的列表。. 您的 XML 网站地图是最便捷的来源。如果您怀疑网站地图本身不完整,不妨从您的内容管理系统(CMS)中导出 URL 列表——如果网站地图遗漏了某个页面,该孤立页面也会被隐藏起来。.
- 从主页开始抓取网站。. Screaming Frog 和 Sitebulb 都具备这一功能。爬虫仅沿链接爬行,这与搜索引擎的行为完全一致,并生成一份包含所有可访问页面的列表。.
- 将站点地图导入到同一爬取任务中。. 这两款工具都支持将网站地图作为额外数据源,并会直接为您标记出差异——在 Screaming Frog 中,可在“抓取分析”下查看,具体如下: 孤立网址.
- 与实际流量进行交叉核对。. 从 Search Console 和您的分析工具中导出包含展示量的页面。那些没有任何页面链接到它,却仍然能获得访问量的页面,是最有价值的“孤儿”页面——尽管存在这一劣势,它们依然能获得排名。.
- 过滤掉属于那里的东西。. 感谢页面、结账步骤、你故意不加链接的营销着陆页。未加链接只有在并非有意为之的时候才是一个问题。.
仅靠 Search Console 无法给你一个明确的答案。它的“链接”报告显示的是获得链接最多的目标页面,而不是没有获得链接的页面——没有出现在置顶列表中并不等于完全没有。在第四步中将其用作流量交叉验证,而不是在第三步中将其用作唯一的事实来源。.
链接、合并或删除
不要条件反射般地把所有东西都联系起来。每个孤儿都会得到三个裁决中的一个,而决定这一裁决的问题很简单: 你今天要发布这个页面吗?
- 将其连接起来 —如果答案是肯定的,请找到两三个主题真正能引向该答案的页面,并在正文内部添加链接,而不是放在页脚列表中。一个编辑链接胜过五个装饰性链接。.
- 合并 —如果答案是“单独存在不行,但内容值得保留”。将其合并到同一主题下更强的内容页面中,并将旧网址重定向到该页面。对于内容单薄且重叠的文章,这通常是正确的做法。.
- 删除它 —如果答案是否定的,就将其删除并返回 410 状态码,或者如果有任何入链或残留流量,则将其重定向。让劣质页面保持在线以“不损失任何东西”,正是网站积累拖累整体表现的累赘所在。.
按流量处理它们,最高者优先。一个有展示量的孤岛页面就像是只绑了一只手就在排名的页面;为它添加链接是大多数网站上最快的获胜方式。.
防止再次发生
寻找孤儿记录只是一种清理工作。而不再产生孤儿记录则是一种习惯,这归结为以下三点:
- 链接随出版物发布,不迟于此。. 当页面上线时,立刻决定好哪两三个现有页面应该指向它——并编辑它们。“我以后再加链接”正是积压工作开始的方式。.
- 将结构变化视为链接变化。. 移除一个菜单项、下架一个分类、取消发布一个中心:每一次操作都在切断链接。在做出改变之前先问问什么会失去它的路径,而不是在改变之后。.
- 按计划重新抓取。. 对大多数网站来说,一个季度一次就足够了。这只需要花二十分钟,并且能在网站偏离轨道变成一个大工程之前将其纠正。.
这个结构上的关键点值得我们细细琢磨。孤立页面很少是由内容问题引起的——它们是整理带来的副作用。导航栏的每一次简化,都会将某些东西掩埋。.
此插件的适用场景。. Internal Links Manager 不查找孤立页面——那是爬虫的工作,Screaming Frog 或 Sitebulb在这方面做得很出色。它的作用是阻止新孤立页面的出现:一旦某个规则将关键词指向一个页面,以后所有提到该术语的文章都会自动链接到该页面,包括很久之后写的文章。清理工作仍然需要人工完成,但内容漂移不会再复发。. 查看规则如何运作.