移动唯一项：蓝色条代表移动机器人发现的唯一项。
桌面唯一：橙色条代表桌面机器人发现的唯一项目。
共享：灰色条代表双方均发现的对象。
还要记住，有四个测试：
发现的 URL 数量
发现的域的数量。
发现的链接数
发现的根链接域的数量。
现在这是关键点，而且是一个非常重要的点。与桌面和移动爬虫之间 新加坡电话号码数据 共享的 URL、域、链接和根链接域相比，桌面爬虫结果中独有的 URL、域、链接和根链接域更多。橙色条总是比灰色条长。这意味着只有在第二级爬行之前，大多数链接关系才会在页面和域索引之间有所不同。这非常重要。这是对我们所知的链接图的根本改变。
现在来谈谈最大的问题，我们最关心的是外部链接。
总共有 63% 的外部链接是桌面爬虫所独有的。在仅限移动设备抓取的世界中，外部链接的总数减少了一半。
微观层面上发 我希望你花一点时间 生了什么？
那么，真正导致这种巨大爬行差异的原因是什么呢？好吧，我们知道这与使网站“移动友好”的一些常见快捷方式有关，其中包括：
具有较少链接或功能的子域名版本的内容。
通过用户代理检测插件删除链接和功能
当然，这些变化可能会改善用户的体验，但它会为机器人带来 艾米·高夫 执行董事 不同的体验。让我们仔细观察一下网站，看看它是如何运作的。
根据 Google 的数据该网站拥有
个页面；根据新的Moz Link Explorer，它拥有 72 个域名权限和 22,670 个引用域名。但是，该网站使用流行的 WordPress 插件，将内容缩短为网站上的文章和页面，从类别页面上的文章内描述中删除链接，并从侧边栏和页脚中删除大多数（如果不是全部）外部链接。超过 200,000 个网站都在使用这个特殊的插件。那么，当我们启动一只尖叫的青蛙进行六级深度爬行时会发生什么呢？ （这对于这种类型的分析非常有用，因为我们可以轻松更改用户代理并将设置限制为仅抓取 HTML 内容。）
这种差异令人震惊首先
请注意，在左侧的移动抓取中，每页的链接数明显较低，并且随着您深入网站抓取 阿拉伯语数据 链接数非常稳定。这就是形成如此稳定、快速的增长曲线的原因。其次，请注意爬行在第四级突然结束。该网站尚无更多页面可供移动爬虫使用！ Google 报告的 10,000 个页面中仅发现了 3,000 个。
现在，将其与桌面爬虫进行比较。这在第二级页面中激增，仅在这一级 我希望你花一点时间 别就积累了几乎两倍于移动抓取的总页面数。现在，回想一下之前的图表，当我们抓取 20,000 个网站时，唯一桌面页面的数量远远多于共享页面的数量。以下是此事发生原因的确认。最终，6x 内容可以在相同抓取深度下供桌面爬虫使用。
但这对外部链接有什么影响呢？
哇。移动版本中删除了
的外部出站链接。桌面版中发现了 4,905 个外部链接，而移动版中仅发现了 1,162 个。请记住，这是一个拥有两万个引用域的 DA 72 网站。想象一下由于移动索引不再找到反向链接而丢失该链接。我们该怎么办？天塌下来了吗？