您网站上的所有子页面或目录并非都足够重要，以至于传统搜索引擎一定会抓取它们。借助robots.txt文件，您可以管理网站的索引并确定爬虫程序应考虑哪些 WordPress 子页面、哪些不应考虑。这样，您的网站在在线搜索中的排名就 传真列表 会显著提高。在这里，我们解释 robots.txt 文件在WordPress中的作用以及如何自行优化它。
网络域名
购买并注册您理想的域名
利用我们的 3×1 域名优惠占领市场
您的域名受到免费 Wildcard SSL 保护
持续
所谓的爬虫每天24小时都在互联网上搜索网页。这些机器人由各自 另请阅读：了解 NEO Web 托管 的搜索什么是 WordPress robots.txt 文件？引擎发送，并检测尽可能多的页面和子页面（索引），以使它们可供搜索。为了让爬虫程序正确读取您的网站，您需要对它们 新加坡电.话列表 进行引导。这样，您将避免索引与搜索引擎无关的内容，并确保爬虫只读取它应该读取的内容。
每份合同 1 个电子邮件帐户
您可以使用 robots.txt 来控制这一点。对于 WordPress 和其他 CMS，此文件用于确定您网站的哪些区域应该被爬虫程序检测，哪些区域不应该。通过 robots.txt，您可以排除或允许机器人，还可以对哪些搜索引擎找到哪些条目进行细粒度的区分，然后在搜索中重现它们。由于每个域名的抓取预算有限，因此提升主要页面并从搜索量中删除不重要的子页面就显得更为重要。