您可能会告诉我，在 Google 上索引的页面越多越好。这是事实，但前提是您的内容为Google 用户提供了价值。如果不是这种情况，那么你就让谷歌的机器人白干了，因为它总是金钱，像谷歌这样的爬虫不喜欢失去它！
（我指的是 Google 客户（或其他爬虫），又名我们其他人类），则索引机器人访问您的页面并为其编制索引所花费的时间对于机器人来说就是浪费时间。谷歌整天都会抓取数百万个网站，如果 手机号数据库列表 每个人都开始这样做，那么他们就会浪费大量时间！
机器人 txt wordpress
总结来说：
robots.txt 文件用于告诉引擎不要对页面或目录建立索引。
Google 和其他抓取工具会考虑此 robots.txt 文件，以了解不应考虑哪些内容。
创建robots txt 文件可以节省 Google 的时间，因此可以赚钱，而且 Google 是一项利润丰厚的业务，非常有利可图。
提示：当您重新设计网站（并且您不在本地服务器上）以避免创建重复内容时，请创建 robots.txt 文件并禁止访问正在开发的整个版本。一旦开发版本投入生产， 不要忘记修改 robots.txt 文件，否则搜索引擎就说再见了！
robots.txt 文件是什么样的？
robots txt文件是一个文本文件 (.txt)，可以使用任何文本编辑器创建。例如，Windows 记事本就可以解决这个问题。它必须放置在您网站的根目录下，即 mysite.com/robots.txt。
Robots.txt 文件如下所示：
User-agent: *
Disallow: /repertoire-a/
Disallow: /repertoire-b/
用户代理：* = “请所有机器人，这个文件是给你们的！ «
用户代理：Googlebot = « 你好 Googlebot，以下内容仅供您参考，亲爱的！ »
禁止：“ 嘿，也阻止访问目录 a 和目录 b！谢谢”
小心，一些爬虫机器人不关心这个文档，但是像 Bing 或 Google 这样的“好”机器人会使用它，并且感谢您帮助他们！
