USA Database

为什么要把这个robots.txt交给搜索引擎呢？
您可能会告诉我，在 Google 上索引的页面越多越好。这是事实，但前提是您的内容为Google 用户提供了价值。如果不是这种情况，那么你就让谷歌的机器人白干了，因为它总是金钱，像谷歌这样的爬虫不喜欢失去它！

（我指的是 Google 客户（或其他爬虫），又名我们其他人类），则索引机器人访问您的页面并为其编制索引所花费的时间对于机器人来说就是浪费时间。谷歌整天都会抓取数百万个网站，如果 手机号数据库列表 每个人都开始这样做，那么他们就会浪费大量时间！

机器人 txt wordpress
总结来说：

robots.txt ...