Japan Database

用户代理：Googlebot
禁止：/*.gif$
站点地图– 指示站点地图在 XML 中的位置。
允许– 与禁止命令相反，因为它允许访问目录和页面。它还可以部分或完全用于覆盖 Disallow 命令。
爬行延迟– 此命令指示机器人每页之间加载的秒数。事实上，在SEO问题中使用它来提高服务器加载速度是很常见的。
如何创建 robots.txt 文件
之前我们已经告诉过你robots.txt文件的操作是非常简 首席财务官电子邮件列表 单的。例如，要创建它，需要授予对域根的访问权限，并将名为“robots.txt”的文本格式（txt）文件上传到我们的网页所在的服务器的第一级根目录。想要索引所在的位置。

不要忘记使用文本文件来创建文件；在 Windows 和 Mac 上可以使用纯文本文件。示例如下：

最后，您必须检查您的robots.txt的运行情况，为此，Google在Google Search Console中为我们提供了一个测试工具。您可以在此处检查 Googlebot 如何读取该文件并通知您该文件可能存在的任何错误。

如果您需要有关该主题的更多信息，我建议您访问Google 支持页面，他们会告诉您有关robots.txt 操作所需的所有信息。您对限制 Google 网站上的信息有何看法？您真的认为这是一个有效的系统吗？在评论中留下您的意见，我们将很乐意回答您。