保持不变但是

[account_disabled]

这意味着您无法从常见排除的基础上建立排除项。如果要针对命名机器人则每个块都必须指定其所有规则。添加针对所有机器人的第二条指令该指令将阻止整个站点。这将创建一个文件该文件从所有机器人中阻止整个站点除了可以爬网秘密文件夹中的任何页面。禁止秘密使用更多特定的用户代理在某些情况下您希望控制特定爬网程序例如爬网程序的行为与主要不同。为了在中启用此功能这些爬网程序将选择收听适用于它们的最特定的字符串。

 
因此例如如果有一个针对的指令块和一个针对的指令块则图像 卢森堡电话号码 爬网程序将遵循后一组指令。如果没有针对或任何其他专业的特定说明集他们将遵守常规指令。请注意爬虫只会遵守一组指令而没有在组之间累积应用指令的概念。给定以下机器人。将遵守指令换句话说不会爬网该秘密文件夹。修改此内容以便对和等进行说明。具有一组特定的指令这意味着它不会爬网秘密文件夹或版权文件夹禁止秘密基本通配符拖曳通配符被忽略因此禁止私有与禁止私有相同。通配符对于一次匹配多种页面很有用。



星形字符匹配任何有效字符的更多实例包括等例如阻止但不会阻止注意缺少。匹配项是区分大小写的目录新闻。修改以下模式以仅阻止结尾的页面。博客目录中的而不是整个博客目录。禁止博客阻止某些参数通配符的一种常见用法是阻止某些参数。例如处理多面导航的一种方法是阻止一个或多个多面的组合。一种方法是让您的系统在所有方面组合例如中添加参数。例如这意味着各方面的可能是。机器人规则阻止它应该寻找而不是因为的查询字符串将是有效的。在下面的中添加禁止规则以防止任何包含的页面被抓获。