总结表格

规则类型 示例代码 描述
禁止所有搜索引擎 User-agent: *<br>Disallow: / 完全阻止所有搜索引擎访问整个站点
针对特定搜索引擎 User-agent: [搜索引擎名称]<br>Disallow: / 只阻止指定搜索引擎访问整个站点
限制特定目录 User-agent: *<br>Disallow: /[目录名]/ 阻止访问特定目录下的所有内容
阻止动态页面 User-agent: *<br>Disallow: /*.[扩展名]$ 阻止特定类型的动态页面被索引
防止图片索引 User-agent: *<br>Disallow: /*.[图片格式]$ 阻止特定格式的图片文件被索引
只允许HTML页面 User-agent: *<br>Allow: /*.html$<br>Disallow: / 允许HTML页面被抓取，其他一律禁止

通过上述方法，您可以灵活地控制搜索引擎的行为，从而更好地管理和优化网站的内容可见性。请根据自身需求选择合适的规则组合，并确保遵循最佳实践以避免不必要的问题。