robots.txt 生成
按规则生成 robots.txt，控制各搜索引擎爬虫的抓取范围。
本站仅提供「robots.txt 生成」的内容介绍与优质导航推荐，不直接在网页端提供在线工具服务。
若需使用更多导航工具与精选服务，欢迎访问我们的主站导航与资源中心：
工具与资源介绍
robots.txt 放在站点根目录，告诉爬虫哪些路径可以抓、哪些不许抓。写错一行可能导致整站不被收录，或者私密目录被放行。
工具把常见搜索引擎的爬虫名做成选项，屏蔽目录与延迟都可配置，生成的文件附逐行注释，方便日后维护。
建议与用法
- 勾选需要放行或屏蔽的爬虫
- 填写需要禁止的目录路径，每行一个
- 按需设置抓取延迟
- 复制生成内容保存为 robots.txt 上传到根目录
常见问题
屏蔽了还会被收录吗？
robots 是抓取协议，若页面已被收录或存在外链，仍可能出现在索引里，需要配合 noindex 使用。
抓取延迟建议设多少？
小型站点通常不需要设置；服务器压力大时从 1 秒开始尝试。
相关工具导航
属于「技术 SEO」分类，查看该分类全部工具。