站长工具 > 

在线robots.txt文件生成

工具说明:

Robots文件生成
收集Google、Baidu、Bing等主流搜索机器人,结合搜索间隔时间,限制目录等信息,帮助站长同学们快速生成robots.txt文件。

Robots文件作用
网站Robots.txt文件,用来告知搜索机器人,哪些页面能被抓取,哪些网页不能被抓取;可以屏蔽站点的一些无效链接,方便搜索引擎抓取网站内容;可以屏蔽一些页面中比较大的文件,如:图片,音乐,视频等,节省网络带宽;设置网站内容地图连接,方便引导搜索机器人抓取页面。