在线robots.txt文件生成

Robots文件生成
收集Google、Baidu、Bing等主流搜索机器人，结合搜索间隔时间，限制目录等信息，帮助站长同学们快速生成robots.txt文件。

Robots文件作用
网站Robots.txt文件，用来告知搜索机器人，哪些页面能被抓取，哪些网页不能被抓取；可以屏蔽站点的一些无效链接，方便搜索引擎抓取网站内容；可以屏蔽一些页面中比较大的文件，如：图片，音乐，视频等，节省网络带宽；设置网站内容地图连接，方便引导搜索机器人抓取页面。