Robots生成robots

设置限制目录、Sitemap、Crawl-delay、全局策略及十九种搜索引擎独立策略,生成并下载 robots.txt。

限制目录(每个目录必须以 / 开头)

Sitemap 文件(留空为不输出)

国内搜索引擎

百度
SOSO
搜狗
有道
神马

国外搜索引擎

Google
Bing
雅虎
Ask/Teoma
Alexa/Wayback
MSN
Scrub The Web
DMOZ
GigaBlast

特殊搜索引擎

Google Image
Google Mobile
Yahoo MM
Yahoo Blogs
MSN PicSearch

同类工具开发工具