Robots生成robots
设置限制目录、Sitemap、Crawl-delay、全局策略及十九种搜索引擎独立策略,生成并下载 robots.txt。
限制目录(每个目录必须以 / 开头)
Sitemap 文件(留空为不输出)
国内搜索引擎
百度 默认 允许 拒绝
SOSO 默认 允许 拒绝
搜狗 默认 允许 拒绝
有道 默认 允许 拒绝
神马 默认 允许 拒绝
国外搜索引擎
Google 默认 允许 拒绝
Bing 默认 允许 拒绝
雅虎 默认 允许 拒绝
Ask/Teoma 默认 允许 拒绝
Alexa/Wayback 默认 允许 拒绝
MSN 默认 允许 拒绝
Scrub The Web 默认 允许 拒绝
DMOZ 默认 允许 拒绝
GigaBlast 默认 允许 拒绝
特殊搜索引擎
Google Image 默认 允许 拒绝
Google Mobile 默认 允许 拒绝
Yahoo MM 默认 允许 拒绝
Yahoo Blogs 默认 允许 拒绝
MSN PicSearch 默认 允许 拒绝