爬虫协议生成robots-gen

通过表单填写 User-agent、允许与禁止抓取的路径以及 Sitemap 地址，一键生成规范的 robots.txt 文件内容供网站使用。

User-agentCrawl-delay

禁止抓取 Disallow（每行一个路径）

允许抓取 Allow（每行一个，可选）

Sitemap 地址（每行一个，可选）

同类工具站长网络

域名统计URL域名计数 域名去重URL按域名去重 HTTP头解析请求响应头转JSON 图片转HTML图片链接转img标签 网址补协议批量补全http协议 URL参数移除批量删除查询参数 URL参数设置批量设置查询参数 网站地图生成URL列表转sitemap