robots.txt检测工具

有时候需要针对不同的搜索引擎设置robots.txt，特别是多语言站点，这个时候需要看一下设置的对不对，

https://tamethebots.com/tools/robotstxt-checker

这个网站可以帮助你检测，默认的蜘蛛主要是谷歌的各种，但是可以自行设置蜘蛛名称，比如YandexBot