一、 简介 每个网站dou像是一个小城堡,而robots.txt就像是这座城堡的守门人。它全名为“robots exclusion standard”, 即“机器人排除标准”,是一种用于指导搜索引擎爬...