Robots

Robots.txt是一个文本文件。robots.txt 是一个协议，不是一个命令。robots.txt 是爬虫要查看的第一个文件。robots.txt 文件告诉爬虫在服务器上什么文件是可以被查看，搜索机器人就会按照该文件中的内容来确定访问的范围。