浏览器需要遵守Robots协议吗
发布网友
共1个回答
热心网友
浏览器需要遵守Robots协议。
协议简单理解可以理解成大家共同遵守的一个标准，只要是网页浏览器肯定需要支持最常见的协议，一些不常用的就看各浏览器是否支持了。
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（RobotsExclusionProtocol）。
