有一部分人可能不知道robots是什么意思，所以在讲robots规则的写法之前，先详细的介绍一下robots是什么。
robots是一个文本文档，通常是robots.txt，基本网站都会有这么一个文档，那么如何查看自己网站的robots呢？输入自己的网站域名/robots就可以看到。那里面主要是设置网站被蜘蛛抓取的规则，希望网站里的那些内容被抓取，那些内容不详被抓取，在这里都可以设置。
robots的写法可以按照robots文档里的写法，所有的输入都必须是在英文状态下进行。首字母必须大写然后加上：再加空格然后就可以协商允许或不允许的文件夹的名字。
榆林百度公司为榆林个大中小型企业提供最全套的网络整合营销服务，公司业务包含：榆林网站建设、网站推广、网站优化、微信小程序、APP开发和公众号运营等服务。咨询电话：13488042209。