在线客服与您一对一交流
当前位置: 主页 > 行业新闻 > IT技术 >

利用robots.txt禁止百度蜘蛛Baidusppider抓取



 

User-agent: *
Disallow: /
Allow: /complain/
Allow: /media_partners/
Allow: /about/
Allow: /user_agreement/
 
User-agent: ByteSpider
Allow: /
 
User-agent: ToutiaoSpider
Allow: /

  以上是今日头条的robots.txt,禁止所有搜索引擎收录,同时又允许字节蜘蛛、头条蜘蛛抓取。比较牛,不依靠其他搜索引擎,和淘宝一样!

  robots协议文件屏蔽百度蜘蛛抓取

  robots协议是一个放在网站根目录下协议文件,可以通过URL地址:http://你的域名/robots.txt进行访问。当百度蜘蛛抓取我们网站时,会先访问这个文件。因为里面告诉了蜘蛛哪些可以抓取,哪些不可以抓取。

  robots协议文件的设置比较简单,可以通过User-Agent、Disallow、Allow这三个参数进行设置。

  User-Agent:对不同搜索引擎的声明;

  Disallow:不允许抓取的目录或页面;

  Allow:允许抓取的目录或页面,一般可以省略不写,因为你不写什么是不可以抓的那就都是可以抓的;

  下面我们来看一个示例,场景是我不希望百度抓取我网站所有的css文件,data目录、seo-tag.html页面

  User-Agent: Baidusppider

  Disallow: /*.css

  Disallow: /data/

  Disallow: /seo/seo-tag.html

  如上,user-agent声明的蜘蛛名称,这个意思也就是说,针对百度蜘蛛。下面不能抓取”/*.css”,首先前面的/指的是根目录,也就是你的域名。*是通配符,代表任意内容。其意思就是所有文件,以.css结尾的都不能抓取。下面两个你自己体会吧。逻辑是一样的。

相关文章:

  • 方法一:需要修改php.ini 如下图 软件商店 PHP配置设置 memory_limit=128M //相当于单个脚本可调用内存大小 #每个PHP页面所吃掉的最大内存,默认8M max_execution_time=600 #每个PHP页面运行的最大时间值(秒...

  • 换行的话要用 \r\n,而且要在双引号里面,单引号不解析,直接输出原字符串 php的换行符我们都知道:\n ,回车符:\r,在需要换行时,通常是用\r\n这个组合。但是为什么我们在使用fwrite写入...

  • 个人网站选择一个合适的模板是非常重要的,今天西安蟠龙网络小编为你分享优秀的个人网页设计模板需要具备的要素。 模板类型的网站就是已经有了网站框架,只需要直接套用就可以正常操...

  • 现在想做一个网站成本很低了,买个域名,买个几十块空间,弄个网站建设程序就可以开始你的玩耍了,如果你还想找成本更低的,可以看下面的分享。 如何创建网站一直都是很多朋友想要知...

  • 制作网站,尤其是我们没有做过网站的朋友,建站经验不足,需要多了解一些网站建设知识。制作网站网站建设流程、制作网站需求、网站制作注意事项、网站制作技术等等都要了解好,这样...

  • 今天西安蟠龙网络小编总结一下百度收录和百度索引的关系 百度收录是什么意思 百度收录量,是指百度快照并且百度后台释放出来的量,是百度搜索数据库对于每个网站网页快照的收录数据。...

  • 商城网站建设如何将吸引力提升 在信息如此丰富多样的今天,商城网站建设如何才能够在众多的同类当中脱颖而出,获得大众的吸引和青睐呢?这其实是相关网站建设人员一直在思考的一个问...

  • 个人网站一般以个人博客居多,比较重视个性化、简洁大方、利于搜索引擎优化,西安蟠龙网络小编认为个人网站选择模板没必要自己全新设计,设计一个模板是要花很多时间的,而且自己的...

  • PHP输出一个指定范围内的随机数 ?php echo mt_rand(5, 15); ? php查找字符串中出现的次数函数substr_count 判断字符串中是否包含另一个字符串函数strpos PHP 截取字符串函数substr() PHP 字符串替换函数 str...

  • Rewrite重写任务基本上都是由RewriteCond和RewriteRule两个命令配合完成。 RewriteBase /规定根目录为基准路径, RewriteCond规定重写的条件,如果条件成立,那么将会执行RewriteRule所规定的重写规则。...

  • 公司:西安蟠龙网络科技有限公司
  • 联系人:张经理
  • 手机/微信:187 2951 9978
  • Q Q: 136 8888 63 点击这里给我发消息
  • 地址:西安市雁塔区唐延南路11号逸翠园i都会
  • 宝塔BT面板设置PHP配置,提高上传文件大小方法

    方法一:需要修改php.ini 如下图 软件商店 PHP配置设置 memory_limit=128M //相当于单个脚本可调用内存大小 #每个PHP页面所吃掉的最大内存,默认8M max_execution_time=600 #每个PHP页面运行的最大时间值(秒...

  • 利用robots.txt禁止百度蜘蛛Baidusppider抓取

    User-agent: * Disallow: / Allow: /complain/ Allow: /media_partners/ Allow: /about/ Allow: /user_agreement/ User-agent: ByteSpider Allow: / User-agent: ToutiaoSpider Allow: / 以上是今日头条的robots.txt,禁止所有搜索引擎收录,同时又...

  • PHP函数fwrite输出txt文本换行(PHP批量提取文章标题)

    换行的话要用 \r\n,而且要在双引号里面,单引号不解析,直接输出原字符串 php的换行符我们都知道:\n ,回车符:\r,在需要换行时,通常是用\r\n这个组合。但是为什么我们在使用fwrite写入...

  • 优秀的个人网页设计模板需要具备的要素

    个人网站选择一个合适的模板是非常重要的,今天西安蟠龙网络小编为你分享优秀的个人网页设计模板需要具备的要素。 模板类型的网站就是已经有了网站框架,只需要直接套用就可以正常操...

  • 如何创建网站可以少花钱

    现在想做一个网站成本很低了,买个域名,买个几十块空间,弄个网站建设程序就可以开始你的玩耍了,如果你还想找成本更低的,可以看下面的分享。 如何创建网站一直都是很多朋友想要知...网站网站建设

  • 制作网站需做好什么准备工作

    制作网站,尤其是我们没有做过网站的朋友,建站经验不足,需要多了解一些网站建设知识。制作网站网站建设流程、制作网站需求、网站制作注意事项、网站制作技术等等都要了解好,这样...