如何巧妙写robots文件,既禁止指定目录抓取又不让别人看到你的禁止目录

  • 时间:
  • 浏览:18
  • 来源:80教程网_提供滚石技术导航技术_空间引流吧资讯
  1.  Home
  2. Text  

robots文件,有一有有一有2个说难没能,说易嘛,真要用到特殊情况报告的日后所以容易,有一有有一有2个让SEO又爱又恨的东西。比较最近提交robots文件,既如果让蜘蛛抓取我的指定目录,又如果被别人通过robots文件看完我的目录。常见的robots文件无非也就随便allow,disallow一下,当然今天用的你这名土依据也是巧妙的disallow了一下。这样 来太大说,直接上栗子:

User-agent: *
Disallow: /*admi*
Disallow: /*dat*
Disallow: /*inclu*
Disallow: /*instal*
Disallow: /*logrepor*
Disallow: /plus
Disallow: /style
Disallow: /*templet*

这里巧妙的使用了号,Disallow: /admi,意思是所含“admi”的 目录或域名 全是能被抓取,而admi*,还后能 是admin,admin123,admin444,admin_2baa ... 还后能 是无数的或者,所以有几乎这样 猜得出来,也就最少禁止别人看完你的目录了,从而起到安全作用。(robots文件参考:http://zhanzhang.baidu.com/college/courseinfo?id=267&page=12#h2_article_title28)


本文链接:https://www.mosq.cn/post-134.html

本博客所有文章除有点声明外,均采用CC BY-NC-SA 4.0许可协议。转载请注明出处!

If you think my article is useful to you, please feel free to appreciate