[醒目]给各位有网站地战友地安全建议——技术帖

Newbie

不知道发到哪儿~~权当灌水吧~~咔咔
8 C1 M, u- d; R3 A9 u2 |9 M# _
偶经常教人家的是怎么能让Google之类的搜索引擎尽量多的找到你的网站。鉴于近来风声鹤唳，为了各位战友的安全，偶今天来教教大家如何不让搜索引擎找到你的网站！声明，如果有网站的JS用这个方法将可能导致你的网站访问量下降！不会再有新的用户通过Google之类的搜索引擎查找到你的网站，慎用！
: l, E6 K2 ?0 T1 t
" x, W2 o) |7 z. p  p* _! o先来介绍点小知识，Google如何找到你的网站？网络达人或灭兴趣的跳过好了

, B% `- `9 q7 M  f& g网络搜索引擎主要由Robot（机器人又叫网络爬虫）、索引数据库和查询服务三个部分组成。Robot对互联网资源进行遍历，尽可能多地发现并采集新的信息；采用全文检索技术对采集到的信息建立索引存到索引数据库中，能够极大地提高信息检索的速度；查询服务接收并分析用户的查询，即将用户查询作为数据库提问式，根据一定的的匹配策略，如布尔模型、模糊布尔模型等方法遍历索引数据库，最后将达到一定的匹配程度的结果（包括标题项，简单文摘和链接地址）集合返回给用户。
3 k  s" m" ~- X7 T* h2 ]+ x
+ g( `+ v- \5 ]* N- c* x5 sRobot有各种定义，google定义为googlebot，就是Google+Robot的意思。下面看一个Robot的例子：

crawler11.googlebot.com - - [08/Jan/2004:04:04:54 -0600] "GET /blog/archives/000010.html HTTP/1.0" 200 8953 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"

: Z) I# }0 @6 w6 ~. J  J0 S  c就是说，Robot报告的东西就是Google能查到的。
) v3 b) n+ w: ]9 j
此外，由于Google每次放出Robot有一定的周期，所以Google查到的内容并不保证是最新的。也就是说你的网站已经关闭了，可是在Google上还可能查的到；或者说可能Google查到的内容实际上是你的网站几个月前的内容。
8 }! D0 m8 P4 O/ O
废话说了介么多，好啦好啦，进入主题！怎么做？
7 ~( g, M3 U/ e$ b$ y6 p2 b; e
真是太太太简单了，我都不好意思说了，免得被网络达人笑话~~呵呵
0 @% x( e1 C0 Q3 o) S3 R8 }
  }1 A* Z; {: m1 G' P8 R首先建立一个空白文本文档 robots.txt，注意，文件名必须是这个，而且必须是纯文本文件，用Windows的记事本就好啦，偶都用它写程序的说
% _, L+ K; h3 U
2 B8 r  l- h& _9 P把下面两行贴进去，当然你要一个字一个字打偶也不反对

: O; g. a4 D: k. T$ W. D( V: _User-agent: *
+ W8 V% X: m! H4 r$ u( j1 \Disallow: /
3 P7 r5 I3 Q7 _0 ]
) p0 f" J6 w' ]2 S/ v" H' W& ]& q保存，然后丢进你的网站http根目录里。
  K8 P- f7 U3 F; l7 H
完了！简单吧。介样一来下次Google啊Yahoo啊之类的就不会再找你了
+ K7 N" S6 z' F* V
等一下~~~那位同学要发言。虾米？只想让论坛不会被搜索到？OK！灭问题

User-agent: *
  M/ ~: U9 s& v+ Q! m$ F, K8 lDisallow: /bbs
/ S* i  W. s6 L6 d
+ c* @, _# k( T6 z/ b可以了！

再来个例子：
9 l5 z  z, k: X# f% E3 |
; ?5 p# J9 [" X+ ~+ K+ u6 u- JUser-agent: *
2 _8 g  I* V, g" tDisallow: /pub
Disallow: /img
5 g, T" G3 f5 G( e( b* K1 LDisallow: /cgi-bin
Disallow: /forum
% F& E0 @$ e7 E# ?! @# f0 y3 J% KDisallow: /shop
& R/ m, B# D- @4 {) V+ a
+ d  H9 M- t9 c. ?$ M' k8 U! K看明白灭？想让哪个目录里的内容不被搜索到就添一行进去，注意，一行一个哦~~

* S$ y% h" E9 v4 q4 j1 j4 s% L最后，想再次让Google搜索到的话，删除那一行就可以了。如果想整个网站都能被搜索到，直接删除那个robots.txt文件！简单吧~~哇咔咔
  f' v6 h! p) w9 W/ K1 A" [7 Y! p8 m
/ k- h& k) D) o( b7 n$ y; Yps:各位JS要是用了偶介个方法记得以后要给偶打折哦~~哇咔咔
btw:007介种表演欲旺盛地曝露狂就表看偶地文章了

) @# l) B1 {+ G[ Last edited by Newbie on 2004-11-30 at 19:22 ]

HADES1974

好东西,这阵风过去就又可以恢复回来了