国产欧美日产高清欧美一区二区,亚洲三区四区五区六区中文字幕 http://www.jartj.cn/blog 中山php|最優(yōu)網(wǎng)絡(luò) Mon, 13 May 2013 04:56:43 +0000 en hourly 1 http://wordpress.org/?v=3.1.4 robots.txt文件的規(guī)則以及限制目錄帶不帶斜杠的區(qū)別 http://www.jartj.cn/blog/view-250.html http://www.jartj.cn/blog/view-250.html#comments Sat, 03 Sep 2011 02:11:43 +0000 lin http://www.jartj.cn/blog/?p=250 一個(gè)網(wǎng)站的robots文件對(duì)于做seo是至關(guān)重要的,它可以限制搜索引擎蜘蛛抓取不該收錄的目錄或者頁(yè)面,避免資源的浪費(fèi),它的規(guī)則主要有以下幾點(diǎn):

1) User-Agent鍵

后面的內(nèi)容對(duì)應(yīng)的是各個(gè)具體的搜索引擎爬行器的名稱。如百度是Baiduspider,谷歌是Googlebot。

一般我們這樣寫:

User-Agent: *

表示允許所有搜索引擎蜘蛛來(lái)爬行抓取。如果只想讓某一個(gè)搜索引擎蜘蛛來(lái)爬行,在后面列出名字即可。如果是多個(gè),則重復(fù)寫。

注意:User-Agent:后面要有一個(gè)空格。

在robots.txt中,鍵后面加:號(hào),后面必有一個(gè)空格,和值相區(qū)分開。

2)Disallow鍵

該鍵用來(lái)說明不允許搜索引擎蜘蛛抓取的URL路徑。

例如:Disallow: /index.php 禁止網(wǎng)站index.php文件

Allow鍵

該鍵說明允許搜索引擎蜘蛛爬行的URL路徑

例如:Allow: /index.php 允許網(wǎng)站的index.php

通配符*

代表任意多個(gè)字符

例如:Disallow: /*.jpg 網(wǎng)站所有的jpg文件被禁止了。

結(jié)束符$

表示以前面字符結(jié)束的url。

例如:Disallow: /?$ 網(wǎng)站所有以?結(jié)尾的文件被禁止。

應(yīng)該注意的是:

1,在"/robots.txt"文件中,至少要有一條Disallow記錄,允許收錄優(yōu)先級(jí)要高于禁止收錄,如
User-agent: *
Allow: /a/b.htm
Disallow: /a/
則a目錄下b.htm可以訪問,其他禁止

2,注意路徑后面加斜杠和不加斜杠的區(qū)別
如果目錄后邊帶斜杠,那么訪問不帶斜杠的地址時(shí)還是可以訪問目錄首頁(yè),如果想屏蔽掉整個(gè)目錄,建議不帶斜杠

Allow或Disallow的值 URL 匹配結(jié)果
/tmp /tmp yes
/tmp /tmp.html yes
/tmp /tmp/a.html yes
/tmp/ /tmp no
/tmp/ /tmphoho no
/tmp/ /tmp/a.html yes
/Hello* /Hello.html yes
/He*lo /Hello,lolo yes
/Heap*lo /Hello,lolo no
html$ /tmpa.html yes
/a.html$ /a.html yes
htm$ /a.html no

 
3,robots文件只有放在根目錄才有效,放在子目錄沒效。

4,robots.txt文件用法舉例

例1. 禁止所有搜索引擎訪問網(wǎng)站的任何部分 User-agent: *
Disallow: /
例2. 允許所有的robot訪問
(或者也可以建一個(gè)空文件 “/robots.txt”)
User-agent: *
Disallow:

或者
User-agent: *
Allow: /
例3. 僅禁止Baiduspider訪問您的網(wǎng)站 User-agent: Baiduspider
Disallow: /
例4. 僅允許Baiduspider訪問您的網(wǎng)站 User-agent: Baiduspider
Disallow:
 

User-agent: *
Disallow: /

例5. 禁止spider訪問特定目錄
在這個(gè)例子中,該網(wǎng)站有三個(gè)目錄對(duì)搜索引擎的訪問做了限制,即robot不會(huì)訪問這三個(gè)目錄。需要注意的是對(duì)每一個(gè)目錄必須分開聲明,而不能寫成 “Disallow: /cgi-bin/ /tmp/”。
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
例6. 允許訪問特定目錄中的部分url User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
例7. 使用”*”限制訪問url
禁止訪問/cgi-bin/目錄下的所有以”.htm”為后綴的URL(包含子目錄)。
User-agent: *
Disallow: /cgi-bin/*.htm
例8. 使用”$”限制訪問url
僅允許訪問以”.htm”為后綴的URL。
User-agent: *
Allow: .htm$
Disallow: /
例9. 禁止訪問網(wǎng)站中所有的動(dòng)態(tài)頁(yè)面 User-agent: *
Disallow: /*?*
例10. 禁止Baiduspider抓取網(wǎng)站上所有圖片
僅允許抓取網(wǎng)頁(yè),禁止抓取任何圖片。
User-agent: Baiduspider
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
例11. 僅允許Baiduspider抓取網(wǎng)頁(yè)和.gif格式圖片
允許抓取網(wǎng)頁(yè)和gif格式圖片,不允許抓取其他格式圖片
User-agent: Baiduspider
Allow: .gif$
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .png$
Disallow: .bmp$
例12. 僅禁止Baiduspider抓取.jpg格式圖片 User-agent: Baiduspider
Disallow: .jpg$

 

]]>
http://www.jartj.cn/blog/view-250.html/feed 349
国产福利视频一区二区三区-日韩人妻中文视频精品| 日韩精品中文在线观看一区-亚洲bt欧美bt精品| 女主播啪啪大秀免费观看-精品99午夜福利影院| 国产美女裸露无遮挡双奶网站-国产精品色午夜视频免费看| 99精品只有久久精品免费-蜜臀一区二区三区精品久久久| 久久精品国产亚洲av湖南-竹菊精品一区二区三区| 性激烈欧美三级在线播放-久久中文字幕人妻少妇| 国产成人高清精品免费5388-好妞色妞在线视频播放| 欧美日韩亚洲1区2区-黄污视频在线观看不卡| 亚洲区欧美区在线视频-亚洲碰碰人人AV熟女天堂| 日韩亚洲欧美综合在线-成人在线网站在线观看| av噜噜国产在线观看-欧美视频亚洲视频一区二区三区| 亚洲最新国产无人区123-黄片一区二区在线观看| 国产精品熟女视频一区二区-国产日韩精品欧美一区喷水| av中文字幕男人天堂-懂色av一区二区三区在线观看| 91大神国内精品免费网站-亚洲免费电影一区二区| 国产欧美日本一区二区-一区二区三区亚洲在线播放| 欧美亚洲另类久久久精品-国产精品一区二区亚洲推荐| 国产aa视频一区二区三区-国产精品久久久久久久毛片动漫| 国产欧美成人精品第一区-日本黄色精品一区二区| 国产剧情av中文字幕-五月婷婷在线手机视频| 三上悠亚免费观看在线-青青草原在线视频观看精品| 熟女少妇免费一区二区-麻豆一区二区三区免费在线观看| 欧美日韩国产亚洲免费-肉体粗喘娇吟国产91| 亚洲av高清一区三区三区-久久人妻夜夜做天天爽| av一区免费在线观看-中文字幕日韩国产精品视频| 久久精品亚洲国产av久-国产精品视频一区二区免费| 欧美日韩亚洲1区2区-黄污视频在线观看不卡| 久久久国产精品电影片-精品孕妇人妻一区二区三区| 午夜福利1区2区3区-午夜洗澡免费视频网站| 亚洲日本一区二区三区黄色电形-中文字幕乱码免费熟女| 国内精产熟女自线一二三区-六月丁香婷婷在线观看| 久久人妻一区二区三区欧美-国内不卡的一区二区三区| 亚洲一区精品一区在线观看-日本久久久一区二区三区| 91蜜桃传媒一二三区-日韩欧美国产一区呦呦| 黄色91av免费在线观看-欧美黄片一级在线观看| 亚洲黄片三级三级三级-国产成人一区二区在线视频| 久久网站中文字幕精品-三级精品久久中文字幕| 日本中文字幕啊啊啊啊-久久精品伊人久久精品伊人| 免费av一区在线观看-国产精品视频高潮流白浆视频免费| 婷婷综合在线视频观看-亚洲一区二区三区香蕉|