robots文件有什么用呢？

　　1、屏蔽網站內的死鏈接。

　　2、屏蔽搜索引擎蜘蛛抓取站點內重復內容和頁面。

　　3、阻止搜索引擎索引網站隱私性的內容。

　　4、可以屏蔽一些網站中比較大的文件，如：圖片，音樂，視頻等，節省服務器資源。

　　5、設置網站地圖連接，方便引導蜘蛛爬取頁面。

　　想要學習網站搭建以及SEO的伙伴可以來這個群：215--113--587 在這里，大神帶你進入互聯網的世界，在這里，你可以學習到你想要學習到的東西，在這里，絕對不會讓你失望！

　　一個網站寫有robots文件是很有必要的，如果網站中重復的頁面、內容或者404信息過多，那么搜索引擎蜘蛛抓取時候就會認為該網站價值較低，從而降低對該網站的權重，這樣網站的排名就不好了。

　　robots怎么寫呢？

　　User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符

　　Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄

　　Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄

　　Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄

　　Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以”.htm”為后綴的URL(包含子目錄)。

　　Disallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址

　　Disallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片

　　Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。

　　Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄

　　Allow: /tmp 這里定義是允許爬尋tmp的整個目錄

　　Allow: .htm$ 僅允許訪問以”.htm”為后綴的URL。

　　Allow: .gif$ 允許抓取網頁和gif格式圖片

　　Sitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖

　　下面，小編將列舉一些robots.txt的具體用法：

　　允許所有的搜索引擎訪問網站所有的部分的robot寫法：

　　User-agent: *

　　Disallow:

　　或者也可以建一個空文件 robots.txt 文件，功能同上。

　　禁止所有搜索引擎訪問網站的任何部分的robots寫法：

　　User-agent: *

　　Disallow: /

　　禁止所有搜索引擎訪問網站的某幾個部分（下例中的01、02、03目錄）的robots寫法：

　　User-agent: *

　　Disallow: /01/

　　Disallow: /02/

　　Disallow: /03/

　　禁止某個搜索引擎的訪問（如下例中禁止百度引擎抓取）的robots寫法：

　　User-agent: Baiduspider

　　Disallow: /

　　注意：以上寫法只禁止了百度搜索引擎的抓取，其他搜索引擎還是可以來抓取的。

　　只允許某個搜索引擎的訪問（如下例中只允許谷歌搜索引擎抓取站點內容）的robots寫法：

　　User-agent: Googlebot

　　Disallow:

　　User-agent: *

　　Disallow: /

　　禁止搜索引擎抓取自己網站圖片（禁止圖片抓取）的robots寫法：

　　User-agent: *

　　Disallow: .jpg$

　　Disallow: .jpeg$

　　Disallow: .gif$

　　Disallow: .png$

　　Disallow: .bmp$

　　如果你的網站有動態和靜態兩種形式的網頁，你只允許抓取靜態頁面（禁止動態頁面）的robots寫法：

　　User-agent: *

　　Disallow: /*?*

　　下面順便將各大搜索引擎的蜘蛛的名字分享一下（這里僅列舉中國國內比較常用的一些搜索引擎）：

　　google蜘蛛：Googlebot

　　百度蜘蛛：Baiduspider

　　搜狗蜘蛛：sogou spider

　　360蜘蛛：360Spider

　　yahoo蜘蛛：Yahoo!slurp

　　alexa蜘蛛：ia_archiver

　　bing蜘蛛：MSNbot

　　Soso蜘蛛：Sosospider

　　Google Adsense蜘蛛：Mediapartners-Google

　　有道蜘蛛：YoudaoBot

　　未經本人允許，轉發前請聯系本人QQ：482500554

　　謝謝合作