自己并不是大神，很多東西全是依靠自己平常累積，學習培訓，然后匯總下來的。現在和大家一起分享一下robots協議的寫法。文中將由robots協議的一般寫法到深層次寫法的討論，強調不一樣寫法的不同功效。
一、什么是robots協議

robots協議全稱之為“爬蟲技術清除規范”，英語名叫“Robots Exclusion Protocol”。robots協議能夠簡易了解為網站站長和搜索引擎的一個簡單謙謙君子協議。網站站長能通過設定robots協議來告之搜索引擎說什么網頁頁面能夠瀏覽，什么網頁頁面不能瀏覽。這種謙謙君子協議對彼此都是有益處，針對搜索引擎而言，當她進入了你們的網站，它能夠迅速發覺哪些東西能夠收錄，什么不能，那樣能合理節約搜索引擎的工作效率，對大家網站站長而言，不僅僅對大家做提升有利，并且能具有維護網站個人隱私作用。

為什么這么說，下邊舉好多個簡單事例：
1.一些途徑中有可能是網站上客戶的私人信息，不愿被搜索引擎爬取，例如facebook上一些客戶的秘密基本資料/
2.如果我們網站存有一些死鏈接，我們可以通過robots協議將死鏈接屏蔽掉
3.假如一些網站站長用的是公共的云虛擬主機，總流量比較有限或是室內空間非常小，能夠節約網絡帶寬和網站網站打開速度.
4.有些網站甚者是合理屏蔽掉某一搜索引擎，不太想被他爬取，這種網站較知名的便是以前淘寶網

二、robots.txt函數釋意

普遍的robots.txt函數有“User-agent”“Disallow”“Aallow”：
1.User-agent：表明容許搜索引擎的真實身份，User-agent后綴名不一樣則表明容許瀏覽的搜索引擎有不一樣。比如：User-agent：Baiduspider表示容許百度爬蟲，User-agent：Googlebot表示容許Google網絡爬蟲，User-agent: *則表明容許每一個搜索引擎。
2.Disallow：表明禁止訪問的具體內容。比如：Disallow: /表明網站嚴禁爬取瀏覽； Disallow:則表明都容許收錄；Disallow: /news/表明news這一文件夾名稱的具體內容禁止訪問；Disallow: /XXX.html表示XXX.html這一網站嚴禁收錄；Disallow: /*.jpg$表明嚴禁爬取jpg格式的照片，其他類型的圖片的格式依此類推。

3.Aallow：表明容許瀏覽的具體內容，與此同時Disallow和Aallow一起應用，還可以具有一部分嚴禁收錄，一部分容許收錄的功效。比如：news1-50中只有news49容許收錄，其余的網頁頁面全是嚴禁收錄的能夠這樣寫：Disallow：/news Allow:/news49/

三、小白級robots協議寫法

小白級的寫法一般適用剛觸碰seo那樣領域或者框架剪力墻簡單本人網站或公司網站。一般這類網站只必須在網站并沒有什么不容許收錄的具體內容，并且容許每一個搜索引擎收錄，此外為了能便捷搜索引擎收錄，還能夠添加sitemap。以我的網站站舉例說明，可以用寫法如下所示：
User-agent:
Disallow: )
Sitemap: http://網站/sitemap.xml （谷歌sitemap寫法）
Sitemap: http://網站/sitemap.html（百度sitemap寫法）
只需當地建立一個robots.txt的文檔，并把之上代碼復制、改動網站網站域名并黏貼在robots.txt文件中，并上傳入網站網站根目錄就可以。前提條件是你的網站網站根目錄已經有了sitemap.html、sitemap.xml 文檔。也有更方便的作法，能直接在“百度站長工具”里的“代碼轉換專用工具”尋找“robots.txt形成”，隨后自己設置網站的主要參數，遞交就可以。

四、大神級robots協議寫法

大神級的robots寫法通常是能妙用“Disallow”及“Aallow”函數公式，使網站收錄被收錄的信息構造更有效，也使搜索引擎爬取抓取的過程中構思更清晰。下邊我們看看百度搜索跟Google的robots協議是怎么寫的：
User-agent: Baiduspider
Disallow: /baidu
Disallow: /s?
Disallow: /ulink?.
Disallow: /link?

User-agent: Googlebo
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro. G)
Disallow: /ulink?
Disallow: /link?

由里面的事例可知道，百度搜索屏蔽掉Google，Google屏蔽掉百度搜索，Google和百度搜索的搜索引擎收錄的主要內容全是不分享的，也恰好說明了為什么百度跟Google收錄大家網站的具體內容跟外部鏈接數會不一樣。搜索引擎和Google通常是進行了彼此之間競爭者的屏蔽掉，那對大家網站站長而言，必須屏蔽掉的網站文件目錄有什么？
1、照片文件目錄
現在網絡上很多CMS的發生，對那些很多單一化模版網站，被多次采用，不一樣的網站一樣的結構又不斷被搜索引擎收錄。這種網站搜索引擎是一定是不容易喜歡的，就算是你網站被收錄了，那你網站權重值還會累點危害的。針對這樣的事情，不錯是把網站網站根目錄的imags或是img文件目錄屏蔽。
2、死鏈接網頁頁面屏蔽掉
一個網站里的死鏈接太多，對網站seo推廣而言，無疑是致命性的。不僅僅客戶體驗會危害，并且太多死鏈接還會使網站排行，權重值降低。針對死鏈接的發生，基本的作法是做404網頁頁面，不過還可以根據Robots協議將其開展屏蔽掉。只需尋找發生死鏈接的網頁頁面，隨后設成Disallow: /XXX.html的文件格式就可以了。
3、CSS、JS文件目錄的屏蔽掉
針對一個網站而言，常常是免不了CSS或者JS的運用，針對這種CSS或者JS也沒法對搜索引擎給予有價值的信息內容。因此AJ強烈要求諸位網站站長運用Robots協議將其開展屏蔽掉，以提升搜索引擎的檢索品質，與此同時更提高網站對搜索引擎網絡爬蟲的友善性。CSS或者JS一般相匹配網站網站根目錄的CSS或是style文件夾中。
4、雙網頁頁面的具體內容屏蔽掉.
什么是雙網頁頁面的信息？雙網頁頁面的內容是指同一個網頁頁面的具體內容，卻發生兩個不同URL超鏈接的詳細地址。這種雙網頁頁面的信息發生，便會非常容易使搜索引擎誤認為網站具體內容反復。比如：DEDECMS的一個網頁頁面能通過一個靜態數據URL和動態性URL開展同樣信息的瀏覽。一般這樣的事情，你也就必須將動態性的url的具體內容屏蔽就OK了。

把握好robots協議的寫法，其實就是掌握了網站基本建設提升里的重要一環。做好robots協議，讓您網站更受搜索引擎的親睞！)