網站優化工作中的第一步是爬取；搜索引擎的蜘蛛等同于用戶在爬取網頁頁面時應用的電腦瀏覽器。當搜索引擎瀏覽頁面時，缺少對象HTML編碼，spider程序流程將接受到的編碼儲存到初始頁面數據庫查詢中。以便提升爬取和爬取的速率，搜索引擎應用好幾個蜘蛛另外爬取。當蜘蛛瀏覽一切網站時，他們最先瀏覽網站網站根目錄中的robots.txt文件。假如robots.txt文件阻攔搜索引擎爬取一些文檔或文件目錄，則爬取器將遵照協議書，而不容易爬取被嚴禁的頁面。全部互聯網技術由相連接的網站和網頁頁面構成。理論上，蜘蛛能夠 順著連接從一切頁面爬取到網站上的全部頁面。在其中，非常簡單的爬取解析xml對策分成二種，一種是深度優先，另一種是深度廣度優先選擇。不論是深度優先還是深度廣度優先選擇，要是給蜘蛛充足的時間，他們就可以爬上全部互聯網技術。在具體工作上，蜘蛛的網絡帶寬資源和時間并并不是無盡的，不太可能爬過許多 頁面。搜索引擎蜘蛛捕捉儲存在初始頁面數據庫查詢中的數據信息。頁面數據信息與客戶電腦瀏覽器得到的HTML完全一致。每一個URL都是有一個唯一的文件號。

　　“預備處理”也稱之為“索引”，由于索引是預備處理的關鍵流程。搜索引擎蜘蛛爬取初始頁面，不可以立即用以查尋排名解決。它務必歷經預備處理環節才可以從HTML文檔中刪掉標識和程序流程，并獲取可用以排名解決的web頁面的文字內容。蜘蛛對獲取的漢語英語單詞開展切分，除去終止詞，清除噪音，清除反復，獲取網頁頁面中的關鍵英語單詞，創建關鍵字和網頁頁面索引，產生索引詞匯表。在索引創建全過程中，有順向索引和反方向索引二種排序方法，促使排列更為精確。此外，路由協議關聯的測算也是預備處理的一個關鍵一部分。現階段流行搜索引擎的排名要素都包含網頁頁面中間的連接流信息內容。搜索引擎爬取頁面內容后，務必提早測算：頁面上的什么連接偏向什么別的頁面，什么頁面導進連接，什么說明性文字用以連接，這種繁雜的連接偏向關聯產生了網站和頁面的連接權重值。

　　當搜索引擎蜘蛛爬取頁面，索引程序流程測算出反方向索引后，搜索引擎隨時隨地能夠 解決客戶的檢索要求。搜索引擎關鍵解決客戶搜索關鍵詞的分詞算法，終止文本編輯、命令解決、語法錯誤改正、檢索處罰融合等解決，使搜索關鍵詞與搜索引擎索引詞匯表配對，創建排名。

　　今年seo優化排名的基本準則是有關之上三點。伴隨著搜索引擎的規范化，排名標準更為智能化系統，SEO越來越更為無法實際操作。但是，全部排名的關鍵全是緊緊圍繞客戶的要求開展排名，因此 要搞好感受來滿足需求，但你的網站離主頁也很近。