爬行和爬取是搜索引擎工作中的著名步，進行數據采集的工作。
搜索引擎用于爬行和瀏覽而面的程序流程被稱作蜘蛛，也稱作智能機器人
搜索引擎蜘蛛訪問網站頁面時類似一般用戶應用的瀏覽器，蜘蛛程序流程傳出頁面瀏覽要求后，缺少對象HTML編碼，蜘蛛程序流程把接到的編碼存進初始頁面數據庫系統，搜索引擎為了提高爬行和爬取速率，都應用好幾個蜘蛛并公布爬行。
蜘蛛瀏覽任何一個網址時，都是會先訪問網站根目錄下的robots.txt文件，假如robots.txt文件嚴禁搜索引擎爬取一些文件或目錄，蜘蛛將遵循協議書，不爬取被禁止訪問的網站。
和電腦瀏覽器一樣，搜索引擎蜘蛛也是有標出自己身份的代理商名字，工作人員能夠在日志文檔中見到搜索引擎的特殊代理商名字，進而分辯搜索引擎蜘蛛。

2. 追蹤連接
因為爬取在網上盡可能多的是頁面，搜索引擎蜘蛛會追蹤頁面里的連接，從一個頁面爬上去下一個頁面，就像蜘蛛在蜘蛛在網上爬行那般，也便是搜索引擎蜘蛛這個名稱的由來。
全部互聯網是由互相連接的網址及頁面構成的。從理論上來講 ，蜘蛛從任何一個頁面考慮，沿著連接都能夠爬行到在網上的全部頁面，自然，因為網址及頁面連接構造出現異常繁雜，蜘蛛必須采用一定的爬行對策才可以解析xml在網上每一個頁面。

較簡單爬行解析xml對策分成二種，一種是深度優先，另一種是深度優先選擇。
所說深度優先，是指蜘蛛順著發覺的連接一直向前爬行，直至前邊再也不會別的連接，隨后回到到著名頁面，順著另一個連接一直向前爬行。

蜘蛛追蹤連接，從A頁面爬行到A1.A2.A3.A4.到A4頁面后，現已并沒有其他連接能夠追蹤就回到A頁面，沿著頁面里的另一個連接，爬行到B1,B2.B3.B4.在深度優先對策中，蜘蛛一直爬上去沒法再往前，才回到爬另一條線。

深度廣度優先選擇就是指蜘蛛在一個頁面上發覺好幾個連接旮，并不是沿著一個連接姨直往前，反而是把頁面上全部著名層連接都爬一遍，然后順著第二層頁面上發覺的連接爬向第三層頁面。
如下圖2－21所顯示，蜘蛛從A頁面沿著連接爬行到A1,B1,C1頁面，直至A1頁面里的全部連接都爬行完，隨后再從A1頁面發覺的下一層連接，爬行到A2.A3.A4.……。頁面

從理論上來講，不論是深度優先或是深度廣度優先選擇，只需給蜘蛛足夠的時間，都可以爬完全個互聯網技術。在現實工作上，蜘蛛的網絡帶寬網絡資源，時間都并不是無盡的，也不太可能爬完每一個頁面。事實上比較大的搜索引擎也只是爬行和收集了互聯網的一小部分。
深度優先和深度廣度優先選擇一般是混和應用的，那樣即可以照料到盡可能多的是網址（深度廣度優先選擇），也可以照料到一部分網址的內容頁（深度優先）專業網站建設企業每日共享seo優化專業知識，我希望你能與您變成忠誠的好好朋友，一起學習討論建網站技術性。