百度搜索引擎解決很多的網頁。一方面，為了能節約網絡帶寬、測算和服務器資源，另一方面，以便滿足用戶的檢索要求，采用不足的網絡資源來捕捉有價值的網頁，因而百度搜索引擎在解決很多網頁的時候會有一定的策略。文中簡要介紹了互聯網爬行的關鍵策略，如深度廣度優先選擇、深層解析xml策略、非反復爬行策略、大網站優先選擇策略、不完全pagerank策略、OCIP策略、協作爬行策略。

深度優先，深度優先的解析xml策略；深度廣度優先選擇的原因是關鍵的網頁通常貼近種子網站；因特網的深層沒有我們預估的那樣深，反而是出乎意料的深（中國萬維網僅有17個孔徑和長短，即在隨意2個網頁中間能夠瀏覽17次）；多履帶式協作抓取深度優先的不好結論：非常容易使履帶式深陷過流保護，不可反復抓取；不可把握機會；

處理以上2個缺陷的方法是什么深度優先抓取和非反復抓取策略；避免履帶式從無期限地以總寬優先選擇抓取，務必在一定的深層抓取。做到此深層即因特網的外徑和長短后，限定水平并終止抓取。當爬行終止在深層時，這些過深而并沒有爬行的頁面一直期待從別的種籽網站更經濟實惠地抵達。

限定抓取深層會毀壞無限循環的標準，即便循環系統產生，也會在比較有限的頻率后終止。點評：總寬優先選擇、深度優先的解析xml策略能夠合理地確保爬行全過程的緊密性，即在爬行全過程（解析xml途徑）中，一直對同一網站域名下的網頁開展爬行，而對別的網站域名下的網頁則非常少。

無反復抓取策略確保了一個轉變并不大的網頁只有被抓取一次，避免反復抓取占有很多的CPU和網絡帶寬自然資源，進而集中化比較有限的網絡資源地區來抓取更重要、更高質量網頁。Larser網站優先選擇一般是商業網站的高品質具體內容，網頁品質一般比較高。從企業網站的視角考量網頁的重要性有一定的根據。針對要爬網的URL序列里的頁面，下載優先由等候下載的頁面數確定。

下載頁面（不完整Internet頁面的子集合）的一部分pagerank策略（一部分pagerank）與待爬行的URL序列里的URL一起產生一組頁面，請在集合中測算pagerank；通過測算，待爬行的URL序列里的頁面依據pagerank評分由高到低排列，產生一個SE。那就是履帶拼湊。應先后往下爬行的URL目錄。因為pagerank是一種全局性優化算法，即當每一個頁面都被下載時，數值是靠譜的，可是爬行器在爬行情況下只有觸碰到一部分頁面，因此爬行時無法實現靠譜的pagerank測算，因此稱之為不完全pagerank策略。

OCIP策略（線上頁面必要性測算）字面意思是“線上頁面必要性測算”，這是一種改善的pagerank優化算法。在優化算法逐漸以前，每一個Internet頁面都被分派同樣的值。當一個頁面p被下載時，p將它自身的值平分給頁面中包括的連接，與此同時消除它自身的值。針對要爬網的URL序列里的網頁，優先考慮依據目前值的尺寸下載值很大的網頁。

協作爬行策略（爬行加快策略）能通過提升爬行器的數目來增強總體的爬行速率，但工作中負荷必須溶解為不一樣的互聯網爬行器，以保證職責分工清楚，避免好幾個爬行器在同一頁面上爬行，使資源被浪費。

根據溶解網絡主機的IP地址，讓網絡爬蟲只抓取大中小型網址的一個網頁段，因為資金緣故，一般在一臺服務器上給予不一樣的互聯網服務，使好幾個網站域名相匹配一個IP段；而新浪網、搜狐網等商業網站一般應用web服務的IP gro。往上技術性，同一網站域名相匹配好幾個。IP地址。因而，這類方式不方便。根據溶解網頁的網站域名，網絡爬蟲只有對網頁的網站域名一部分開展網絡爬蟲，并且為不一樣的網絡爬蟲分派不一樣的網站域名。