為了更好的監測網站優化的情況，站長們幾乎都會統計一些日常的數據更新。網站是否出現抓取異常的情況也在數據統計的行列，根據記錄的情況，站長們還要因地制宜做一些分析和優化措施。
1.服務器的問題
服務器不穩定的情況下會造成網站終端訪問不了，無法鏈接。或者出現一直連接不上的情況，針對這種情況就只能換好的服務器了，千萬不貪圖小便宜，最終害了網站。
2.運營商的問題
國內正常情況下都使用的是電信和聯通這兩種，一般用的是雙線服務，如果使用了單線服務造成的網站無法訪問，那么最好升級國雙線服務或者使用CND服務等方法解決。
3.DNS異常
當蜘蛛無法解析你網站的IP的時候，就會出現DNS異常或者DNS錯誤問題，可能是服務商把蜘蛛設置封禁了，或者網站IP的地址不正確造成的。可使用工具檢查域名是否解析正確，如果不正確或者無法解析，那么聯系域名商更新IP解決即可。
4.禁止蜘蛛抓取
這個就要看查看相關的代碼設置，是否有禁止Baiduspider抓取設置，或者robots協議的設置問題等。
5.UA封禁
UA是用戶代理(User-Agent)，服務器通過UA識別訪問者的身份，返回異常頁面(如403，500)或跳轉到其他頁面的情況，即為UA封禁。
當網站不希望Baiduspider訪問的時候，需要設置對應的訪問權限。
6.死鏈
死鏈是網站中的無效頁面，沒有任何價值并且出現訪問無效的情況。有協議死鏈和內容死鏈。
對于死鏈問題，通過采用404頁面制作或統計好404頁面向百度站長平臺提交數據即可。
7.異常跳轉
異常跳轉也就是當前的無效頁面比如死鏈、已經刪除的頁面通過301直接跳轉到首頁或相關目錄頁面的情況。
或者是跳轉到出錯、無效的頁面上。
這些情況都需要重視。主要還是301協議的問題，沒有必要的建議不要設置即可。
8.其它情況
a.JS代碼問題，JS代碼與搜索引擎并不友好，也不是重點識別的對象，如果JS代碼蜘蛛識別不了，那么也會現問題異常。
b.百度會根據網站的內容、規模、訪問情況等自動設定一個合理的抓取壓力。但是異常情況下，壓力控制失常的話，會導致服務器負荷作出自我保護的突發性封禁情況。
c.壓力過大引起的偶然封禁：百度會根據站點的規模、訪問量等信息，自動設定一個合理的抓取壓力。但是在異常情況下，如壓力控制失常時，服務器會根據自身負荷進行保護性的偶然封禁。這種情況下，請在返回碼中返回503(其含義是“Service Unavailable”)，這樣搜索引擎蜘蛛會過段時間再來嘗試抓取這個鏈接，如果網站已空閑，則會被成功抓取。
