日韩第一页在线观看,国产精品美女久久久久久久,精品无码国产自产在线观看老师,中文字幕一区二区三区无码

堅持為客戶提供有價值的服務和內容

駐馬店網站優化:seo優化公司了解入門爬蟲技術原理三

商企云 | 2019-08-21 | 分享至:

優秀爬蟲的特性

優秀爬蟲的特性對于不同的應用來說,可能實現的方式各有差異,但是實用的爬蟲都應該具備以下特性:

seo優化公司了解入門爬蟲技術原理三(圖1)

1.高性能

互聯網的網頁數量是海量的,所以爬蟲的性能至關重要。這里的性能主要是指爬蟲下載網頁的抓取速度,常見的評價方式是以爬蟲每秒能夠下載的網頁數量作為性能指標,單位時間能夠下載的網頁數量越多,爬蟲的性能越高。

要提高爬蟲的性能,在設計時程序訪問磁盤的操作方法及具體實現時數據結構的選擇很關鍵,比如對于待抓取URL隊列和已抓取URL隊列,因為URL數量非常大,不同實現方式性能表現迥異,所以高效的數據結構對于爬蟲性能影響很大。

2.可擴展性

即使單個爬蟲的性能很高,要將所有網頁都下載到本地,仍然需要相當長的時間周期,為了能夠盡可能縮短抓取周期,爬蟲系統應該有很好地可擴展性,即很容易通過增加抓取服務器和爬蟲數量來達到此目的。

目前實用的大型網絡爬蟲一定是分布式運行的,即多臺服務器專做抓取。每臺服務器部署多個爬蟲,每個爬蟲多線程運行,通過多種方式增加并發性。

對于巨型的搜索引擎服務商來說,可能還要在全球范圍、不同地域分別部署數據中心,爬蟲也被分配到不同的數據中心,這樣對于提高爬蟲系統的整體性能是很有幫助的。

3.健壯性

爬蟲要訪問各種類型的網站服務器,可能會遇到很多種非正常情況:比如網頁HTML編碼不規范、 被抓取服務器突然死機,甚至爬蟲陷阱等。爬蟲對各種異常情況能否正確處理非常重要,否則可能會不定期停止工作,這是無法忍受的。

從另外一個角度來講,假設爬蟲程序在抓取過程中死掉,或者爬蟲所在的服務器宕機,健壯的爬蟲應能做到:再次啟動爬蟲時,能夠恢復之前抓取的內容和數據結構,而不是每次都需要把所有工作完全從頭做起,這也是爬蟲健壯性的一種體現。

4.友好性

爬蟲的友好性包含兩方面的含義:一是保護網站的部分私密性;另一是減少被抓取網站的網絡負載。爬蟲抓取的對象是各類型的網站,對于網站所有者來說,有些內容并不希望被所有人搜到,所以需要設定協議,來告知爬蟲哪些內容是不允許抓取的。目前有兩種主流的方法可達到此目的:爬蟲禁抓協議和網頁禁抓標記。

爬蟲禁抓協議指的是由網站所有者生成一個指定的文件robot.txt,并放在網站服務器的根目錄下,這個文件指明了網站中哪些目錄下的網頁是不允許爬蟲抓取的。具有友好性的爬蟲在抓取該網站的網頁前,首先要讀取robot.txt文件,對于禁止抓取的網頁不進行下載。

網頁禁抓標記一般在網頁的HTML代碼里加入meta name=”robots”標記,content字段指出允許或者不允許爬蟲的哪些行為。可以分為兩種情形:一種是告知爬蟲不要索引該網頁內容,以noindex作為標記;另外一種情形是告知爬蟲不要抓取網頁所包含的鏈接,以nofollow作為標記。通過這種方式,可以達到對網頁內容的一種隱私保護。

遵循以上協議的爬蟲可以被認為是友好的,這是從保護私密性的角度來考慮的;另外一種友好性則是,希望爬蟲對某網站的訪問造成的網路負載較低。

爬蟲一般會根據網頁的鏈接連續獲取某網站的網頁,如果爬蟲訪問網站頻率過高,會給網站服務器造成很大的訪問壓力,有時候甚至會影響網站的正常訪問,造成類似DOS攻擊的效果。

為了減少網站的網絡負載,友好性的爬蟲應該在抓取策略部署時考慮每個被抓取網站的負載,在盡可能不影響爬蟲性能的情況下,減少對單一站點短期內的高頻訪問。

非常感謝您有耐心的讀完商企云建站公司的這篇文章:"seo優化公司了解入門爬蟲技術原理三",僅為提供更多信息供用戶參考使用或為學習交流的方便。我們公司不僅提供:網站建設網站制作、seo網站優化、網站推廣、APP開發、快速排名、網頁設計、建網站等服務,而且利用互聯網營銷手法,多平臺,多樣化進行品牌內容鋪設,營造企業正面形象,誠摯為您服務,歡迎您的到來。

掃二維碼與項目經理溝通

7*24小時為您服務

解答:網站優化,網站建設,APP開發,小程序開發,H5開發,品牌推廣,新聞推廣,輿情監測等

  非常感謝您有耐心的讀完這篇文章:"seo優化公司了解入門爬蟲技術原理三",更多內容請繼續瀏覽,我們將為您提供更多參考使用或學習交流的信息。我們還可為您提供:網站建設與開發網站優化品牌推廣、APP開發、小程序開發新聞推廣等服務,我們以“降低營銷成本,提高營銷效果”的服務理念,自創立至今,已成功服務過不同行業的1000多家企業,獲得國家高新技術企業認證,且擁有14項國家軟件著作權,將力爭成為國內企業心目中值得信賴的互聯網產品及服務提供商。如您需要合作,請掃碼咨詢,我們將誠摯為您服務。
我要咨詢
姓名 :
電話 :
其他地區
贵州省| 永善县| 来凤县| 贺兰县| 乐山市| 乐平市| 拉萨市| 多伦县| 那坡县| 陇南市| 乾安县| 临高县| 深水埗区| 敦化市| 汕尾市| 金昌市| 沛县| 明水县| 启东市| 滕州市| 浦东新区| 霍山县| 凌海市| 阿合奇县| 北川| 南城县| 翼城县| 桃园县| 达州市| 嵩明县| 望奎县| 彭州市| 江阴市| 石首市| 瓦房店市| 朝阳区| 珠海市| 新乐市| 仙桃市| 青铜峡市| 焦作市|