關于我們 RRS sitemaps 網站地圖

首頁 > SEO基礎 > SEO優化 > 正文

SEM論壇

深度解析搜索引擎爬蟲的工作原理 [站長必看]

2019-07-06 09:48:34 |  評論:0  |  點擊:  |  SEM論壇

作為一名合格的SEOER,我們接觸的是網站,接觸的是搜索引擎,既然如此,那么我們就必須對搜索引擎有一定的了解,只有這樣才能做出效果。嚴格來說搜索引擎是通過一種“爬蟲(蜘蛛)”這樣的計算機程序來抓取我們網頁上面的信息的,總體來講,搜索引擎爬蟲的工作原理一共分為抓取、過濾、收錄索引、排序四大環節,下面我們一起來看一下。

 

搜索引擎爬蟲工作原理圖

 

抓取

抓取環節是第一步,搜索引擎收錄你網頁的第一步,它是指搜索引擎爬蟲通過鏈接訪問你的網站,進而進行深度和廣度的抓取,深度抓取是指從上至下抓取,廣度抓取則是指從左往右抓取,并且這兩種抓取方式都是同時進行的。通常爬蟲會抓取你網頁上的文字、鏈接、圖片等等信息,或者從嚴格意義上說,爬蟲其實抓取的是你當前網頁的代碼。

 

過濾

過濾環節是指當前頁面信息被爬蟲抓取之后,它會將抓取的信息放入搜索引擎的一個臨時數據庫中,這個臨時數據庫是用來暫時存放和篩選過濾信息的容器,爬蟲將抓取到的信息放入臨時數據庫中之后,接著它就會繼續去別的網站執行任務去了。而暫時存放在臨時數據庫中的網頁信息這個時候將被根據頁面的質量接受篩選過濾處理,從而決定該頁面是否被收錄還是被過濾掉,這就是一個過濾的環節。

 

收錄

收錄環節在這里指的是那些存放在搜索引擎臨時數據中,通過篩選環節并且順利通過考核的頁面,則會進入到收錄環節。但是該頁面被收錄并不意味著可以被搜索到,它還需要有更具實際意義的索引,這樣才能被用戶搜索查詢到,所以在這里收錄并不等于索引(不信去百度官方看文檔)。

很多站長都認為網頁是需要先被搜索引擎收錄之后才被索引,其實這是一種不正確的認識。一個被收錄的網頁我們可以通過搜索該頁面的鏈接地址查看到結果,但是當我們去搜索當前網頁全標題的時候卻找不到,其實這就是網頁被收錄了,但是并沒有被索引的情況。正是因為該頁面沒有進入搜索引擎的索引庫當中,所以用戶無法檢索到。

 

排序

排序通常都是最后一個環節了,一旦你的網頁通過了收錄索引這個環節,那么這個時候其實就可以參與排序檢索了,但是通常網頁排序又會跟眾多因素有關,所以我們是無法保證該頁面的排序位置的。不過在這其中最直觀的影響應該還是網頁內容質量和網站的權重,這兩者影響非常大,這也是為什么有的老網站發布一篇帖子就能排名在首頁,而你發布一篇帖子排名都找不到的原因之一。

 

以上就是阿南分享的關于搜索引擎爬蟲工作原理四大環節的解析,雖然描述的還不是特別詳細,還有很多細節方面的東西沒有描述出來,但是有的東西想要完全用文字表達出來確實也有一定的難度。不過通過上文來看的話相信大家還是可以獲取到很多信息的。

還是那句老話,看過了并不代表領悟了,不實際吸收運用我不過又浪費了你幾分鐘而已,意義不大!好好珍惜現在的時間,好好享受現在的工作,恐怕之后的日子里你再也無法體會到當下的演出了!

關鍵字:




快三青海快三开奖结果