收錄的第一個(gè)環(huán)節(jié)就是抓取。抓取的過程是搜索引擎應(yīng)用程序去抓取網(wǎng)站的網(wǎng)頁，這里負(fù)責(zé)搜索引擎抓取網(wǎng)頁職能的程序俗稱蜘蛛( Spider)，蜘蛛是一個(gè)形象的說法，因?yàn)榛ヂ?lián)網(wǎng)就是一張巨大的蜘蛛網(wǎng)，搜索引擎的程序通過網(wǎng)絡(luò)不斷地進(jìn)行爬行和探索。每個(gè)互聯(lián)網(wǎng)公司都有自己的抓取蜘蛛，比如百度蜘蛛(Baiduspider)、谷歌蜘蛛、搜狗蜘蛛等。
蜘蛛通過網(wǎng)站提交的Sitemap (網(wǎng)頁地圖)或者在互聯(lián)網(wǎng)其他地方留下的頁面URL信息，爬行到網(wǎng)站對(duì)應(yīng)頁面，然后沿著網(wǎng)站頁面其他鏈接一層層往下爬行，發(fā)現(xiàn)更多的頁面。
蜘蛛抓取網(wǎng)頁是收錄頁面工作的上游，通過蜘蛛對(duì)網(wǎng)頁的抓取，發(fā)現(xiàn)更多頁面，同時(shí)知道哪些頁面已經(jīng)有了更新，從而實(shí)現(xiàn)對(duì)互聯(lián)網(wǎng)頁面的抓取和持續(xù)更新。
關(guān)于蜘蛛抓取系統(tǒng)的工作原理，可以參考百度蜘蛛抓取的說明。
簡而言之，蜘蛛抓取系統(tǒng)包括鏈接存儲(chǔ)系統(tǒng)、鏈接選取系統(tǒng)、DNS解析服務(wù)系統(tǒng)、抓取調(diào)度系統(tǒng)、網(wǎng)頁分析系統(tǒng)、鏈接提取系統(tǒng)、鏈接分析系統(tǒng)、網(wǎng)頁存儲(chǔ)系統(tǒng)。Baiduspider 通過這種系統(tǒng)的通力合作完成對(duì)互聯(lián)網(wǎng)頁面的抓取工作。網(wǎng)站式行業(yè)動(dòng)態(tài)
本文地址：http://heisem.cn/article/7754.html
