搜索引擎與資源提供者之間存在相互依賴的關系，其中搜索引擎需要站長(cháng)爲其提供資源，否則搜索引擎就無法滿足用戶檢索需求；而站長(cháng)需要通過(guò)搜索引擎將(jiāng)自己的 内容推廣出去獲取更多的受衆。spider抓取系統直接涉及互聯網資源提供者的利益，爲了使搜素引擎與站長(cháng)能(néng)夠達到雙赢，在抓取過(guò)程中雙方必須遵守一定的 規範，以便于雙方的數據處理及對(duì)接。這(zhè)種(zhǒng)過(guò)程中遵守的規範也就是日常中我們所說的一些網絡協議。以下簡單列舉：
http協議：超文本傳輸協議，是互聯網上應用最爲廣泛的一種(zhǒng)網絡協議，客戶端和服務器端請求和應答的标準。客戶端一般情況是指終端用戶，服務器端即指網 站。終端用戶通過(guò)浏覽器、蜘蛛等向(xiàng)服務器指定端口發(fā)送http請求。發(fā)送http請求會返回對(duì)應的httpheader信息，可以看到包括是否成(chéng)功、服務 器類型、網頁最近更新時間等内容。
https協議：實際是加密版http，一種(zhǒng)更加安全的數據傳輸協議。
UA屬性：UA即user-agent，是http協議中的一個屬性，代表了終端的身份，向(xiàng)服務器端表明我是誰來幹嘛，進(jìn)而服務器端可以根據不同的身份來做出不同的反饋結果。
robots協議：robots.txt是搜索引擎訪問一個網站時要訪問的第一個文件，用以來确定哪些是被(bèi)允許抓取的哪些是被(bèi)禁止抓取的。 robots.txt必須放在網站根目錄下，且文件名要小寫。百度嚴格按照robots協議執行，另外，同樣(yàng)支持網頁内容中添加的名爲robots的meta标 簽，index、follow、nofollow等指令。