網(wǎng)絡(luò)爬蟲(chóng),是一個(gè)自動(dòng)提取網(wǎng)頁(yè)的程序,它為搜索引擎從萬(wàn)維網(wǎng)上下載網(wǎng)頁(yè),是搜索引擎的重要組成。但是當(dāng)網(wǎng)絡(luò)爬蟲(chóng)被濫用后,互聯(lián)網(wǎng)上就出現(xiàn)太多同質(zhì)的東西,原創(chuàng)得不到保護(hù)。于是,很多網(wǎng)站開(kāi)始反網(wǎng)絡(luò)爬蟲(chóng),想方設(shè)法保護(hù)自己的內(nèi)容。
他們根據(jù)ip訪問(wèn)頻率,瀏覽網(wǎng)頁(yè)速度,賬戶(hù)登錄,輸入驗(yàn)證碼,flash封裝,ajax混淆,js加密,圖片,css混淆等五花八門(mén)的技術(shù),來(lái)對(duì)反網(wǎng)絡(luò)爬蟲(chóng)。
防的一方不惜工本,迫使抓的一方在考慮成本效益后放棄,抓的一方不惜工本,防的一方在考慮用戶(hù)流失后放棄,