主要就是設(shè)定爬取規(guī)則定向爬取:
(1)清晰地定義好爬蟲的爬取目標(biāo)，規(guī)劃好主題。
(2)建立好爬取網(wǎng)址的過濾篩選規(guī)則以及內(nèi)容的過濾篩選規(guī)則。
(3)建立好URL排序算法。 而深度爬取(深度優(yōu)先算法)就是從起始頁開始，一個(gè)鏈接一個(gè)鏈接跟蹤下去，處理完這條線路之后再 轉(zhuǎn)入下一個(gè)起始頁，繼續(xù)追蹤鏈接，scrapy默認(rèn)就是 使用的深度優(yōu)先算法。
相關(guān)推薦HOT
【Python面試題】談?wù)勀銓Α昂镒友a(bǔ)丁”（monkey patching）的理解
“猴子補(bǔ)丁”是動態(tài)類型語言的一個(gè)特性，代碼運(yùn)行時(shí)在不修改源代碼的前提下改變代碼中的方法、屬性、函數(shù)等以達(dá)到熱補(bǔ)丁（hot patch）的效果。詳情>>
2022-08-23 10:29:17
【Python面試題】使用Python代碼實(shí)現(xiàn)遍歷一個(gè)文件夾的操作
Python標(biāo)準(zhǔn)庫os模塊的walk函數(shù)提供了遍歷一個(gè)文件夾的功能，它返回一個(gè)生成器。import os g = os.walk('/Users/Hao/Downloads/') for path, dir...詳情>>
2022-08-23 10:29:09
【Python面試題】如何理解python中的封裝,繼承,多態(tài)的
封裝：封裝就是把對象的屬性和行為結(jié)合成一個(gè)獨(dú)立的整體，把內(nèi)部的實(shí)現(xiàn)細(xì)節(jié)隱藏起來，不能被外界所看見，調(diào)用的人只能執(zhí)行，而看不到實(shí)現(xiàn)的細(xì)節(jié)...詳情>>
2022-08-23 10:29:06
【Python面試題】運(yùn)行下面的代碼是否會報(bào)錯(cuò)
擴(kuò)展：如果不希望代碼運(yùn)行時(shí)動態(tài)的給對象添加新屬性，可以在定義類時(shí)使用__slots__魔法。例如，我們可以在上面的A中添加一行__slots__ = ('__va...詳情>>
2022-08-23 10:29:03
【Python面試題】閱讀下面的代碼說出運(yùn)行結(jié)果。
在沒有多重繼承的情況下，向?qū)ο蟀l(fā)出一個(gè)消息，如果對象沒有對應(yīng)的方法，那么向上（父類）搜索的順序是非常清晰的。如果向上追溯到object類（所...詳情>>
2022-08-23 10:29:00
京公網(wǎng)安備 11010802030320號