同學們在使用scrapy-redis分布式爬蟲框架開發的時候會發現，其默認只能發送GET請求，不能直接發送POST請求，這就導致我們在開發一些爬蟲工具的時候出現問題，那么如何才能讓scrapy-redis發送POST請求呢？
scrapy-redis爬蟲
這里我們以美團網站為例，
先來說一說需求，也就是說美團POST請求形式。我們以獲取某個地理坐標下，所有店鋪類別列表請求為例。獲取所有店鋪類別列表時，我們需要構造一個包含位置坐標經緯度等信息的表單數據，以及為了向下一層parse方法傳遞的一些必要數據，即meta，然后發起一個POST請求。
url，請求地址，即url是固定的，如下所示：
url = 'http://i.waimai.meituan.com/openh5/poi/filterconditions?_=1557367197922'
url最后面的13位數字是時間戳，實際應用時用time模塊生成一下就好了。
表單數據：
meta數據：
meta數據不是必須的，但是，如果你在發送請求時，有一些數據需要向下一層parse方法（解析爬蟲返回的response的方法）中傳遞的話，就可以構造這一數據，然后作為參數傳遞進request中。
源碼分析
采集店鋪類別列表時需要發送怎樣一個POST請求在上面已經說明了，那么，在scrapy-redis框架中，這個POST該如何來發送呢？我相信，打開我這篇博文的讀者都是用過scrapy的，用scrapy發送POST肯定沒問題（重寫start_requests方法即可），但scrapy-redis不同，scrapy-redis框架只會從配置好的redis數據庫中讀取起始url，所以，在scrapy-redis中，就算重寫start_requests方法也沒用。怎么辦呢？我們看看源碼。
我們知道，scrapy-redis與scrapy的一個很大區別就是，scrapy-redis不再繼承Spider類，而是繼承RedisSpider類的，所以，RedisSpider類源碼將是我們分析的重點，我們打開RedisSpider類，看看有沒有類似于scrapy框架中的start_requests、make_requests_from_url這樣的方法。RedisSpider源碼如下：
很遺憾，在RedisSpider類中沒有找到類似start_requests、make_requests_from_url這樣的方法，而且，RedisSpider的源碼也太少了吧，不過，從第一行我們可以發現RedisSpider繼承了RedisMinxin這個類，所以我猜RedisSpider的很多功能是從父類繼承而來的（拼爹的RedisSpider）。繼續查看RedisMinxin類源碼。RedisMinxin類源碼太多，這里就不將所有源碼貼出來了，不過，驚喜的是，在RedisMinxin中，真找到了類似于start_requests、make_requests_from_url這樣的方法，如：start_requests、next_requests、make_request_from_data等。有過scrapy使用經驗的童鞋應該都知道，start_requests方法可以說是構造一切請求的起源，沒分析scrapy-redis源碼之前，誰也不知道scrapy-redis是不是和scrapy一樣（后面打斷點的方式驗證過，確實一樣，話說這個驗證有點多余，因為源碼注釋就是這么說的），不過，還是從start_requests開始分析吧。start_requests源碼如下：
直接把所有任務丟給next_requests方法，繼續：
上面next_requests方法中，關鍵的就是那個while循環，每一次循環都調用了一個make_request_from_data方法，從函數名可以函數，這個方法就是根據從redis中讀取從來的數據，實例化一個request，那不就是我們要找的方法嗎？進入make_request_from_data方法一探究竟：
因為scrapy-redis默認值發送GET請求，所以，在這個make_request_from_data方法中認為data只包含一個url，但如果我們要發送POST請求，這個data包含的東西可就多了，我們上面美團POST請求說明中就說到，至少要包含url、form_data。所以，如果我們要發送POST請求，這里必須改，make_request_from_data方法最后調用的make_requests_from_url是scrapy中的Spider中的方法，不過，我們也不需要繼續往下看下去了，我想諸位都也清楚了，要發送POST請求，重寫這個make_request_from_data方法，根據傳入的data，實例化一個request返回就好了。
代碼實例
明白上面這些東西后，就可以開始寫代碼了。修改源碼嗎？不，不存在的，改源碼可不是好習慣。我們直接在我們自己的Spider類中重寫make_request_from_data方法就好了：
搞清楚原理之后，就是這么簡單。萬事俱備，只欠東風——將url，form_data，meta存儲到redis中。另外新建一個模塊實現這一部分功能：
在啟動scrapy-redis之前，運行一下這一模塊即可。如果有很多POI（地理位置興趣點），循環遍歷每一個POI，生成request_data，push到redis中。
最后同學們學習Python，可以參考千鋒Python培訓班推出的Python開發學習路線，結合千鋒Python培訓機構名師精心錄制的全套Python視頻教程，可以讓你對學習Python需要掌握的知識有個清晰的了解，并快速入門Python開發。千鋒Python培訓機構視頻教程分為三個大塊：Python基礎視頻教程、Python高級視頻教程、Python高手晉級視頻教程。視頻講解通俗易懂，入門Python開發僅用此套視頻足矣。想要獲取免費Python學習路線和學習資料可以添加我們的Python技術交流qq群：790693323 加群找群管理領取即可，Python相關技術問題也可以加群解決，等你來哦~~~~
京公網安備 11010802030320號