我們在進行Python多線程開發的時候經常會使用到變量,但全局變量的變化影響到每一個線程,而局部變量使用起來又非常麻煩,所以我們需要使用到ThreadLocal變量,下面小千就來給大家介紹這個ThreadLocal變量到底是什么怎么用?
ThreadLocal變量它本身是一個全局變量,但是每個線程卻可以利用它來保存屬于自己的私有數據,這些私有數據對其他線程也是不可見的。下圖給出了線程中這幾種變量的存在情況
全局 VS 局部變量
首先借助一個小程序來看看多線程環境下全局變量的同步問題。
這里我們創建了10個線程,每個線程均對全局變量 global_num 進行1000次的加1操作(循環1000次加1是為了延長單個線程執行時間,使線程執行時被中斷切換),當10個線程執行完畢時,全局變量的值是多少呢?
答案是不確定,簡單來說是因為 global_num += 1 并不是一個原子操作,因此執行過程可能被其他線程中斷,導致其他線程讀到一個臟值。以兩個線程執行 +1 為例,其中一個可能的執行序列如下(此情況下最后結果為1)
多線程中使用全局變量時普遍存在這個問題,解決辦法也很簡單,可以使用互斥鎖、條件變量或者是讀寫鎖。下面考慮用互斥鎖來解決上面代碼的問題,只需要在進行 +1 運算前加鎖,運算完畢釋放鎖即可,這樣就可以保證運算的原子性。
在線程中使用局部變量則不存在這個問題,因為每個線程的局部變量不能被其他線程訪問。下面我們用10個線程分別對各自的局部變量進行1000次加1操作,每個線程結束時打印一共執行的操作次數(每個線程均為1000)
可以看出這里每個線程都有自己的 local_num,各個線程之間互不干涉。
Thread-local 對象
上面程序中我們需要給 show 函數傳遞 local_num 局部變量,并沒有什么不妥。不過考慮在實際生產環境中,我們可能會調用很多函數,每個函數都需要很多局部變量,這時候用傳遞參數的方法會很不友好。
為了解決這個問題,一個直觀的的方法就是建立一個全局字典,保存進程 ID 到該進程局部變量的映射關系,運行中的線程可以根據自己的 ID 來獲取本身擁有的數據。這樣,就可以避免在函數調用中傳遞參數,如下示例:
保存一個全局字典,然后將線程標識符作為key,相應線程的局部數據作為 value,這種做法并不完美。
首先,每個函數在需要線程局部數據時,都需要先取得自己的線程ID,略顯繁瑣。更糟糕的是,這里并沒有真正做到線程之間數據的隔離,因為每個線程都可以讀取到全局的字典,每個線程都可以對字典內容進行更改。
為了更好解決這個問題,python 線程庫實現了 ThreadLocal 變量(很多語言都有類似的實現,比如Java)。ThreadLocal 真正做到了線程之間的數據隔離,并且使用時不需要手動獲取自己的線程 ID,如下示例
上面示例中每個線程都可以通過 global_data.num 獲得自己獨有的數據,并且每個線程讀取到的 global_data 都不同,真正做到線程之間的隔離。
ThreadLocal 實現的代碼量不多,但是比較難理解,涉及很多 Python 黑魔法,下篇再來分析。那么 ThreadLocal 很完美了?不!Python 的 WSGI 工具庫 werkzeug 中有一個更好的 ThreadLocal 實現,甚至支持協程之間的私有數據,實現更加復雜,有機會再分析。
最后如果你對Python開發感興趣的話,歡迎來千鋒Python培訓班了解我們的Python培訓課程,現在咨詢還有免費Python學習資料可以領取,手慢無!