Spark-Streaming的基本原理以及預寫日志機制和checkpoint（二）

　　有兩種數據需要被進行checkpoint：

　　1.元數據checkpoint—-將定義了流式計算邏輯的信息，報錯到容錯的存儲系統上，比如HDFS

　　當運行Spark—Streaming應用程序的Driver進程所在的節點失敗時，該信息可以用于進行恢復。

　　元數據信息包括了：

　　1.1：配置信息—創建Spark-Streaming應用程序的配置信息，比如SparkConf

　　1.2：DStream的操作信息—-定義了Spark-Stream應用程序的計算邏輯的DStream操作信息

　　1.3：未處理的batch信息—-哪些job正在排隊，還沒處理的batch信息。

　　2.數據checkpoint—將實時計算過程中產生的RDD的數據保存到可靠的存儲系統中

　　對于一些將多個batch的數據進行聚合的，有狀態的transformation操作，這是非常有用的，

　　在這種tranformation操作中，生成的RDD是依賴與之前的batch的，這會導致隨著時間的推移，Rdd的依賴。

　　鏈條越來越長，要避免由于依賴鏈條越來越長，導致一起變得越來越長的失敗恢復時間，有狀態的transformation

　　操作執行過程中間產生的RDD，會定期的被checkpoint盜可靠的存儲系統上,比如HDFS,從而削減RDD的依賴鏈條，進而縮短失敗恢復時，RDD的回復時間。

　　更多關于“云計算培訓”的問題，歡迎咨詢千鋒教育在線名師。千鋒教育多年辦學，課程大綱緊跟企業需求，更科學更嚴謹，每年培養泛IT人才近2萬人。不論你是零基礎還是想提升，都可以找到適合的班型，千鋒教育隨時歡迎你來試聽。