[發(fā)明專利]用于處理數(shù)據(jù)的方法和裝置

有效

• 申請?zhí)枺?/td>: 201811275535.4
• 申請日: 2018-10-30
• 公開（公告）號: CN111125163B
• 公開（公告）日: 2023-06-06
• 發(fā)明（設計）人: 程怡;石然;高偉康;王炎林;邢越
• 申請（專利權）人: 百度在線網(wǎng)絡技術（北京）有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455
• 代理公司: 北京英賽嘉華知識產(chǎn)權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種用于處理數(shù)據(jù)的方法，應用于流式計算系統(tǒng)中的數(shù)據(jù)處理節(jié)點，所述方法包括：

從所述流式計算系統(tǒng)中數(shù)據(jù)流流至的目標數(shù)據(jù)處理節(jié)點的上游數(shù)據(jù)處理節(jié)點獲取待處理數(shù)據(jù)和與所述待處理數(shù)據(jù)對應的包括上游節(jié)點算子標識、上游節(jié)點標識和上游節(jié)點當前數(shù)據(jù)序號的數(shù)據(jù)處理日志，其中，上游節(jié)點算子標識用于指示處理上游數(shù)據(jù)處理節(jié)點中對數(shù)據(jù)進行處理的數(shù)據(jù)處理邏輯的代碼段，上游節(jié)點當前數(shù)據(jù)序號用于表征上游數(shù)據(jù)處理節(jié)點所處理并得到所獲取的待處理數(shù)據(jù)的數(shù)據(jù)序號；

查詢與所述上游節(jié)點算子標識和所述上游節(jié)點標識二者對應的已處理數(shù)據(jù)最大序號；

響應于確定所述上游節(jié)點當前數(shù)據(jù)序號大于所確定的已處理數(shù)據(jù)最大序號，對所述待處理數(shù)據(jù)進行處理，得到結果數(shù)據(jù)，將所述目標數(shù)據(jù)處理節(jié)點的當前數(shù)據(jù)序號遞增預設增量數(shù)目；

將所述結果數(shù)據(jù)、所述數(shù)據(jù)處理日志和所述目標數(shù)據(jù)處理節(jié)點的當前數(shù)據(jù)序號對應持久化存儲。

2.根據(jù)權利要求1所述的方法，其中，在對所述待處理數(shù)據(jù)進行處理，得到結果數(shù)據(jù)之后，所述方法還包括：

將與所述上游節(jié)點算子標識和所述上游節(jié)點標識二者對應的已處理數(shù)據(jù)最大序號更新為所述上游節(jié)點當前數(shù)據(jù)序號并持久化存儲。

3.根據(jù)權利要求2所述的方法，其中，所述流式計算系統(tǒng)關聯(lián)有有向無環(huán)圖，所述有向無環(huán)圖中的每個頂點對應一個算子標識，所述有向無環(huán)圖的各個頂點對應的算子標識互不相同，每個算子標識對應至少一個互不相同的數(shù)據(jù)處理節(jié)點標識，所述有向無環(huán)圖的有向邊用于表征所述數(shù)據(jù)流從該有向邊的起點對應的算子標識所對應的數(shù)據(jù)處理節(jié)點流入該有向邊的終點對應的算子標識所對應的數(shù)據(jù)處理節(jié)點。

4.根據(jù)權利要求3所述的方法，其中，所述數(shù)據(jù)流從所述有向無環(huán)圖中入度為零的頂點對應的算子標識對應的數(shù)據(jù)處理節(jié)點流入，并在流經(jīng)所述有向無環(huán)圖中出度為零的頂點對應的算子標識對應的數(shù)據(jù)處理節(jié)點之后流出所述流式計算系統(tǒng)。

5.根據(jù)權利要求4所述的方法，其中，所述上游節(jié)點算子標識用于指示處理所述上游數(shù)據(jù)處理節(jié)點中對數(shù)據(jù)進行處理的數(shù)據(jù)處理邏輯的代碼段，所述上游節(jié)點標識用于指示所述上游數(shù)據(jù)處理節(jié)點，上游節(jié)點當前數(shù)據(jù)序號用于表征所述上游數(shù)據(jù)處理節(jié)點所處理并得到所述待處理數(shù)據(jù)的數(shù)據(jù)序號。

6.根據(jù)權利要求1-5中任一所述的方法，其中，所述方法還包括：

響應于確定重啟所述目標數(shù)據(jù)處理節(jié)點，獲取持久化存儲的所述目標數(shù)據(jù)處理節(jié)點的當前數(shù)據(jù)序號以及對應的結果數(shù)據(jù)和數(shù)據(jù)處理日志，以及獲取持久化存儲的與各算子標識和節(jié)點標識二者對應的已處理數(shù)據(jù)最大序號。

7.一種用于處理數(shù)據(jù)的裝置，應用于流式計算系統(tǒng)中的數(shù)據(jù)處理節(jié)點，所述裝置包括：

第一獲取單元，被配置成從所述流式計算系統(tǒng)中數(shù)據(jù)流流至的目標數(shù)據(jù)處理節(jié)點的上游數(shù)據(jù)處理節(jié)點獲取待處理數(shù)據(jù)和與所述待處理數(shù)據(jù)對應的包括上游節(jié)點算子標識、上游節(jié)點標識和上游節(jié)點當前數(shù)據(jù)序號的數(shù)據(jù)處理日志，其中，上游節(jié)點算子標識用于指示處理上游數(shù)據(jù)處理節(jié)點中對數(shù)據(jù)進行處理的數(shù)據(jù)處理邏輯的代碼段，上游節(jié)點當前數(shù)據(jù)序號用于表征上游數(shù)據(jù)處理節(jié)點所處理并得到所獲取的待處理數(shù)據(jù)的數(shù)據(jù)序號；

查詢單元，被配置成查詢與所述上游節(jié)點算子標識和所述上游節(jié)點標識二者對應的已處理數(shù)據(jù)最大序號；

處理單元，被配置成響應于確定所述上游節(jié)點當前數(shù)據(jù)序號大于所確定的已處理數(shù)據(jù)最大序號，對所述待處理數(shù)據(jù)進行處理，得到結果數(shù)據(jù)，將所述目標數(shù)據(jù)處理節(jié)點的當前數(shù)據(jù)序號遞增預設增量數(shù)目；

存儲單元，被配置成將所述結果數(shù)據(jù)、所述數(shù)據(jù)處理日志和所述目標數(shù)據(jù)處理節(jié)點的當前數(shù)據(jù)序號對應持久化存儲。

8.根據(jù)權利要求7所述的裝置，所述處理單元進一步被配置成：

將與所述上游節(jié)點算子標識和所述上游節(jié)點標識二者對應的已處理數(shù)據(jù)最大序號更新為所述上游節(jié)點當前數(shù)據(jù)序號并持久化存儲。