[發明專利]一種基于文件的索引數據失敗補償的方法

有效

• 申請號: 201911097508.7
• 申請日: 2019-11-12
• 公開（公告）號: CN110764946B
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 儲明;姜平
• 申請（專利權）人: 焦點科技股份有限公司
• 主分類號: G06F11/07
• 分類號: G06F11/07;G06F11/30;G06F11/32
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 陳建和

1.一種基于文件的索引數據失敗補償的方法，其特征在于，嵌入在日終調度的數據提交應用中使用，支持更新和刪除兩種數據提交類型，包括失敗數據實時收集、失敗數據文件存儲、失敗數據文件讀取、失敗數據過濾清洗、失敗數據提交索引和失敗數據預警的步驟，具體為：

S1，失敗數據實時收集：實時監控數據從讀取到業務邏輯處理再到數據提交索引的全部流程，若發現數據處理異常，則將失敗數據和其對應的主鍵ID提交到失敗數據中心failed-data-center中，根據數據提交類型分別進行處理，所述數據提交類型包括更新或刪除；

S2，失敗數據文件存儲：失敗數據中心failed-data-center在收集失敗數據的過程中，調用失敗數據序列化器failed-data-serializer將失敗數據以鍵值對的形式，逐條輸出到磁盤指定文件中進行存儲；當失敗數據收集完畢后，會將失敗數據的ID信息單獨輸出到磁盤指定文件中進行存儲；

S3，失敗數據文件讀取：在數據提交應用日終執行正常數據提交任務之前，失敗數據中心failed-data-center會通過失敗數據序列化器failed-data-serializer讀取上次數據提交任務中更新失敗和刪除失敗的ID集合，加載進應用內存中；

當正常數據提交任務執行完成后，失敗數據讀取器failed-data-reader會通過失敗數據序列化器failed-data-serializer讀取上次更新失敗的數據記錄，提交給數據補償任務進行后續操作，待更新失敗的數據處理完成后，失敗數據讀取器failed-data-reader會通過失敗數據序列化器failed-data-serializer讀取上次刪除失敗的數據，提交給數據補償任務進行后續操作；

S4，失敗數據過濾清洗：在數據提交應用日終執行正常數據提交任務之后，通過失敗數據中心failed-data-center判斷上次失敗數據的ID集合是否存在數據，如果存在，則會創建數據補償任務；

補償任務會優先過濾掉正常數據提交過程中覆蓋到的數據信息；

然后通過比對數據時間戳index_version過濾掉過時的補償數據；

最后通過數據自身的業務清洗邏輯標志位data_trans_flag來判斷是否要再次執行對應的業務處理邏輯；

S5，失敗數據提交索引：調用遠程索引服務進行數據提交，如果有錯誤情況發生，則執行步驟1的失敗數據實時收集流程；

S6，失敗數據預警：在正常數據提交任務和數據補償任務的執行過程中，記錄錯誤的數據量以及補償的數據量；當錯誤量和補償量不符合預設邏輯判定時，通過短信和郵件進行預警。

2.如權利要求1所述的一種基于文件的索引數據失敗補償的方法，其特征在于：所述S1中，收集的失敗數據在內存中只存儲ID信息，失敗的數據直接調用所述S2進行文件輸出；所述S2中，判斷刪除失敗的ID是否被更新失敗的ID集合包含，如包含，則將其移除，其中，輸出到文件中的失敗數據不做處理，所述S4中，失敗數據根據ID集合進行過濾。

3.如權利要求1所述的一種基于文件的索引數據失敗補償的方法，其特征在于：所述S2中，失敗數據文件存儲時會根據不同的數據內容創建不同的文件：

步驟201：創建更新失敗數據ID文件update_failed_ids，在正常任務和補償任務結束后進行數據輸出；

步驟202：創建刪除失敗數據ID文件delete_failed_ids，在正常任務和補償任務結束后進行數據輸出；

步驟203：創建更新失敗數據寫入文件update_failed_data_write，在正常更新任務和補償更新任務執行過程中逐條輸出，當正常更新任務和更新補償任務執行結束后，重命名為更新失敗數據讀取文件update_failed_data_read；

步驟204：創建刪除失敗數據寫入文件delete_failed_data_write，在正常刪除任務和補償刪除任務執行過程中逐條輸出，當正常刪除任務和刪除補償任務執行結束后，會重命名為刪除失敗數據讀取文件delete_failed_data_read。