[發明專利]批處理的方法與系統、及其計算器可讀介值與電子設備

在審

• 申請號: 201811533002.1
• 申請日: 2018-12-14
• 公開（公告）號: CN109828834A
• 公開（公告）日: 2019-05-31
• 發明（設計）人: 張崝
• 申請（專利權）人: 泰康保險集團股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京律盟知識產權代理有限責任公司 11287
• 代理人: 蔣林清

本發明涉及一種批處理方法、批處理系統、及其相關計算器可讀介值與電子設備。本發明公開一種針對數據的批處理方法，其特征在于，包括:讀取集中儲存在共享高速緩存中的數據；檢查所述數據是否與關鍵詞列表匹配；及當所述數據與關鍵詞列表不匹配，對所述數據執行數據鎖加鎖服務，所述數據鎖加鎖服務包括:檢查所述數據是否存在數據鎖；及當所述數據不存在數據鎖，對所述數據設置數據鎖。

技術領域

本公開涉及數據處理領域，特別是涉及針對數據的批處理方法、相關系統、 相關計算器可讀介質及相關電子設備。

背景技術

傳統業務系統的批處理業務為單機處理，即使用一臺獨立的服務器或復用 應用服務器，通過定時任務啟動數據處理進程，一次性批量完成數據處理。其 處理性能受服務器性能限制存在上限，且可能與應用服務器存在資源競爭問題。

為打破服務器性能瓶頸，避免資源競爭問題，出現了分布式數據批量處理 方案。分布式方案采用集中式管理，通常由一臺中心管理服務器或主服務器負 責數據準備和分配，再分發給從服務器進行處理，對整個批處理執行進行調度。 在主服務器出現故障時，某一臺從服務器可以主動或被動升級為主服務器，代 替原主服務器功能。但此方案實現較為復雜，運行與維護成本高。在新業務的 微服務架構和多數據源場景下，此類方案實現復雜度大幅度增加，且受主服務 器的集中式調度限制，無法實現快速彈性擴展。

發明內容

本發明的目的之一在于提供一種在微服務架構下，面向多個作為數據源的 共享高速緩存可快速彈性擴展的數據批處理方法。透過將數據統一配置于共享 高速緩存提供，各服務器獨立部署，本發明實現去中心化、可彈性擴展的針對 數據的批處理方法。本發明微服務框架提供了多臺應用服務器，在高業務壓力 時，應用服務器可進行快速彈性擴展，在此過程中，對所配套的批處理數據模 塊要求有同樣的快速彈性擴展能力。

本發明一實施例公開一種數據的批處理方法，其包括讀取集中儲存在共享 高速緩存中的數據；檢查所述數據是否與關鍵詞列表匹配；及當所述數據與關 鍵詞列表不匹配，對所述數據執行數據鎖加鎖服務；所述數據鎖加鎖服務包括: 檢查所述數據是否存在數據鎖；及當所述數據不存在數據鎖，對所述數據設置 數據鎖。

在本發明的一實施例中，數據批處理方法還包括在讀取所述數據前，設定 閾值，并按所述閾值讀取所述數據。

在本發明的一實施例中，當所述數據與關鍵詞列表匹配，增加一個閾值跨 度的偏移量，重新讀取集中儲存的數據。

在本發明的一實施例中，數據批處理方法還包括對設置數據鎖的所述數據 進行數據處理；及執行數據鎖解鎖服務，包括:進行數據處理后，校驗所述數據 是否被所述數據鎖鎖定；及當所述數據被所述數據鎖鎖定時，將完成數據處理 的所述數據提交；及將所述數據鎖刪除。

在本發明的一實施例中，所述執行數據鎖解鎖服務的步驟還包括當所述數 據未被所述數據鎖鎖定時，放棄所述數據。

在本發明的一實施例中，數據批處理方法還包括接續所述執行數據鎖解鎖 服務，在刪除所述數據鎖后，對下一筆與關鍵詞列表不匹配的數據執行數據鎖 加鎖服務。

在本發明的一實施例中，數據批處理方法還包括在讀取所述數據前，設定 運行時間，并按所述運行時間實施所述數據的批處理方法。

本發明一實施例公開一種數據處理系統，其包括數據庫，用于儲存數據； 多個服務器，用于進行數據批處理，所述數據批處理的步驟包括；讀取集中儲 存在共享高速緩存中的數據；檢查該數據是否與關鍵詞列表匹配；及當所述數 據與關鍵詞列表不匹配，對所述數據執行數據鎖加鎖服務；所述數據鎖加鎖服 務包括:檢查所述數據是否存在數據鎖；及當所述數據不存在數據鎖，對所述數 據設置數據鎖；及共享高速緩存，用于儲存所述數據。