[發明專利]基于數據庫的海量數據交換方法、裝置、設備和存儲介質

有效

• 申請號: 202011298526.4
• 申請日: 2020-11-18
• 公開（公告）號: CN112364007B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 張健
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25;G06F16/27
• 代理公司: 深圳市明日今典知識產權代理事務所(普通合伙) 44343
• 代理人: 王杰輝;宋慶洪

1.一種基于數據庫的海量數據交換方法，其特征在于，包括以下步驟：

從源數據庫中獲取源數據；

將所述源數據加載到緩沖空間，所述緩沖空間具有2n個環形的數據槽，所述數據槽用于存放所述源數據；其中，所述n為正整數；

從所述緩沖空間中按數據槽順時針順序逐個獲取所述源數據；

識別所述源數據的數據類型，并按照對應所述源數據的數據類型的輸入方式將所述源數據輸入至disruptor組件，不同數據類型對應不同的輸入方式；

當需要執行指定任務時，根據所述指定任務從所述disruptor組件中獲取指定源數據；其中，所述指定任務為用戶輸入的任務，不同所述指定任務對應不同的業務；

將所述指定源數據進行過濾處理，得到已處理數據；

依據所述指定任務將所述已處理數據存入至與所述指定任務對應的目標庫，每一目標庫對應一業務系統；

所述識別所述源數據的數據類型，并按照對應所述源數據的數據類型的輸入方式將所述源數據輸入至disruptor組件，不同數據類型對應不同的輸入方式的步驟，包括：

識別所述源數據的數據類型；

當識別出所述源數據為關系性數據庫的數據時，則通過JDBC程序將所述源數據寫入到disruptor組件中；

當識別出所述源數據為非關系性數據庫的數據時，則API接口將所述源數據輸入到disruptor組件中；

當識別出所述源數據為日志數據時，則通過http斷點續傳方式將所述源數據輸入到disruptor組件中；

所述當需要執行指定任務時，根據所述指定任務從所述disruptor組件中獲取指定源數據的步驟，包括：

當需要執行所述指定任務時，在所述disruptor組件中遍尋與所述指定任務相對應的所述指定源數據；

識別所述指定源數據的數據類型；

當識別到所述指定源數據的數據類型為關系性數據庫的數據時，通過JDBC程序從disruptor組件輸出；

當識別到所述指定源數據的數據類型為日志數據時，則通過每行讀入的方式，將所述指定源數據存入Hive庫中，并從所述Hive庫通過寫hdfs文件的形式將所述指定源數據輸出。

2.根據權利要求1所述的基于數據庫的海量數據交換方法，其特征在于，所述依據所述指定任務將所述已處理數據存入至與所述指定任務對應的目標庫，每一目標庫對應一業務系統的步驟，包括：

判斷所述已處理數據是否為數據表；

若是，則依據所述數據表中各個字段的屬性，將所述數據表拆分，并分別存儲至對應的區域；

若否，則將所述已處理數據均衡切分，對切分后的數據進行定位、整合，并分別存儲至不同的數據庫中。

3.根據權利要求1所述的基于數據庫的海量數據交換方法，其特征在于，所述將所述源數據加載到緩沖空間，所述緩沖空間具有2n個環形的數據槽，所述數據槽用于存放所述源數據的步驟，包括：

將所述源數據按照獲取的先后順序進行排序；

將所述源數據根據所述排序以所述環形的數據槽順時針的順序加載到所述數據槽。

4.根據權利要求1所述的基于數據庫的海量數據交換方法，其特征在于，所述將所述指定源數據進行過濾處理，得到已處理數據的步驟，包括：

根據所述指定任務確定過濾條件；

根據所述過濾條件訓練布隆過濾器，得到任務過濾器；

將所述指定源數據輸入至所述任務過濾器中進行過濾處理，得到已處理數據。