[發明專利]一種數據處理方法和系統

有效

• 申請號: 201811448773.0
• 申請日: 2018-11-28
• 公開（公告）號: CN109558417B
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 湯仕忠
• 申請（專利權）人: 亞信科技（南京）有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/28;G06F16/951
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

1.一種數據處理方法，其特征在于，包括：

獲取關系型數據庫中的數據，初始化所述數據得到初始化數據，并將所述初始化數據發送至消息隊列；

獲取所述關系型數據庫中的事務日志，處理并得到處理后的事務日志，將所述處理后的事務日志發送至所述消息隊列；

獲取所述消息隊列中的所述處理后的事務日志和所述初始化數據，基于所述處理后的事務日志對所述初始化數據進行實時處理，獲得事務流實時數據；所述事務流實時數據與所述關系型數據庫存儲的數據相同；

將所述事務流實時數據同步存儲于搜索引擎和第三方平臺。

2.根據權利要求1所述的方法，其特征在于，還包括：

基于物聯網卡平臺發出的檢索請求，對存儲在搜索引擎中的所述事務流實時數據進行檢索，確定對應所述檢索請求的檢索數據。

3.根據權利要求1所述的方法，其特征在于，若所述關系型數據庫為mysql關系型數據庫，所述獲取所述關系型數據庫中的事務日志，處理并得到處理后的事務日志，將所述處理后的事務日志發送至所述消息隊列，包括：

獲取所述關系型數據庫中的事務日志；

解析所述事務日志，并在所述事務日志中補充特定信息；

封裝處理補充特定信息后的事務日志，得到處理后的事務日志；

將所述處理后的事務日志發送至所述消息隊列。

4.根據權利要求1所述的方法，其特征在于，若所述關系型數據庫為oracle關系型數據庫，所述獲取所述關系型數據庫中的事務日志，處理并得到處理后的事務日志，將所述處理后的事務日志發送至所述消息隊列，包括：

獲取所述關系型數據庫中的事務日志；

將所述事務日志按照預先設定的消息格式封裝處理，得到處理后的事務日志；

將所述處理后的事務日志發送至所述消息隊列。

5.根據權利要求1-4中任一項所述的方法，其特征在于，所述將所述事務流實時數據同步存儲于搜索引擎，包括：

將所述事務流實時數據進行片式處理，得到片式處理后的事務流實時數據；

將所述片式處理后的事務流實時數據進行存儲。

6.根據權利要求2所述的方法，其特征在于，所述基于物聯網卡平臺發出的檢索請求，對存儲在搜索引擎中的所述事務流實時數據進行檢索，確定對應所述檢索請求的檢索數據，包括：

接收物聯網卡平臺發出的檢索請求；

將所述檢索請求對應的字段進行分詞處理，得到分詞；

對所述分詞進行倒排處理，得到所述分詞在所述字段中的位置信息和頻率信息；

基于所述分詞、所述位置信息和所述頻率信息對存儲在搜索引擎中的所述事務流實時數據進行定位，確定對應所述檢索請求的檢索數據。

7.一種數據處理系統，其特征在于，包括：

數據初始化引擎，用于獲取關系型數據庫中的數據，初始化所述數據得到初始化數據，并將所述初始化數據發送至消息隊列；

日志處理引擎，用于獲取所述關系型數據庫中的事務日志，處理并得到處理后的事務日志，將所述處理后的事務日志發送至所述消息隊列；

流處理模塊，用于獲取所述消息隊列中的所述處理后的事務日志和所述初始化數據，基于所述處理后的事務日志對所述初始化數據進行實時處理，獲得事務流實時數據；所述事務流實時數據與所述關系型數據庫存儲的數據相同；

數據同步模塊，用于將所述事務流實時數據同步存儲于搜索引擎和第三方平臺。

8.根據權利要求7所述的系統，其特征在于，還包括：

所述搜索引擎，用于基于物聯網卡平臺發出的檢索請求，對存儲在搜索引擎中的所述事務流實時數據進行檢索，確定對應所述檢索請求的檢索數據。

9.根據權利要求7-8中任一項所述的系統，其特征在于，所述數據同步模塊，包括：

數據處理單元，用于將所述事務流實時數據進行片式處理，得到片式處理后的事務流實時數據；

存儲單元，用于將所述片式處理后的事務流實時數據進行存儲。

10.根據權利要求8所述的系統，其特征在于，所述搜索引擎，包括：

接收子單元，用于接收物聯網卡平臺發出的檢索請求；

分詞子單元，用于將所述檢索請求對應的字段進行分詞處理，得到分詞；

倒排索引子單元，用于對所述分詞進行倒排處理，得到所述分詞在所述字段中的位置信息和頻率信息，基于所述分詞、所述位置信息和所述頻率信息對存儲在所述搜索引擎中的所述事務流實時數據進行定位，確定對應所述檢索請求的檢索數據。