[發明專利]一種一步式數據交換方法、裝置、設備及存儲介質

在審

• 申請號: 202010935803.1
• 申請日: 2020-09-08
• 公開（公告）號: CN111930821A
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 宋天喜;郭釗銘;丁忠偉;牟小歡;安文強;王斌
• 申請（專利權）人: 平安國際智慧城市科技股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06K9/62;G06F16/21;G06F16/242
• 代理公司: 深圳市精英專利事務所 44242
• 代理人: 武志峰

1.一種一步式數據交換方法，其特征在于，包括：

確定待交換的數據源表、目標數據表、數據交換開始時間點，并將當前時間作為數據切割時間點；

通過ETL任務執行模塊將所述數據源表中在數據交換開始時間點至數據切割時間點之間產生的存量數據轉移至所述目標數據表；

通過CDC任務執行模塊監聽數據源表的歸檔日志，根據所述歸檔日志將所述數據源表中在數據切割時間點之后產生的增量數據轉移至所述目標數據表；

對所述目標數據表中的目標數據集進行K-means聚類，得到對應的數據聚類結果；其中，所述數據聚類結果中包括多個數據聚類簇，每一數據聚類簇對應一個聚類數據標簽；

獲取各業務服務器的數據需求信息，根據所述數據需求信息將所述數據聚類結果中各數據聚類簇分發至對應的業務服務器；其中，每一業務服務器的數據需求信息中包括若干個聚類數據標簽。

2.根據權利要求1所述的一步式數據交換方法，其特征在于，所述通過ETL任務執行模塊將所述數據源表中在數據交換開始時間點至數據切割時間點之間產生的存量數據轉移至所述目標數據表，包括：

將數據源表中在數據交換開始時間點至數據切割時間點之間產生的存量數據抽取至數據臨時表中；

對所抽取的存量數據進行清洗和轉換；

將轉換后的存量數據從數據臨時表加載至所述目標數據表中。

3.根據權利要求1所述的一步式數據交換方法，其特征在于，所述通過CDC任務執行模塊監聽數據源表的歸檔日志，根據所述歸檔日志將所述數據源表中在數據切割時間點之后產生的增量數據轉移至所述目標數據表，包括：

獲取待轉移的數據源表并創建變化表，設置發布者和訂閱者，以及為所述訂閱者訂閱所述數據源表以及激活訂閱過程；

設置視圖顯示窗口并在所述視圖顯示窗口中添加訂閱者視圖，根據所述訂閱者視圖訪問并提取變化表中的增量數據，然后刪除訂閱者視圖并清除CDC窗口。

4.根據權利要求1所述的一步式數據交換方法，其特征在于，所述對所述目標數據表中的目標數據集進行K-means聚類，得到對應的數據聚類結果，包括：

在目標數據集中選取與預設的聚類簇數相同個數的目標數據，將所選取的目標數據作為每一簇的初始聚類中心；

根據所述目標數據集中每一數據與各初始聚類中心的相異值，對所述目標數據集進行劃分，得到初始聚類結果；

根據初始聚類結果，獲取每一簇的調整后聚類中心；

根據調整后聚類中心，根據所述目標數據集中每一數據與調整后聚類中心的相異值，對所述目標數據集重新進行劃分，直至聚類結果保持相同的次數多于預設的次數，得到與預設的聚類簇數對應的數據聚類結果。

5.根據權利要求1所述的一步式數據交換方法，其特征在于，所述獲取各業務服務器的數據需求信息，根據所述數據需求信息將所述數據聚類結果中各數據聚類簇分發至對應的業務服務器，包括：

獲取各業務服務器的數據需求信息；

對所述數據需求信息進行解析，提取其中的聚類數據標簽；

根據所述聚類數據標簽匹配對應的數據聚類簇；

將所述數據聚類簇分發至對應的業務服務器。

6.根據權利要求2所述的一步式數據交換方法，其特征在于，對所抽取的存量數據進行清洗包括：空值處理、驗證數據正確性、規范數據格式、數據轉碼和數據標準化處理中的一種或幾種；對所抽取的存量數據進行轉換包括：數據類型轉換和數據格式轉換中的一種或兩種。

7.根據權利要求2所述的一步式數據交換方法，其特征在于，所述將轉換后的存量數據從數據臨時表加載至所述目標數據表中，包括：

通過SQL語句或采用加載工具將轉換后的存量數據從數據臨時表加載至所述目標數據表中。