[發明專利]一種基于數據庫臨時表的數據匹配方法及裝置

有效

• 申請號: 202310215543.4
• 申請日: 2023-03-08
• 公開（公告）號: CN115952172B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 王龍強
• 申請（專利權）人: 暢捷通信息技術股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455
• 代理公司: 北京智乾知識產權代理事務所(普通合伙) 11552
• 代理人: 張麗俠

1.一種基于數據庫臨時表的數據匹配方法，其特征在于，該方法包括：

獲取步驟，獲取源數據庫的第一數據表和目標數據庫的第二數據表，以及數據匹配范圍；

判斷步驟，判斷所述第一數據表和所述第二數據表位于所述數據匹配范圍的數據量是否均大于第一閾值，如果否，則直接將所述第一數據表位于所述數據匹配范圍的數據與所述第二數據表位于所述數據匹配范圍的數據進行匹配得到匹配結果，如果是，則進行臨時表匹配；

臨時表匹配步驟，在所述源數據庫中建立第一臨時數據表，在所述目標數據庫建立第二臨時數據表和第三臨時數據表，基于所述第一臨時數據表、所述第二臨時數據表和第三臨時數據表進行匹配得到匹配結果。

2.根據權利要求1所述的方法，其特征在于，所述基于所述第一臨時數據表、所述第二臨時數據表和第三臨時數據表進行匹配得到匹配結果的操作為：計算第一數據表位于所述數據匹配范圍的數據的MD5值，存儲在第一臨時數據表中，計算所述第二數據表位于所述數據匹配范圍的數據的MD5值，存儲在第二臨時數據表中，將第一臨時數據表中的MD5值插入到所述第三臨時數據表中，將所述第二臨時數據表與所述第三臨時數據表進行左鏈接或內鏈接得到匹配結果。

3.根據權利要求2所述的方法，其特征在于，所述匹配結果包括以下至少之一：第一數據表與第二數據表中相同的數據、第一數據表與第二數據表中不相同的數據、第二數據表比第一數據表中缺失的數據及第二數據表比第一數據表中多出的數據。

4.根據權利要求3所述的方法，其特征在于，在匹配完成后，初始化diff線程、missing線程、extra線程及match線程，diff線程用于輸出第一數據表與第二數據表中不相同的數據，missing線程用于輸出第二數據表比第一數據表中缺失的數據，extra線程用于輸出第二數據表比第一數據表中多出的數據，match線程用于輸出第一數據表與第二數據表中相同的數據。

5.根據權利要求4所述的方法，其特征在于，對于所述diff線程、missing線程、extra線程及match線程在內存中初始化對應的diff隊列、missing隊列、extra隊列及match隊列用于實現生產者與消費者關系池，所述關系池所占內存大小為：

如果，大于，

則；

否則，；

其中，=1、2、3、4分別表示diff隊列、missing隊列、extra隊列及match隊列，表示對應的隊列實現生產者與消費者關系池所占的內存大小，表示對應的隊列單位時間內產生的數據量，表示對應的隊列單位時間內消費的數據量，表示對應的隊列需要輸出的總數據量，表示對應的隊列輸出的總數據量需要的總時間。

6.一種基于數據庫臨時表的數據匹配裝置，其特征在于，該裝置包括：

獲取單元，獲取源數據庫的第一數據表和目標數據庫的第二數據表，以及數據匹配范圍；

判斷單元，判斷所述第一數據表和所述第二數據表位于所述數據匹配范圍的數據量是否均大于第一閾值，如果否，則直接將所述第一數據表位于所述數據匹配范圍的數據與所述第二數據表位于所述數據匹配范圍的數據進行匹配得到匹配結果，如果是，則進行臨時表匹配；

臨時表匹配單元，在所述源數據庫中建立第一臨時數據表，在所述目標數據庫建立第二臨時數據表和第三臨時數據表，基于所述第一臨時數據表、所述第二臨時數據表和第三臨時數據表進行匹配得到匹配結果。

7.根據權利要求6所述的裝置，其特征在于，所述基于所述第一臨時數據表、所述第二臨時數據表和第三臨時數據表進行匹配得到匹配結果的操作為：計算第一數據表位于所述數據匹配范圍的數據的MD5值，存儲在第一臨時數據表中，計算所述第二數據表位于所述數據匹配范圍的數據的MD5值，存儲在第二臨時數據表中，將第一臨時數據表中的MD5值插入到所述第三臨時數據表中，將所述第二臨時數據表與所述第三臨時數據表進行左鏈接或內鏈接得到匹配結果。