[發明專利]數據處理方法、裝置及電子設備

有效

• 申請號: 201711058820.6
• 申請日: 2017-11-01
• 公開（公告）號: CN107943846B
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 王永強;哈斯布和;羅長平;張淑穎;張利斌;張秉堯;宋云平
• 申請（專利權）人: 內蒙古科電數據服務有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23
• 代理公司: 北京威禾知識產權代理有限公司 11838
• 代理人: 王月玲

1.一種數據處理方法，應用于內存數據庫，其特征在于，包括：接收代理接口發送的sql請求，根據所述sql請求確定待處理數據表和所述待處理數據表對應的數據屬性信息，其中，所述代理接口中存儲有各數據表與內存數據庫的對應關系，所述內存數據庫為分布式內存數據庫；

從預先建立的數據表加載記錄庫中查找是否存在所述待處理數據表的加載記錄；

若存在所述待處理數據表的加載記錄，確定所述數據屬性信息是否存在于所述待處理數據表的加載記錄中；

若所述數據屬性信息存在于所述待處理數據表的加載記錄中，根據所述sql請求對所述待處理數據表進行處理，并返回處理結果；

若不存在所述待處理數據表的加載記錄，根據所述數據屬性信息，確定所述待處理數據表中的待加載數據；

從磁盤數據庫中加載所述待處理數據表中的待加載數據；

在所述數據表記載記錄庫中記錄所述待處理數據表的屬性信息和所述待處理數據表對應的數據屬性信息；

若至少一個所述數據屬性信息不存在于所述待處理數據表的加載記錄中，根據不存在于所述待處理數據表的加載記錄中的至少一個所述數據屬性信息，確定所述待加載數據；

從磁盤數據庫中加載所述待處理數據表中的待加載數據；

在所述數據表記載記錄庫中更新所述待處理數據表的屬性信息和所述待處理數據表對應的數據屬性信息；

其中，所述數據屬性信息包括列的信息類別和行標識，用于確定該數據表中加載到內存數據庫中的數據；

進一步包括：確定所述內存數據庫中存儲的數據表和所述數據表中存儲的數據；

監測在磁盤數據庫所述數據表中的所述數據是否發生更新；

若所述數據表中的所述數據發生更新，將所述更新同步到所述內存數據庫中存儲的所述數據表中。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

在所述數據表記載記錄庫中更新所述待處理數據表的屬性信息。

3.一種數據處理裝置，應用于內存數據庫，其特征在于，包括：

接收模塊，用于接收代理接口發送的sql請求，根據所述sql請求確定待處理數據表和所述待處理數據表對應的數據屬性信息，其中，所述代理接口中存儲有各數據表與內存數據庫的對應關系，所述內存數據庫為分布式內存數據庫；

查找模塊，用于從預先建立的數據表加載記錄庫中查找是否存在所述待處理數據表的加載記錄；

第一確定模塊，用于若存在所述待處理數據表的加載記錄，確定所述數據屬性信息是否存在于所述待處理數據表的加載記錄中；

處理模塊，用于若所述數據屬性信息存在于所述待處理數據表的加載記錄中，根據所述sql請求對所述待處理數據表進行處理，并返回處理結果；

第二確定模塊，用于若不存在所述待處理數據表的加載記錄，根據所述數據屬性信息，確定所述待處理數據表中的待加載數據；

第一加載模塊，用于從磁盤數據庫中加載所述待處理數據表中的待加載數據；

記錄模塊，用于在所述數據表記載記錄庫中記錄所述待處理數據表的屬性信息和所述待處理數據表對應的數據屬性信息；

第三確定模塊，用于若至少一個所述數據屬性信息不存在于所述待處理數據表的加載記錄中，根據不存在于所述待處理數據表的加載記錄中的至少一個所述數據屬性信息，確定所述待加載數據；

第二加載模塊，用于從磁盤數據庫中加載所述待處理數據表中的待加載數據；

第一更新模塊，用于在所述數據表記載記錄庫中更新所述待處理數據表的屬性信息和所述待處理數據表對應的數據屬性信息；

其中，所述數據屬性信息包括列的信息類別和行標識，用于確定該數據表中加載到內存數據庫中的數據；

所述裝置還包括：

第四確定模塊，用于確定所述內存數據庫中存儲的數據表和所述數據表中存儲的數據；

監測模塊，用于監測在磁盤數據庫所述數據表中的所述數據是否發生更新；

第三更新模塊，用于若所述數據表中的所述數據發生更新，將所述更新同步到所述內存數據庫中存儲的所述數據表中。

4.根據權利要求3所述的裝置，其特征在于，所述裝置還包括：

第二更新模塊，用于在所述數據表記載記錄庫中更新所述待處理數據表的屬性信息。