[發明專利]一種非關系型數據庫中的數據處理方法和裝置

在審

• 申請號: 201210266418.8
• 申請日: 2012-07-27
• 公開（公告）號: CN103577440A
• 公開（公告）日: 2014-02-12
• 發明（設計）人: 馬青艷;方亮
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 趙娟

技術領域

本申請涉及一種非關系型數據庫的技術領域，特別是涉及一種非關系型數據庫中的數據處理方法，一種非關系型數據庫中的數據處理裝置，一種非關系型數據庫中的數據查詢方法，以及，一種非關系型數據庫中的數據查詢裝置。

背景技術

在日常工作中，有的時候要面對大量的數據信息，而這些大量的信息是隨機的，之間沒有一定的關聯，是非關系型數據。

例如某金融產品有大量的用戶數據需要分析，在分析這些用戶數據過程中需要從多個維度來進行，每一個維度又有很多鍵值對，存儲這些鍵值對需要使用到非關系型數據庫存儲。但是目前市場上各種商用方案成本較高，而開源非關系型數據庫方案又不能滿足性能和容量方面的要求。當前流行的開源的非關系型數據庫技術主要會出現以下兩類問題：

1、支持的數據量有限，而且存在讀寫不一致的致命問題；或系統極不穩定，且運行維護機器成本過高。

2、純粹以鍵值對存儲方式實現，無法滿足海量用戶信息的存儲要求。

因此，本領域技術人員迫切需要解決的問題是：提供一種非關系型數據庫中的數據處理和查詢的方法及裝置，用以提高非關系型數據存儲的規則性，使查找提取數據更加快捷準確，提高運行的穩定性；擴展支持的數據量，降低運行維護的成本。

發明內容

本申請所要解決的技術問題是提供一種非關系型數據庫中的數據處理和查詢的方法及裝置，用以提高非關系型數據存儲的規則性，提高運行的穩定性；擴展支持的數據量，降低運行維護的成本。

為了解決上述問題，本申請公開了一種非關系型數據庫中的數據處理方法，所述非關系型數據庫包括至少兩個單機的分布式系統，所述單機中包括至少兩個數據分庫，所述數據分庫包括若干數據表格，所述數據分庫具有數據分庫標識，所述數據表格具有數據表格標識；

所述的方法包括：

生成待存儲數據的用戶標識，所述待存儲數據是首次存儲到所述分布式系統中的數據；

將所述待存儲數據寫入某一數據分庫的數據表格中，并根據所述數據分庫對應的數據分庫標識以及所述數據表格對應的數據表格標識，生成目標存儲地址；

記錄所述用戶標識和目標存儲地址的映射關系。

優選地，所述待存儲數據包括用戶特征信息；所述生成待存儲數據的用戶標識的步驟包括：

提取所述待存儲數據中用戶特征信息；

記錄所述用戶特征信息和預置的存儲序列號的映射，并將所述對應存儲序列號記為用戶標識。

優選地，所述將待存儲數據寫入某一數據分庫的數據表格中，并根據所述數據分庫對應的數據分庫標識以及所述數據表格對應的數據表格標識，生成目標存儲地址的步驟包括：

選擇一個數據分庫中未達到預置用戶數量上限的數據表格，生成目標數據表格；

將所述待存儲數據寫入所述目標數據表格；

將所述目標數據表格的標識和對應數據分庫的標識組合生成目標存儲地址。

優選地，所述記錄所述用戶標識和目標存儲地址的映射關系的步驟包括：

建立選擇所述用戶標識映射所述目標存儲地址的鍵值對；

記錄所述鍵值對在映射列表中。

優選地，所述的方法還包括：

獲取待添加數據中用戶標識；所述待添加數據是存儲到所述分布式系統已建用戶標識的對應目標存儲地址中，是已建用戶標識的補充數據；

根據所述用戶標識查詢獲取目標存儲地址；

將所述待添加數據寫入所述目標存儲地址。

優選地，所述的方法還包括：

根據用戶標識查詢獲取目標存儲地址，從目標存儲地址指向的對應數據分庫及目標數據表格中提取所述目標存儲地址中的用戶數據。

優選地，所述待添加數據包括用戶特征信息；所述獲取待添加數據中用戶標識的步驟包括：

提取所述待添加數據中的用戶特征信息；

根據所述用戶特征信息映射獲取對應存儲序列號，所述對應存儲序列號為用戶標識。

優選地，若原有數據分庫存儲負荷達到上限，則增加所述分布式系統的單機，并在所述單機中建立新的數據分庫。

優選地，所述對應同一用戶標識的待存儲數據或待添加數據存儲在一個數據表格之中。

本申請實施例還公開了一種非關系型數據庫中的數據處理裝置，所述非關系型數據庫包括至少兩個單機的分布式系統，所述單機中包括至少兩個數據分庫，所述數據分庫包括若干數據表格，所述數據分庫具有數據分庫標識，所述數據表格具有數據表格標識；

所述的裝置包括：