[發明專利]一種結構化數據處理方法和裝置

在審

• 申請號: 202010192273.6
• 申請日: 2020-03-18
• 公開（公告）號: CN111414388A
• 公開（公告）日: 2020-07-14
• 發明（設計）人: 羅水芳;邵州華;樓未吉
• 申請（專利權）人: 杭州拾貝知識產權服務有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/22;G06F16/27
• 代理公司: 廈門福貝知識產權代理事務所(普通合伙) 35235
• 代理人: 肖琨

本發明公開了一種結構化數據處理方法和裝置，通過DHT協議動態管理分布式數據庫中互相連接的數據庫，其中數據庫中具有至少一個鄰近數據庫；在分布式數據庫的數據庫中存儲結構化數據，并生成相應的數據地址和數據hash值；通過數據同步算法將數據庫的數據hash值同步到鄰近數據庫中，并生成響應數據；以及通過響應數據和數據hash值進行驗證以在鄰近數據庫上獲得數據地址，根據緩存數據塊設計規則得到查詢數據結果。通過動態管理分布式數據庫，提高數據庫與鄰近數據庫之間數據交互的效率。并且通過建立分布式數據庫表、鄰近數據庫列表的驗證及多種加密方式，提高數據庫與鄰近數據庫之間的可信度。

技術領域

本發明涉及結構化數據領域，具體涉及一種結構化數據處理方法和裝置。

背景技術

結構化數據是指可以使用關系型數據庫表示和存儲，表現為二維形式的數據。一般特點是：數據以行為單位，一行數據表示一個實體的信息，每一行數據的屬性是相同的。現在主流的關系型數據庫包括Oracle、SQL Server、MySQL等。傳統的關系數據庫管理系統、NoSQL數據庫管理系統都是由單一機構進行管理和維護，單一機構對所有數據擁有絕對的控制權，其他機構無法完整獲取所有的數據。多個機構協作模式下，中心化的數據庫管理系統始終存在信任問題，在處理過程中需要非常多的人力成本進行維護。結構化數據查詢由于用戶的偏好會使得查詢結果集呈現很大的冷、熱性，多表關聯和多庫關聯查詢是存在大量的語義分析和數據比對操作，造成大量的時間消耗，因此需要建立緩存機制。

常用的關系型數據庫很容易負載過重，資源耗盡。目前還沒有一個成熟的高可用和分布式解決方案。所以，很多都是混合使用，當常用的關系型數據庫能解決問題時就用常用的關系型數據庫，而一些對性能、安全性、可靠性要求更高的業務則使用商用數據庫軟件，但是管理上非常麻煩，數據格式需要轉化，跨越多個數據庫也無法解決信任問題和數據調用問題。分布式數據庫系統具有自己局部的數據庫，位于不同地點的許多計算機通過網絡互相連接，共同組成一個完整的、全局的邏輯上集中、物理上分布的大型數據庫。但是也是需要解決去中心化，解決信任問題，人工成本高以及多數據庫緩存問題。

有鑒于此，設計出一種新型的結構化數據處理方法是亟待解決的問題之一。

發明內容

針對上述提到的單一數據庫管理系統難以進行數據共享，多個數據庫管理系統控制可信度低、人工成本高等問題。本申請的實施例的目的在于提出了一種結構化數據處理方法和裝置，來解決以上背景技術部分提到的技術問題。

第一方面，本申請實施例提出了一種結構化數據處理方法，包括以下步驟：

S1：通過DHT協議動態管理鄰近數據庫，構建分布式數據庫；

S2：在分布式數據庫的數據庫上存儲結構化數據，并生成相應的數據地址和數據hash值；

S3：通過數據同步算法將數據庫的數據hash值同步到分布式數據庫的鄰近數據庫中，并生成響應數據；以及

S4：通過響應數據和數據hash值進行驗證以在鄰近數據庫上獲得數據地址，通過以下公式對數據地址上存儲的結構化數據設計緩存數據塊，得到查詢數據結果：

其中，第i個緩存塊大小設定為H(i)，第i次查詢結果集的大小為M，查詢結果集的平均訪問數據量為A(i)，設查詢結果集的讀訪問比例為p，T為查詢結果集設定的閾值。

通過將結構化數據存儲在區塊鏈的數據庫上，不僅可以實現每個數據庫的單一控制管理，還可以實現分布式數據庫中多個數據庫之間數據的可信任共享和管理。建立緩存數據塊對結構化數據進行合理的分割，以對數據查詢的內存空間進行合理的利用，降低查詢的響應時間。

在一些實施例中，分布式數據庫的數據庫通過KAD算法加入到分布式數據庫中，在數據庫中建立分布式數據庫表。分布式數據庫表便于分布式數據庫中各個數據庫之間的有效管理。