[發明專利]一種關系表非鍵屬性特征抽取與數據生成方法

有效

• 申請號: 201810511653.4
• 申請日: 2018-05-25
• 公開（公告）號: CN108920501B
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 張瑩;史慧珂;張江偉;宋珂慧;袁曉潔
• 申請（專利權）人: 南開大學
• 主分類號: G06F16/2458
• 分類號: G06F16/2458
• 代理公司: 天津耀達律師事務所 12223
• 代理人: 侯力

本發明提供了一種關系表非鍵屬性特征抽取與數據生成方法。該方法可細分為三個處理階段：特征抽取、特征變換、目標數據集生成。該方法首先對原始數據集進行特征抽取，獲取特征空間，對兩非鍵屬性間頻數的聯合分布進行相關性度量排序；然后對抽取自原始數據集的特征空間進行特征變換；最后依照相關性度量系列從特征變換后的特征空間生成目標數據集。本發明提供了兩種應用場景：特定數據模式下數據生成場景和預測數據集隨時間變化的場景。本發明不但完善了關系表數據生成的研究，而且拓展了數據生成的應用場景。

技術領域

本發明屬于數據生成領域。具體涉及一種關系表非鍵屬性特征抽取與數據生成方案。

背景技術

隨著信息技術的不斷普及與發展，數據在醫療、政務、教育、金融、電信等諸多領域呈現出爆炸式的增長。為了適應爆炸式增長數據的管理需求，數據庫管理系統的存儲方案設計、集群擴展、新業務應用等都需要在部署之前進行充分的測試。數據生成能夠為數據庫管理系統在發布前所需的性能測試提供合適的測試數據集，在促進數據管理產業健康有序發展方面具有十分重要的意義。

傳統的測試數據集生成方式是使用TPC基準工具——一種面向特定領域的數據集生成工具。例如，TPC-C用于在線交易處理，TPC-H用于決策支持等。隨著數據庫工具的不斷增長以及有關數據集的研究逐步深入，以TPC基準為代表的數據生成方式起著越來越重要的作用。通過使用TPC基準來比較自身數據庫產品和其他數據庫產品之間的性能，數據庫供應商能夠不斷提高產品質量，并最終為客戶提供高性能的數據庫產品。為了以更小時間代價獲取更好的實驗效果，研究人員使用TPC基準來獲取合適的實驗數據集。

作為一種自頂向下的數據生成方式，TPC基準工具在確定數據模式的基礎上生成指定數量的數據集，因而在使用其生成數據集時會面臨如下幾個問題。

第一，TPC基準發展緩慢，無法滿足人們對新領域測試數據集的需求。為一個特定領域的數據設計相應的TPC基準需要首先明確領域數據的通用模式，它要求設計者對領域數據集的特點具有總體把握。而對于來自新領域的數據集，研究人員無法快速了解該領域數據的特點。因此，TPC基準工具無法適應現今新領域數據的發展速度。

第二，TPC基準在數據集生成中的適用場景有限。由于數據模式確定，它只能合成特定數據模式下的數據集，卻無法預測數據集隨時間變化的趨勢。

出于上述兩方面因素的考慮，人們逐漸拋棄原來以TPC基準工具為代表的自頂向下的數據生成方式，轉而研究自底向上的數據生成方式，即根據抽取自原始數據集的特征來進行數據生成。

數據生成所研究的數據可以是圖數據、RDF數據或者是關系表，這取決于數據的存儲形式。在數據庫管理系統發展的過程中，相比于非關系型數據(圖數據、RDF數據等)，關系表一直是數據存儲的主要形式之一。因此，關系表的數據生成研究，對于幫助提高關系型數據庫的產品質量，促進數據管理產業健康有序發展具有十分重要的戰略意義和現實意義。

在針對關系表的數據生成研究中，主外鍵作為關系表中的核心，最先引起人們的關注，因而關系表主外鍵的數據生成研究也較為成熟；另一方面，作為關系表的重要組成部分，非鍵屬性擁有關系表中除關系以外的大部分有用信息，忽略非鍵屬性進行的數據生成只能保留關系表中的原始關系，卻難以保留關系表中數據本身的特征。因此，關系表非鍵屬性的數據生成研究具有十分重要的意義。由于非鍵屬性擁有屬性類型不確定、無完整性約束等特點，到目前為止，非鍵屬性的數據生成研究相對缺乏。

綜上所述，有關關系表非鍵屬性數據生成的研究在關系表數據生成、基準測試、科研工作、數據流通、數據脫敏等諸如領域具有重要的研究意義和應用價值。

發明內容

本發明的目的是克服現有技術存在的上述不足，提供一種關系表非鍵屬性數據生成的方法，并進一步提供一個關系表非鍵屬性數據生成的統一生成框架。通過該框架，用戶可以方便地將其應用于不同領域不同目的的關系表非鍵屬性的數據生成問題中。