[發(fā)明專利]一種基于三維表結(jié)構(gòu)的數(shù)據(jù)關(guān)聯(lián)存取方法及應(yīng)用

有效

• 申請?zhí)枺?/td>: 201710229168.3
• 申請日: 2017-04-10
• 公開（公告）號: CN107066573B
• 公開（公告）日: 2020-04-17
• 發(fā)明（設(shè)計）人: 陳誼;董禹;田帥;孫悅紅
• 申請（專利權(quán)）人: 北京工商大學(xué)
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/22;G06F16/2455;G06Q50/02;G06F12/1009
• 代理公司: 北京萬象新悅知識產(chǎn)權(quán)代理有限公司 11360
• 代理人: 蘇愛華

1.一種基于三維表結(jié)構(gòu)的數(shù)據(jù)關(guān)聯(lián)存取方法，用于實現(xiàn)管理系統(tǒng)的高效數(shù)據(jù)存取訪問操作；所述數(shù)據(jù)關(guān)聯(lián)存取方法針對管理系統(tǒng)的存儲設(shè)備，在常規(guī)存儲空間之外另外再設(shè)計兩層存儲空間，分別為低級存儲空間和高級存儲空間，用于存儲Hash表和使用Hash映射函數(shù)計算映射的數(shù)據(jù)；用戶發(fā)出查詢請求時，所述數(shù)據(jù)關(guān)聯(lián)存取方法對用戶發(fā)出的請求進行解析，再通過對多個數(shù)據(jù)庫表進行關(guān)聯(lián)操作，實現(xiàn)查詢讀取操作或查詢存儲操作，由此實現(xiàn)管理系統(tǒng)對數(shù)據(jù)的高效訪問；所述查詢讀取操作是指針對用戶查詢時進行的讀取操作；所述查詢存儲操作是指為用戶后一次查詢讀取進行數(shù)據(jù)準備的Hash映射預(yù)存儲操作；當(dāng)用戶操作是第一次查詢時，先進行查詢讀取操作，再進行查詢存儲操作；當(dāng)用戶操作不是第一次查詢時，則根據(jù)之前的一次或多次查詢時的預(yù)存儲操作結(jié)果進行數(shù)據(jù)的查詢讀取操作，若存儲設(shè)備的當(dāng)前存儲空間中未完全包含本次要查詢的數(shù)據(jù)，則對當(dāng)次查詢數(shù)據(jù)進行預(yù)存儲操作；具體包括如下步驟：

1)在存儲設(shè)備中除常規(guī)存儲空間之外，申請兩級存儲空間，分別為低級存儲空間和高級存儲空間，分別用于存儲Hash表和使用Hash映射函數(shù)計算映射的數(shù)據(jù)；

2)建立結(jié)構(gòu)相同的兩個三維表并進行初始化，分別為正式三維表和臨時三維表；所述三維表結(jié)構(gòu)中，X軸為數(shù)據(jù)的各個屬性，Y軸為逐行數(shù)據(jù)記錄，Z軸為查詢結(jié)果存儲次數(shù)；所述三維表可用于統(tǒng)計用戶多次查詢數(shù)據(jù)的重疊部分；所述三維表結(jié)構(gòu)可在X軸和Y軸方向進行拓展，可用于存儲關(guān)聯(lián)數(shù)據(jù)；設(shè)置三維表中數(shù)據(jù)重疊頻次的頻次閾值，根據(jù)頻次閾值，將低級存儲空間中的數(shù)據(jù)經(jīng)Hash映射后寫入高級存儲空間中；

3)定義Hash映射函數(shù)，用于計算數(shù)據(jù)映射地址；用戶每一次查詢時，系統(tǒng)根據(jù)用戶輸入的查詢條件，對常規(guī)存儲空間中的數(shù)據(jù)庫進行查詢而得到數(shù)據(jù)結(jié)果；將每一次查詢的數(shù)據(jù)結(jié)果存儲到臨時三維表中，所述臨時三維表存儲用戶多次查詢的數(shù)據(jù)集取并集的結(jié)果；將臨時三維表中的各個數(shù)據(jù)使用上述Hash映射函數(shù)計算得到數(shù)據(jù)映射地址，作為存儲地址；并根據(jù)計算所得地址將正式三維表中的數(shù)據(jù)和Hash表一同存儲在低級存儲空間中；所述Hash表存儲了所述查詢的查詢條件和所述數(shù)據(jù)映射地址；

4)統(tǒng)計三維表中數(shù)據(jù)重疊頻次，當(dāng)所述重疊頻次超過所述頻次閾值，將超過所述頻次閾值的低級存儲空間正式三維表中的部分數(shù)據(jù)，按照步驟3)所述Hash映射函數(shù)再次計算得到新映射地址，更新得到新的Hash表，并根據(jù)新映射地址將所述正式三維表和所述新的Hash表存儲到高級存儲空間中；結(jié)束查詢存儲過程；

5)設(shè)置定時清空高級存儲空間和低級存儲空間數(shù)據(jù)的生命周期變量；系統(tǒng)在運行時，當(dāng)時間達到生命周期變量時，系統(tǒng)自動按照高、低的順序，逐步清空高級存儲空間和低級存儲空間中存儲的Hash表和正式三維表數(shù)據(jù)；

6)查詢讀取時，先根據(jù)高級存儲空間的Hash表查找，若查找結(jié)果集未包含或未完全包含應(yīng)有的數(shù)據(jù)集，則再根據(jù)低級存儲空間的Hash表進行查找；若仍查找不到，再到常規(guī)存儲空間中查找，同時運行步驟3)～4)的存儲過程。

2.如權(quán)利要求1所述數(shù)據(jù)關(guān)聯(lián)存取方法，其特征是，所述頻次閾值V為大于2的正整數(shù)。

3.如權(quán)利要求2所述數(shù)據(jù)關(guān)聯(lián)存取方法，其特征是，所述頻次閾值V取值為5～20的正整數(shù)。

4.如權(quán)利要求1所述數(shù)據(jù)關(guān)聯(lián)存取方法，其特征是，所述Hash映射函數(shù)定義為：

F_(x)＝(x² div 10^P)mod 10^Q

其中，Q為二進制數(shù)x的位數(shù)，P為中間數(shù)字所在的位數(shù)，即P＝Q div 2，使用平方取中法，從二進制中間取P位，即為映射結(jié)果F(x)；若二進制數(shù)x過短，則不取中，取所有位數(shù)。

5.如權(quán)利要求1～4任一項所述數(shù)據(jù)關(guān)聯(lián)存取方法，將所述數(shù)據(jù)關(guān)聯(lián)存取方法應(yīng)用于多個國家或地區(qū)農(nóng)藥殘留限量MRL標準數(shù)據(jù)管理系統(tǒng)進行數(shù)據(jù)關(guān)聯(lián)存取，在常規(guī)存儲空間之外設(shè)置低級和高級兩層存儲空間，設(shè)置頻次閾值和Hash映射函數(shù)，構(gòu)建食品安全信息的三維表結(jié)構(gòu)，用于Hash映射存儲過程；包括如下步驟：

將用戶針對農(nóng)藥、農(nóng)產(chǎn)品或MRL標準信息的首次查詢請求，拆分成數(shù)據(jù)庫中農(nóng)藥表、農(nóng)產(chǎn)品表和各國家和地區(qū)MRL標準表的多表關(guān)聯(lián)操作；

進行Hash映射存儲過程：將查詢的結(jié)果依次使用Hash映射函數(shù)映射存儲到低級存儲空間中的三維表；統(tǒng)計各項重疊的頻次，針對超過所述設(shè)置頻次閾值的數(shù)據(jù)，使用Hash映射函數(shù)再次映射到高級存儲空間的三維表中；

針對用戶發(fā)起第二次之后的讀取查詢操作，首先到高級存儲空間中的三維表中查詢，若無數(shù)據(jù)或未查詢完全，則到低級存儲空間中的三維表中查詢；若再無數(shù)據(jù)或未查詢完全，則到常規(guī)存儲空間中查詢，同時進行上述Hash映射存儲過程；

由此實現(xiàn)對農(nóng)藥信息、農(nóng)產(chǎn)品信息、多個國家或地區(qū)農(nóng)藥殘留最大限量MRL標準信息多個關(guān)聯(lián)表數(shù)據(jù)的高效存取訪問管理。