[發(fā)明專(zhuān)利]一種面向海洋環(huán)境數(shù)據(jù)的檢索方法、系統(tǒng)、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110786516.3
• 申請(qǐng)日: 2021-07-12
• 公開(kāi)（公告）號(hào): CN113535788A
• 公開(kāi)（公告）日: 2021-10-22
• 發(fā)明（設(shè)計(jì)）人: 黃磊;張?zhí)鞊?/a>;秦琦冰;王瑞學(xué);安辰;魏志強(qiáng)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)海洋大學(xué)
• 主分類(lèi)號(hào): G06F16/2457
• 分類(lèi)號(hào): G06F16/2457;G06F16/22;G06F16/242;G06F16/25
• 代理公司: 青島華慧澤專(zhuān)利代理事務(wù)所(普通合伙) 37247
• 代理人: 趙梅

本發(fā)明公開(kāi)了一種面向海洋環(huán)境數(shù)據(jù)的檢索方法、系統(tǒng)、設(shè)備及介質(zhì)，通過(guò)提取海洋環(huán)境數(shù)據(jù)關(guān)鍵詞，統(tǒng)一整合多源同義的變量，解決多源異構(gòu)的復(fù)雜數(shù)據(jù)出現(xiàn)相同含義的元素卻使用不同命名的差異問(wèn)題，通過(guò)構(gòu)建基于多信息融合的空間索引結(jié)構(gòu)和基于多關(guān)鍵詞的多層雙向B?Tree索引結(jié)構(gòu)，滿(mǎn)足復(fù)雜多樣的查詢(xún)需求，提高了海洋環(huán)境數(shù)據(jù)檢索的效率。

技術(shù)領(lǐng)域

本發(fā)明屬于信息檢索技術(shù)領(lǐng)域，涉及多信息融合和多關(guān)鍵詞索引檢索方法，具體涉及一種面向海洋環(huán)境數(shù)據(jù)的檢索方法、系統(tǒng)、設(shè)備及介質(zhì)。

背景技術(shù)

隨著海洋環(huán)境信息技術(shù)的不斷發(fā)展和探測(cè)設(shè)備的不斷升級(jí)，使得收集的海洋環(huán)境數(shù)據(jù)種類(lèi)不斷豐富的同時(shí)，數(shù)據(jù)量也呈爆炸式增長(zhǎng)。從海量的海洋環(huán)境數(shù)據(jù)中高效準(zhǔn)確地檢索用戶(hù)感興趣的數(shù)據(jù)為當(dāng)前工業(yè)界和學(xué)術(shù)屆關(guān)注的熱點(diǎn)問(wèn)題之一。海洋環(huán)境數(shù)據(jù)與普通的數(shù)據(jù)不同，具有多源異構(gòu)的特點(diǎn)：多源指海洋環(huán)境數(shù)據(jù)的來(lái)源眾多，異構(gòu)指數(shù)據(jù)存儲(chǔ)的類(lèi)型、結(jié)構(gòu)等不一致。不同的數(shù)據(jù)來(lái)源和多樣的采樣設(shè)備導(dǎo)致了復(fù)雜的海洋環(huán)境數(shù)據(jù)格式，如何有效的處理數(shù)據(jù)問(wèn)題，是解決海洋環(huán)境數(shù)據(jù)檢索問(wèn)題的關(guān)鍵。

傳統(tǒng)的基于詞頻的索引構(gòu)建及檢索方法在面對(duì)具有上述特點(diǎn)的海洋環(huán)境數(shù)據(jù)時(shí)，無(wú)法提取海洋環(huán)境數(shù)據(jù)的有效描述信息。在面對(duì)大規(guī)模的異構(gòu)數(shù)據(jù)時(shí)，可能無(wú)法讀取某些格式(如NetCDF)的數(shù)據(jù)內(nèi)容，即使讀取數(shù)據(jù)內(nèi)容后，也無(wú)法依靠詞頻的高低表明數(shù)據(jù)相關(guān)性的遠(yuǎn)近，不能將待檢索的關(guān)鍵詞和數(shù)據(jù)內(nèi)容相匹配。此外，不同數(shù)據(jù)源具有不同的資料集說(shuō)明，存在相同含義的海洋環(huán)境元素卻使用不同命名的差異問(wèn)題。面對(duì)上述問(wèn)題，基于文本詞頻的方法無(wú)法分析并整合同義詞，提取的大多是意義重復(fù)且無(wú)效的數(shù)據(jù)，很難確定文件對(duì)應(yīng)的關(guān)鍵詞。常見(jiàn)的基于文本詞頻的索引方式是通過(guò)分析詞語(yǔ)的出現(xiàn)的次數(shù)和統(tǒng)計(jì)出現(xiàn)的位置來(lái)構(gòu)建索引，無(wú)法獲取有效描述信息，因此不能適用于海洋環(huán)境數(shù)據(jù)檢索任務(wù)。

在真實(shí)場(chǎng)景下，不同的數(shù)據(jù)源由于獲取設(shè)備或者標(biāo)準(zhǔn)不一等問(wèn)題導(dǎo)致收集的數(shù)據(jù)質(zhì)量參差不齊，海洋環(huán)境自身包含的領(lǐng)域又寬泛，身處不同領(lǐng)域的使用者關(guān)注數(shù)據(jù)信息的側(cè)重方向千差萬(wàn)別，因此，使用現(xiàn)有的空間索引不能高效的查詢(xún)到用戶(hù)感興趣的海洋環(huán)境數(shù)據(jù)。

此外，由于海洋環(huán)境數(shù)據(jù)來(lái)源廣泛、數(shù)據(jù)體量大，存在構(gòu)建的索引結(jié)構(gòu)復(fù)雜、體系龐大，傳統(tǒng)多關(guān)鍵詞索引支持的檢索格式有限且檢索需求復(fù)雜多樣等問(wèn)題。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)存在的不足，本發(fā)明提供一種面向海洋環(huán)境數(shù)據(jù)的檢索方法、系統(tǒng)、設(shè)備及介質(zhì)，針對(duì)多源異構(gòu)的復(fù)雜數(shù)據(jù)出現(xiàn)相同含義的元素卻使用不同命名的差異問(wèn)題，設(shè)計(jì)海洋環(huán)境數(shù)據(jù)關(guān)鍵詞提取模塊及方法，能夠結(jié)合調(diào)研獲取的知識(shí)，統(tǒng)一整合多源同義的變量，確定文件對(duì)應(yīng)的關(guān)鍵詞；針對(duì)數(shù)據(jù)源的質(zhì)量參差不齊、不同領(lǐng)域關(guān)注信息的側(cè)重方向差異等問(wèn)題，設(shè)計(jì)基于多信息融合的空間索引結(jié)構(gòu)，通過(guò)在空間索引中融合數(shù)據(jù)源和數(shù)據(jù)領(lǐng)域等信息，滿(mǎn)足不同用戶(hù)基于自身特點(diǎn)的查詢(xún)需求；針對(duì)現(xiàn)有的索引結(jié)構(gòu)復(fù)雜且龐大、支持的檢索格式有限等問(wèn)題，設(shè)計(jì)一種基于多關(guān)鍵詞的多層雙向B-Tree索引結(jié)構(gòu)，提高了多關(guān)鍵詞檢索的多樣性，滿(mǎn)足復(fù)雜多樣的查詢(xún)需求。

為了解決上述技術(shù)問(wèn)題，本發(fā)明采用的技術(shù)方案是：

首先，本發(fā)明提供一種面向海洋環(huán)境數(shù)據(jù)的檢索方法，包括以下步驟：

S1、提取海洋環(huán)境數(shù)據(jù)關(guān)鍵詞：通過(guò)統(tǒng)計(jì)分析不同機(jī)構(gòu)海洋環(huán)境數(shù)據(jù)，結(jié)合打分排序算法確定文件對(duì)應(yīng)的關(guān)鍵詞，整合多源同義的變量，統(tǒng)一規(guī)范化不同機(jī)構(gòu)數(shù)據(jù)間的差異；然后提取對(duì)應(yīng)值，同時(shí)完成經(jīng)緯度區(qū)間、分辨率計(jì)算、不同時(shí)間格式轉(zhuǎn)換操作，并將海洋數(shù)據(jù)文件與所包含的關(guān)鍵詞及對(duì)應(yīng)值作為一條元數(shù)據(jù)存入庫(kù)中；

S2、構(gòu)建海洋環(huán)境數(shù)據(jù)索引：包括基于多信息融合的空間索引結(jié)構(gòu)和基于多關(guān)鍵詞的多層雙向B-Tree索引結(jié)構(gòu)兩部分，所述空間索引結(jié)構(gòu)中融合了步驟S1提取的海洋數(shù)據(jù)的屬性；所述的多層雙向B-Tree索引結(jié)構(gòu)是利用B-Tree結(jié)構(gòu)對(duì)步驟S1提取的海洋數(shù)據(jù)的屬性分層構(gòu)建單屬性索引樹(shù)，并通過(guò)指針雙向鏈接索引樹(shù)節(jié)點(diǎn)，實(shí)現(xiàn)節(jié)點(diǎn)間的連接關(guān)系，同時(shí)添加緩存索引表，存儲(chǔ)每一層索引樹(shù)根節(jié)點(diǎn)，實(shí)現(xiàn)兩種查找：一種是對(duì)于單個(gè)屬性的查找，另一種是多個(gè)屬性的匹配查找。