[發(fā)明專利]一種基于區(qū)塊鏈和分布式存儲(chǔ)的大文本存儲(chǔ)、索引及檢索方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910142361.2
• 申請(qǐng)日: 2019-02-26
• 公開（公告）號(hào): CN109918375B
• 公開（公告）日: 2021-07-30
• 發(fā)明（設(shè)計(jì)）人: 黃步添;閆鳳喜;張維賽;徐啟源;石太彬;俞之貝
• 申請(qǐng)（專利權(quán)）人: 杭州云象網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號(hào): G06F16/22
• 分類號(hào): G06F16/22;G06F16/2458;G06Q40/04
• 代理公司: 杭州天勤知識(shí)產(chǎn)權(quán)代理有限公司 33224
• 代理人: 王琛

1.一種基于區(qū)塊鏈和分布式存儲(chǔ)的大文本存儲(chǔ)、索引及檢索方法，包括如下步驟：

(1)將大文本數(shù)據(jù)存儲(chǔ)到分布式存儲(chǔ)網(wǎng)絡(luò)中，分布式存儲(chǔ)網(wǎng)絡(luò)為大文本數(shù)據(jù)分配唯一標(biāo)識(shí)doc_id，并且通過doc_id對(duì)大文本的數(shù)據(jù)進(jìn)行尋址；

(2)對(duì)大文本數(shù)據(jù)進(jìn)行分詞處理，生成關(guān)鍵詞列表，并基于所有關(guān)鍵詞構(gòu)建關(guān)鍵詞倒排索引表keywords_index_table，使每個(gè)關(guān)鍵詞哈希keyword_hash指向大文本數(shù)據(jù)的唯一標(biāo)識(shí)doc_id；

(3)將索引表keywords_index_table存儲(chǔ)到分布式存儲(chǔ)網(wǎng)絡(luò)中，并將其唯一標(biāo)識(shí)keywords_index_table_id和索引表名稱keywords_index_table_name存儲(chǔ)到區(qū)塊鏈網(wǎng)絡(luò)中具體智能合約的數(shù)據(jù)結(jié)構(gòu)中；

(4)在智能合約中建立一種特殊的類型bigtext，通過該類型聲明的變量將會(huì)被映射為分布式存儲(chǔ)網(wǎng)絡(luò)中的相應(yīng)索引表keywords_index_table，其變量名稱與對(duì)應(yīng)索引表keywords_index_table綁定，且與變量相關(guān)的大文本數(shù)據(jù)一同被存入分布式存儲(chǔ)網(wǎng)絡(luò)中，并得到一個(gè)唯一標(biāo)識(shí)進(jìn)行尋址，同時(shí)大文本數(shù)據(jù)也會(huì)被構(gòu)建索引到索引表keywords_index_table中。

2.根據(jù)權(quán)利要求1所述的大文本存儲(chǔ)、索引及檢索方法，其特征在于：所述類型bigtext的變量名稱根據(jù)索引表keywords_index_table所滿足的功能進(jìn)行制定，且與索引表名稱keywords_index_table_name一致。

3.根據(jù)權(quán)利要求1所述的大文本存儲(chǔ)、索引及檢索方法，其特征在于：所述智能合約開放有寫入接口和檢索接口，寫入接口用于接受變量名稱及大文本數(shù)據(jù)，將對(duì)應(yīng)大文本數(shù)據(jù)存入分布式存儲(chǔ)系統(tǒng)并為其構(gòu)建索引表keywords_index_table；檢索接口用于接受變量名稱及關(guān)鍵詞，并返回符合條件的文檔列表。

4.根據(jù)權(quán)利要求3所述的大文本存儲(chǔ)、索引及檢索方法，其特征在于：所述步驟(2)通過以下兩個(gè)程序?qū)崿F(xiàn)：

分詞程序，用于對(duì)大文本數(shù)據(jù)進(jìn)行分詞處理，生成關(guān)鍵詞列表，并將關(guān)鍵詞列表傳遞給索引表構(gòu)建程序；

索引表構(gòu)建程序，用于對(duì)關(guān)鍵詞列表進(jìn)行哈希運(yùn)算，并基于關(guān)鍵詞哈希keyword_hash構(gòu)建關(guān)鍵詞倒排索引表keywords_index_table，使每個(gè)關(guān)鍵詞哈希keyword_hash指向大文本數(shù)據(jù)的唯一標(biāo)識(shí)doc_id。

5.根據(jù)權(quán)利要求4所述的大文本存儲(chǔ)、索引及檢索方法，其特征在于：所述智能合約寫入接口的具體功能實(shí)現(xiàn)過程如下：

1.1根據(jù)變量名稱，通過合約虛擬機(jī)的程序自動(dòng)查找到該變量名稱所關(guān)聯(lián)的索引表唯一標(biāo)識(shí)keywords_index_table_id，并通過該唯一標(biāo)識(shí)，從分布式文件系統(tǒng)中讀取對(duì)應(yīng)的索引表數(shù)據(jù)；

1.2自動(dòng)調(diào)用分詞程序?qū)Υ笪谋緮?shù)據(jù)進(jìn)行分詞，生成關(guān)鍵詞列表，并將關(guān)鍵詞列表傳遞給索引表構(gòu)建程序；

1.3自動(dòng)調(diào)用索引表構(gòu)建程序?qū)Υ笪谋緮?shù)據(jù)的關(guān)鍵詞列表進(jìn)行哈希運(yùn)算，并基于關(guān)鍵詞哈希keyword_hash構(gòu)建關(guān)鍵詞倒排索引表keywords_index_table，使關(guān)鍵詞哈希keyword_hash指向大文本數(shù)據(jù)的唯一標(biāo)識(shí)doc_id。

6.根據(jù)權(quán)利要求4所述的大文本存儲(chǔ)、索引及檢索方法，其特征在于：所述智能合約檢索接口的具體功能實(shí)現(xiàn)過程如下：

2.1根據(jù)變量名稱，通過合約虛擬機(jī)的程序自動(dòng)查找到該變量名稱所關(guān)聯(lián)的索引表唯一標(biāo)識(shí)keywords_index_table_id，并通過該唯一標(biāo)識(shí)，從分布式文件系統(tǒng)中讀取對(duì)應(yīng)的索引表數(shù)據(jù)；

2.2根據(jù)關(guān)鍵詞，計(jì)算關(guān)鍵詞哈希keyword_hash，并通過關(guān)鍵詞哈希keyword_hash搜索索引表keywords_index_table，獲取對(duì)應(yīng)的doc_id列表；然后，根據(jù)doc_id列表從分布式存儲(chǔ)網(wǎng)絡(luò)中讀取對(duì)應(yīng)的大文本數(shù)據(jù)，并返回給用戶，進(jìn)而對(duì)返回結(jié)果中每個(gè)大文本數(shù)據(jù)進(jìn)行針對(duì)關(guān)鍵詞的匹配度計(jì)算，所得的匹配度分?jǐn)?shù)用于對(duì)返回結(jié)果進(jìn)行排序。