[發(fā)明專(zhuān)利]一種基于區(qū)塊鏈和分布式存儲(chǔ)的大文本存儲(chǔ)、索引及檢索方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910142361.2
• 申請(qǐng)日: 2019-02-26
• 公開(kāi)（公告）號(hào): CN109918375B
• 公開(kāi)（公告）日: 2021-07-30
• 發(fā)明（設(shè)計(jì)）人: 黃步添;閆鳳喜;張維賽;徐啟源;石太彬;俞之貝
• 申請(qǐng)（專(zhuān)利權(quán)）人: 杭州云象網(wǎng)絡(luò)技術(shù)有限公司
• 主分類(lèi)號(hào): G06F16/22
• 分類(lèi)號(hào): G06F16/22;G06F16/2458;G06Q40/04
• 代理公司: 杭州天勤知識(shí)產(chǎn)權(quán)代理有限公司 33224
• 代理人: 王琛

本發(fā)明公開(kāi)了一種基于區(qū)塊鏈和分布式存儲(chǔ)的大文本存儲(chǔ)、索引及檢索方法，其首先將大文本數(shù)據(jù)存儲(chǔ)到分布式存儲(chǔ)網(wǎng)絡(luò)中，分布式存儲(chǔ)網(wǎng)絡(luò)為該大文本數(shù)據(jù)分配唯一標(biāo)識(shí)doc_id，并且通過(guò)doc_id對(duì)該大文本的數(shù)據(jù)進(jìn)行尋址，然后對(duì)大文本行分詞和檢索處理。本發(fā)明將區(qū)塊鏈智能合約技術(shù)與分布式存儲(chǔ)網(wǎng)絡(luò)技術(shù)結(jié)合起來(lái)，能夠?qū)崿F(xiàn)在區(qū)塊鏈上低成本地進(jìn)行大文本數(shù)據(jù)存儲(chǔ)，并且快速精準(zhǔn)地進(jìn)行內(nèi)容檢索，使需要大文本數(shù)據(jù)的DAPP在技術(shù)上成為了可能，在成本上降低了門(mén)檻。

技術(shù)領(lǐng)域

本發(fā)明屬于智能合約與區(qū)塊鏈數(shù)據(jù)存儲(chǔ)技術(shù)領(lǐng)域，具體涉及一種基于區(qū)塊鏈和分布式存儲(chǔ)的大文本存儲(chǔ)、索引及檢索方法。

背景技術(shù)

一般說(shuō)來(lái)，區(qū)塊鏈網(wǎng)絡(luò)由數(shù)據(jù)層、網(wǎng)絡(luò)層、共識(shí)層、激勵(lì)層、合約層和應(yīng)用層組成。其中，數(shù)據(jù)層封裝了底層數(shù)據(jù)區(qū)塊以及相關(guān)的數(shù)據(jù)加密和時(shí)間戳等技術(shù)；網(wǎng)絡(luò)層則包括分布式組網(wǎng)機(jī)制、數(shù)據(jù)傳播機(jī)制和數(shù)據(jù)驗(yàn)證機(jī)制等；共識(shí)層主要封裝網(wǎng)絡(luò)節(jié)點(diǎn)的各類(lèi)共識(shí)算法；激勵(lì)層將經(jīng)濟(jì)因素集成到區(qū)塊鏈技術(shù)體系中來(lái)，主要包括經(jīng)濟(jì)激勵(lì)的發(fā)行機(jī)制和分配機(jī)制等；合約層主要封裝各類(lèi)腳本、算法和智能合約，是區(qū)塊鏈可編程特性的基礎(chǔ)；應(yīng)用層則封裝了區(qū)塊鏈的各種應(yīng)用場(chǎng)景和案例。基于時(shí)間戳的鏈?zhǔn)絽^(qū)塊結(jié)構(gòu)、分布式節(jié)點(diǎn)的共識(shí)機(jī)制、基于共識(shí)算力的經(jīng)濟(jì)激勵(lì)和靈活可編程的智能合約是區(qū)塊鏈技術(shù)最具代表性的創(chuàng)新點(diǎn)。在此基礎(chǔ)上，可以將交易數(shù)據(jù)存儲(chǔ)在不可篡改的區(qū)塊中，并將區(qū)塊按照時(shí)間順序串連形成區(qū)塊鏈，通過(guò)非對(duì)稱(chēng)加密簽名保證交易的安全，通過(guò)常見(jiàn)的POW或POS等共識(shí)算法，使整個(gè)網(wǎng)絡(luò)達(dá)成一致，通過(guò)P2P技術(shù)實(shí)現(xiàn)消息的傳輸與數(shù)據(jù)的同步。該技術(shù)的優(yōu)勢(shì)是具有防篡改、透明及去中心化等特性，可以在一個(gè)缺乏信任的網(wǎng)絡(luò)中實(shí)現(xiàn)安全交易和數(shù)字資產(chǎn)保護(hù)。

比特幣發(fā)布之后，其和法定貨幣相比，沒(méi)有一個(gè)集中的發(fā)行方，而是由網(wǎng)絡(luò)節(jié)點(diǎn)的計(jì)算生成，誰(shuí)都有可能參與制造比特幣，而且可以全世界流通，其背后的區(qū)塊鏈技術(shù)就迅速得到了人們的認(rèn)同，并得到了快速的發(fā)展，之后由第二代區(qū)塊鏈技術(shù)以太坊發(fā)揚(yáng)光大。以太坊為區(qū)塊鏈引入了圖靈完備的編程框架“智能合約”，以太坊是一個(gè)平臺(tái)和一種編程語(yǔ)言，使開(kāi)發(fā)人員能夠建立和發(fā)布下一代分布式應(yīng)用，以太坊可以用來(lái)編程、分散、擔(dān)保和交易任何事物如投票、域名、金融交易所、眾籌、公司管理、合同和大部分的協(xié)議、知識(shí)產(chǎn)權(quán)，還有得益于硬件集成的智能資產(chǎn)，使人們可以基于它在區(qū)塊鏈上運(yùn)行分布式應(yīng)用DAPP，使區(qū)塊鏈的行業(yè)落地成為可能，進(jìn)一步激發(fā)了區(qū)塊鏈技術(shù)的繁榮。

傳統(tǒng)的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用集中的存儲(chǔ)服務(wù)器存放所有數(shù)據(jù)，存儲(chǔ)服務(wù)器成為系統(tǒng)性能的瓶頸，也是可靠性和安全性的焦點(diǎn)，不能滿(mǎn)足大規(guī)模存儲(chǔ)應(yīng)用的需要。分布式網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷，利用位置服務(wù)器定位存儲(chǔ)信息，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴(kuò)展。并且，分布式存儲(chǔ)網(wǎng)絡(luò)是一種基于p2p技術(shù)的分布式文件系統(tǒng)，可以將文件分片之后，分發(fā)到p2p網(wǎng)絡(luò)的節(jié)點(diǎn)上進(jìn)行分布式存儲(chǔ)，相對(duì)于傳統(tǒng)的中心化存儲(chǔ)系統(tǒng)，具有安全性高，存取速度快，成本低等優(yōu)點(diǎn)。

在區(qū)塊鏈上開(kāi)發(fā)DAPP的時(shí)候，出于業(yè)務(wù)需要，我們需要在智能合約中存儲(chǔ)各種形式的數(shù)據(jù)，但是其存儲(chǔ)成本是很高的，需要大量的手續(xù)費(fèi)，只適合存儲(chǔ)一些關(guān)鍵的小量數(shù)據(jù)，非常不適合大規(guī)模的數(shù)據(jù)存儲(chǔ)，這無(wú)疑不利于區(qū)塊鏈的大規(guī)模應(yīng)用。例如對(duì)于新聞媒體、電子合同等需要存儲(chǔ)大量大文本的應(yīng)用來(lái)說(shuō)，昂貴的存儲(chǔ)成本將使其難以上鏈。

另外，對(duì)于鏈上大文本數(shù)據(jù)來(lái)說(shuō)，大文本(或大二進(jìn)制)數(shù)據(jù)的存儲(chǔ)操作具有一定的特殊性，主要體現(xiàn)在以下三個(gè)方面：一是大文本對(duì)象不能用一般的字符串函數(shù)進(jìn)行操作，只能用PowerBuilder提供的BLOB編輯函數(shù)操作；二是由于所要操縱的文本對(duì)象過(guò)大，需要編制輸出輸入函數(shù)(或過(guò)程)進(jìn)行預(yù)先處理；三是存儲(chǔ)BLOB記錄對(duì)事務(wù)對(duì)象有特定的要求，數(shù)據(jù)的檢索也是一個(gè)難題，很難根據(jù)用戶(hù)意圖獲取到準(zhǔn)確的數(shù)據(jù)，而數(shù)據(jù)的獲取是應(yīng)用中一個(gè)最基本的需求。

發(fā)明內(nèi)容