[發(fā)明專利]建立索引的方法以及相關(guān)裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201810986041.0
• 申請(qǐng)日: 2018-08-27
• 公開（公告）號(hào): CN110866127A
• 公開（公告）日: 2020-03-06
• 發(fā)明（設(shè)計(jì)）人: 徐昀;陸元飛;彭超;潘鋒烽
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06F16/41
• 分類號(hào): G06F16/41;G06F16/43
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;熊永強(qiáng)

本申請(qǐng)公開了建立索引的方法以及相關(guān)裝置，其中，方法包括：確定待存儲(chǔ)至內(nèi)部存儲(chǔ)器的多個(gè)第一特征，所述多個(gè)第一特征屬于第一索引分組，所述第一特征被運(yùn)算處理器用于特征計(jì)算，所述第一特征為對(duì)多媒體數(shù)據(jù)進(jìn)行特征提取和/或處理得到的特征；將所述多個(gè)第一特征存儲(chǔ)至所述內(nèi)部存儲(chǔ)器，其中，所述多個(gè)第一特征連續(xù)存儲(chǔ)于內(nèi)部存儲(chǔ)器的第一存儲(chǔ)區(qū)域；建立所述第一存儲(chǔ)區(qū)域的地址索引信息，所述地址索引信息用于指示所述第一存儲(chǔ)區(qū)域在所述內(nèi)部存儲(chǔ)器中的地址；根據(jù)所述地址索引信息，將所述第一特征讀取至所述運(yùn)算處理器。本申請(qǐng)的技術(shù)方案，可以提高將特征讀取至運(yùn)算處理器的速度，從而提高運(yùn)算處理器的利用率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及建立索引的方法以及相關(guān)裝置。

背景技術(shù)

特征，是用于描述多媒體數(shù)據(jù)某一方面或多個(gè)方面的內(nèi)容屬性的數(shù)據(jù)。在利用特征進(jìn)行特征計(jì)算的場(chǎng)景中，由于不同的特征計(jì)算的算法所使用的數(shù)據(jù)格式、字段、字段類型、字段長(zhǎng)度等不同，需要對(duì)特征建立索引，以便在根據(jù)這些算法進(jìn)行特征計(jì)算時(shí)，可以根據(jù)索引調(diào)用與算法相關(guān)的特征。特征計(jì)算具體可以應(yīng)用于數(shù)據(jù)檢索場(chǎng)景、數(shù)據(jù)挖掘場(chǎng)景，等等。

特征計(jì)算由計(jì)算機(jī)的運(yùn)算處理器完成。由于運(yùn)算處理器的存儲(chǔ)空間有限，一般是將特征保存在計(jì)算機(jī)的內(nèi)部存儲(chǔ)器中，當(dāng)運(yùn)算處理器需要利用特征進(jìn)行特征計(jì)算時(shí)，再根據(jù)事先建立的索引將特征讀取至運(yùn)算處理器。目前，在利用特征進(jìn)行特征計(jì)算的場(chǎng)景中，一般是將特征以及與其對(duì)應(yīng)的輔助信息作為一個(gè)整體的特征存儲(chǔ)單元存儲(chǔ)在內(nèi)部存儲(chǔ)器中，然后將指向連續(xù)存儲(chǔ)有多個(gè)特征存儲(chǔ)單元的存儲(chǔ)區(qū)域的第一個(gè)存儲(chǔ)地址的指針作為該存儲(chǔ)區(qū)域的地址索引。這樣的問題在于：如果一次將內(nèi)部存儲(chǔ)器中的多個(gè)特征(如該存儲(chǔ)區(qū)域中的多個(gè)特征)讀取至運(yùn)算處理器，需要根據(jù)該指針指向的存儲(chǔ)地址和特征存儲(chǔ)單元對(duì)應(yīng)的存儲(chǔ)空間的長(zhǎng)度計(jì)算每個(gè)特征的存儲(chǔ)地址，然后使指針跳轉(zhuǎn)到各個(gè)特征的存儲(chǔ)地址才能將這多個(gè)特征讀取至運(yùn)算處理器中，涉及多次存儲(chǔ)地址的計(jì)算和多次指針跳轉(zhuǎn)，特征讀取至運(yùn)算處理器耗時(shí)較長(zhǎng)，不利于提高運(yùn)算處理器的利用率。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┙⑺饕姆椒ㄒ约跋嚓P(guān)裝置，解決特征讀取至運(yùn)算處理器耗時(shí)較長(zhǎng)而導(dǎo)致的運(yùn)算處理器利用率不高的問題。

第一方面，提供一種建立索引的方法，包括：

確定待存儲(chǔ)至內(nèi)部存儲(chǔ)器的多個(gè)第一特征，該多個(gè)第一特征均為第一索引分組的特征，第一特征為被運(yùn)算處理器用于特征計(jì)算的特征，第一特征為對(duì)多媒體數(shù)據(jù)進(jìn)行特征提取和/或處理得到的特征；將該多個(gè)第一特征存儲(chǔ)至內(nèi)部存儲(chǔ)器，其中，該多個(gè)第一特征連續(xù)存儲(chǔ)于內(nèi)部存儲(chǔ)器的第一存儲(chǔ)區(qū)域；建立第一存儲(chǔ)區(qū)域的地址索引信息，該地址索引信息用于指示第一存儲(chǔ)區(qū)域在內(nèi)部存儲(chǔ)器中的地址；根據(jù)第一存儲(chǔ)區(qū)域的地址索引信息，將第一區(qū)域存儲(chǔ)中存儲(chǔ)的第一特征讀取至運(yùn)算處理器。

在該技術(shù)方案中，通過屬于一個(gè)索引分組的第一特征連續(xù)存儲(chǔ)在內(nèi)部存儲(chǔ)器中并建立連續(xù)存儲(chǔ)該多個(gè)第一特征的存儲(chǔ)區(qū)域的地址索引信息，連續(xù)存儲(chǔ)的方式使得在將該索引分組的第一特征讀取至運(yùn)算處理器時(shí)，可以根據(jù)地址索引信息連續(xù)地將多個(gè)第一特征讀取至運(yùn)算處理器，不需要分別計(jì)算每個(gè)第一特征的存儲(chǔ)地址，也不需要進(jìn)行多次指針跳轉(zhuǎn)，減少了將多個(gè)第一特征讀取至運(yùn)算處理器的時(shí)間，提高了讀取的效率。

在一種可能的實(shí)施方式中，該待存儲(chǔ)至內(nèi)部存儲(chǔ)器的多個(gè)第一特征為當(dāng)前未存儲(chǔ)于內(nèi)部存儲(chǔ)器的特征。

在一種可能的實(shí)施方式中，該待存儲(chǔ)至內(nèi)部存儲(chǔ)器的多個(gè)第一特征為持久化存儲(chǔ)外部存儲(chǔ)器的特征。進(jìn)一步地，該待存儲(chǔ)至內(nèi)部存儲(chǔ)器的多個(gè)第一特征為以列存儲(chǔ)的方式持久化存儲(chǔ)于外部存儲(chǔ)器的特征。由于第一特征以列存儲(chǔ)的方式持久化存儲(chǔ)于外部存儲(chǔ)器中，在將該多個(gè)第一特征存儲(chǔ)至內(nèi)部存儲(chǔ)器時(shí)，可以連續(xù)地將多個(gè)第一特征存儲(chǔ)至內(nèi)部存儲(chǔ)器中，不需要對(duì)每個(gè)第一特征進(jìn)行尋址，減少了將多個(gè)第一特征存儲(chǔ)至內(nèi)部存儲(chǔ)器的時(shí)間，進(jìn)而可以減少在設(shè)備重啟階段將特征從外部存儲(chǔ)器讀取至運(yùn)算處理器的時(shí)間。

在一些可能的實(shí)施方式中，第一存儲(chǔ)區(qū)域的地址索引信息可以有以下幾種情況：