[發(fā)明專利]數(shù)據(jù)存儲(chǔ)方法和系統(tǒng)、電子設(shè)備、程序和介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201711229930.4
• 申請(qǐng)日: 2017-11-29
• 公開(kāi)（公告）號(hào): CN108228709B
• 公開(kāi)（公告）日: 2020-10-09
• 發(fā)明（設(shè)計(jì)）人: 陳宇恒;秦晨翀;莫濤;孟來(lái)俊
• 申請(qǐng)（專利權(quán)）人: 北京市商湯科技開(kāi)發(fā)有限公司
• 主分類(lèi)號(hào): G06F16/583
• 分類(lèi)號(hào): G06F16/583;G06F16/51
• 代理公司: 北京思源智匯知識(shí)產(chǎn)權(quán)代理有限公司 11657
• 代理人: 毛麗琴

本發(fā)明實(shí)施例公開(kāi)了一種數(shù)據(jù)存儲(chǔ)方法和系統(tǒng)、電子設(shè)備、程序和介質(zhì)，其中，方法包括：主分片管理器對(duì)特征隊(duì)列中的特征進(jìn)行分片；對(duì)于任一分片，主分片管理器將任一分片存儲(chǔ)到相應(yīng)的分片特征庫(kù)中，并在映射表中記錄任一分片與相應(yīng)的分片特征庫(kù)之間的映射關(guān)系；響應(yīng)于主分片管理器發(fā)生故障，至少一個(gè)從分片管理器共同選擇一個(gè)分片管理器作為新的主分片管理器；新的主分片管理器從所有分片特征庫(kù)獲取目前正在寫(xiě)入分片的分片信息，并根據(jù)所有分片特征庫(kù)目前正在寫(xiě)入分片的分片信息重新創(chuàng)建目前正在寫(xiě)入分片的映射關(guān)系。本發(fā)明實(shí)施例具備容錯(cuò)及自動(dòng)恢復(fù)能力，可以保證已入庫(kù)的征數(shù)據(jù)具備一致性。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)技術(shù)，尤其是一種數(shù)據(jù)存儲(chǔ)方法和系統(tǒng)、電子設(shè)備、程序和介質(zhì)。

背景技術(shù)

基于深度神經(jīng)網(wǎng)絡(luò)特征的大規(guī)模索引、搜索是計(jì)算機(jī)視覺(jué)以及智能視頻監(jiān)控領(lǐng)域的重要問(wèn)題。由于目前視頻監(jiān)控?cái)z像機(jī)捕捉的數(shù)據(jù)量已經(jīng)遠(yuǎn)超過(guò)單機(jī)系統(tǒng)的處理能力，通過(guò)對(duì)深度神經(jīng)網(wǎng)絡(luò)特征進(jìn)行多級(jí)壓縮，使用分布式圖形處理單元(GPU)集群對(duì)攝像機(jī)捕捉的數(shù)據(jù)進(jìn)行實(shí)時(shí)特征提取、入庫(kù)、按照時(shí)間區(qū)間和空間區(qū)域進(jìn)行搜索前若干個(gè)與待搜索目標(biāo)相似的數(shù)據(jù)成為了必要。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種數(shù)據(jù)存儲(chǔ)技術(shù)方案。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供的一種數(shù)據(jù)存儲(chǔ)方法，所述數(shù)據(jù)存儲(chǔ)方法應(yīng)用于數(shù)據(jù)存儲(chǔ)系統(tǒng)，所述數(shù)據(jù)存儲(chǔ)系統(tǒng)包括主分片管理器和至少一個(gè)從分片管理器，所述主分片管理器和所述至少一個(gè)從分片管理器之間相互通信連接，所述方法包括：

所述主分片管理器對(duì)特征隊(duì)列中的特征進(jìn)行分片；

對(duì)于任一分片，所述主分片管理器將所述任一分片存儲(chǔ)到相應(yīng)的分片特征庫(kù)中，并在映射表中記錄所述任一分片與所述相應(yīng)的分片特征庫(kù)之間的映射關(guān)系；

響應(yīng)于所述主分片管理器發(fā)生故障，所述至少一個(gè)從分片管理器共同選擇一個(gè)分片管理器作為新的主分片管理器；

所述新的主分片管理器從所有分片特征庫(kù)獲取目前正在寫(xiě)入分片的分片信息，并根據(jù)所有分片特征庫(kù)目前正在寫(xiě)入分片的分片信息重新創(chuàng)建目前正在寫(xiě)入分片的映射關(guān)系。

可選地，在本發(fā)明上述各方法實(shí)施例中，所述主分片管理器對(duì)特征隊(duì)列中的特征進(jìn)行分片，包括：

所述主分片管理器按照時(shí)間區(qū)間和空間區(qū)域?qū)λ鎏卣麝?duì)列中的特征進(jìn)行分片，將屬于同一時(shí)間區(qū)域和空間區(qū)域的特征劃分為一個(gè)分片。

可選地，在本發(fā)明上述各方法實(shí)施例中，所述主分片管理器按照時(shí)間區(qū)間和空間區(qū)域?qū)λ鎏卣麝?duì)列中的特征進(jìn)行分片，將屬于同一時(shí)間區(qū)域和空間區(qū)域的特征劃分為一個(gè)分片，包括：

所述主分片管理器從所述特征隊(duì)列中讀取一個(gè)特征及該特征的元信息，所述元信息包括時(shí)間戳和攝像機(jī)信息，所述攝像機(jī)信息包括攝像機(jī)所屬的區(qū)域標(biāo)識(shí)和攝像機(jī)標(biāo)識(shí)；

所述主分片管理器根據(jù)讀取的特征及該特征的元信息，將時(shí)間戳在預(yù)設(shè)時(shí)間區(qū)間、攝像機(jī)信息在同一個(gè)空間區(qū)域的特征劃分為一個(gè)分片。

可選地，在本發(fā)明上述各方法實(shí)施例中，所述主分片管理器將所述任一分片存儲(chǔ)到相應(yīng)的分片特征庫(kù)中，包括：

所述主分片管理器基于啟發(fā)式分配算法選擇存儲(chǔ)所述任一分片的分片特征庫(kù)，并將所述任一分片存儲(chǔ)到選擇的分片特征庫(kù)中。

可選地，在本發(fā)明上述各方法實(shí)施例中，所述主分片管理器基于啟發(fā)式分配算法選擇存儲(chǔ)所述任一分片的分片特征庫(kù)，包括：

所述主分片管理器從已有的至少一個(gè)分片特征庫(kù)中選擇一個(gè)被分配所述任一分片時(shí)，存儲(chǔ)量的大小小于預(yù)設(shè)閾值的分片特征庫(kù)，將所述任一分片分配到選擇的分片特征庫(kù)中；