[發(fā)明專利]分布式數(shù)據(jù)處理方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201910173569.0
• 申請日: 2019-03-07
• 公開（公告）號: CN110046062B
• 公開（公告）日: 2021-03-19
• 發(fā)明（設(shè)計）人: 鄭軒;賈志忠;曲家朋;段和楓
• 申請（專利權(quán)）人: 佳都新太科技股份有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F16/27;G06F16/2455
• 代理公司: 北京澤方譽航專利代理事務(wù)所(普通合伙) 11884
• 代理人: 陳照輝

本發(fā)明實施例公開了一種分布式數(shù)據(jù)處理方法及系統(tǒng)，包括：元數(shù)據(jù)節(jié)點接收客戶端發(fā)送的檢索指令，元數(shù)據(jù)節(jié)點屬于元數(shù)據(jù)集群；元數(shù)據(jù)節(jié)點根據(jù)檢索指令將存儲的全部元數(shù)據(jù)反饋至客戶端，以使客戶端根據(jù)元數(shù)據(jù)選擇第一目標(biāo)數(shù)據(jù)節(jié)點并向第一目標(biāo)數(shù)據(jù)節(jié)點發(fā)送檢索請求，一組元數(shù)據(jù)對應(yīng)一個數(shù)據(jù)節(jié)點，多個數(shù)據(jù)節(jié)點組成一個數(shù)據(jù)節(jié)點組，全部數(shù)據(jù)節(jié)點組組成特征索引服務(wù)器集群，每個數(shù)據(jù)節(jié)點組存在一個第一目標(biāo)數(shù)據(jù)節(jié)點，數(shù)據(jù)節(jié)點組內(nèi)數(shù)據(jù)同步；第一目標(biāo)數(shù)據(jù)節(jié)點接收檢索請求并獲取其中的特征索引；第一目標(biāo)數(shù)據(jù)節(jié)點根據(jù)特征索引確定檢索數(shù)據(jù)并反饋至客戶端，以使客戶端根據(jù)檢索數(shù)據(jù)確定檢索結(jié)果。上述實現(xiàn)了在客戶端不存儲元數(shù)據(jù)的情況下進行快速檢索。

技術(shù)領(lǐng)域

本發(fā)明實施例涉及計算機技術(shù)領(lǐng)域，尤其涉及一種分布式數(shù)據(jù)處理方法及系統(tǒng)。

背景技術(shù)

隨著計算機技術(shù)的發(fā)展，各類領(lǐng)域越發(fā)依賴于計算機技術(shù)。例如，智能安防領(lǐng)域，通常采用各種電子設(shè)備，以聯(lián)網(wǎng)的方式組成安防系統(tǒng)。其中，攝像頭為安防領(lǐng)域中不可缺少的一部分。為了方便后續(xù)采證，通常設(shè)定由安防系統(tǒng)中處理器級的電子設(shè)備存儲攝像頭采集的畫面，并在用戶所使用的客戶端中存儲對應(yīng)的元數(shù)據(jù)，以便用戶通過元數(shù)據(jù)進行檢索。此時，存儲的數(shù)據(jù)只能達(dá)到磁盤級別的容錯，當(dāng)客戶端異常或損壞時，用戶將無法檢索保存的數(shù)據(jù)，這樣會給用戶造成無法彌補的損失。

發(fā)明內(nèi)容

本發(fā)明提供了一種分布式數(shù)據(jù)處理方法及系統(tǒng)，以實現(xiàn)在客戶端不存儲元數(shù)據(jù)的情況下，進行快速檢索。

第一方面，本發(fā)明實施例提供了一種分布式數(shù)據(jù)處理方法，包括：

元數(shù)據(jù)節(jié)點接收客戶端發(fā)送的檢索指令，所述元數(shù)據(jù)節(jié)點屬于元數(shù)據(jù)集群；

所述元數(shù)據(jù)節(jié)點根據(jù)檢索指令將存儲的全部元數(shù)據(jù)反饋至所述客戶端，以使所述客戶端根據(jù)所述元數(shù)據(jù)選擇第一目標(biāo)數(shù)據(jù)節(jié)點并向所述第一目標(biāo)數(shù)據(jù)節(jié)點發(fā)送檢索請求，一組元數(shù)據(jù)對應(yīng)一個數(shù)據(jù)節(jié)點，多個數(shù)據(jù)節(jié)點組成一個數(shù)據(jù)節(jié)點組，全部數(shù)據(jù)節(jié)點組組成特征索引服務(wù)器集群，每個數(shù)據(jù)節(jié)點組存在一個數(shù)據(jù)節(jié)點作為第一目標(biāo)數(shù)據(jù)節(jié)點，所述數(shù)據(jù)節(jié)點組內(nèi)數(shù)據(jù)同步；

所述第一目標(biāo)數(shù)據(jù)節(jié)點接收檢索請求，并獲取所述檢索請求中的特征索引；

所述第一目標(biāo)數(shù)據(jù)節(jié)點根據(jù)所述特征索引確定檢索數(shù)據(jù)，并將所述檢索數(shù)據(jù)反饋至所述客戶端，以使所述客戶端根據(jù)檢索數(shù)據(jù)確定檢索結(jié)果。

進一步的，所述第一目標(biāo)數(shù)據(jù)節(jié)點根據(jù)所述特征索引確定檢索數(shù)據(jù)包括：

所述第一目標(biāo)數(shù)據(jù)節(jié)點確定自身緩存管理器中是否存在與所述特征索引對應(yīng)的檢索數(shù)據(jù)；

若存在，則獲取所述檢索數(shù)據(jù)；

若不存在，則在自身存儲管理器中查找與所述特征索引對應(yīng)的檢索數(shù)據(jù)。

進一步的，所述特征索引包括特征數(shù)據(jù)，所述特征數(shù)據(jù)是對待檢索數(shù)據(jù)進行深度學(xué)習(xí)得到的。

進一步的，所述檢索數(shù)據(jù)包括數(shù)據(jù)唯一標(biāo)識和/或數(shù)據(jù)位置信息。

進一步的，所述數(shù)據(jù)節(jié)點組包括主數(shù)據(jù)節(jié)點和多個從數(shù)據(jù)節(jié)點，所述主數(shù)據(jù)節(jié)點用于控制所述數(shù)據(jù)節(jié)點組的數(shù)據(jù)同步。

進一步的，還包括：

所述元數(shù)據(jù)節(jié)點接收所述客戶端發(fā)送的寫入指令；

所述元數(shù)據(jù)節(jié)點根據(jù)所述寫入指令在全部數(shù)據(jù)節(jié)點內(nèi)確定第二目標(biāo)數(shù)據(jù)節(jié)點；

所述元數(shù)據(jù)節(jié)點將所述第二目標(biāo)數(shù)據(jù)節(jié)點的元數(shù)據(jù)反饋至所述客戶端，以使所述客戶端根據(jù)所述元數(shù)據(jù)向所述第二目標(biāo)數(shù)據(jù)節(jié)點發(fā)送寫入請求；

所述第二目標(biāo)數(shù)據(jù)節(jié)點接收所述寫入請求；

所述第二目標(biāo)數(shù)據(jù)節(jié)點根據(jù)所述寫入請求進行寫入響應(yīng)。