[發(fā)明專利]基于目標(biāo)追蹤加速的邊云協(xié)同深度學(xué)習(xí)目標(biāo)檢測方法

在審

• 申請?zhí)枺?/td>: 202110091011.5
• 申請日: 2021-01-22
• 公開（公告）號: CN112817755A
• 公開（公告）日: 2021-05-18
• 發(fā)明（設(shè)計(jì)）人: 楊樹森;趙鵬;郭思言;高遠(yuǎn)方;王歸秦;趙聰;賈根龍
• 申請（專利權(quán)）人: 西安交通大學(xué)
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06K9/00;G06K9/20;G06K9/32;G06K9/62;G06N3/063;G06N3/08;G06T7/246
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 王艾華

1.基于目標(biāo)追蹤加速的邊云協(xié)同深度學(xué)習(xí)目標(biāo)檢測方法，其特征在于，用于分類模型訓(xùn)練的數(shù)據(jù)先在邊緣節(jié)點(diǎn)中進(jìn)行特征圖提取，通過對比相似度，確定特征圖是進(jìn)行目標(biāo)檢測或追蹤，包括選擇器，檢測器，追蹤器三個(gè)階段：

階段一：

1)利用邊緣節(jié)點(diǎn)上的終端數(shù)據(jù)，使用深度學(xué)習(xí)中的卷積網(wǎng)絡(luò)，提取特征圖，通過使用自適應(yīng)的關(guān)鍵幀選取算法實(shí)現(xiàn)選擇器功能；

2)在稀疏處理視頻時(shí)，有多種啟發(fā)式方法來選擇關(guān)鍵幀，然而，考慮到視頻幀間的時(shí)間語義信息變化，當(dāng)前幀和最后一個(gè)關(guān)鍵幀之間的內(nèi)容有重大差異時(shí)才應(yīng)被選擇為關(guān)鍵幀，即自適應(yīng)的關(guān)鍵幀選取算法；

3)將選中的關(guān)鍵幀，經(jīng)過邊云間的通信網(wǎng)絡(luò)，由邊緣端上傳到云端，在云端進(jìn)行處理，為第二階段進(jìn)行準(zhǔn)備；將非關(guān)鍵幀繼續(xù)留在邊緣設(shè)備，為第三階段進(jìn)行準(zhǔn)備；

階段二：

4)云端匯聚邊緣端的數(shù)據(jù)，由檢測網(wǎng)絡(luò)的剩余部分對其進(jìn)行處理，這里需采用高精度的檢測算法進(jìn)行目標(biāo)檢測；

5)檢測算法作為目標(biāo)檢測的部分，主要關(guān)注特定的物體目標(biāo)，要求同時(shí)獲得這一目標(biāo)的類別信息和位置信息，即從背景中分離出感興趣的目標(biāo)，并確定這一目標(biāo)的描述類別和位置，因而，檢測模型的輸出是一個(gè)列表，列表的每一項(xiàng)使用一個(gè)數(shù)據(jù)組給出檢出目標(biāo)的類別和位置，常用矩形檢測框的坐標(biāo)表示；

6)從云返回檢測結(jié)果，包括當(dāng)前幀邊界框和類別預(yù)測，在第二階段的最后，更新關(guān)鍵幀和目標(biāo)的位置，經(jīng)過邊云間的通信網(wǎng)絡(luò)，由云端上傳到邊緣端，這將是第三階段所需要的；

階段三：

7)對于第二階段傳輸?shù)慕Y(jié)果，利用第二階段獲取的目標(biāo)位置信息裁剪更新后的關(guān)鍵幀，得到只包含目標(biāo)對象的圖像，這就是新的結(jié)果，然后將這個(gè)結(jié)果和當(dāng)前幀也是一個(gè)非關(guān)鍵幀傳入到Siamese-RPN網(wǎng)絡(luò)，獲取當(dāng)前幀中對象的坐標(biāo)，并從檢測器繼承分類結(jié)果；

8)對于第一階段判斷出的非關(guān)鍵幀采用孿生網(wǎng)絡(luò)，一種重量輕和有效的方法，用于跟蹤從第二階段獲得的更新后的結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于目標(biāo)追蹤加速的邊云協(xié)同深度學(xué)習(xí)目標(biāo)檢測方法，其特征在于，步驟1)的具體操作為：利用邊緣節(jié)點(diǎn)上匯聚的終端數(shù)據(jù)，在這里使用ImageNet vid數(shù)據(jù)集的視頻數(shù)據(jù)，對于每個(gè)視頻幀{I_i}，通過以下步驟生成一個(gè)該幀的表示向量:

a.將圖像調(diào)整到較小的尺寸，雖然d-Hash通常將圖像大小調(diào)整為9*8，但使用更大的尺寸是因?yàn)榉直媛矢撸@有利于細(xì)粒度的比較，在細(xì)粒度的比較中，連貫視頻幀中的信息變化很小；

b.灰度化圖像，為了簡化信息需要將RGB轉(zhuǎn)換為0到255之間的整數(shù)值；

c.生成相應(yīng)的表示向量，對于當(dāng)前幀，位置p處的d-Hash索引表示為D(p)＝(D₀(p)，D₁(p)，…，D₇(p))，如果位置p的顏色強(qiáng)度強(qiáng)于相鄰位置(上、下、左、右、左上、右上、左下、下)，則設(shè)置它的分量D_k(p)＝1(k＝0,1,2,...7)，因此，對于每個(gè)位置p將得到一個(gè)8位向量V(p)，并將它們?nèi)颗帕谐梢粋€(gè)二進(jìn)制表示向量V。

3.根據(jù)權(quán)利要求1所述的基于目標(biāo)追蹤加速的邊云協(xié)同深度學(xué)習(xí)目標(biāo)檢測方法，其特征在于，步驟2)的具體操作為：適應(yīng)關(guān)鍵幀選擇算法選取關(guān)鍵幀，通過計(jì)算最后一個(gè)關(guān)鍵幀I_key和當(dāng)前幀I_i對應(yīng)的向量V之間的Hamming distance d(x，y)，得到一個(gè)對于每個(gè)不同位置的p值：

其中，表示關(guān)鍵幀在p位置的d-hash索引，而H(p)反映不同的程度，該值越高，兩個(gè)幀越不相似。通過設(shè)置閾值τ和δ來設(shè)計(jì)關(guān)鍵幀的鑒別:

4.根據(jù)權(quán)利要求1所述的基于目標(biāo)追蹤加速的邊云協(xié)同深度學(xué)習(xí)目標(biāo)檢測方法，其特征在于，步驟3)的具體操作為：將選中的關(guān)鍵幀，經(jīng)過邊云間的通信網(wǎng)絡(luò)，由邊緣端上傳到云端，在云端進(jìn)行檢測處理；將非關(guān)鍵幀繼續(xù)留在邊緣設(shè)備，進(jìn)行追蹤檢測。