[發明專利]圖像序列融合的方法及設備

在審

• 申請號: 202011165963.9
• 申請日: 2020-10-27
• 公開（公告）號: CN112232261A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 趙佳男
• 申請（專利權）人: 上海眼控科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海百一領御專利代理事務所(普通合伙) 31243
• 代理人: 王奎宇;甘章乖

1.一種圖像序列融合的方法，其中，該方法包括：

對圖像序列進行特征提取，確定所述圖像序列對應的特征張量；

對所述特征張量進行仿射變換，確定所述圖像序列對應的矢量化張量；

將所述矢量化張量輸入特征融合算法，獲取所述圖像序列對應的融合向量，其中，所述特征融合算法以迭代方式從膠囊神經網絡的下層矢量神經元中動態選擇若干重要矢量神經元組合為所述膠囊神經網絡的上層矢量神經元。

2.根據權利要求1所述的方法，其中，對圖像序列進行特征提取，確定所述圖像序列對應的特征張量，包括：

通過卷積神經網絡提取圖像序列S中圖像對應的特征向量，其中，所述特征向量的維度為C，所述圖像序列S表示為[x₁，x₂，…，x_i，…x_T]，x_i為S中第i張圖像，T為圖像數量；

將多張圖像對應的特征向量組合為二維矩陣，其中，所述二維矩陣的維度為(C，T)；

根據所述二維矩陣和批量輸入的圖像數量B，確定所述圖像序列對應的特征張量，其中，所述特征張量的維度為(B，C，T)。

3.根據權利要求1所述的方法，其中，對所述特征張量進行仿射變換，確定所述圖像序列對應的矢量化張量，包括：

根據預設維度和復制次數對所述特征張量進行復制，并將得到的多個復制特征張量合并為第一中間張量，其中，所述第一中間張量的維度為(B，C，N_next，T)，N_next為所述膠囊神經網絡中下層矢量神經元數量；

對所述第一中間張量進行維度擴展，獲取擴展后的第二中間張量，其中，所述第二中間張量的維度為(B，C，N_next，T，1)；

根據所述第一中間張量獲取仿射變換張量，其中，所述仿射變換張量的維度為(B，C，N_next，D_next，T)，D_next為所述膠囊神經網絡中下層矢量神經元的維度；

將所述第二中間張量與所述仿射變換張量進行矩陣相乘，獲取矩陣相乘結果張量，其中，所述矩陣相乘結果張量的維度為(B，C，N_next，D_next，1)；

對所述矩陣相乘結果張量進行維度壓縮，將壓縮后的張量確定為所述圖像序列對應的矢量化張量，其中，所述矢量化張量的維度為(B，C，N_next，D_next)。

4.根據權利要求3所述的方法，其中，根據預設維度和復制次數對所述特征張量進行復制，并將得到的多個復制特征張量合并為第一中間張量，包括：

將所述特征張量沿著第三個維度復制N_next次，將得到的N_next個復制特征張量拼接成為第一中間張量。

5.根據權利要求3所述的方法，其中，將所述第二中間張量與所述仿射變換張量進行矩陣相乘，獲取矩陣相乘結果張量，包括：

將所述第二中間張量與所述仿射變換張量按照第四個和第五個維度做矩陣乘法，獲取矩陣相乘結果張量，表示為如下公式：

(B，C，N_next，D_next，T)·(B，C，N_next，T，1)＝(B，C，N_next，D_next，1)。

6.根據權利要求1所述的方法，其中，所述特征融合算法包括EMRA算法。