[發明專利]一種環境辨別方法、系統、設備及存儲介質

有效

• 申請號: 202110437611.2
• 申請日: 2021-04-22
• 公開（公告）號: CN113128415B
• 公開（公告）日: 2023-09-29
• 發明（設計）人: 沈奧;韓知淵;衛星;趙沖;陸陽;葛久松;帥競賢;康旭;侯寶華;李航
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/44;G06V10/764;G06V10/80;G06F16/35;G06N3/048;G06N3/08
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 林凡燕

1.一種環境辨別方法，其特征在于，應用于盲人導航領域，包括：

在采集到環境問題時，實時采集一預設時長的環境視頻；

根據所述環境視頻中每一幀的環境圖像，處理得到環境圖像特征，并提取所述環境問題的語義特征，處理得到問題文本特征；

將所述環境圖像特征和所述問題文本特征進行加權融合，得到融合特征；

將所述融合特征作為環境辨別模型的輸入，所述環境辨別模型根據所述融合特征，采用對應的激活函數和損失函數，處理得到預測答案并輸出，作為環境辨別的結果；

其中，所述根據所述環境視頻中每一幀的環境圖像，處理得到環境圖像特征的步驟包括：

根據所述環境視頻中每一幀的環境圖像，處理得到環境圖像動態特征和環境圖像靜態特征；

采用如下公式將所述環境圖像動態特征和所述環境圖像靜態特征進行拼接，以得到所述環境圖像特征：

其中：

Z_concat為所述環境圖像特征；

X_i為所述環境圖像中第i幀的所述環境圖像動態特征；

Y_i為所述環境圖像中第i幀的所述環境圖像靜態特征；

K為拼接參數；

C為所述環境圖像總的幀數；

所述將所述融合特征作為環境辨別模型的輸入，所述環境辨別模型根據所述融合特征，采用對應的激活函數和損失函數，處理得到預測答案并輸出，作為環境辨別的結果的步驟包括：

將所述融合特征輸入至所述環境辨別模型；

所述環境辨別模型進行所述融合特征的判斷；

根據判斷的結果，所述環境辨別模型采用對應的激活函數和損失函數進行預測，得到所述預測答案并輸出，作為環境辨別的結果；

所述根據判斷的結果，所述環境辨別模型采用對應的激活函數和損失函數進行預測，得到所述預測答案并輸出，作為環境辨別的結果的步驟包括：

當判斷的結果為所述融合特征中包含多分類問題時，采用softmax激活函數和交叉熵損失函數進行預測，得到所述預測答案；

當判斷的結果為所述融合特征中包含多標簽問題時，采用sigmod激活函數和交叉熵損失函數進行預測，得到所述預測答案；

當判斷的結果為所述融合特征中包含回歸問題時，采用sigmod激活函數和MES損失函數進行預測，得到所述預測答案。

2.根據權利要求1所述的環境辨別方法，其特征在于，所述環境問題包括多分類問題、多標簽問題和回歸問題中的至少一種。

3.根據權利要求1所述的環境辨別方法，其特征在于，所述提取所述環境問題的語義特征，處理得到問題文本特征的步驟包括：

根據所述環境問題，處理得到問題文本特征向量；

提取所述問題文本特征向量的語義特征，作為所述問題文本特征。

4.根據權利要求1所述的環境辨別方法，其特征在于，所述將所述環境圖像特征和所述問題文本特征進行加權融合，得到融合特征的步驟包括：

采用如下公式將所述環境圖像特征和所述問題文本特征進行加權處理：

其中：

V為多幀環境圖像中的環境圖像特征；Q為問題文本特征；為加權后的所述問題文本特征；為加權后的所述環境圖像特征；為所述環境圖像的第i個子空間的問題文本特征；為所述環境圖像的第i個子空間的環境圖像特征；

將加權后的所述環境圖像特征和所述問題文本特征分別連接至神經網絡，并進行點乘處理，以實現融合，得到所述融合特征。