[發(fā)明專利]多模態(tài)數(shù)據(jù)采集與標(biāo)注方法、裝置、計(jì)算機(jī)設(shè)備

在審

• 申請?zhí)枺?/td>: 202310431207.3
• 申請日: 2023-04-20
• 公開（公告）號: CN116541689A
• 公開（公告）日: 2023-08-04
• 發(fā)明（設(shè)計(jì)）人: 羅建楨;萬子龍;蔡君
• 申請（專利權(quán)）人: 廣東技術(shù)師范大學(xué)
• 主分類號: G06F18/213
• 分類號: G06F18/213;G06F18/25;G06F18/24;G06N3/0442;G06N3/0464;G06N3/048;G06N3/08;G06V10/764;G06V10/82;G05B19/05;G05B17/02
• 代理公司: 佛山市知而行知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44935
• 代理人: 潘黎

1.一種多模態(tài)數(shù)據(jù)采集與標(biāo)注方法，其特征在于，包括下述步驟：

獲取所述多模態(tài)數(shù)據(jù)，所述多模態(tài)數(shù)據(jù)包括圖像模態(tài)數(shù)據(jù)和日志模態(tài)數(shù)據(jù)；

對所述圖像模態(tài)數(shù)據(jù)和日志模態(tài)數(shù)據(jù)進(jìn)行特征提取，獲取圖像特征和日志特征；

對所述圖像特征和日志特征進(jìn)行特征融合，得到圖像和日志融合特征；

根據(jù)所述圖像和日志融合特征，進(jìn)行模型訓(xùn)練；

將訓(xùn)練好的模型部署到實(shí)際場景中，實(shí)現(xiàn)對多模態(tài)數(shù)據(jù)的實(shí)時(shí)分析和處理。

2.根據(jù)權(quán)利要求1所述的多模態(tài)數(shù)據(jù)采集與標(biāo)注方法，其特征在于，所述獲取所述多模態(tài)數(shù)據(jù)，所述多模態(tài)數(shù)據(jù)包括圖像模態(tài)數(shù)據(jù)和日志模態(tài)數(shù)據(jù)的步驟具體包括：

將PLC外接到人機(jī)交互設(shè)備，進(jìn)行生產(chǎn)環(huán)境過程模擬；

通過工控協(xié)議，使得PLC接收到示數(shù)變化的信號后，所述人機(jī)交互設(shè)備上的傳感器示數(shù)也隨之改變，通過架設(shè)在所述人機(jī)交互設(shè)備旁的攝像機(jī)來定時(shí)捕捉所述人機(jī)交互設(shè)備信息，獲取圖像模態(tài)數(shù)據(jù)；

根據(jù)所述PLC數(shù)據(jù)日志，獲取所述日志模態(tài)數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的多模態(tài)數(shù)據(jù)采集與標(biāo)注方法，其特征在于，在所述對所述圖像模態(tài)數(shù)據(jù)和日志模態(tài)數(shù)據(jù)進(jìn)行特征提取，獲取圖像特征和日志特征的步驟之前，還包括：

對所述圖像模態(tài)數(shù)據(jù)和日志模態(tài)數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理。

4.根據(jù)權(quán)利要求1所述的多模態(tài)數(shù)據(jù)采集與標(biāo)注方法，其特征在于，所述對所述圖像模態(tài)數(shù)據(jù)和日志模態(tài)數(shù)據(jù)進(jìn)行特征提取，獲取圖像特征和日志特征的步驟具體包括：

采用卷積神經(jīng)網(wǎng)絡(luò)，對所述圖像模態(tài)數(shù)據(jù)進(jìn)行特征提取，獲取圖像特征；

采用自然語言處理方式，采用基于長短時(shí)記憶網(wǎng)絡(luò)的序列模型，對所述日志模態(tài)數(shù)據(jù)進(jìn)行特征提取，獲取日志特征。

5.根據(jù)權(quán)利要求1所述的多模態(tài)數(shù)據(jù)采集與標(biāo)注方法，其特征在于，所述對所述圖像特征和日志特征進(jìn)行特征融合，得到圖像和日志融合特征的步驟具體包括：

對所述圖像特征和所述日志特征進(jìn)行歸一化處理；

將歸一化后的圖像特征和日志特征拼接成一個(gè)融合長特征向量；

使用所述融合長特征向量作為輸入，設(shè)計(jì)一個(gè)深度神經(jīng)網(wǎng)絡(luò)模型，所述深度神經(jīng)網(wǎng)絡(luò)模型包括多個(gè)全連接層，每個(gè)全連接層后接一個(gè)激活函數(shù)ReLU，在所述深度神經(jīng)網(wǎng)絡(luò)模型的輸出層，采用一個(gè)softmax激活函數(shù)，用于輸出各個(gè)類別的概率分布；

輸出圖像和日志融合特征。

6.根據(jù)權(quán)利要求1所述的多模態(tài)數(shù)據(jù)采集與標(biāo)注方法，其特征在于，所述根據(jù)所述圖像和日志融合特征，進(jìn)行模型訓(xùn)練的步驟具體包括：

根據(jù)所述圖像和日志融合特征，使用隨機(jī)梯度下降優(yōu)化器，設(shè)定學(xué)習(xí)率為η，動量為m，損失函數(shù)選擇交叉熵?fù)p失，用于衡量模型預(yù)測與實(shí)際標(biāo)簽之間的差距，來作為對所述圖像模特?cái)?shù)據(jù)進(jìn)行模型訓(xùn)練與優(yōu)化，其中損失函數(shù)的形式為：

L(y,y_pred)＝-∑y_i×log(y_pred_i)；

y是實(shí)際標(biāo)簽的獨(dú)熱向量，y_pred是模型預(yù)測的概率分布，y_i表示真實(shí)值的第i個(gè)類別的概率，y_pred_i表示模型預(yù)測的第i個(gè)類別的概率；

根據(jù)所述圖像和日志融合特征，使用Adam優(yōu)化器，設(shè)定學(xué)習(xí)率為η，β1為0.9，β2為0.999，損失函數(shù)選擇交叉熵?fù)p失，激活函數(shù)為ReLU或者GELU，來優(yōu)化模型性能，其中β1指的是一階梯度的衰減因子，β2指的是二階梯度的衰減因子。

7.根據(jù)權(quán)利要求1所述的多模態(tài)數(shù)據(jù)采集與標(biāo)注方法，其特征在于，所述將訓(xùn)練好的模型部署到實(shí)際場景中，實(shí)現(xiàn)對多模態(tài)數(shù)據(jù)的實(shí)時(shí)分析和處理的步驟具體包括：

從訓(xùn)練好的模型中選擇最優(yōu)模型；

將最優(yōu)模型在訓(xùn)練集和驗(yàn)證集上進(jìn)行聯(lián)合訓(xùn)練，直至收斂；

將訓(xùn)練好的模型部署到實(shí)際應(yīng)用場景中，對新的圖像模態(tài)數(shù)據(jù)和日志模態(tài)數(shù)據(jù)進(jìn)行實(shí)時(shí)分析和標(biāo)注。