[發(fā)明專利]一種用于序列數(shù)據(jù)的多尺度深度學(xué)習(xí)識別方法

在審

• 申請?zhí)枺?/td>: 202210194015.0
• 申請日: 2022-03-01
• 公開（公告）號: CN114565082A
• 公開（公告）日: 2022-05-31
• 發(fā)明（設(shè)計(jì)）人: 高華;胡晨琛;毛科技;毛家發(fā)
• 申請（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06V40/20;G06V20/40;G06V10/764;G06V10/774;G06V10/82;G10L25/30;G10L25/63;G06K9/62
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 忻明年

本發(fā)明公開了一種用于序列數(shù)據(jù)的多尺度深度學(xué)習(xí)識別方法，采集序列數(shù)據(jù)并標(biāo)注，構(gòu)成原始序列訓(xùn)練數(shù)據(jù)集，對修改好的深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，從原始序列訓(xùn)練數(shù)據(jù)集的訓(xùn)練樣本中隨機(jī)截取時(shí)長為t的數(shù)據(jù)采樣，前向傳播輸入到深度神經(jīng)網(wǎng)絡(luò)模型，同時(shí)對時(shí)長為t的數(shù)據(jù)中進(jìn)行擴(kuò)充或縮減和重采樣模擬時(shí)間多尺度，采樣取得的數(shù)據(jù)前向傳播輸入到深度神經(jīng)網(wǎng)絡(luò)模型，綜合兩個(gè)網(wǎng)絡(luò)的分類損失和特征損失反向傳播訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。本發(fā)明在訓(xùn)練過程中對訓(xùn)練數(shù)據(jù)進(jìn)行一定范圍內(nèi)的隨機(jī)重采樣來模擬多尺度現(xiàn)象，具有更高的識別準(zhǔn)確度。訓(xùn)練時(shí)兩個(gè)分支網(wǎng)絡(luò)的參數(shù)共享，有效提高了訓(xùn)練效率；在識別過程中僅需采用一個(gè)分支網(wǎng)絡(luò)，具有高效性。

技術(shù)領(lǐng)域

本申請屬于模式識別技術(shù)領(lǐng)域，特別是涉及一種用于序列數(shù)據(jù)的多尺度深度學(xué)習(xí)識別方法。

背景技術(shù)

面向序列數(shù)據(jù)(如音頻、視頻)的模式識別任務(wù)中，由于目標(biāo)的語速、動作速度不同，導(dǎo)致相同的內(nèi)容跨越的時(shí)間跨度不同，即時(shí)間多尺度問題，給識別帶來了極大難度。

目前，一種常用的方法是對數(shù)據(jù)序列進(jìn)行重采樣、拉伸或縮放以得到多尺度的數(shù)據(jù)，然后用多分支網(wǎng)絡(luò)將不同尺度的數(shù)據(jù)段進(jìn)行分別處理，將不同尺度的特征拼接進(jìn)行識別，以此來減少時(shí)間尺度對識別算法的影響。這種方法在一定程度上緩解了尺度對識別算法的影響，但是這種枚舉時(shí)間尺度的方法會造成時(shí)間尺度的整體偏移問題，同時(shí)多分支結(jié)構(gòu)參數(shù)量線性增加會帶來訓(xùn)練難度的增加和識別效率的降低。

發(fā)明內(nèi)容

本申請的目的是提供一種用于序列數(shù)據(jù)的多尺度深度學(xué)習(xí)識別方法，解決序列數(shù)據(jù)多尺度識別準(zhǔn)確率和效率不高的問題，在訓(xùn)練過程中用雙分支網(wǎng)絡(luò)將多尺度思維融入到網(wǎng)絡(luò)參數(shù)中，兩個(gè)分支網(wǎng)絡(luò)的參數(shù)共享，在識別過程中采用一個(gè)分支網(wǎng)絡(luò)，實(shí)現(xiàn)序列數(shù)據(jù)的準(zhǔn)確識別。

為了實(shí)現(xiàn)上述目的，本申請技術(shù)方案如下：

一種用于序列數(shù)據(jù)的多尺度深度學(xué)習(xí)識別方法，包括：

采集序列數(shù)據(jù)并標(biāo)注，構(gòu)成原始序列訓(xùn)練數(shù)據(jù)集；

從原始序列訓(xùn)練數(shù)據(jù)集的訓(xùn)練樣本中隨機(jī)截取連續(xù)時(shí)長為t的數(shù)據(jù)進(jìn)行采樣，前向傳播輸入到修改好的深度神經(jīng)網(wǎng)絡(luò)模型，所述深度神經(jīng)網(wǎng)絡(luò)模型提取第一特征，將所述第一特征輸入到識別器，計(jì)算識別器輸出與真實(shí)標(biāo)簽的第一交叉熵?fù)p失；

對時(shí)長為t的數(shù)據(jù)進(jìn)行隨機(jī)擴(kuò)充或縮減，并隨機(jī)重采樣，重采樣取得的數(shù)據(jù)前向傳播輸入到修改好的深度神經(jīng)網(wǎng)絡(luò)模型，所述深度神經(jīng)網(wǎng)絡(luò)模型提取第二特征，將所述第二特征輸入到識別器，計(jì)算識別器輸出與真實(shí)標(biāo)簽的第二交叉熵?fù)p失；

計(jì)算所述第一特征和第二特征的特征差異，并計(jì)算所述第一交叉熵?fù)p失、第二交叉熵?fù)p失和特征差異的加權(quán)和損失，根據(jù)加權(quán)和損失進(jìn)行反向傳播，更新所述深度神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)；

在所述深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練完成后，采用訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)模型用于序列數(shù)據(jù)識別。

可選的，所述序列數(shù)據(jù)為不同人的語音數(shù)據(jù)，所述標(biāo)注包括生氣、高興、害怕、悲傷、驚訝和中性共六種情緒的一種。

可選的，所述序列數(shù)據(jù)為不同人不同動作的視頻數(shù)據(jù)，所述標(biāo)注包括微笑、大笑、咀嚼、交談、吸煙、吃、喝、側(cè)手翻、拍手、爬、跳、摔倒、翻轉(zhuǎn)、倒立、跳、拉、推、跑、坐、翻跟頭、站起來、轉(zhuǎn)身、梳頭、抓、打球、騎自行車、擁抱、握手共二十八種行為的一種。

進(jìn)一步的，所述隨機(jī)重采樣，包括：

對每條訓(xùn)練樣本數(shù)據(jù)，取隨機(jī)數(shù)r，得到長度為原長度r倍的訓(xùn)練樣本數(shù)據(jù)。

進(jìn)一步的，所述計(jì)算所述第一特征和第二特征的特征差異，采用公式如下：

其中，L_diff表示第一特征F₁和第二特征F₂的特征差異，||·||₂是二范數(shù)。