[發(fā)明專利]用于生成信息的方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011179663.6
• 申請(qǐng)日: 2020-10-29
• 公開（公告）號(hào): CN112307947A
• 公開（公告）日: 2021-02-02
• 發(fā)明（設(shè)計(jì)）人: 謝佩;趙俊
• 申請(qǐng)（專利權(quán)）人: 北京沃東天駿信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/04;G06N3/08;G16H50/30;G16H50/70
• 代理公司: 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

1.一種用于生成信息的方法，其中，包括：

從待評(píng)估視頻中采樣出第一預(yù)設(shè)數(shù)量的圖像幀，所述圖像幀中包括評(píng)估對(duì)象的面部圖像；

基于各圖像幀的時(shí)間戳，對(duì)所述各圖像幀排序，得到圖像幀序列；

對(duì)于所述圖像幀序列中的每一個(gè)圖像幀，分別執(zhí)行如下特征提取步驟，確定出每一個(gè)圖像幀的特征向量：從所述圖像幀中確定出所述評(píng)估對(duì)象面部的關(guān)鍵點(diǎn)；對(duì)所述關(guān)鍵點(diǎn)的坐標(biāo)進(jìn)行歸一化，并基于歸一化后的關(guān)鍵點(diǎn)坐標(biāo)從所述圖像幀中提取出如下特征：面部運(yùn)動(dòng)、雙眼注視方向、鼻尖關(guān)鍵點(diǎn)與上嘴唇關(guān)鍵點(diǎn)的距離、左右嘴角關(guān)鍵點(diǎn)之間的距離、嘴部區(qū)域面積以及該圖像幀中各關(guān)鍵點(diǎn)相對(duì)于參考幀中各關(guān)鍵點(diǎn)的偏移量，所述參考幀為所述圖像幀序列中時(shí)間戳最小的圖像幀；對(duì)所述圖像幀中提取出的特征編碼，得到所述圖像幀的特征向量；

將各所述圖像幀的特征向量輸入預(yù)先訓(xùn)練的抑郁程度預(yù)測(cè)模型，估計(jì)出所述評(píng)估對(duì)象的抑郁指數(shù)，所述抑郁指數(shù)用于表征所述評(píng)估對(duì)象的抑郁程度。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述待評(píng)估視頻經(jīng)由如下步驟獲取：

向所述評(píng)估對(duì)象呈現(xiàn)預(yù)先構(gòu)建的交互問題；

實(shí)時(shí)采集所述評(píng)估對(duì)象回答所述交互問題時(shí)的視頻，并將所述視頻確定為所述待評(píng)估視頻。

3.根據(jù)權(quán)利要求2所述的方法，其中，從待評(píng)估視頻中采樣出第一預(yù)設(shè)數(shù)量的圖像幀，包括：

基于所述評(píng)估對(duì)象回答各所述交互問題的時(shí)長(zhǎng)，從所述待評(píng)估視頻中確定出第二預(yù)設(shè)數(shù)量的視頻片段，每個(gè)所述視頻片段對(duì)應(yīng)一個(gè)所述交互問題；分別從每個(gè)所述視頻片段中提取出第三預(yù)設(shè)數(shù)量的圖像幀，得到各所述視頻片段對(duì)應(yīng)的圖像幀集合；基于所述圖像幀的時(shí)間戳，分別對(duì)各所述圖像幀集合中的圖像幀排序，得到每個(gè)所述視頻片段對(duì)應(yīng)的圖像幀序列；以及，

將各所述圖像幀的特征向量輸入預(yù)先訓(xùn)練的抑郁程度預(yù)測(cè)模型，估計(jì)出所述評(píng)估對(duì)象的抑郁指數(shù)，包括：對(duì)同一個(gè)圖像幀序列中的各圖像幀的特征向量編碼，得到該圖像幀序列的特征向量序列；將所述特征向量序列輸入所述預(yù)先訓(xùn)練的抑郁程度預(yù)測(cè)模型。

4.根據(jù)權(quán)利要求1所述的方法，對(duì)所述關(guān)鍵點(diǎn)的坐標(biāo)進(jìn)行歸一化之前，所述方法還包括：

采用仿射變換，將所述圖像幀中所述評(píng)估對(duì)象的面部圖像的朝向調(diào)整至與所述圖像幀的法向量一致。

5.根據(jù)權(quán)利要求1至4之一所述的方法，其中，所述抑郁程度預(yù)測(cè)模型為基于自注意力機(jī)制的時(shí)間卷積神經(jīng)網(wǎng)絡(luò)，包括輸入層、隱藏層、注意力層以及輸出層，其中，

所述輸入層用于接收各所述圖像幀的特征向量，并從各所述圖像幀的特征向量中提取特征序列；

所述隱藏層用于對(duì)所述特征序列編碼，輸出編碼后的特征序列；

所述注意力層用于獲取各所述隱藏層輸出的編碼后的特征序列，并基于自注意力機(jī)制對(duì)各所述隱藏層輸出的編碼后的特征序列進(jìn)行加權(quán)，確定各所述隱藏層輸出的編碼后的特征序列的加權(quán)和；

所述輸出層對(duì)所述加權(quán)和進(jìn)行邏輯回歸，估計(jì)出所述抑郁指數(shù)。

6.根據(jù)權(quán)利要求5所述的方法，其中，所述基于自注意力機(jī)制的時(shí)間卷積神經(jīng)網(wǎng)絡(luò)經(jīng)由如下步驟訓(xùn)練得到：

構(gòu)建第一初始時(shí)間卷積神經(jīng)網(wǎng)絡(luò)，其中，所述初始時(shí)間卷積神經(jīng)網(wǎng)絡(luò)包括輸入層、隱藏層、注意力層和輸出層，所述第一初始時(shí)間卷積神經(jīng)網(wǎng)絡(luò)的輸出層為全連接層，所述全連接層基于所述加權(quán)和估計(jì)出抑郁癥分類結(jié)果；

將標(biāo)記了樣本抑郁癥分類結(jié)果的第一樣本特征向量輸入所述第一初始時(shí)間卷積神經(jīng)網(wǎng)絡(luò)，將所述樣本抑郁癥分類結(jié)果作為期望輸出，訓(xùn)練所述第一初始時(shí)間卷積神經(jīng)網(wǎng)絡(luò)，直至所述第一初始時(shí)間卷積神經(jīng)網(wǎng)絡(luò)估計(jì)出的抑郁癥分類結(jié)果的準(zhǔn)確率滿足預(yù)設(shè)的準(zhǔn)確率閾值，得到訓(xùn)練后的第一時(shí)間卷積神經(jīng)網(wǎng)絡(luò)；

將所述第一時(shí)間卷積神經(jīng)網(wǎng)絡(luò)中的全連接層更新為邏輯回歸層，得到第二初始時(shí)間卷積神經(jīng)網(wǎng)絡(luò)，所述邏輯回歸層基于所述加權(quán)和估計(jì)出抑郁指數(shù)；

將標(biāo)記了樣本抑郁指數(shù)的第二樣本特征向量輸入所述第二初始時(shí)間卷積神經(jīng)網(wǎng)絡(luò)，將所述樣本抑郁指數(shù)作為期望輸出，訓(xùn)練所述第二初始時(shí)間卷積神經(jīng)網(wǎng)絡(luò)，得到訓(xùn)練后的第二時(shí)間卷積神經(jīng)網(wǎng)絡(luò)，

將所述訓(xùn)練后的第二時(shí)間卷積神經(jīng)網(wǎng)絡(luò)確定為基于自注意力機(jī)制的時(shí)間卷積神經(jīng)網(wǎng)絡(luò)。