[發(fā)明專利]手語動作視頻生成方法、裝置、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011396412.3
• 申請日: 2020-12-03
• 公開（公告）號: CN112329451A
• 公開（公告）日: 2021-02-05
• 發(fā)明（設(shè)計(jì)）人: 劉青松;聶金苗;謝遠(yuǎn)東
• 申請（專利權(quán)）人: 云知聲智能科技股份有限公司;廈門云知芯智能科技有限公司
• 主分類號: G06F40/253
• 分類號: G06F40/253;G06F40/279;G06N3/04;G06N3/08;G10L15/22
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種手語動作視頻生成方法，其特征在于，包括：

獲取待譯信息，并根據(jù)預(yù)設(shè)分析方式對所述待譯信息進(jìn)行分析，得到所述待譯信息的特征；

將所述特征輸入到預(yù)先訓(xùn)練的第一模型中，得到手語動作關(guān)鍵點(diǎn)序列；

將所述手語動作關(guān)鍵點(diǎn)序列輸入到預(yù)先訓(xùn)練的第二模型中，得到所述手語動作視頻。

2.根據(jù)權(quán)利要求1所述的手語動作視頻生成方法，其特征在于，所述待譯信息包括文本信息，所述特征包括文本特征和文本時(shí)長特征；

所述根據(jù)預(yù)設(shè)分析方式對所述待譯信息進(jìn)行分析，得到所述待譯信息的特征，包括：

提取所述文本信息中的文字發(fā)音信息；

對所述文本信息進(jìn)行分詞，得到詞語信息；

基于所述文字發(fā)音信息和所述詞語信息對所述文本信息進(jìn)行特征提取，得到所述文本信息的所述文本特征和所述文本時(shí)長特征。

3.根據(jù)權(quán)利要求2所述的手語動作視頻生成方法，其特征在于，所述基于所述文字發(fā)音信息和所述詞語信息對所述文本信息進(jìn)行特征提取，得到所述文本信息的所述文本特征和所述文本時(shí)長特征，包括：

根據(jù)所述文字發(fā)音信息和詞語信息，確定所述詞語信息中每個(gè)詞語的時(shí)長特征；

根據(jù)每個(gè)詞語的所述時(shí)長特征確定所述文本信息的文本時(shí)長特征；

根據(jù)所述詞語信息，確定所述詞語信息中每個(gè)詞語的詞語特征；

根據(jù)每個(gè)詞語的所述詞語特征確定所述文本信息的文本特征。

4.根據(jù)權(quán)利要求3所述的手語動作視頻生成方法，其特征在于，所述將所述特征輸入到預(yù)先訓(xùn)練的第一模型中，得到手語動作關(guān)鍵點(diǎn)序列，包括：

將所述文本時(shí)長特征和所述文本特征輸入到預(yù)先訓(xùn)練的第一模型中，確定每個(gè)詞語對應(yīng)的動作關(guān)鍵點(diǎn)；

根據(jù)每個(gè)詞語的動作關(guān)鍵點(diǎn)確定手語動作關(guān)鍵點(diǎn)序列。

5.根據(jù)權(quán)利要求1所述的手語動作視頻生成方法，其特征在于，所述待譯信息包括語音信息，所述特征包括長短時(shí)特征；

所述根據(jù)預(yù)設(shè)分析方式對所述待譯信息進(jìn)行分析，得到所述待譯信息的特征，包括：

從所述語音信息中提取長時(shí)韻律和短時(shí)信息；

根據(jù)所述長時(shí)韻律和所述短時(shí)信息確定所述語音信息的長短時(shí)特征；

所述將所述特征輸入到預(yù)先訓(xùn)練的第一模型中，得到手語動作關(guān)鍵點(diǎn)序列，包括：

將所述長短時(shí)特征輸入到預(yù)先訓(xùn)練的第一模型中，得到手語動作關(guān)鍵點(diǎn)序列。

6.根據(jù)權(quán)利要求1～5任一項(xiàng)所述的手語動作視頻生成方法，其特征在于，所述手語動作關(guān)鍵點(diǎn)序列包括面部動作關(guān)鍵點(diǎn)序列和手部動作關(guān)鍵點(diǎn)序列。

7.根據(jù)權(quán)利要求1～5任一項(xiàng)所述的手語動作視頻生成方法，其特征在于，所述將所述手語動作關(guān)鍵點(diǎn)序列輸入到預(yù)先訓(xùn)練的第二模型中，得到所述手語動作視頻，包括：

將所述手語動作關(guān)鍵點(diǎn)序列輸入到預(yù)先訓(xùn)練的第二模型中的生成對抗網(wǎng)絡(luò)中，得到手語動作中間參數(shù)；

將所述手語動作中間參數(shù)輸入到所述第二模型中的光流預(yù)測網(wǎng)絡(luò)中，得到所述手語動作視頻。

8.一種手語動作視頻生成裝置，其特征在于，包括：

獲取分析模塊，用于獲取待譯信息，并根據(jù)預(yù)設(shè)分析方式對所述待譯信息進(jìn)行分析，得到所述待譯信息的特征；

第一處理模塊，用于將所述特征輸入到預(yù)先訓(xùn)練的第一模型中，得到手語動作關(guān)鍵點(diǎn)序列；

第二處理模塊，用于將所述手語動作關(guān)鍵點(diǎn)序列輸入到預(yù)先訓(xùn)練的第二模型中，得到所述手語動作視頻。

9.一種手語動作視頻生成設(shè)備，其特征在于，包括：至少一個(gè)處理器和存儲器；

所述處理器用于執(zhí)行所述存儲器中存儲的手語動作視頻生成程序，以實(shí)現(xiàn)權(quán)利要求1-7任一項(xiàng)所述的手語動作視頻生成方法。

10.一種計(jì)算機(jī)存儲介質(zhì)，其特征在于，所述計(jì)算機(jī)存儲介質(zhì)存儲有一個(gè)或者多個(gè)程序，所述一個(gè)或者多個(gè)程序可被如權(quán)利要求9所述的手語動作視頻生成設(shè)備執(zhí)行，以實(shí)現(xiàn)權(quán)利要求1-7任一項(xiàng)所述的手語動作視頻生成方法。