[發明專利]繪畫顯示方法、裝置及電子設備

在審

• 申請號: 202010131473.0
• 申請日: 2020-02-28
• 公開（公告）號: CN111324207A
• 公開（公告）日: 2020-06-23
• 發明（設計）人: 薛瑞彬;梁天新
• 申請（專利權）人: 京東方科技集團股份有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/16;G10L15/26;G10L25/63
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 李娜

1.一種繪畫顯示方法，其特征在于，包括：

獲取音頻信息；

將所述音頻信息轉換為文本信息；

根據所述文本信息，確定畫作元素類型；

根據所述音頻信息和所述文本信息，確定情感等級參數；

根據所述情感等級參數，確定元素屬性信息；

將符合所述畫作元素類型，且具有所述元素屬性信息的畫作元素顯示在屏幕目標位置。

2.根據權利要求1所述的方法，其特征在于，所述根據所述音頻信息和所述文本信息，確定情感等級參數，包括：

確定所述文本信息的語素特征向量，確定所述音頻信息的第一波形特征向量，以及確定所述音頻信息的第二波形特征向量；

將所述第一波形特征向量、所述第二波形特征向量和所述語素特征向量進行拼接，得到第一向量；

對所述第一向量進行自注意力機制處理，得到第二向量；

對所述第二向量進行分類，得到所述第二向量對應的情感等級參數。

3.根據權利要求2所述的方法，其特征在于，所述確定所述文本信息的語素特征向量，包括：

將所述文本信息作為輸入參數，輸入第一預設模型的第一嵌入層，輸出第一中間向量；

將所述第一中間向量輸入所述第一預設模型的第一編碼層，輸出第二中間向量；

將所述第二中間向量輸入所述第一預設模型的第一池化層，輸出所述語素特征向量。

4.根據權利要求2所述的方法，其特征在于，所述確定所述音頻信息的第一波形特征向量，包括：

將所述音頻信息作為輸入參數，輸入第二預設模型的第二嵌入層，輸出第三中間向量；

將所述第三中間向量輸入所述第二預設模型的第二編碼層，輸出第四中間向量；

將所述第四中間向量輸入所述第二預設模型的第二池化層，輸出所述第一波形特征向量；

所述確定所述音頻信息的第二波形特征向量，包括：

將所述音頻信息作為輸入參數，輸入第三預設模型，輸出所述第二波形特征向量。

5.根據權利要求1-4任一項所述的方法，其特征在于，所述根據所述文本信息，確定畫作元素類型，包括：

識別所述文本信息中的關鍵詞；

確定所述關鍵詞對應的語義信息；

從預設畫作元素數據庫中查詢得到所述語義信息對應的畫作元素類型。

6.根據權利要求1-4任一項所述的方法，其特征在于，所述將符合所述畫作元素類型，且具有所述元素屬性信息的畫作元素顯示在屏幕目標位置之前，還包括：

在接收到屏幕目標位置的確定指令時，確定眼睛在屏幕上的視線注視點；將所述視線注視點確定為屏幕目標位置；或者，

根據畫作元素類型與屏幕位置之間的預設對應關系，確定所述畫作元素類型對應的屏幕目標位置。

7.根據權利要求6所述的方法，其特征在于，所述將符合所述畫作元素類型，且具有所述元素屬性信息的畫作元素顯示在屏幕目標位置之后，還包括：

響應于眼睛在所述畫作元素的注視時間大于第一時間閾值，生成所述畫作元素的移動指令；

在預設時間閾值范圍內，響應于眼睛在屏幕上移動后的視線注視點的注視時間大于第二時間閾值，確定所述移動后的屏幕上的視線注視點為所述畫作元素的移動后的屏幕目標位置；

將所述畫作元素顯示在所述移動后的屏幕目標位置。

8.一種繪畫顯示裝置，其特征在于，包括：

獲取模塊，用于獲取音頻信息；

轉換模塊，用于將所述音頻信息轉換為文本信息；

第一確定模塊，用于根據所述文本信息，確定畫作元素類型；

第二確定模塊，用于根據所述音頻信息和所述文本信息，確定情感等級參數；

第三確定模塊，用于根據所述情感等級參數，確定元素屬性信息；

第一顯示模塊，用于將符合所述畫作元素類型，且具有所述元素屬性信息的畫作元素顯示在屏幕目標位置。