[發明專利]中文口語語義理解方法及系統

有效

• 申請號: 201910814333.0
• 申請日: 2019-08-30
• 公開（公告）號: CN110516253B
• 公開（公告）日: 2023-08-25
• 發明（設計）人: 朱蘇;徐華;俞凱;張瑜
• 申請（專利權）人: 思必馳科技股份有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/279
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 黃謙;車江華

1.一種中文口語語義理解方法，包括：

獲取泛化的無標注文本序列訓練集，依次對所述訓練集進行正向預測、反向預測，分別訓練字級別的雙向語言模型以及詞級別的雙向語言模型，以降低中文口語語義理解任務對于標注數據的需求；

接收用戶輸入的口語語音音頻，對所述語音音頻進行序列分詞，得到所述語音音頻的字序列以及詞序列；

分別使用訓練后的字級別的雙向語言模型以及訓練后的詞級別的雙向語言模型對所述字序列以及詞序列進行解碼，獲得字級別的隱層向量以及詞級別的隱層向量；

對所述字級別的隱層向量和所述詞級別的隱層向量進行向量對齊，得到口語語音音頻的隱層向量；

將所述口語語音音頻的隱層向量輸入至語義理解模型，確定所述口語語音音頻的語義；

其中，所述對所述字級別的隱層向量和所述詞級別的隱層向量進行向量對齊包括：通過分詞定律，將所述詞級別的隱層向量進行復制，使得所述詞級別的隱層向量的個數和所述字級別的隱層向量一樣多；將分詞后的兩個向量進行序列對齊，將對齊后的兩個向量一一拼接，確定語義理解模型輸入的口語語音音頻的隱層向量。

2.根據權利要求1所述的方法，其中，所述將所述口語語音音頻的隱層向量輸入至語義理解模型包括：

基于所述語音音頻的隱層向量對應的特征序列進行領域分類；

分別預測所述語音音頻中每個字對應隱向量的語義槽類別；

根據所述領域分類以及所述語義槽類別確定所述語音音頻的語義。

3.根據權利要求1所述的方法，其中，所述依次對所述訓練集進行正向預測、反向預測，分別訓練字級別的雙向語言模型以及詞級別的雙向語言模型包括：

采用單向長短時記憶網絡模型依次對所述訓練集進行正向預測、反向預測。

4.根據權利要求1所述的方法，其中，所述依次對所述訓練集進行正向預測、反向預測，分別訓練字級別的雙向語言模型以及詞級別的雙向語言模型還包括：

采用基于轉換器的雙向語言編碼模型依次對所述訓練集進行正向預測、反向預測。

5.一種中文口語語義理解系統，包括：

雙向語言模型訓練程序模塊，用于獲取泛化的無標注文本序列訓練集，依次對所述訓練集進行正向預測、反向預測，分別訓練字級別的雙向語言模型以及詞級別的雙向語言模型，以降低中文口語語義理解任務對于標注數據的需求；

序列確定程序模塊，用于接收用戶輸入的口語語音音頻，對所述語音音頻進行序列分詞，得到所述語音音頻的字序列以及詞序列；

隱層向量確定程序模塊，用于分別訓練后的使用字級別的雙向語言模型以及訓練后的詞級別的雙向語言模型對所述字序列以及詞序列進行解碼，獲得字級別的隱層向量以及詞級別的隱層向量；

向量對齊程序模塊，用于對所述字級別的隱層向量和所述詞級別的隱層向量進行向量對齊，得到語義理解模型輸入的口語語音音頻的隱層向量；

語義理解程序模塊，用于將所述口語語音音頻的隱層向量輸入至語義理解模型，確定所述口語語音音頻的語義；

其中，所述向量對齊程序模塊用于：通過分詞定律，將所述詞級別的隱層向量進行復制，使得所述詞級別的隱層向量的個數和所述字級別的隱層向量一樣多；將分詞后的兩個向量進行序列對齊，將對齊后的兩個向量一一拼接，確定語義理解模型輸入的口語語音音頻的隱層向量。

6.根據權利要求5所述的系統，其中，所述語義理解程序模塊用于：

基于所述語音音頻的隱層向量對應的特征序列進行領域分類；

分別預測所述語音音頻中每個字對應隱向量的語義槽類別；

根據所述領域分類以及所述語義槽類別確定所述語音音頻的語義。

7.根據權利要求5所述的系統，其中，所述依次對所述訓練集進行正向預測、反向預測，分別訓練字級別的雙向語言模型以及詞級別的雙向語言模型包括：

采用單向長短時記憶網絡模型依次對所述訓練集進行正向預測、反向預測。

8.根據權利要求5所述的系統，其中，所述依次對所述訓練集進行正向預測、反向預測，分別訓練字級別的雙向語言模型以及詞級別的雙向語言模型還包括：

采用基于轉換器的雙向語言編碼模型依次對所述訓練集進行正向預測、反向預測。