[發明專利]基于語義表示模型來生成詞向量的方法、裝置和電子設備

在審

• 申請號: 201611128785.6
• 申請日: 2016-12-09
• 公開（公告）號: CN108228554A
• 公開（公告）日: 2018-06-29
• 發明（設計）人: 張姝;孫俊
• 申請（專利權）人: 富士通株式會社
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06K9/62
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 陶海萍;王曦

1.一種基于語義表示模型來生成詞向量的方法，用于在K維詞向量空間中生成源(source)語言的詞向量和目標(target)語言的詞向量，所述語義表示模型至少包括輸入層，隱含層，輸出層，第一權重矩陣W和第二權重矩陣M，其中，所述輸入層被輸入語料的中心詞語的各上下文詞語的第一詞向量，所述第一詞向量被所述第一權重矩陣W轉化為第二詞向量，所述隱含層根據所述第二詞向量生成隱含狀態值，所述隱含狀態值被所述第二權重矩陣M轉化為第三向量，所述輸出層對所述第三向量進行處理并輸出；

其特征在于，該方法包括：

基于輸入到所述輸入層的源語言的詞語所對應的第一詞向量，得到源語言的隱含狀態值的均值和方差基于輸入到所述輸入層的目標語言的詞語所對應的第一詞向量，得到目標語言的隱含狀態值的均值和方差

基于源語言的隱含狀態值的均值和方差以及目標語言的隱含狀態值的均值和方差構建損失函數，并基于使所述損失函數最小的原則，調整所述第一權重矩陣W和所述第二權重矩陣M；以及

基于調整后的第一權重矩陣W，將輸入到所述輸入層的源語言的詞語所對應的第一詞向量轉化為第二詞向量，以及將輸入到所述輸入層的目標語言的詞語所對應的第一詞向量轉化為第二詞向量。

2.如權利要求1所述的方法，其中，

所述損失函數反映源語言的隱含狀態值的均值與目標語言的隱含狀態值的均值之間的差異，以及源語言的隱含狀態值的方差和目標語言的隱含狀態值的方差之間的差異。

3.如權利要求1所述的方法，其中，調整所述第一權重矩陣W和所述第二權重矩陣M包括：

基于所述損失函數相對于隱含狀態值的梯度，調整所述第一權重矩陣W和所述第二權重矩陣M。

4.如權利要求1所述的方法，其中，調整所述第一權重矩陣W和所述第二權重矩陣M包括：

在所述語義表示模型的所述輸出層，針對源語言的詞典和目標語言的詞典分別進行負采樣，并基于負采樣的結果調整所述第一權重矩陣W和所述第二權重矩陣M。

5.一種基于語義表示模型來生成詞向量的裝置，用于在K維詞向量空間中生成源(source)語言的詞向量和目標(target)語言的詞向量，所述語義表示模型至少包括輸入層，隱含層，輸出層，第一權重矩陣W和第二權重矩陣M，其中，所述輸入層被輸入語料的中心詞語的各上下文詞語的第一詞向量，所述第一詞向量被所述第一權重矩陣W轉化為第二詞向量，所述隱含層根據所述第二詞向量生成隱含狀態值，所述隱含狀態值被所述第二權重矩陣M轉化為第三向量，所述輸出層對所述第三向量進行處理并輸出；

其特征在于，該裝置包括：

第一獲取單元，其基于輸入到所述輸入層的源語言的詞語所對應的第一詞向量，得到源語言的隱含狀態值的均值和方差基于輸入到所述輸入層的目標語言的詞語所對應的第一詞向量，得到目標語言的隱含狀態值的均值和方差

第一調整單元，其基于源語言的隱含狀態值的均值和方差以及目標語言的隱含狀態值的均值和方差構建損失函數，并基于使所述損失函數最小的原則，調整所述第一權重矩陣W和所述第二權重矩陣M；以及

第一轉化單元，其基于調整后的第一權重矩陣W，將輸入到所述輸入層的源語言的詞語所對應的第一詞向量轉化為第二詞向量，以及將輸入到所述輸入層的目標語言的詞語所對應的第一詞向量轉化為第二詞向量。

6.如權利要求5所述的裝置，其中，

所述損失函數反映源語言的隱含狀態值的均值與目標語言的隱含狀態值的均值之間的差異，以及源語言的隱含狀態值的方差和目標語言的隱含狀態值的方差之間的差異。

7.如權利要求5所述的裝置，其中，

所述第一調整單元基于所述損失函數相對于隱含狀態值的梯度，調整所述第一權重矩陣W和所述第二權重矩陣M。

8.如權利要求5所述的裝置，其中，

所述第一調整單元在所述語義表示模型的所述輸出層針對源語言的詞典和目標語言的詞典分別進行負采樣，并基于負采樣的結果調整所述第一權重矩陣W和所述第二權重矩陣M。

9.一種電子設備，包括權利要求5-8中任一項所述的裝置。