[發明專利]指令生成方法、系統、設備和介質

在審

• 申請號: 201911089232.8
• 申請日: 2019-11-08
• 公開（公告）號: CN110909541A
• 公開（公告）日: 2020-03-24
• 發明（設計）人: 鄭永升;石磊;曹越
• 申請（專利權）人: 杭州依圖醫療技術有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F16/35;G10L15/22;G10L15/06;G10L15/183
• 代理公司: 上海華誠知識產權代理有限公司 31300
• 代理人: 徐穎聰

本發明涉及自然語言處理和人工智能技術領域，特別涉及指令生成方法、系統、設備和介質。本發明的方法包括：根據輸入信息中的字的上下文信息將字轉化為表征向量；將表征向量轉化為詞槽標簽和意圖；基于詞槽標簽和意圖，生成指令。與靜態的“字到向量”的映射關系相比，相同的字根據該字的上下文信息可以被轉化為不同的表征向量，從而提供更加豐富的信息，并且可以再將該表征向量轉化為更為準確的詞槽標簽和意圖，從而提高指令生成系統整體的性能。

技術領域

本發明涉及自然語言處理和人工智能技術領域，特別涉及指令生成方法、系統、設備和介質。

背景技術

現有的指令生成系統在文字表征階段，使用一組靜態的“字到向量”的映射關系，將輸入信息中的字轉化為表征向量。該組映射關系是通過隨機初始化的或由無監督訓練所得到的詞嵌入(word embedding)模型而得到的。在通過由無監督訓練所得到的詞嵌入模型而得到的映射關系中，語義相近的字會被映射到相近的表征向量。

現有方案中所使用的映射關系，即使是通過由無監督訓練所得到的詞嵌入模型而得到的映射關系，也只能表達字的語義，而不能表達字在輸入信息中的上下文信息。也就是說，無論在什么樣的輸入信息中，相同的字總是被映射到相同的表征向量。這會帶來以下兩個問題：

第一，不同上下文中相同的字可能表達不同的信息，例如對于“手”這個字，其可能表達的是醫療操作，諸如“手術”，也可能表達的是部位，諸如“手部”，如果對這些字使用相同的表征則會造成混淆。因此，在不同的上下文中將相同的字映射到相同的表征向量，會使得后續模型難以區分這些詞匯，從而影響模型性能。

第二，模型的訓練需要大量樣本，樣本量較少的場景可能使得模型的性能不足。由于靜態的映射關系對輸入信息所建立的表征失去了上下文信息，因此這就在一定程度上要求后續模型來學習對上下文進行建模，而這樣的建模需要大量的樣本，從而使得在訓練樣本較少的場景中，模型性能會受到較大的影響。

發明內容

本發明的目的在于提供指令生成方法、系統、設備和介質，根據輸入信息中的字的上下文信息將字轉化為表征向量，并且將表征向量轉化為詞槽標簽和意圖。與靜態的“字到向量”的映射關系相比，相同的字根據該字的上下文信息可以被轉化為不同的表征向量，從而提供更加豐富的信息，并且可以再將該表征向量轉化為更為準確的詞槽標簽和意圖，從而提高指令生成系統整體的性能。

本發明的實施方式公開了一種指令生成方法，包括：

根據輸入信息中的字的上下文信息將所述字轉化為表征向量；

將所述表征向量轉化為詞槽標簽和意圖；

基于所述詞槽標簽和所述意圖，生成指令。

可選地，通過預訓練語言模型來根據所述輸入信息中的所述字的所述上下文信息將所述字轉化為所述表征向量。

可選地，所述預訓練語言模型包括以下中的一個：ELMo模型、BERT模型、XLNet模型和GPT模型。

可選地，所述預訓練語言模型的訓練樣本為未標注的訓練樣本。

可選地，通過語言理解模型來將所述表征向量轉化為所述詞槽標簽和所述意圖。

本發明的實施方式公開了一種指令生成系統，包括：

第一轉化單元，用于根據輸入信息中的字的上下文信息將所述字轉化為表征向量；

第二轉化單元，用于將所述表征向量轉化為詞槽標簽和意圖；

生成單元，用于基于所述詞槽標簽和所述意圖，生成指令。

可選地，所述第一轉化單元包括預訓練語言模型。