[發明專利]BERT模型的優化方法及系統

有效

• 申請號: 202010895250.1
• 申請日: 2020-08-31
• 公開（公告）號: CN111950298B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 俞凱;金樂盛;陳露;趙晏彬;陳志;朱蘇
• 申請（專利權）人: 思必馳科技股份有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/253;G06F40/289
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 黃謙;車江華

1.一種BERT模型的優化方法，包括：

通過BERT模型確定由待推理的句子對拆分的子詞序列中每個子詞的第一上下文嵌入；

通過語義表示語言解析器，確定所述句子對的語義表示圖，提取所述句子對的語義特征；

將所述句子對的語義特征確定為所述第一上下文嵌入的輔助信息，確定帶有語義特征的第二上下文嵌入；

基于帶有語義特征的第二上下文嵌入，預測所述句子對中的兩個句子的包含關系。

2.根據權利要求1所述的方法，其中，所述方法還包括：

通過自然語言分析工具建立所述句子對的依賴樹，提取所述句子對的語法信息；

將所述句子對的語義特征、所述語法信息確定為所述第一上下文嵌入的輔助信息，確定帶有語義特征和語法信息的第三上下文嵌入；

基于帶有語義特征和語法信息的第三上下文嵌入，預測所述句子對中的兩個句子的包含關系。

3.根據權利要求2所述的方法，其中，所述BERT模型包括：收縮路徑以及擴展路徑；

其中，所述提取所述句子對的語義特征以及所述提取所述句子對的語法信息在所述收縮路徑中；

所述確定帶有語義特征和語法信息的第三上下文嵌入在所述擴展路徑中。

4.根據權利要求2所述的方法，其中，所述提取所述句子對的語法信息包括：

對所述依賴樹中的單詞節點和邊緣節點雙向嵌入更新，基于所述單詞節點和邊緣節點間的依存關系確定語法信息；

所述將所述句子對的語義特征、所述語法信息確定為所述第一上下文嵌入的輔助信息包括：

通過池化層將所述語義表示圖擴展到所述依賴樹，將所述語義特征與所述語法信息結合，確定為所述第一上下文嵌入的輔助信息。

5.根據權利要求1所述的方法，其中，所述基于帶有語義特征的第二上下文嵌入，預測所述句子對中的兩個句子的包含關系包括：

通過注意力機制，將所述第二上下文嵌入進行處理，生成所述句子對的句子級別表示；

基于關系分類器對所述句子對的句子級別表示進行語言推理，預測所述句子對中的兩個句子的包含關系。

6.根據權利要求2所述的方法，其中，所述語義表示語言包括：AMR抽象意義表征；

所述自然語言分析工具至少包括：CoreNLP。

7.一種BERT模型的優化系統，包括：

上下文嵌入程序模塊，用于通過BERT模型確定由待推理的句子對拆分的子詞序列中每個子詞的第一上下文嵌入；

語義特征提取程序模塊，用于通過語義表示語言解析器，確定所述句子對的語義表示圖，提取所述句子對的語義特征；

輔助程序模塊，用于將所述句子對的語義特征確定為所述第一上下文嵌入的輔助信息，確定帶有語義特征的第二上下文嵌入；

預測程序模塊，用于基于帶有語義特征的第二上下文嵌入，預測所述句子對中的兩個句子的包含關系。

8.根據權利要求7所述的系統，其中，所述系統還包括：

語法信息提取程序模塊，用于通過自然語言分析工具建立所述句子對的依賴樹，提取所述句子對的語法信息；

輔助程序模塊，用于將所述句子對的語義特征、所述語法信息確定為所述第一上下文嵌入的輔助信息，確定帶有語義特征和語法信息的第三上下文嵌入；

預測程序模塊，用于基于帶有語義特征和語法信息的第三上下文嵌入，預測所述句子對中的兩個句子的包含關系。

9.一種電子設備，其包括：至少一個處理器，以及與所述至少一個處理器通信連接的存儲器，其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行權利要求1-6中任一項所述方法的步驟。

10.一種存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現權利要求1-6中任一項所述方法的步驟。