[發明專利]基于模板的語料自動化擴充方法、裝置、設備及介質

有效

• 申請號: 202011564948.1
• 申請日: 2020-12-25
• 公開（公告）號: CN112668281B
• 公開（公告）日: 2023-09-22
• 發明（設計）人: 梁子敬;張捷;梁方殷
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F40/151
• 分類號: G06F40/151;G06F40/186;G06F40/289
• 代理公司: 北京鴻元知識產權代理有限公司 11327
• 代理人: 張超艷;董永輝

本發明涉及一種人工智能，揭露一種基于模板的語料自動化擴充方法，包括：根據句式和句子成分構建語意句式模板，所述語意句式模板包括句子成分和需采集字符；采用語意句式模板通過擴充方式擴充語料，所述擴充方式包括第一擴充方式或/和第二擴充方式，所述第一擴充方式是對語意句式模板匹配出的語料進行擴充，所述第二擴充方式是對語意句式模板擴充，通過擴充后的語意句式模板匹配語料，實現語料擴充。本發明還涉及裝置、電子設備及介質。本發明可以能夠識別相同語意上不同語料的多樣性。

技術領域

本發明涉及人工智能技術領域，尤其涉及一種基于模板的語料自動化擴充方法、裝置、電子設備及計算機可讀存儲介質。

背景技術

在自然語言處理的人工智能技術領域，語料對于模型的訓練異常重要，就某些任務而言，語料的質量和數據量的大小決定了模型的效果，由語料質量或者數據量上的提升所帶來的效果可能將高于模型上的優化；在金融問答領域中存在公開、高質量的語料較少，而且金融問答在各個子領域的語料也有較大差別；因此，自動化語料擴充的技術對金融領域問答模型尤為重要。

目前業內在語料擴充和自動化標注上均有做一些研究，可以分成兩種典型的方法，第一，其中語料擴充的方法最為通用的做法為相似詞替換，即將語料中的部分詞語替換為其相似詞，相似詞的替換可以采用固定列表替換和詞向量相似性進行；第二，句式改寫和句式轉換的方式獲得同一語意概念中的不同語料。這兩種方法均存在一定的不足，相似詞替換方法只能在小范圍內擴充語料，所擴展語料的規模有限，而句式改寫和句式轉換可以在將某幾類句式進行統一改寫，但這種方式并不能從本質上解決同語意上的不同語料的多樣性。

發明內容

本發明提供一種基于模板的語料自動化擴充方法、裝置、電子設備及計算機可讀存儲介質，其主要目的在于能夠識別相同語意上不同語料的多樣性。

為實現上述目的，本發明提供的一種基于模板的語料自動化擴充方法，包括：

根據句式和句子成分構建語意句式模板，所述語意句式模板包括句子成分和需采集字符；

采用語意句式模板通過擴充方式擴充語料，所述擴充方式包括第一擴充方式或/和第二擴充方式，所述第一擴充方式是對語意句式模板匹配出的語料進行擴充，所述第二擴充方式是對語意句式模板擴充，通過擴充后的語意句式模板匹配語料，實現語料擴充；

其中，所述第一擴充方式的實現步驟包括：

通過語意句式模板在語料中匹配獲得不同語意句式；

通過擴充規則擴充語意句式；

其中，所述第二擴充方式的實現步驟包括：

選擇擴充規則擴充語意句式模板；

通過擴充后的語意句式模板在語料中匹配，獲得多個語意句式；

其中，所述擴充規則包括詞語替換、變式替換和中介語轉換中的一種或多種，所述詞語替換包括采用詞語替換語意句式模板或語意句式中的詞語，所述變式替換包括語意句式模板或語意句式的句子結構的順序調整或/和句子結構的長度調整，所述中介語轉換包括采用中介語將包括中介語的兩個語意句式模板或語意句式轉換成一個語意句式模板或語意句式。

可選地，所述根據句式和句子成分構建語意句式模板的步驟包括：

按照語氣補充詞、輔助提問詞、輔助回答詞、常用副詞、常用動詞、常用主語、常用謂詞、常用助詞、狀態表示詞、常用數量詞和常用代詞作為詞語單元構建不同句式的語意句式模板，所述語意句式模板由構成句式的詞語單元及其對應的需采集的字符構成。

可選地，所述通過擴充規則擴充語意句式的步驟還包括：

構建數據詞表，所述數據詞表包括各金融領域對應字段，所述字段包括標注字段和未標注字段，所述標注字段為需要捕獲的槽位信息；