[發明專利]平行語料獲取方法、裝置、電子設備、及存儲介質

有效

• 申請號: 202010099153.1
• 申請日: 2020-02-18
• 公開（公告）號: CN111310465B
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 曹軍;李磊;王明軒;朱培豪
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F16/33;G06F16/951
• 代理公司: 北京遠智匯知識產權代理有限公司 11659
• 代理人: 范坤坤

本公開實施例公開了一種平行語料獲取方法、裝置、電子設備、及存儲介質，方法包括：識別存在平行語料的網頁；對所述網頁進行分組；對分組內的網頁基于網頁文本的主要語種的比例確定是否保留與主要語種有關的文本數據；將分組內保留的文本數據根據不同語種兩兩組合，對各組合所包含的文本數據對進行文本對齊獲取平行語料。本公開實施例能夠提高獲取平行語料的效率，應用該方法能夠從海量網頁中自動獲取大量平行語料數據。

技術領域

本公開實施例涉及計算機應用技術領域，具體涉及一種平行語料獲取方法、裝置、電子設備、及存儲介質。

背景技術

語料庫的建設是統計學習方法的重要基礎，對自然語言處理研究具有巨大價值，特別是雙語語料庫，已經成為機器翻譯、機器輔助翻譯以及翻譯知識獲取研究不可或缺的重要資源。現有的機器翻譯模型，為了進行有效訓練以得到準確的翻譯效果，一般都需要大量的平行語料作為訓練樣本。

但是大量平行語料并不容易獲得。目前一般采用開發專門定制的抓取與解析抽取器從公開數據集和詞典網站中抓取平行例句來生成平行語料。

一方面，針對特定網站的專用抓取工具和解析抽取器不具有通用性和擴展性；另一方面，上述站點數量有限，因此獲取的平行語料數量有限，內容涵蓋的范圍也存在局限性。

發明內容

有鑒于此，本公開實施例提供一種平行語料獲取方法、裝置、電子設備、及存儲介質，以實現自動從海量網頁中獲取大量平行語料數據。

本公開實施例的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本公開實施例的實踐而習得。

第一方面，本公開實施例提供了一種平行語料獲取方法，包括：

識別存在平行語料的網頁；

對所述網頁進行分組；

對分組內的網頁基于網頁文本的主要語種的比例確定是否保留與主要語種有關的文本數據；

將分組內保留的文本數據根據不同語種兩兩組合，對各組合所包含的文本數據對進行文本對齊獲取平行語料。

第二方面，本公開實施例還提供了一種平行語料獲取裝置，包括：

網頁識別單元，用于識別存在平行語料的網頁；

網頁分組單元，用于對所述網頁進行分組；

網頁過濾單元，用于對分組內的網頁基于網頁文本的主要語種的比例確定是否保留與主要語種有關的文本數據；

對齊計算單元，用于將分組內保留的文本數據根據不同語種兩兩組合，對各組合所包含的文本數據對進行文本對齊獲取平行語料。

第三方面，本公開實施例還提供了一種電子設備，包括：

一個或多個處理器；

存儲器，用于存儲一個或多個程序；

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如第一方面中各項所述方法的指令。

第四方面，本公開實施例還提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現如第一方面中各項所述方法的步驟。

本公開實施例通過識別存在平行語料的網頁，對所述網頁進行分組后，對分組內的網頁基于網頁文本的主要語種的比例確定是否保留與主要語種有關的文本數據；將分組內保留的文本數據根據不同語種兩兩組合，對各組合所包含的文本數據對進行文本對齊獲取平行語料，能夠提高獲取平行語料的效率，應用該方法能夠從海量網頁中自動獲取大量平行語料數據。

附圖說明