[發明專利]數據處理方法及裝置

在審

• 申請號: 202110486523.1
• 申請日: 2021-04-30
• 公開（公告）號: CN113191136A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 薛磊
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F40/242
• 分類號: G06F40/242;G06F40/284
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 劉丹;黃健

本公開公開了一種數據處理方法及裝置，涉及數據處理領域中的人工智能技術。具體實現方案為：確定待上傳至目標設備的多個預設詞匯。在多個預設詞匯中確定多組預設詞匯，每組預設詞匯中包括至少一個預設詞匯。并行對多組預設詞匯進行處理，得到每組預設詞匯中各預設詞匯的屬性信息。對多組預設詞匯和每組預設詞匯中各預設詞匯的屬性信息進行歸并處理得到詞表數據，并將詞表數據存儲至目標設備，詞表數據包括多個預設詞匯和各預設詞匯的屬性信息。通過針對多組預設詞匯并行處理，確定各個預設詞匯各自對應的屬性信息，再之后將詞典數據存儲在目標設備中，從而有效提升加載詞典數據的效率。

技術領域

本公開涉及數據處理領域中的人工智能技術，尤其涉及一種數據處理方法及裝置。

背景技術

隨著互聯網技術的不斷發展，為了保持良好的互聯網環境，對于上傳至網絡中的內容進行審核也顯得尤為重要。

其中，詞表服務是機器審核中非常重要的一部分，在詞表服務中可以將預設詞匯添加至審核設備中，以使得審核設備根據預設詞匯對待上傳的內容進行審核，目前相關技術中在向審核設備中添加預設詞匯的時候，通常是將所有的預設詞匯按行讀取，并對讀取的預設詞匯數據按行進行處理之后，存儲至審核設備中。

然而，在預設詞匯的數量較多的時候，采用上述介紹的實現方案進行預設詞匯的添加，會導致數據處理的效率低下。

發明內容

本公開提供了一種數據處理方法及裝置。

根據本公開的第一方面，提供了一種數據處理方法，包括：

確定待上傳至目標設備的多個預設詞匯；

在所述多個預設詞匯中確定多組預設詞匯，每組預設詞匯中包括至少一個預設詞匯；

并行對所述多組預設詞匯進行處理，得到每組預設詞匯中各預設詞匯的屬性信息；

對所述多組預設詞匯和所述每組預設詞匯中各預設詞匯的屬性信息進行歸并處理得到詞表數據，并將所述詞表數據存儲至目標設備，所述詞表數據包括所述多個預設詞匯和各預設詞匯的屬性信息。

根據本公開的第二方面，提供了一種數據處理裝置，包括：

第一確定模塊，用于確定待上傳至目標設備的多個預設詞匯；

第二確定模塊，用于在所述多個預設詞匯中確定多組預設詞匯，每組預設詞匯中包括至少一個預設詞匯；

處理模塊，用于并行對所述多組預設詞匯進行處理，得到每組預設詞匯中各預設詞匯的屬性信息；

存儲模塊，用于對所述多組預設詞匯和所述每組預設詞匯中各預設詞匯的屬性信息進行歸并處理得到詞表數據，并將所述詞表數據存儲至目標設備，所述詞表數據包括所述多個預設詞匯和各預設詞匯的屬性信息。

根據本公開的第三方面，提供了一種電子設備，包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行第一方面所述的方法。

根據本公開的第四方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，其中，所述計算機指令用于使所述計算機執行第一方面所述的方法。

根據本公開的第五方面，提供了一種計算機程序產品，所述計算機程序產品包括：計算機程序，所述計算機程序存儲在可讀存儲介質中，電子設備的至少一個處理器可以從所述可讀存儲介質讀取所述計算機程序，所述至少一個處理器執行所述計算機程序使得電子設備執行第一方面所述的方法。

根據本公開的技術有效提升了加載詞典數據的效率。