[發明專利]用于處理數據的方法、裝置、設備以及存儲介質

在審

• 申請號: 202011168055.5
• 申請日: 2020-10-28
• 公開（公告）號: CN112308127A
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 許順楠;甘露;陳亮輝;方軍
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請公開了一種用于處理數據的方法、裝置、設備以及存儲介質，涉及數據處理、人工智能、深度學習領域。具體實現方案為：獲取待處理數據，待處理數據中包括數據特征；確定數據特征的類型；基于類型，確定數據特征對應的方法函數；利用方法函數處理待處理數據，并輸出處理結果。本實現方式通過自動化地對數據特征的類型進行判斷并選擇合適的方法對各數據特征進行預處理，可以減少對用于機器學習的樣本特征進行預處理時的人力和時間成本，從而提高機器學習中的建模效果和效率。

技術領域

本申請涉及數據處理領域，具體涉及數據處理、人工智能、深度學習領域，尤其涉及用于處理數據的方法、裝置、設備以及存儲介質。

背景技術

特征預處理是將原始數據轉換為機器學習模型可用的數據。在機器學習任務中，特征預處理在機器學習任務中占有相當重要的地位。數據集的質量優劣和特征是否合適對模型訓練的結果影響非常大。可以說，一定程度上，是數據和特征決定了機器學習的上限。因此，特征預處理成為機器學習中不可或缺的一個環節。

目前對于機器學習中的特征預處理，往往通過手動預處理特征。比如拿到數據后，首先對數據進行探索，研究數據所在的領域或請教領域專家，利用領域知識對一組一組的數據特征進行預處理。耗時長，且對手動處理者的專業能力素質要求比較高。

發明內容

本公開提供了一種用于處理數據的方法、裝置、設備以及存儲介質。

根據本公開的一方面，提供了一種用于處理數據的方法，包括：獲取待處理數據，待處理數據中包括數據特征；確定數據特征的類型；基于類型，確定數據特征對應的方法函數；利用方法函數處理待處理數據，并輸出處理結果。

根據本公開的另一方面，提供了一種用于處理數據的裝置，包括：獲取單元，被配置成獲取待處理數據，待處理數據中包括數據特征；類型確定單元，被配置成確定數據特征的類型；方法函數確定單元，被配置成基于類型，確定數據特征對應的方法函數；輸出單元，被配置成利用方法函數處理待處理數據，并輸出處理結果。

根據本公開的再一方面，提供了一種用于處理數據的電子設備，包括：至少一個處理器；以及與至少一個處理器通信連接的存儲器；其中，存儲器存儲有可被至少一個處理器執行的指令，指令被至少一個處理器執行，以使至少一個處理器能夠執行如上述用于處理數據的方法。

根據本公開的又一方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，上述計算機指令用于使計算機執行如上述用于處理數據的方法。

根據本申請的技術解決了手動預處理入模特征時，耗時長，且對特征處理者的專業能力素質要求高的問題，通過自動化地對數據特征的類型進行判斷并選擇合適的方法對各數據特征進行預處理，可以減少對用于機器學習的樣本特征進行預處理時的人力和時間成本，從而提高機器學習中的建模效果和效率。。

應當理解，本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明

附圖用于更好地理解本方案，不構成對本申請的限定。其中：

圖1是本申請的一個實施例可以應用于其中的示例性系統架構圖；

圖2是根據本申請的用于處理數據的方法的一個實施例的流程圖；

圖3是根據本申請的用于處理數據的方法的一個應用場景的示意圖；

圖4是根據本申請的用于處理數據的方法的另一個實施例的流程圖；

圖5是根據本申請的用于處理數據的裝置的一個實施例的結構示意圖；

圖6是用來實現本申請實施例的用于處理數據的方法的電子設備的框圖。

具體實施方式