[發明專利]一種基于復用的競賽數據集自動化處理系統及方法

有效

• 申請號: 201910645848.2
• 申請日: 2019-07-17
• 公開（公告）號: CN110389978B
• 公開（公告）日: 2020-10-23
• 發明（設計）人: 劉笑臣;任永亮;楊菲;李嘉懿;賀同路;郭學棟
• 申請（專利權）人: 北京智能工場科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F21/62;G06N20/00
• 代理公司: 北京君莫知識產權代理事務所(普通合伙) 11715
• 代理人: 崔云鶴

1.一種基于復用的競賽數據集自動化處理系統，所述系統包括：

數據集收集整理組件，用于在獲取數據集后，自動對數據集文件進行整理，獲得每條數據路徑及對應的標注文件；

數據集分割子系統，用于在獲得每條數據路徑及對應的標注文件后，將數據集數據文件和對應的標注自動分割為開發集、訓練集、測試集和驗證集；

數據集壓縮上傳組件，用于將所述數據集分割子系統輸出的開發集、訓練集、測試集和驗證集壓縮至壓縮文件，然后將壓縮文件上傳至服務器指定路徑；

其特征在于：

所述數據集收集整理組件，用于在獲取數據集后，自動對數據集文件進行整理，獲得每條數據路徑及對應的標注文件，具體包括：

在數據集文件夾下檢查是否存在標注文件；

若標注文件存在，則讀取標注文件下的每條數據或其存儲路徑及其對應的標注，并將數據或其存儲路徑及其對應的標注導出到表格文件中；

若標注文件不存在，則獲取數據集文件夾下所有數據的路徑并根據路徑提取出每條數據對應的標注，然后將路徑與標注導出到表格文件中；

所述數據集分割子系統，用于在獲得每條數據路徑及對應的標注文件后，將數據集數據文件和對應的標注自動分割為開發集、訓練集、測試集和驗證集，具體包括：

如果數據標注是數值，則對整個數據集的標注求直方圖，按照直方圖對數據集進行分層抽樣；

如果數據標注是多屬性標注，則將標注轉化為字符串，按照整個數據集字符串的頻率對數據進行分層抽樣；

進一步的，劃分開發集、訓練集、測試集和驗證集的方式為：首先按照訓練集比例從整個數據集中隨機抽樣數據作為訓練集，取訓練集中預設數量的數據作為開發集；從數據集剩余的數據中按照測試集比例和驗證集比例來分別抽取測試集數據和驗證集數據；在劃分數據集時，采用分層抽樣的方式，來保證劃分好的子集中數據分布符合整個數據集樣本的概率密度分布；分層抽樣的方法是對于整個數據集樣本的每個類別，從該類別中按比例劃分為開發集、訓練集、測試集和驗證集。

2.如權利要求1所述的自動化處理系統，其中開發集用于競賽參加者在本地機器上驗證用于競賽賽題算法的可行性；訓練集用于競賽參加者在線上進行算法模型訓練；測試集提供給競賽參加者用于檢驗模型在未知數據上的泛化能力，而驗證集中的數據用于評價競賽參加者設計的算法對于問題的預測能力。

3.如權利要求1或2所述的自動化處理系統，還包括數據集描述文件配置數據庫，所述配置數據庫預先配置數據集描述文件。

4.一種基于復用的競賽數據集自動化處理方法，所述方法基于計算機自動化實現，包括如下步驟：

S1：預先配置數據集描述文件；

S2：對原始數據集進行整理；

S3：分割數據集；

S4：數據集數據導出、壓縮與上傳；

其特征在于：

所述預先配置的數據集描述文件，用于在網站頁面顯示數據集的詳細信息，包括數據集來源、相關論文、項目名稱，以及逗號分隔值表格文件字段信息描述；

所述對原始數據集進行整理，包括：

在數據集文件夾下檢查是否存在標注文件；若標注文件存在，則讀取標注文件下的每條數據或其存儲路徑及其對應的標注，并將數據或其存儲路徑及其對應的標注導出到表格文件中；

若標注文件不存在，則獲取數據集文件夾下所有數據的路徑并根據路徑提取出每條數據對應的標注，然后將路徑與標注導出到表格文件中；

所述分割數據集包括：將全部數據按照一定比例劃分為開發集、訓練集、測試集和驗證集；

在劃分數據集時，采用分層抽樣的方式，來保證劃分好的子集中數據分布符合整個數據集樣本的概率密度分布；分層抽樣的方法是對于整個數據集樣本的每個類別，從該類別中按比例劃分為開發集、訓練集、測試集和驗證集；然后將所有類別下的開發集、訓練集、測試集和驗證集分別合并到一起；若樣本標注不是類別而是數值，則對這些數值求直方圖并按照直方圖的類別進行分層抽樣。