[發明專利]一種支持數據集生成的無人艇數據管理系統

在審

• 申請號: 202011425205.6
• 申請日: 2020-12-09
• 公開（公告）號: CN112416968A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 韓瑋;王千一;謝楊柳;陳卓;胥鳳馳;吳與倫;郭曉曄;王偉;馬向峰;李哲;梁旭;宋勝男;張文譯;董釘;駱福宇
• 申請（專利權）人: 中國船舶工業系統工程研究院
• 主分類號: G06F16/245
• 分類號: G06F16/245;G06F16/23;G06F16/215;H04L29/08
• 代理公司: 中國船舶專利中心 11026
• 代理人: 欒碩

本發明提供的一種支持數據集生成的無人艇數據管理系統和方法，該系統設計了數據收集模塊，將原始數據通過文件形式自動上傳至數據集管理系統。通過數據處理模塊對原始數據進行編輯和刪除。通過數據標注模塊，根據業務需求進行規范標注，形成有效數據集。數據查詢模塊，可查看歷史數據信息、已標注數據、待標注數據，數據刪除模塊可提高數據管理效率。數據統計模塊能夠統計系統現有數據情況。該方法能夠通過數據收集、數據處理、數據標注、數據集生成的循環流程，不斷為無人艇增加新數據集，并有效管理，為后續不斷迭代訓練智能算法提供了數據基礎。

技術領域

本發明涉及數據管理技術領域，尤其涉及一種支持數據集生成的無人艇數據管理系統。

背景技術

數據的管理與應用設計對無人艇不斷提高自主能力至關重要，數據是無人艇獲取知識的來源，每次無人艇運行后收集回來的數據都有意義，因此需要建立一個數據管理系統，能夠存儲和管理從艇端獲取原始數據，并將根據業務需求，進行數據編輯與標注，形成有效數據集，可用于機器學習算法的訓練與驗證。現有技術如專利：多源數據管理方法、系統和數據管理設備，該專利提出的數據管理方法能夠對不同的數據源分別進行數據管理和查看，并能進行數據新增，修改和刪除。可配置數據信息，無需跟著業務變化而反復修改維護系統。但方法相對通用，沒有提出具體能夠適配的數據類別，而且不具備對數據編輯的能力，因此將該數據管理設計方法應用于水面無人艇的具體業務還有一定的局限性。又如專利：一種簽約數據集的管理方法、終端及服務器，該專利提出了服務器與終端之間數據的下載傳輸方式，但沒有對數據存儲管理進行描述，而且缺乏數據處理和管理操作的描述，也沒有對管理的數據進行統計。而水面無人艇在運行過程中，艇上各設備將產生大量數據，需要根據相關要求，對數據進行統一管理。根據業務需要進行數據編輯與處理，并按規范生成數據集，最終可以根據用戶需求進行數據統計。因此該發明方法應用于水面無人艇的具體業務還有一定的局限性。

發明內容

本發明為了克服上述問題在于提供一種支持數據集生成的無人艇數據管理系統，用以解決現有技術中相關數據管理設備應用于無人艇進行具體業務數據管理存在的沒有具體適配類別貨對數據沒有邊際能力的局限性問題。

本發明的上述目的可采用下列技術方案來實現：

本發明提供了一種支持數據集生成的無人艇數據管理系統，包括：

數據收集模塊，用于通過網絡接口從無人艇的數據采集模塊獲取無人艇的原始數據信息；其中，所述相關數據信息包括無人艇的實時運行數據、圖片數據和視頻文件；

數據預處理模塊，用于對獲取的所述原始數據信息進行預處理，得到預處理數據信息；

數據存儲模塊，用于對預處理后的預處理數據信息進行保存；

數據標注模塊，用于按照業務需求和規范對預處理后的預處理數據信息進行標注，得到標注數據信息；

數據生成模塊，用于對所述標注數據信息進行處理，生成用于訓練算法的訓練數據集。

進一步的，還包括數據刪除模塊，用于對獲取的所述相關數據信息中的文本信息進行編輯和刪除，對視頻類數據進行裁剪和刪除；

或對有效的視頻數據按幀生成圖片數據后按照數據集規定的像素或大小進行剪切，無效數據則刪除。

進一步的，采用FTP方式，通過網絡接口獲取無人艇的相關數據信息，所述相關數據信息將自動存儲于預先設定好的文件目錄下，數據基本信息錄入數據庫中。

進一步的，還包括數據查詢模塊，用于用戶搜索和查看數據字段。

進一步的，還包括數據統計模塊用于對所述原始數據信息、預處理數據信息、標注數據信息、訓練數據集進行數據量的統計。

進一步的，所述數據刪除模塊還用于對預定時間段內的歷史數據進行自動刪除和指定刪除。