[發明專利]一種數據的存儲方法、裝置、電子設備、可讀介質

在審

• 申請號: 202011447767.0
• 申請日: 2020-12-11
• 公開（公告）號: CN112597154A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 薛宏
• 申請（專利權）人: 廣州橙行智動汽車科技有限公司;廣州小鵬汽車科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/215;G06F16/903;G06K9/62
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 趙娟

本發明實施例提供了一種數據的存儲方法、裝置、電子設備以及可讀介質，所述數據以數據表的形式進行存儲，所述數據表包括待合并表和待匹配表，所述數據表具有對應的表元數據和任務元數據，所述方法包括：接收所述表元數據和所述任務元數據；將所述表元數據和所述任務元數據輸入構建的表相似度識別模型，獲取所述待合并表與多個所述待匹配表之間的表相似度；判斷所述表相似度是否超過預設閾值；若是，則將所述待合并表與所述待匹配表進行合并，生成目標數據表；存儲所述目標數據表。從而可以將重復或相似的數據表進行合并存儲，減少了數據表存儲所占用的存儲空間，節約了存儲資源。

技術領域

本發明涉及數據存儲領域，特別是涉及一種數據的存儲方法和一種數據的存儲裝置、電子設備、可讀介質。

背景技術

目前，為了支持越來越精細的數據分析以及越來越廣泛的車輛功能，所需要的存儲的數據也就越來越多，所占用的存儲空間也越來越大。而在存儲的數據當中，有許多數據是屬于重復或相似的數據，對于這些數據而言，占用了存儲空間，但卻并不能提供相應的作用，這無疑是對存儲空間的極大浪費。

發明內容

鑒于上述問題，提出了本發明實施例以便提供一種克服上述問題或者至少部分地解決上述問題的一種數據的存儲方法和相應的一種數據的存儲裝置。

為了解決上述問題，本發明實施例公開了一種數據的存儲方法，所述數據以數據表的形式進行存儲，所述數據表包括待合并表和待匹配表，所述數據表具有對應的表元數據和任務元數據，所述方法包括：

接收所述表元數據和所述任務元數據；

將所述表元數據和所述任務元數據輸入構建的表相似度識別模型，獲取所述待合并表與多個所述待匹配表之間的表相似度；

判斷所述表相似度是否超過預設閾值；

若是，則將所述待合并表與所述待匹配表進行合并，生成目標數據表；

存儲所述目標數據表。

可選地，所述接收所述表元數據和所述任務元數據的步驟之后，還包括：

對所述表元數據進行數據清洗，獲取目標表元數據；

對所述任務元數據進行數據清洗，獲取目標任務元數據。

可選地，所述對所述表元數據進行數據清洗，獲取目標表元數據的步驟，包括：

對所述表元數據進行過濾，保留預設字段且為所述預設字段構建字段名稱；

計算預設時間內的所述數據表的數據量；

采用所述數據量、所述預設字段以及所述字段名稱生成目標表元數據。

可選地，所述對所述任務元數據進行數據清洗，獲取目標任務元數據的步驟，包括：

去除所述任務元數據中的非周期任務，獲得周期任務元數據；

對所述周期任務元數據進行分解，獲得單任務元數據；所述單任務元數據包含自依賴任務；

對所述單任務元數據進行過濾，去除自依賴任務，獲得目標單任務元數據；

基于所述目標單任務元數據，獲取與所述數據表對應的數據血緣表；

采用所述數據血緣表生成目標任務元數據。

可選地，所述表相識度包括表名相似度、字段相似度、數據量相似度和血緣關系相似度，所述目標表元數據包括所述數據表的表名、預設字段以及數據量，所述目標任務元數據包括所述數據血緣表，所述將所述表元數據和所述任務元數據輸入構建的表相似度識別模型，獲取所述待合并表與多個所述待匹配表之間的表相似度的步驟，包括：