[發明專利]一種數據的存儲方法、裝置、電子設備、可讀介質

在審

• 申請號: 202011447767.0
• 申請日: 2020-12-11
• 公開（公告）號: CN112597154A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 薛宏
• 申請（專利權）人: 廣州橙行智動汽車科技有限公司;廣州小鵬汽車科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/215;G06F16/903;G06K9/62
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 趙娟

1.一種數據的存儲方法，其特征在于，所述數據以數據表的形式進行存儲，所述數據表包括待合并表和待匹配表，所述數據表具有對應的表元數據和任務元數據，所述方法包括：

接收所述表元數據和所述任務元數據；

將所述表元數據和所述任務元數據輸入構建的表相似度識別模型，獲取所述待合并表與多個所述待匹配表之間的表相似度；

判斷所述表相似度是否超過預設閾值；

若是，則將所述待合并表與所述待匹配表進行合并，生成目標數據表；

存儲所述目標數據表。

2.根據權利要求1所述的方法，其特征在于，所述接收所述表元數據和所述任務元數據的步驟之后，還包括：

對所述表元數據進行數據清洗，獲取目標表元數據；

對所述任務元數據進行數據清洗，獲取目標任務元數據。

3.根據權利要求2所述的方法，其特征在于，所述對所述表元數據進行數據清洗，獲取目標表元數據的步驟，包括：

對所述表元數據進行過濾，保留預設字段且為所述預設字段構建字段名稱；

計算預設時間內的所述數據表的數據量；

采用所述數據量、所述預設字段以及所述字段名稱生成目標表元數據。

4.根據權利要求3所述的方法，其特征在于，所述對所述任務元數據進行數據清洗，獲取目標任務元數據的步驟，包括：

去除所述任務元數據中的非周期任務，獲得周期任務元數據；

對所述周期任務元數據進行分解，獲得單任務元數據；所述單任務元數據包含自依賴任務；

對所述單任務元數據進行過濾，去除自依賴任務，獲得目標單任務元數據；

基于所述目標單任務元數據，獲取與所述數據表對應的數據血緣表；

采用所述數據血緣表生成目標任務元數據。

5.根據權利要求4所述的方法，其特征在于，所述表相識度包括表名相似度、字段相似度、數據量相似度和血緣關系相似度，所述目標表元數據包括所述數據表的表名、預設字段以及數據量，所述目標任務元數據包括所述數據血緣表，所述將所述表元數據和所述任務元數據輸入構建的表相似度識別模型，獲取所述待合并表與多個所述待匹配表之間的表相似度的步驟，包括：

采用所述待合并表的第一表名和所述待匹配表的第二表名，通過表相似度識別模型獲取所述表名相似度；

采用所述待合并表的第一預設字段和所述待匹配表的第二預設字段，通過表相似度識別模型獲取所述字段相似度；

采用所述待合并表的第一數據量和所述待匹配表的第二數據量，通過表相似度識別模型獲取所述數據量相似度；

采用所述待合并表的第一數據血緣表和所述待匹配表的第二數據血緣表，通過表相似度識別模型獲取所述血緣關系相似度。

6.根據權利要求5所述的方法，其特征在于，所述將所述表元數據和所述任務元數據輸入構建的表相似度識別模型，獲取所述待合并表與多個所述待匹配表之間的表相似度的步驟之后，還包括：

基于所述表相似度，將所述待匹配表按照預設的順序進行排列。

7.根據權利要求5所述的方法，其特征在于，所述數據血緣表包括根節點，所述采用所述待合并表的第一數據血緣表和所述待匹配表的第二數據血緣表，通過表相似度識別模型獲取所述血緣關系相似度的步驟，包括：

遍歷所述第一數據血緣表和所述第二數據血緣表；

確定所述第一數據血緣表中的第一血緣根節點，以及所述第二數據血緣表中的第二血緣根節點；

采用所述第一血緣根節點和所述第二血緣根節點，通過表相似度識別模型獲取所述血緣關系相似度。