[發(fā)明專利]一種AI數(shù)據(jù)倉庫平臺及操作方法

有效

• 申請?zhí)枺?/td>: 201910463442.2
• 申請日: 2019-05-30
• 公開（公告）號: CN110297869B
• 公開（公告）日: 2022-11-25
• 發(fā)明（設(shè)計）人: 施恩;謝永康;胡鳴人;臧碩;陳曉宇;于燕松;喻友平;吳甜
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/25;G06F16/27;G06F16/21;G06F16/2457;G06F16/182
• 代理公司: 北京潤平知識產(chǎn)權(quán)代理有限公司 11283
• 代理人: 肖冰濱;王曉曉

1.一種AI數(shù)據(jù)倉庫平臺，其特征在于，所述平臺包括：

業(yè)務(wù)層模塊，用于接收AI產(chǎn)品的業(yè)務(wù)請求，向服務(wù)層模塊發(fā)送對應(yīng)的操作請求，以及將服務(wù)層模塊的反饋轉(zhuǎn)發(fā)至所述AI產(chǎn)品，以實現(xiàn)所述業(yè)務(wù)請求所對應(yīng)的功能；

所述業(yè)務(wù)層模塊包括若干事先定義的子模塊；每個子模塊包括業(yè)務(wù)調(diào)用接口和指令集合，所述業(yè)務(wù)調(diào)用接口用于為接入AI數(shù)據(jù)倉庫平臺的所述AI產(chǎn)品提供接口，所述指令集合用于向服務(wù)層模塊發(fā)送相應(yīng)的指令以獲取反饋；

服務(wù)層模塊，用于接收所述業(yè)務(wù)層模塊的操作請求，對存儲層模塊進(jìn)行對應(yīng)的操作；以及將對存儲層模塊的操作結(jié)果反饋至所述業(yè)務(wù)層模塊中對應(yīng)的子模塊；所述服務(wù)層模塊包括：

冷熱數(shù)據(jù)分離模塊，用于根據(jù)預(yù)設(shè)配置定期將冷數(shù)據(jù)從所述存儲層模塊中導(dǎo)出，經(jīng)過聚合并將聚合后的冷數(shù)據(jù)存儲至所述存儲層模塊的預(yù)設(shè)位置，并修改冷數(shù)據(jù)對應(yīng)的元數(shù)據(jù)信息；

基礎(chǔ)操作模塊，用于提供基礎(chǔ)數(shù)據(jù)操作服務(wù)，所述基礎(chǔ)數(shù)據(jù)操作服務(wù)包括數(shù)據(jù)裝載、數(shù)據(jù)讀取、數(shù)據(jù)更新和數(shù)據(jù)刪除；

數(shù)據(jù)分離模塊，用于針對數(shù)據(jù)的類型和/或格式進(jìn)行數(shù)據(jù)處理及解析，將數(shù)據(jù)分離成對象數(shù)據(jù)和元數(shù)據(jù)，并將所述元數(shù)據(jù)存儲至所述存儲層模塊；

數(shù)據(jù)加密解密模塊，用于提供數(shù)據(jù)的加密解密服務(wù)，所述加密解密服務(wù)包括：使用預(yù)設(shè)的加密方式對所述對象數(shù)據(jù)進(jìn)行加密并將加密后的對象數(shù)據(jù)存儲至所述存儲層模塊，以及讀取加密數(shù)據(jù)后對其進(jìn)行對應(yīng)的解密操作；

存儲層模塊，存儲有AI數(shù)據(jù)，用于根據(jù)服務(wù)層模塊的操作對所述AI數(shù)據(jù)進(jìn)行存儲；所述存儲層模塊包括多種可選的存儲方式。

2.根據(jù)權(quán)利要求1所述的AI數(shù)據(jù)倉庫平臺，其特征在于，所述業(yè)務(wù)層模塊包括以下子模塊：

在線數(shù)據(jù)接入子模塊，所述在線數(shù)據(jù)接入子模塊用于向在線AI服務(wù)或模型訓(xùn)練服務(wù)平臺提供接入服務(wù)；所述接入服務(wù)包括數(shù)據(jù)存儲和數(shù)據(jù)訪問；

離線數(shù)據(jù)導(dǎo)入子模塊，所述離線數(shù)據(jù)導(dǎo)入子模塊用于創(chuàng)建離線數(shù)據(jù)集并通過API完成數(shù)據(jù)導(dǎo)入；所述離線數(shù)據(jù)集包括數(shù)據(jù)以及該數(shù)據(jù)對應(yīng)的數(shù)據(jù)類型、數(shù)據(jù)格式和使用方式；

在線查詢子模塊，所述在線查詢子模塊用于提供在線查詢功能，根據(jù)用戶提供的相關(guān)的字段、維度及篩選條件，查詢該用戶權(quán)限范圍內(nèi)所存儲的AI數(shù)據(jù)；

批量導(dǎo)出子模塊，所述批量導(dǎo)出子模塊用于在模型訓(xùn)練時，根據(jù)篩選條件選擇匹配的數(shù)據(jù)集進(jìn)行數(shù)據(jù)導(dǎo)出，同時提供可選的快照功能，所述快照功能為每一次的模型訓(xùn)練存儲一份快照數(shù)據(jù)；

數(shù)據(jù)更新子模塊，所述數(shù)據(jù)更新子模塊用于同時維護(hù)AI數(shù)據(jù)的多個版本信息；所述數(shù)據(jù)更新子模塊包括元數(shù)據(jù)更新單元和對象數(shù)據(jù)更新單元。

3.根據(jù)權(quán)利要求2所述的AI數(shù)據(jù)倉庫平臺，其特征在于，所述業(yè)務(wù)層模塊還包括以下子模塊中的至少一個：

在線查看編輯子模塊，所述在線查看編輯子模塊用于提供在線查看及編輯功能，并提供對應(yīng)的API；

權(quán)限管理子模塊，所述權(quán)限管理子模塊用于對不同的用戶提供對應(yīng)的平臺使用權(quán)限；

管理配置子模塊，所述管理配置子模塊用于向用戶提供對于數(shù)據(jù)或數(shù)據(jù)集的管理配置。

4.根據(jù)權(quán)利要求1所述的AI數(shù)據(jù)倉庫平臺，其特征在于，所述存儲層模塊包括：

對象存儲引擎模塊，用于存儲所述加密后的對象數(shù)據(jù)；

MongoDB模塊，存儲有多個元數(shù)據(jù)表，所述元數(shù)據(jù)表用于存儲元數(shù)據(jù)。

5.根據(jù)權(quán)利要求4所述的AI數(shù)據(jù)倉庫平臺，其特征在于，所述存儲層模塊還包括：

HDFS模塊，所述HDFS模塊用于存儲所述聚合后的冷數(shù)據(jù)。