[發明專利]一種AI數據倉庫平臺及操作方法

有效

• 申請號: 201910463442.2
• 申請日: 2019-05-30
• 公開（公告）號: CN110297869B
• 公開（公告）日: 2022-11-25
• 發明（設計）人: 施恩;謝永康;胡鳴人;臧碩;陳曉宇;于燕松;喻友平;吳甜
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/25;G06F16/27;G06F16/21;G06F16/2457;G06F16/182
• 代理公司: 北京潤平知識產權代理有限公司 11283
• 代理人: 肖冰濱;王曉曉

本發明涉及數據存儲領域，具體地涉及一種AI數據倉庫平臺，所述平臺包括：業務層模塊，用于接收AI產品的業務請求，向服務層模塊發送對應的操作請求，以及將服務層模塊的反饋轉發至所述AI產品，以實現所述業務請求所對應的功能；服務層模塊，用于接收所述業務層模塊的操作請求，對存儲層模塊進行對應的操作；以及將對存儲層模塊的操作結果反饋至所述業務層模塊中對應的子模塊；存儲層模塊，用于根據服務層模塊的操作對所述AI數據進行處理后進行存儲。同時還提供了一種AI數據倉庫的操作方法。本發明實施例適用于PB量級以上的AI數據存儲，能夠提升存儲效率，降低存儲成本，有助于更大地發揮AI數據的價值。

技術領域

本發明涉及數據存儲領域，具體地涉及一種AI數據倉庫平臺，以及一種AI數據倉庫操作方法。

背景技術

隨著人工智能(AI)技術在越來越多的業務場景應用，每天都有大量的AI數據產生，包括視頻、圖像、音頻、文本等各種類型的多媒體數據。大規模AI數據的存儲、處理、查詢、更新給傳統的數據倉庫帶來了很大的挑戰，也正是這樣大量的AI數據推動了相關AI模型的不斷迭代、優化、升級，以更好地服務相關業務場景需求。與傳統的互聯網時代所產生的大規模用戶行為數據不同，AI數據往往都是各種類型的多媒體數據，因而在數據的收集、存儲及使用方式上都與傳統的大數據存在較大的差異。

現有的數據倉庫一般基于MPP(Massively Parallel Processing)架構設計，提供數據ETL、數據導入、數據存儲、多維度查詢分析、數據可視化等一系列配套的服務。現有的數據倉庫常被應用在用戶行為數據等互聯網大數據的存儲、查詢、分析。但其具有以下缺陷：已有的數據倉庫比較適合于日志類數據，而AI數據大多是多媒體對象數據，傳統的數據倉庫滿足AI數據的數據組織和使用需求。

現有的AI數據，由于視頻、圖像、文本、音頻等不同類型的對象數據在存儲、查詢上的差異性，以及不同模型對于數據的組織、標注、使用方式不同，往往不同類型的AI數據甚至同類型數據的不同類型模型都有一套獨立的AI數據管理方案。但其具有以下缺陷：存在很多冗余的工作量，并且大大提升了對AI數據維護的成本，也不便于數據在多個模型間互通以更大地發揮數據價值。

AI數據具有的幾大特性：大規模、多樣性、高價值、版本和快照以及數據隱私性，使其需要有專門的數據倉庫以實現對其進行有效存儲和復用。

HDFS：Hadoop分布式文件系統；

MongoDB：一種基于分布式文件存儲的數據庫。

發明內容

本發明的目的是提出一種AI數據倉庫平臺，通過設計一種針對AI數據的特性的數據倉庫解決方案，以至少解決現有大規模、多類型AI數據的存儲、查詢、加工與使用等問題。

在本發明的第一方面，提供了一種AI數據倉庫平臺，所述AI數據倉庫平臺包括：

業務層模塊，用于接收AI產品的業務請求，向服務層模塊發送對應的操作請求，以及將服務層模塊的反饋轉發至所述AI產品，以實現所述業務請求所對應的功能；

所述業務層模塊包括若干事先定義的子模塊；每個子模塊包括業務調用接口和指令集合，所述業務調用接口用于為接入AI數據倉庫平臺的所述AI產品提供接口，所述指令集合用于向服務層模塊發送相應的指令以獲取反饋；

服務層模塊，用于接收所述業務層模塊的操作請求，對存儲層模塊進行對應的操作；以及將對存儲層模塊的操作結果反饋至所述業務層模塊中對應的子模塊；

存儲層模塊，存儲有AI數據，用于根據服務層模塊的操作對所述AI數據進行處理后進行存儲。

可選的，所述業務層模塊包括以下子模塊：

在線數據接入子模塊，所述在線數據接入子模塊用于向在線AI服務或模型訓練服務平臺提供接入服務；所述接入服務包括數據存儲和數據訪問；