[發(fā)明專利]一種用于多媒體研發(fā)培訓(xùn)平臺(tái)的海量數(shù)據(jù)處理系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201811073169.4
• 申請(qǐng)日: 2018-09-14
• 公開（公告）號(hào): CN109408598A
• 公開（公告）日: 2019-03-01
• 發(fā)明（設(shè)計(jì)）人: 江游;黃莉蘋;牛軍麗;黃偉;黃亞光
• 申請(qǐng)（專利權(quán)）人: 深圳市新一代信息技術(shù)研究院有限公司
• 主分類號(hào): G06F16/28
• 分類號(hào): G06F16/28;G06F16/27
• 代理公司: 廣東德而賽律師事務(wù)所 44322
• 代理人: 葉秀進(jìn)

本發(fā)明公開了一種用于多媒體研發(fā)培訓(xùn)平臺(tái)的海量數(shù)據(jù)處理系統(tǒng)，其包括：調(diào)度模塊，用于根據(jù)獲取的當(dāng)前業(yè)務(wù)信息和預(yù)設(shè)的調(diào)度策略判斷是否調(diào)用數(shù)據(jù)倉庫操作語句，當(dāng)判斷為是時(shí)，根據(jù)獲取的當(dāng)前業(yè)務(wù)信息和預(yù)設(shè)的調(diào)度策略獲取調(diào)用順序，根據(jù)所述調(diào)用順序向數(shù)據(jù)倉庫平臺(tái)調(diào)用數(shù)據(jù)倉庫操作語句；所述數(shù)據(jù)倉庫平臺(tái)，用于根據(jù)所述調(diào)用順序觸發(fā)所述數(shù)據(jù)倉庫操作語句對(duì)分布式平臺(tái)存儲(chǔ)的數(shù)據(jù)進(jìn)行運(yùn)算，生成結(jié)果數(shù)據(jù)并存儲(chǔ)到所述分布式平臺(tái)；所述關(guān)系數(shù)據(jù)庫，用于存儲(chǔ)所述數(shù)據(jù)倉庫操作語句對(duì)應(yīng)的配置信息；分布式平臺(tái)，用于存儲(chǔ)所述數(shù)據(jù)和所述結(jié)果數(shù)據(jù)。本發(fā)明增強(qiáng)了海量數(shù)據(jù)處理的靈活性，較好地滿足了大容量、高可靠性、高穩(wěn)定性以及滿足海量數(shù)據(jù)處理要求。

技術(shù)領(lǐng)域

本發(fā)明涉及多媒體研發(fā)培訓(xùn)平臺(tái)，尤其涉及一種用于多媒體研發(fā)培訓(xùn)平臺(tái)的海量數(shù)據(jù)處理系統(tǒng)。

背景技術(shù)

當(dāng)前，在線教育行業(yè)已經(jīng)成為中國重點(diǎn)打造的新業(yè)態(tài)新產(chǎn)業(yè)之一，而在線教育行業(yè)被認(rèn)為是最具潛力的研發(fā)方向。但是現(xiàn)有的多媒體平臺(tái)難以滿足大容量、高可靠性、高穩(wěn)定性以及海量數(shù)據(jù)處理的要求。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題在于，針對(duì)現(xiàn)有技術(shù)的不足，提供一種大容量、高可靠性、高穩(wěn)定性以及滿足海量數(shù)據(jù)處理要求的用于多媒體研發(fā)培訓(xùn)平臺(tái)的海量數(shù)據(jù)處理系統(tǒng)。

為解決上述技術(shù)問題，本發(fā)明采用如下技術(shù)方案。

一種用于多媒體研發(fā)培訓(xùn)平臺(tái)的海量數(shù)據(jù)處理系統(tǒng)，其包括：調(diào)度模塊，用于根據(jù)獲取的當(dāng)前業(yè)務(wù)信息和預(yù)設(shè)的調(diào)度策略判斷是否調(diào)用數(shù)據(jù)倉庫操作語句，當(dāng)判斷為是時(shí)，根據(jù)獲取的當(dāng)前業(yè)務(wù)信息和預(yù)設(shè)的調(diào)度策略獲取調(diào)用順序，根據(jù)所述調(diào)用順序向數(shù)據(jù)倉庫平臺(tái)調(diào)用數(shù)據(jù)倉庫操作語句；所述數(shù)據(jù)倉庫平臺(tái)，用于從關(guān)系數(shù)據(jù)庫中讀取所述數(shù)據(jù)倉庫對(duì)應(yīng)的配置信息，根據(jù)所述調(diào)用順序觸發(fā)所述數(shù)據(jù)倉庫操作語句對(duì)分布式平臺(tái)存儲(chǔ)的數(shù)據(jù)進(jìn)行運(yùn)算，生成結(jié)果數(shù)據(jù)并存儲(chǔ)到所述分布式平臺(tái)；所述關(guān)系數(shù)據(jù)庫，用于存儲(chǔ)所述數(shù)據(jù)倉庫操作語句對(duì)應(yīng)的配置信息；分布式平臺(tái)，用于存儲(chǔ)所述數(shù)據(jù)和所述結(jié)果數(shù)據(jù)。

優(yōu)選地，所述調(diào)度模塊還用于控制所述分布式平臺(tái)將所述結(jié)果數(shù)據(jù)導(dǎo)入所述關(guān)系數(shù)據(jù)庫，控制緩存模塊根據(jù)預(yù)設(shè)的展現(xiàn)策略從所述關(guān)系數(shù)據(jù)庫中抽取常用的結(jié)果數(shù)據(jù)；所述系統(tǒng)還包括：所述緩存模塊：用于緩存所述常用的結(jié)果數(shù)據(jù)；數(shù)據(jù)展現(xiàn)平臺(tái)，用于從所述緩存模塊中讀取并展現(xiàn)所述常用的結(jié)果數(shù)據(jù)。

優(yōu)選地，所述數(shù)據(jù)展現(xiàn)平臺(tái)還用于從所述關(guān)系數(shù)據(jù)庫中讀取并展現(xiàn)所述結(jié)果數(shù)據(jù)。

優(yōu)選地，所述系統(tǒng)還包括：數(shù)據(jù)接入平臺(tái)，用于向分布式平臺(tái)傳輸至少一次數(shù)據(jù)，當(dāng)每次傳輸完成時(shí)，向消息接口模塊發(fā)送數(shù)據(jù)傳輸完成消息；所述消息接口模塊，用于接收所述數(shù)據(jù)傳輸完成消息；所述調(diào)度模塊，還用于從所述消息接口模塊獲取至少一次所述數(shù)據(jù)傳輸完成消息，作為所述當(dāng)前業(yè)務(wù)信息。

優(yōu)選地，所述數(shù)據(jù)接入平臺(tái)具體用于采用谷歌消息傳輸方案protoBuffer通訊方式向消息接口模塊發(fā)送所述數(shù)據(jù)傳輸完成消息。

本發(fā)明公開的用于多媒體研發(fā)培訓(xùn)平臺(tái)的海量數(shù)據(jù)處理系統(tǒng)，在用于多媒體研發(fā)培訓(xùn)平臺(tái)的海量數(shù)據(jù)處理系統(tǒng)中加入調(diào)度模塊，該模塊根據(jù)當(dāng)前業(yè)務(wù)信息和預(yù)設(shè)的調(diào)度策略確定調(diào)用數(shù)據(jù)倉庫操作語句以及調(diào)用順序，在調(diào)度模塊的控制下完成數(shù)據(jù)處理過程，從而避免了現(xiàn)有平臺(tái)的海量數(shù)據(jù)處理系統(tǒng)中通過控制臺(tái)逐次下發(fā)命令，因?yàn)橥ㄟ^調(diào)度模塊進(jìn)行控制，可以根據(jù)所需要實(shí)現(xiàn)的業(yè)務(wù)的邏輯，靈活配置相應(yīng)的調(diào)度策略和調(diào)用順序，從而增強(qiáng)了海量數(shù)據(jù)處理的靈活性，較好地滿足了大容量、高可靠性、高穩(wěn)定性以及滿足海量數(shù)據(jù)處理要求。

附圖說明

圖1為本發(fā)明海量數(shù)據(jù)處理系統(tǒng)的組成框圖。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作更加詳細(xì)的描述。

本發(fā)明公開了一種用于多媒體研發(fā)培訓(xùn)平臺(tái)的海量數(shù)據(jù)處理系統(tǒng)，請(qǐng)參照?qǐng)D1，其包括：