[發(fā)明專利]基于云的串流數(shù)據(jù)接收機和保存程序

有效

• 申請?zhí)枺?/td>: 201380072421.9
• 申請日: 2013-06-18
• 公開（公告）號: CN104981768B
• 公開（公告）日: 2018-06-22
• 發(fā)明（設計）人: K·曼達爾
• 申請（專利權）人: 戴爾產(chǎn)品有限公司
• 主分類號: G06F7/00
• 分類號: G06F7/00
• 代理公司: 北京潤平知識產(chǎn)權代理有限公司 11283
• 代理人: 肖冰濱;謝鑫

本系統(tǒng)接收串流原始數(shù)據(jù)并將上下文插入到原始數(shù)據(jù)中。上下文原始數(shù)據(jù)可以被分成小批并被傳輸?shù)綌?shù)據(jù)接收機和保存程序。原始數(shù)據(jù)可以包括上下文信息以及父子信息，以協(xié)助保存數(shù)據(jù)。上下文可以被用于在不分析數(shù)據(jù)的情況下將數(shù)據(jù)放置在存儲區(qū)中，由此在存儲數(shù)據(jù)批的同時節(jié)省時間和資源。

背景技術

企業(yè)必須處理大量的數(shù)據(jù)從而作出決策和取得成功。數(shù)據(jù)通常以諸如報告的形式提供。為了建立有意義的報告，企業(yè)依賴于多租戶SAAS分析公司。建立和提供有意義的分析通常需要大量的資源，以及具有很高的成本。

建立報告通常需要獲得數(shù)據(jù)、將數(shù)據(jù)轉換成有意義的格式，并對有意義的數(shù)據(jù)進行分析來生成報告。數(shù)據(jù)存儲、轉換和處理需要數(shù)據(jù)模式以存儲數(shù)據(jù)、轉換數(shù)據(jù)和處理數(shù)據(jù)。這些任務通常通過管理員手動執(zhí)行。目前，沒有任何基于云的解決方案連接數(shù)據(jù)源并連續(xù)地為數(shù)據(jù)接收機供給原始數(shù)據(jù)以外的數(shù)據(jù)。

發(fā)明內(nèi)容

本系統(tǒng)接收串流原始數(shù)據(jù)并將上下文插入原始數(shù)據(jù)中。上下文原始數(shù)據(jù)可以被分成小批并被傳輸?shù)綌?shù)據(jù)接收機和保存程序。原始數(shù)據(jù)可以包括上下文信息以及父子信息以幫助保存數(shù)據(jù)。上下文可以用來在不分析數(shù)據(jù)的情況下將數(shù)據(jù)放置在存儲區(qū)中，由此在存儲數(shù)據(jù)批的同時節(jié)省時間和資源。

在一個實施例中，用于串流數(shù)據(jù)的方法可以是通過從多個應用程序接收原始串流數(shù)據(jù)。上下文數(shù)據(jù)可以與一批原始數(shù)據(jù)關聯(lián)。該一批原始數(shù)據(jù)和對應的上下文數(shù)據(jù)其后可以被傳輸?shù)竭h程服務器。

在一個實施例中，用于通信導航數(shù)據(jù)的方法可以包括存儲器、處理器、和一個或多個存儲在存儲器中且可以被處理器執(zhí)行的模塊。模塊可以被執(zhí)行以從多個應用程序接收原始串流數(shù)據(jù)、將上下文數(shù)據(jù)關聯(lián)到一批原始數(shù)據(jù)、且將一批原始數(shù)據(jù)和對應的上下文數(shù)據(jù)傳輸?shù)竭h程服務器。

附圖說明

圖1是示例性數(shù)據(jù)串流系統(tǒng)的框圖。

圖2是接收和保存數(shù)據(jù)的示例性方法。

圖3是用于將上下文與原始數(shù)據(jù)關聯(lián)的示例性方法。

圖4是用于保存數(shù)據(jù)的示例性方法。

圖5是用于自動更新數(shù)據(jù)映射結構的示例性方法。

圖6是用于映射數(shù)據(jù)的示例性方法。

圖7是用于執(zhí)行本技術的裝置的框圖。

具體實施方式

本系統(tǒng)接收串流原始數(shù)據(jù)并將上下文插入到原始數(shù)據(jù)中。上下文數(shù)據(jù)可以被分成小批并被傳輸?shù)綌?shù)據(jù)接收機和保存程序。原始數(shù)據(jù)可以包括上下文信息以及父子信息，以幫助保存數(shù)據(jù)。上下文可以用于在不分析數(shù)據(jù)的情況下將數(shù)據(jù)放置在存儲區(qū)中，由此節(jié)省存儲數(shù)據(jù)批的時間和資源。

批可以是租戶特定的、應用程序特定的，并分組為上下文感知的子組，以用于并行處理。上下文存儲在記錄中，并用批來處理，從而處理數(shù)據(jù)的應用程序不需要任何有關批數(shù)據(jù)的智能。上下文允許對多個應用程序和多個租戶進行快速的、無狀態(tài)的處理以及進行完全的數(shù)據(jù)隔絕。

上下文還提供對記錄組的并行保存。本系統(tǒng)不需要處理數(shù)據(jù)來確定如何存儲數(shù)據(jù)(例如，如何在存儲區(qū)中存數(shù)據(jù))。而是，上下文以記錄格式存儲，例如用表格來存儲，并且包括具有上下文數(shù)據(jù)和批數(shù)據(jù)的父子數(shù)據(jù)的模式元數(shù)據(jù)。沒有記錄到模式的動態(tài)映射。目標模式可以基于租戶信息和應用程序信息而被決定，并且可以高速動態(tài)地被決定。因此，如果記錄A和記錄B同時從租戶A和租戶B達到，則系統(tǒng)會基于租戶和應用程序信息動態(tài)地決定記錄的數(shù)據(jù)源。記錄A可以保存在Hadoop/HBase數(shù)據(jù)存儲單元中，而記錄B可以存儲在MySQL中。因此，本系統(tǒng)不僅是無模式的(schema-agnostic)，而且通過動態(tài)數(shù)據(jù)資源解決方案支持多邊(polygot)保存。