[發明專利]分布式存儲設備、存儲節點、數據提供方法

有效

• 申請號: 201380051160.2
• 申請日: 2013-09-27
• 公開（公告）號: CN104737136B
• 公開（公告）日: 2018-03-02
• 發明（設計）人: 小林大;山川聰
• 申請（專利權）人: 日本電氣株式會社
• 主分類號: G06F12/00
• 分類號: G06F12/00;G06F17/30
• 代理公司: 中原信達知識產權代理有限責任公司11219
• 代理人: 李蘭,孫志湧

技術領域

[相關申請的說明]

本申請基于(2012年9月28日提交的)日本專利申請No.2012-217852，其全部內容通過引用合并于此。

本發明涉及分布式存儲設備、存儲節點、數據提供方法和程序，并且具體地，涉及分配和積累流數據并且將積累的流數據提供給信息物理系統(CPS)中的分析處理的分布式存儲設備、存儲節點、數據提供方法和介質。

背景技術

通過對按小時實時獲得的大量數據(流數據)執行分解或分析獲得對商業有用的知識的數據處理系統被稱為信息物理系統(CPS)或類似，并且其需求已經增加。

作為這樣的數據處理系統的結構，考慮首先在存儲設備(數據存儲器)中存儲流數據并且通過單獨的計算機分析所存儲的數據的結構。通過積累數據，可以更快地釋放傳感器設備側的緩存存儲器。另外，通過積累數據，執行分析的多個計算機也可以使用該數據。

存儲設備從車輛、移動終端、氣象設備等的傳感器或設備獲得并且積累流數據，諸如車輛的運行狀況和位置、移動終端的用戶的位置和天氣數據。同時，存儲設備向執行分析的計算機提供積累的流數據。執行分析的計算機根據預定分解情況來對存儲設備中積累的流數據執行分析處理，以生成分解結果。作為由執行分析的計算機進行的處理的示例，存在復雜事件處理(CEP)、MapReduce處理等。

例如，在業務信息的監視系統中，在存儲設備中積累流數據，諸如由安裝在每個車輛上的傳感器檢測的每個車輛的速度。同時，基于最近位置和存儲設備中積累的每個車輛的速度由執行分析的計算機計算車輛的未來位置。然后，可以通過檢查每個車輛的未來位置來檢測是否發生交通堵塞、事故等。

考慮在增加應該積累的數據量的情況下系統的可擴展性，存儲設備被認為是基于分布式數據存儲結構實現的。圖7是示出基于例如分布式數據存儲結構的分布式存儲設備140的結構的示圖。參考圖7，分布式存儲設備140包括經由存儲間網絡130彼此連接的多個存儲節點110a至110n。存儲節點110a至110n中的每一個包括能夠連接到存儲間網絡130的計算器和存儲介質。此外，可以通過利用多個存儲節點110a至110n的分布式處理來實現數據存儲的控制功能。

作為現有技術，在NPL 1中描述了在存儲器中生成休息點圖像的快照。此外，在NPL 2中描述了在對數據庫中的特定客戶端的初始訪問(開始)之前傳輸一致的靜止圖像的技術。

[引文列表]

[非專利文獻]

[NPL 1]K.M.Chandy and L.Lamport,"Distributed Snapshots:Determining Global States of Distributed Systems,"ACM Transactions on Computer Systems,Vol.3,No.1,1985年2月.pp.63-75.20

[NPL 2]A.Fekete,et al.,"Making Snapshot Isolation Serializable,"ACM Transactions on Database Systems,Vol.30,No.2,2005年6月,pp.492-528.

發明內容

技術問題

上述非專利文獻的全部公開通過引用合并于此。已經由本發明的發明人做出下述分解。

當試圖從分配和積累多個傳感器獲得的傳感器數據的多個存儲節點(圖7)獲得最新同步數據時，引起下列問題。

通常，存儲流數據，包括唯一主密鑰(primary key)和1或2或更多元數據(metadatal、metadata2、…)。例如，除了主密鑰之外，包括兩個元數據值(namel和name2)的流數據具有下列結構。

{key:hogehoge,namel:valuel,name2:value2}

圖8是示出根據現有技術的分布式存儲設備中基于主密鑰訪問流數據時的問題的示圖。

參考圖8，存儲節點110a積累從傳感器發送的流數據A。在此，流數據A包括數據元素A1、A2、…。類似地，存儲節點110b、110c和110d分別積累從傳感器發送的流數據B(數據元素B1、B2、…)、流數據C(數據元素C1、C2、…)和流數據D(數據元素D1、D2、…)。