[發明專利]傳感器數據定位方法和裝置

有效

• 申請號: 201210147248.1
• 申請日: 2012-04-27
• 公開（公告）號: CN103377269A
• 公開（公告）日: 2013-10-30
• 發明（設計）人: 王芝虎;高波;樊莉亞;段寧;孫偉;胡珂;安文豪;王玉瑩
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京市中咨律師事務所 11247
• 代理人: 張亞非;于靜

技術領域

本發明涉及傳感器數據的處理，更具體涉及一種傳感器數據的定位方法和裝置。

背景技術

在智慧的地球（smart?planet）場景（例如，城市智慧操作中心（IOC））中，有成千上萬的傳感器裝置分布在城市區域。這些傳感器裝置產生的數據文件被匯集到數據中心，以支持進一步的智能分析。這些傳感器數據具有如下特點：傳感器的數據具有天然的時空聚集性，從空間上來說，一個傳感器的數據就是傳感器所監控區域的數據，從時間上來說，傳感器數據按照時間的先后順序產生和存儲傳感器數據；這些傳感器數據幾乎都是“一次寫入、多次讀取的”；這些來自成千上萬的傳感器裝置的數據文件將被集合為統一的大文件，以方便管理和全局查詢。

目前，類Hadoop技術（包括Hadoop技術以及其他類似的海量數據分布式存儲技術）提供了高可用性和高吞吐率能力，以實現海量數據的存儲和處理，但低時延（latency），尤其是由低的磁盤I/O帶寬造成的低時延，仍然是一個沒有解決的問題。由于傳感器數據的量過大，通常以具有一定冗余度的塊（block）或區塊（chunk）的方式存儲在分布于各地的各數據節點的磁盤中。當基于類Hadoop的智能應用進行查詢時，它將把源文件的所有數據以塊的形式從數據節點的磁盤加載到工作處理器所在的內存中。然后再在內存中判斷哪些數據和請求相關，哪些數據與當前的請求無關，并將無關的數據在內存里丟棄，這樣的做法導致磁盤I/O加載了大量無效的和無關的數據到內存中，從而帶來了額外的磁盤I/O壓力。而且，源文件越大，則磁盤I/O壓力也越大。

發明內容

針對現有技術中存在的上述問題，提出了本發明的解決方案。

在本發明的一個方面，提供了一種傳感器數據定位方法，包括：獲取包含傳感器數據存儲塊的塊標識與傳感器數據的特征屬性之間的映射關系的索引表；響應于運行時針對傳感器數據的查詢，截獲該查詢，并提取查詢條件中的特征參數；以及使用所述特征參數在所述索引表中定位匹配的傳感器數據存儲塊的塊標識，以便將所定位的所述塊標識所指示的存儲塊加載到工作存儲器內存空間，以用于回復查詢。

在本發明的另一方面，提供了一種傳感器數據定位裝置，包括：索引表獲取模塊，被配置為建立包含傳感器數據存儲塊的塊標識與傳感器數據的特征屬性之間的映射關系的索引表；查詢截獲模塊，被配置為響應于運行時針對傳感器數據的查詢，截獲該查詢，并提取查詢條件中的特征參數；以及塊定位模塊，被配置為使用所述特征參數在所述索引表中定位匹配的傳感器數據存儲塊的塊標識，以便將所定位的所述塊標識所指示的存儲塊加載到工作存儲器內存空間，以用于回復查詢。

本發明的解決方案減少了在涉及海量傳感器數據的存儲和處理的場景中磁盤I/O帶寬和工作處理器內存空間的浪費，提高了查詢處理效率，減少了時延。

附圖說明

通過結合附圖對本公開示例性實施方式進行更詳細的描述，本公開的上述以及其它目的、特征和優勢將變得更加明顯，其中，在本公開示例性實施方式中，相同的參考標號通常代表相同部件。

圖1示出了適于用來實現本發明實施方式的示例性計算系統100的框圖；

圖2示出了本發明的方法和裝置可在其中實施的一城市智慧操作中心的體系結構的示意圖；

圖3更詳細地示出了本發明的方法和裝置可在其中實施的類Hadoop體系結構及其操作的示意圖；

圖4示意性地示出了本發明的基本思想；

圖5示出了根據本發明的實施例的一種傳感器數據定位裝置；以及

圖6示出了根據本發明的實施例的一種傳感器數據定位方法。

具體實施方式

下面將參照附圖更詳細地描述本公開的優選實施方式。雖然附圖中顯示了本公開的優選實施方式，然而應該理解，可以以各種形式實現本公開而不應被這里闡述的實施方式所限制。相反，提供這些實施方式是為了使本公開更加透徹和完整，并且能夠將本公開的范圍完整的傳達給本領域的技術人員。