[發明專利]一種物聯網時效數據分層存儲方法

在審

• 申請號: 201810348386.3
• 申請日: 2018-04-18
• 公開（公告）號: CN108664565A
• 公開（公告）日: 2018-10-16
• 發明（設計）人: 張皓;羅洪;張震;張明波;鐘偉;黃川;李金紅;秦偉;廖劍鋒;巨鵬
• 申請（專利權）人: 吉旗（成都）科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F11/14
• 代理公司: 北京權智天下知識產權代理事務所(普通合伙) 11638
• 代理人: 張廷利

本發明公開了一種物聯網時效數據分層存儲方法，包括數據分層、數據備份、數據恢復和數據訪問，本發明能夠對數據進行熱溫冷冰數據分治，不同的數據采用不同的存儲介質，能夠按照數據的時間進行分層；本發明能夠在較低存儲成本存儲物聯網大量的時序數據，滿足數據的不斷增長，數據查詢的時效性。

技術領域

本發明涉及數據分層技術領域，具體為一種物聯網時效數據分層存儲方法。

背景技術

數據分層法是指性質相同的，在同一條件下收集的數據歸納在一起，以便進行比較分析。因為在實際生產中，影響質量變動的因素很多如果不把這些因素區別開來，難以得出變化的規律。數據分層可根據實際情況按多種方式進行。例如，按不同時間，不同班次進行分層，按使用設備的種類進行分層，按原材料的進料時間，原材料成分進行分層，按檢查手段，使用條件進行分層，按不同缺陷項目進行分層，等等。數據分層法經常與統計分析表結合使用。

目前物聯網行業中，還沒有專門針對時效數據分層的存儲方案，現在已有的方案只有普通的存儲方案沒有分層方案，在數據的存儲效率，利用效率，存儲密度方面都有有所不足，存儲成本較高；已有的數據存儲沒有分層處理，造成存儲介質的成本較高。

發明內容

本發明的目的在于提供一種物聯網時效數據分層存儲方法，以解決上述背景技術中提出的問題。

為實現上述目的，本發明提供如下技術方案：一種物聯網時效數據分層存儲方法,包括數據分層、數據備份、數據恢復和數據訪問；所述數據分層分為熱數據、溫數據、冷數據、冰數據；所述熱數據使用實時數據庫進行存儲；所述溫數據使用存儲量大、可擴展；所述冷數據使用可擴展的分布式文件系統存儲和訪問；所述冰數據使用廉價，存儲量大的分布式硬盤系統存儲。

優選的，所述數據備份包括兩方面的策略：一是數據庫、分布式文件系統自有的備份冗余機制；二是通過數據分層，上層數據會通過定時作業的方式寫入到下層存儲中，實現每層數據有各自的備份，下層數據由上層數據的備份。

優選的，所述數據恢復的流程是由底層恢復到上層：從冰數據恢復到冷數據，冷數據恢復到溫數據，溫數據恢復到熱數據。

優選的，所述數據訪問具體包括：通過提供sdk工具，訪問熱數據和溫數據；通過spark、MR，訪問冷數據和冰數據。

與現有技術相比，本發明的有益效果是：本發明能夠對數據進行熱溫冷冰數據分治，不同的數據采用不同的存儲介質，能夠按照數據的時間進行分層；本發明能夠在較低存儲成本存儲物聯網大量的時序數據，滿足數據的不斷增長，數據查詢的時效性。

附圖說明

圖1為本發明流程圖。

具體實施方式

下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。

請參閱圖1，本發明提供一種技術方案：一種物聯網時效數據分層存儲方法,包括數據分層、數據備份、數據恢復和數據訪問；所述數據分層分為熱數據、溫數據、冷數據、冰數據；所述熱數據使用實時數據庫進行存儲，包括hbase、mysql等；所述溫數據使用存儲量大、可擴展，包括hbase；所述冷數據使用可擴展的分布式文件系統存儲和訪問，包括hdfs，以及spark、hive；所述冰數據使用廉價，存儲量大的分布式硬盤系統存儲；數據同步：數據每層之間可以通過工具進行同步、恢復、清理等；數據訪問：通過sdk，spark，mr，hive進行實時、離線訪問。