[發明專利]一種RTU數據存儲方法

有效

• 申請號: 201711156983.8
• 申請日: 2017-11-20
• 公開（公告）號: CN107894875B
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 黃齊雄
• 申請（專利權）人: 深圳市德傳技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F12/02
• 代理公司: 深圳市科吉華烽知識產權事務所(普通合伙) 44248
• 代理人: 趙雪佳

本發明涉及數據處理，具體涉及一種RTU數據存儲方法，包括以下步驟：S01.采集數據；S02.內存緩存數據：采集到的每條數據信息上報給業務平臺，根據上報結果設置當前數據信息的上報標記位，并將之寫入到RTU內存緩存，如果內存緩存已滿，形成一個完整數據塊，其中，每個獨立的數據文件中的每1024條數據為一個數據塊，當一個數據塊寫入內存緩存后，壓縮該數據塊；S03.寫入數據：將壓縮后的數據塊寫入文件系統，清空內存緩存，并重復步驟S02。本發明最大優勢在于極高的存儲利用率，相比嵌入式數據庫方案，本發明占用的存儲空間只有數據庫的1/20，啟用壓縮后可以縮小到1/40?1/80。

技術領域

本發明涉及數據處理方法，尤其涉及一種RTU數據存儲方法。

背景技術

RTU是一種采集+傳輸為一體的物聯網設備，將外接的傳感器數據讀取后，傳輸到遠端業務平臺。廣泛應用在電力煤氣抄表、氣象、環保、智能樓宇等各行各業。在部分行業應用中，要求RTU本地帶存儲功能，傳感器采集的數據，除了需要傳輸到遠端平臺，還需要在本地保存，以供檢索查詢。但是處于成本控制角度考慮，RTU硬件性能配置普遍較低，例如某款RTU，CPU頻率300MHZ，內置/外接的存儲卡容量8GB-16GB，遠低于市面上平板電腦等智能硬件設備。而傳感器采集數據，具有上報頻率密集的特點，累積一段時間后，很容易達到數億甚至數十億條。以RTU外接10個傳感器為例，每個傳感器2秒鐘上報一次數據，一年下來:總的數據量＝10*24*365*3600/2，約等于1.6億條。受限于RTU軟硬件平臺，無法使用Oracle、Mysql集群等服務器/PC領域常用的技術方案。而sqlite等嵌入式數據庫系統，在海量數據下性能表現極低，數據量達到100萬條級別后，讀取返回時間超過1秒，無法滿足性能要求。且由于嵌入式數據庫需要保存額外的索引、表結構等結構數據，使得對存儲空間利用率低下，這會直接導致硬件成本增加(需要采用更大的內置或外接存儲)。

發明內容

針對現有技術中存在的缺陷或不足，本發明所要解決的技術問題是：提供一種針對RTU海量數據的存儲、檢索算法，在保證海量數據基本的寫入、讀取性能前提下，能夠解決現有技術中數據壓縮存儲效率低下技術問題的數據存儲方法。

為了實現上述目的，本發明采取的技術方案為提供一種RTU數據存儲方法，包括以下步驟：

S01.采集數據：RTU上的若干傳感器采集周圍環境的數據信息，每一個傳感器采集的數據信息為一個傳感器數據集，每一個傳感器數據集包括若干個獨立的數據文件，每個獨立的數據文件中只保存數據信息中的一個字段，該字段為索引、采集時間、采集數據或上報標志位，即所述獨立的數據文件是索引文件、采集時間文件、采集數據文件或上報標記位文件；

S02.內存緩存數據：采集到的每條數據信息上報給業務平臺，根據上報結果設置當前數據信息的上報標志位，并將之寫入到RTU內存緩存，如果內存緩存已滿，形成一個完整數據塊，其中，每個獨立的數據文件中的每1024條數據為一個數據塊，當一個數據塊寫入內存緩存后，壓縮該數據塊；

S03.寫入數據：將壓縮后的數據塊寫入文件系統，清空內存緩存，并重復步驟S02。

作為本發明的進一步改進，步驟S02中，每一個數據塊中的第一條數據保留原始數據，后續的每一條數據保存的是與上一條數據之間的差值。

作為本發明的進一步改進，每個采集時間文件的第一條數據保存原始數據，后續的每條數據保存的是與上一條數據之間的差值。

作為本發明的進一步改進，每個采集數據文件的第一條數據保存原始數據，后續的每條數據保存的是與上一條數據之間的差值。

作為本發明的進一步改進，采用可變長存儲方法對差值進行保存；可變長度存儲的字節大小至少為1個字節，最多為4個字節；

第0字節，第0bit，表示是否有后續數據，0表示沒有，1表示下一個字節也是屬于本條數據；