[發明專利]實時流數據的存儲方法及裝置

在審

• 申請號: 201710224721.4
• 申請日: 2017-04-07
• 公開（公告）號: CN108694187A
• 公開（公告）日: 2018-10-23
• 發明（設計）人: 胡信
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京鼎佳達知識產權代理事務所(普通合伙) 11348
• 代理人: 王偉鋒;劉鐵生

1.一種實時流數據的存儲方法，其特征在于，包括：

接收實時流數據；

對所述實時流數據進行解析，得到解析結果；

根據所述解析結果，確定所述實時流數據的數據條數；

判斷所述實時流數據的數據條數是否達到預設數據條數；

如果是，則將所述實時流數據的解析結果寫入分布式數據查詢引擎。

2.根據權利要求1所述的方法，其特征在于，在判斷所述實時流數據的數據條數未達到預設數據條數后，所述方法還包括：

判斷首次接收到所述實時流數據的時間到當前時間所經過的時間是否達到預設時間間隔，或者，判斷自上次數據寫入所述分布式數據查詢引擎的時間到當前時間所經過的時間是否達到預設時間間隔；

如果是，則將所述實時流數據的解析結果寫入分布式數據查詢引擎。

3.根據權利要求2所述的方法，其特征在于：

采用第一線程執行所述判斷所述實時流數據的數據條數是否達到預設數據條數，以及所述判斷首次接收到所述實時流數據的時間點到當前時間所經過的時間是否達到預設時間間隔，或者，判斷自上次數據寫入所述分布式數據查詢引擎的時間到當前時間所經過的時間是否達到預設時間間隔的步驟；

采用與所述第一線程獨立的第二線程執行將所述實時流數據的解析結果寫入分布式數據查詢引擎的步驟。

4.根據權利要求3所述的方法，其特征在于，在判斷所述實時流數據的數據條數是否達到預設數據條數之前，所述方法還包括：

在與所述第一線程、所述第二線程分別獨立的第三線程中配置所述預設數據條數，以及在與所述第一線程、所述第二線程、所述第三線程分別獨立的第四線程中配置所述預設時間間隔。

5.根據權利要求1至4任一項所述的方法，其特征在于，在對所述實時流數據進行解析，得到解析結果后，所述方法還包括：

將所述解析結果存儲進預設緩存中；

根據所述解析結果，確定所述實時流數據的數據條數包括：

根據所述預設緩存中存儲的解析結果，確定所述實時流數據的數據條數。

6.一種實時流數據的存儲裝置，其特征在于，包括：

接收單元，用于接收實時流數據；

解析單元，用于對所述實時流數據進行解析，得到解析結果；

確定單元，用于根據所述解析結果，確定所述實時流數據的數據條數；

第一判斷單元，用于判斷所述實時流數據的數據條數是否達到預設數據條數；

寫入單元，用于如果達到預設數據條數，則將所述實時流數據的解析結果寫入分布式數據查詢引擎。

7.根據權利要求6所述的裝置，其特征在于，所述裝置還包括：第二判斷單元，

所述第二判斷單元，用于判斷首次接收到所述實時流數據的時間到當前時間所經過的時間是否達到預設時間間隔，或者，判斷自上次數據寫入所述分布式數據查詢引擎的時間到當前時間所經過的時間是否達到預設時間間隔；

所述寫入單元，還用于如果達到預設時間間隔，則將所述實時流數據的解析結果寫入分布式數據查詢引擎。

8.根據權利要求7所述的裝置，其特征在于：

所述第一判斷單元，具體用于采用第一線程執行所述判斷所述實時流數據的數據條數是否達到預設數據條數；

所述第二判斷單元，具體用于采用第一線程執行所述判斷首次接收到所述實時流數據的時間點到當前時間所經過的時間是否達到預設時間間隔，或者，判斷自上次數據寫入所述分布式數據查詢引擎的時間到當前時間所經過的時間是否達到預設時間間隔的步驟；

所述寫入單元，具體用于采用與所述第一線程獨立的第二線程執行將所述實時流數據的解析結果寫入分布式數據查詢引擎的步驟。

9.根據權利要求8所述的裝置，其特征在于，所述裝置還包括：

配置單元，用于在與所述第一線程、所述第二線程分別獨立的第三線程中配置所述預設數據條數，及在與所述第一線程、所述第二線程、所述第三線程分別獨立的第四線程中配置所述預設時間間隔。

10.根據權利要求6至9任一項所述的裝置，其特征在于，所述裝置還包括：存儲單元，

所述存儲單元，用于將所述解析結果存儲進預設緩存中；

所述確定單元，具體用于根據所述預設緩存中存儲的解析結果，確定所述實時流數據的數據條數。