[發明專利]面向大規模動態事務查詢的動態自適應數據模型

在審

• 申請號: 201710325734.0
• 申請日: 2017-05-10
• 公開（公告）號: CN107301094A
• 公開（公告）日: 2017-10-27
• 發明（設計）人: 郭蒙雨;康宏;袁曉潔
• 申請（專利權）人: 南開大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F11/14;G06F17/30
• 代理公司: 北京輕創知識產權代理有限公司11212
• 代理人: 楊立,王丹

1.一種面向大規模動態事務查詢時的動態自適應數據模型構建方法，其特征在于，包括以下步驟：

步驟1：從console、RPC、text、tail、日志系統、exec等數據源上實時地收集數據；

步驟2：對于高吞吐量的情況，調節實時性場景中數據采集與數據處理的速度，降低系統處理大規模動態工作負載的延時，保證系統的穩定性；

步驟3：對工作負載中的每一條數據庫查詢請求進行處理，提取出有效的分區信息，得到實時的數據模型；

步驟4：持續處理工作負載中的數據，處理單元的數量可以根據工作負載的規模動態調整，多個處理單元，可實現并行處理；

步驟5：將結果寫入分布式文件系統，存儲在MySQL數據庫。

2.根據權利要求1所述的面向大規模動態事務查詢時的動態自適應數據模型構建方法，其特征在于：步驟3進一步包括：利用流式框架的并行計算機制降，在計算關聯矩陣M的各屬性對之間的關聯度時，將每一行的計算分配到流式框架的不同計算單元中同時執行，再將所有中間結果一起加和，得到最終結果。

3.根據權利要求1至2中任一所述的面向大規模動態事務查詢時的動態自適應數據模型構建方法，其特征在于：動態增量更新；處理未知工作負載；實時處理，利用流式框架的并行計算機制提高執行效率。水平擴展與高吞吐量適應能力，WSPA將算法處理與流式框架結合,利用流式框架所具有的水平擴展機制,在處理大規模、動態工作負載時,可以通過添加物理節點靈活地實現水平擴展.此外,通過與數據接入組件相結合,例如Flume和Kafka,可以實現在面對高吞吐量的工作負載情況下,算法依然具有良好的性能。

4.面向大規模動態事務查詢時的動態自適應數據模型構建系統，其特征在于：包括數據接入模塊(1)，吞吐量調節模塊(2)，數據處理模塊(3)，水平擴展模塊(4)和數據存儲模塊(5)；

所述數據接入模塊(1)，采集流式數據和適應高吞吐量。從console、RPC、text、tail、日志系統、exec等數據源上實時地收集數據，為流式框架的進一步處理提供實時數據；

所述吞吐量調節模塊(2)，在大數據流式計算環境中，數據采集速度和數據處理速度不一定同步，對于高吞吐量的情況，吞吐量調節模塊可以調節實時性場景中數據采集與數據處理的速度，降低系統處理大規模動態工作負載的延時，保證系統的穩定性；

所述數據處理模塊(3)，對工作負載中的每一條數據庫查詢請求進行處理，并得到實時的數據模型，對輸入的工作負載進行預處理，提取出有效的分區信息；有多個處理單元，可實現并行處理，降低時間復雜度；

所述水平擴展模塊(4)，大數據情況下，數據規模超過了單機的處理能力，面對大規模負載，水平擴展模塊可以通過增加處理單元，靈活地進行水平擴展，增加算法并行度，降低算法復雜度；

所述數據存儲模塊(5)，將分區結果持久化，將分區結果寫入分布式文件系統，存儲在MySQL數據庫，根據這些實時結果，用于進一步的研究計算。

5.根據權利要求4所述的面向大規模動態事務查詢時的動態自適應數據模型構建系統，其特征在于：

1)動態自適應數據模型構建：分區策略生成與動態更新模塊,在每次數據處理之后對分區策略進行動態更新；

2)容錯管理：利用流式框架的容錯校驗機制,實現容錯管理.例如,使用Kafka實現數據重放，當數據處理過程出現錯誤時,將這些流數據在系統中保存一段時間,以便于從某個點開始重新進行傳輸；

3)可靠性：數據接入模塊動態抓取數據，并通過吞吐量調節，保證高吞吐量情況下系統處理的穩定性。吞吐量調節模塊通過調度適配和負載均衡實現了對未知數據的處理，可以隨著工作負載的變化對數據模型進行動態調整；

4)水平擴展：水平擴展模塊在面對大規模、動態負載時擴展數據處理單元，實現系統的高擴展性和高可用性。根據權利要求1所述的嬰兒服裝舒適標示帶，其特征在于，所述標示帶內層的顏色比外層的顏色深。