[發明專利]一種基于不確定度的數據流處理系統多目標優化方法

有效

• 申請號: 201710044897.1
• 申請日: 2017-01-20
• 公開（公告）號: CN106845708B
• 公開（公告）日: 2019-12-06
• 發明（設計）人: 曹朝;盛偉;曲大成
• 申請（專利權）人: 北京理工大學
• 主分類號: G06F17/00
• 分類號: G06F17/00;G06Q10/04
• 代理公司: 11639 北京理工正陽知識產權代理事務所(普通合伙)
• 代理人: 毛燕<國際申請>=<國際公布>=<進入國

本發明公開的一種基于不確定度的數據流處理系統多目標優化方法，涉及一種用于數據流處理系統的多目標優化方法，屬于計算機應用技術、實時大數據分析領域。本發明根據用戶所指定的響應延遲的上下界以及吞吐率的上下界，給出不確定區域面積；基于縮小不確定區域面積這一目標，通過遞歸的二分探測法得到一組具有典型代表意義的帕累托最優解，為用戶在響應延遲和吞吐率上提供選擇空間。本發明適用于不同的實時大數據分析系統多目標優化場景中，應用范圍廣，實用性強，易于推廣。此外，本發明只針對數據本身進行處理，而不受限于數據的來源，適用于對所有的工程應用中的數據的處理。

技術領域

本發明涉及一種基于不確定度的數據流處理系統多目標優化方法，尤其涉及一種用于數據流處理系統的多目標優化方法，屬于計算機應用技術、實時大數據分析領域。

背景技術

近年來涌現出大量實時性大數據分析應用，比如社交網絡動態分析、智能交通數據分析、大規模數據中心監控、基因數據分析等。這類應用不但數據量大而且數據持續快速產生或更新，要求數據分析系統持續并實時的返回或更新分析結果，我們稱之為實時大數據（ Big & fast data）分析。此類應用對實時大數據分析系統具有迫切需求，需要系統對響應延遲、吞吐率方面給出量化保證。

目前，實時大數據分析應用中用戶對響應延遲、吞吐率的要求，依賴于歷史經驗，由 IT 人員為數據流處理系統中的分析作業手工配置合適的執行計劃，缺乏對實時大數據分析響應延遲和吞吐率的量化保證；即使經驗豐富的IT人員也不能保證配置了較優的執行計劃，從而導致分析作業運行效率低下，無法滿足上層應用對實時性的要求。

本方法是基于實時大數據中兩個重要的指標——響應延遲和吞吐率，而設計的多目標優化方法。基于給定的響應延遲和吞吐率模型，構建多目標優化模型，從理論上保證選取最優的執行計劃。實時大數據分析系統的多目標優化對于提供有服務質量保障的實時大數據分析云服務、為國家關鍵行業及重要監控應用提供實時大數據分析平臺及優化框架具有重要意義。

已有的基于權重加和的多目標優化方法雖然解決了在一定條件約束下凸目標函數的響應延遲和吞吐率的帕累托最優問題，但不能解決凹目標函數情況的帕累托最優問題；另外基于權重加和的多目標優化方法返回給用戶的解密度不等、難以解釋且不具有代表性，用戶實際上需要在帕累托曲線上有代表性的一組解。因此，基于權重加和的多目標優化方法不能滿足IT人員交互場景下的多目標優化。

發明內容

針對現有技術已有的基于權重加和的多目標優化方法中沒有考慮用戶在部署使用時在響應延遲和吞吐率上存在取舍的情況，而造成帕里托最優解隨機的缺陷。本發明公開的一種基于不確定度的數據流處理系統多目標優化方法，要解決的技術問題是：針對數據流處理系統多目標優化問題，能夠避免帕累托最優解隨機的缺陷，得到一組具有典型代表意義的帕累托最優解，為用戶在響應延遲和吞吐率上提供選擇空間。

本發明的目的是通過下述技術方案實現的：

本發明公開的一種基于不確定度的數據流處理系統多目標優化方法，根據用戶所指定的響應延遲的上下界以及吞吐率的上下界，給出不確定區域面積；基于縮小不確定區域面積這一目標，通過遞歸的二分探測法得到一組具有典型代表意義的帕累托最優解，為用戶在響應延遲和吞吐率上提供選擇空間。

本發明公開的一種基于不確定度的數據流處理系統多目標優化方法，包括如下步驟：

步驟1：輸入當前響應延遲的上界，記為；輸入當前響應延遲的下界，記為；輸入不確定區域面積的閾值，記為。

步驟2：根據當前響應延遲的上界和下界，分別計算當前吞吐率的上界和下界。

步驟2.1：根據當前響應延遲的上界，計算當前吞吐率的上界，記為，計算公式如下：

； （1）