[發(fā)明專利]基于混合云調度的智慧物流數(shù)據(jù)挖掘方法

在審

• 申請?zhí)枺?/td>: 201710304033.9
• 申請日: 2017-05-03
• 公開（公告）號: CN107274053A
• 公開（公告）日: 2017-10-20
• 發(fā)明（設計）人: 肖亮;王璐雅;陳庭貴
• 申請（專利權）人: 浙江工商大學
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q10/08
• 代理公司: 杭州天正專利事務所有限公司33201
• 代理人: 王兵,黃美娟

1.基于混合云調度的智慧物流數(shù)據(jù)挖掘方法，包括以下步驟：

步驟1.建立物流數(shù)據(jù)的混合云環(huán)境：搭建包含共有云與私有云的混合云調度環(huán)境，將物流任務調度分配過程分成兩種情況：第一種情況，私有云計算資源能夠滿足用戶的計算需求，此時不需要申請公有云中的計算資源；第二種情況，私有云計算資源不能滿足用戶需求，必須申請公有云資源來輔助完成計算任務，這時需要判斷私有云計算資源能否滿足需求，當私有云能滿足需求時，直接利用計算機得出調度方案，并優(yōu)化調度費用；而在私有云不能滿足需求時需要考慮任務分配以及資源分配，不合理的任務分配將會增加不同云環(huán)境間的數(shù)據(jù)傳輸量，不但不能縮短工作流整體計算時間，反而可能增加；

步驟2.構建混合云環(huán)境的物流數(shù)據(jù)處理模型：混合云任務調度的場景是用戶將包含敏感物流數(shù)據(jù)的應用提交給一個由公有云與私有云兩部分組成的混合云平臺，并給出用戶能接受的最遲完成時間，即截止時間；在進行任務調度、分配計算資源時需要保證工作流能夠在用戶要求的截止時間之前完成，并且保證應用中的敏感數(shù)據(jù)不能離開私有云，以防數(shù)據(jù)泄露；此部分的內容包括混合云工作流調度的系統(tǒng)模型、安全模型與任務分配模型，具體如下：

①設計混合云工作流調度系統(tǒng)模型：云工作流系統(tǒng)是面向云工作流的處理系統(tǒng)，可以將復雜的應用和用戶需求按照流程的方式有序地組織起來，并通過調度引擎，根據(jù)用戶需求對流程中的任務指派計算資源，達到高效資源調度目的，最后將系統(tǒng)處理結果返回給用戶；在混合云環(huán)境下，云平臺由私有云和公有云兩部分組成，調度引擎首先要決定任務所屬的云環(huán)境，為優(yōu)化調度成本，會優(yōu)先為任務分配私有云中的計算資源；當私有云中的計算能力不足，不能在用戶要求的截止時間之前完成工作流計算任務時，調度引擎根據(jù)需要將任務指派到公有云中，并按需申請公有云中的資源；

②架構混合云安全模型：公有云服務提供商一方面是誠實的，按照協(xié)議要求提供可靠的服務；但另一方面又是充滿好奇心的，會根據(jù)某些目的收集用戶數(shù)據(jù)；私有云一般由企業(yè)自身、合作方或者可信第三方提供，和公有云相比更加安全，可被信任；因此在工作流調度過程中，為了防止重要數(shù)據(jù)泄露，應該保證重要、敏感的數(shù)據(jù)不能離開私有云；需設置以下兩種策略：一是不允許向上轉型，即如果當前任務所有的輸入數(shù)據(jù)都是非敏感的，則當前任務產生的數(shù)據(jù)也必須是非敏感的；二是允許向下轉型，即任務的輸入數(shù)據(jù)為敏感數(shù)據(jù)時輸出數(shù)據(jù)可以為非敏感數(shù)據(jù)；

③搭建混合云環(huán)境的任務分配模型：把n個互不影響的子任務放到m個虛擬資源上運行(m<n)，用T＝{t₁,t₂,…,t_n}表示等待調度任務集，t_j(j＝1,2,…,n)表示第j個子任務，VM＝{vm₁,vm₂,…,vm_m}表示虛擬資源節(jié)點集合，其中vm_i表示第i個虛擬資源，虛擬資源用六元組表示{vmid,mips,ram,bw,pesNumber}，其中vmid表示虛擬資源編號，mips表示虛擬資源指令執(zhí)行速度，ram表示虛擬資源內存，bw表示虛擬資源帶寬，pesNumber表示虛擬資源cpu個數(shù)，任務隊列可以用四元組表示{id,length,fileSize,outputSize}，其中id表示任務編號，length表示任務長度，fileSize表示任務輸入長度，outputSize表示任務輸出長度，每一個任務都可以用四元組表示{tid,tram,tbw,tpesNumber}，其中tid表示任務編號，tsram表示本任務需要的內存，tbw表示任務需要帶寬，tpesNumber表示任務需要的處理機個數(shù)；

步驟3.采用基于帕累托最優(yōu)的任務分配策略實現(xiàn)：在混合云工作流調度中，工作流截止時間與數(shù)據(jù)安全性是調度策略在優(yōu)化調度成本時必須滿足的前提條件，數(shù)據(jù)安全性可在任務分配階段就得到滿足，使用或者產生了敏感性數(shù)據(jù)的任務都可被認為是敏感性任務，這些任務都必須留在私有云中；因此，在初始化所有分配策略之前就可以排除不滿足數(shù)據(jù)安全性的分配方案；因此在判斷任務是否為“帕雷托最優(yōu)”狀態(tài)時，只需要考慮該任務分配策略對應的截止時間以及調度費用；混合云工作流調度產生的調度費用可分為兩部分，任務執(zhí)行費用以及數(shù)據(jù)傳輸費用，數(shù)據(jù)傳輸費用可以通過任務在混合云上的分配情況計算數(shù)據(jù)傳輸總量，再根據(jù)網絡數(shù)據(jù)傳輸收費標準計算獲得，任務執(zhí)行費用則可通過任務對應的指令數(shù)目以及計算資源收費標準計算獲得，雖然在完成資源分配之前仍不知道任務與資源的關系，并且在異構環(huán)境下，不同的計算資源擁有不同的計算能力與收費標準，但仍能給出近似估計；然而，任務分配方案對應的截止時間在完成計算資源分配之前是無法得知且難以估計，但在云計算中，工作負載與計算時間存在著某種聯(lián)系，因此可以利用分配方案對私有云產生的負載來代替計算時間，用以下公式計算私有云負載load與調度費用cost：

其中n為任務個數(shù)，α與β分別對應云資源單位時間的使用費用以及連接公有云與私有云網絡傳輸單位數(shù)據(jù)的費用，θ_i∈(0,1)表示任務u_i被分配到私有云或者公有云中，w_i為任務i權重，d_i,j為任務i,j之間的重要度，δ_i為私有云使用成本；如果有兩個方案中一個方案能夠在不損害另一個方案的費用與負載的前提下優(yōu)化其中任何一個指標，則可認為該方案是另一個方案的一個“帕雷托改善”，經過多次比較篩選后，最后剩余的分配方案都是不可被代替的，這些剩余方案都有可能是資源調度最優(yōu)解對應的任務分配，是最優(yōu)解的候選方案。