[發(fā)明專利]衛(wèi)星邊緣智能代理的編排方法、系統(tǒng)、介質(zhì)及計算設(shè)備

有效

• 申請?zhí)枺?/td>: 202111288087.3
• 申請日: 2021-11-02
• 公開（公告）號: CN114040016B
• 公開（公告）日: 2022-08-12
• 發(fā)明（設(shè)計）人: 姜春曉;殷柳國;葛寧;李朕
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: H04L67/56
• 分類號: H04L67/56;H04L41/14
• 代理公司: 北京紀凱知識產(chǎn)權(quán)代理有限公司 11245
• 代理人: 孫楠

1.一種衛(wèi)星邊緣智能代理的編排方法，其特征在于，包括：

計算所有服務(wù)實例的總延時，根據(jù)所述總延時得到代理遷移問題對應(yīng)的優(yōu)化問題；

將所述優(yōu)化問題解耦成若干子問題，由若干子問題轉(zhuǎn)換形成低維MDP問題，求解解耦后的所述低維MDP問題，實現(xiàn)以最小延時為目的的智能代理按需遷移；

所述計算獲得所述總延時，包括：

在系統(tǒng)總周期內(nèi)，計算各所述服務(wù)實例運行時所需的總計算延時；

在系統(tǒng)總周期內(nèi)，不遷移所述服務(wù)實例時，計算各所述服務(wù)實例所需的傳輸延時；

當所述服務(wù)實例需要遷移時，計算所述服務(wù)實例在不同基站間遷移所產(chǎn)生的遷移延時；

將所有所述服務(wù)實例的所述總計算延時、所述傳輸延時和所述遷移延時求和，得到所述總延時；

所述將優(yōu)化問題解耦成若干子問題，采用兩層解耦法將高維狀態(tài)空間分解為若干個低維狀態(tài)空間；

所述兩層解耦法，包括：

第一層解耦采用變量解耦和直接解耦法：將所述優(yōu)化問題拆解成兩部分，第一部分對計算資源、帶寬資源和功率資源采用變量解耦，將三個變量分別獨立求解，得到優(yōu)化后的子問題；第二部分對遷移決策變量采用直接解耦優(yōu)化，直接解耦成若干整數(shù)規(guī)劃問題；

第二層解耦采用對偶解耦法：將各所述整數(shù)規(guī)劃問題經(jīng)拉格朗日推導(dǎo)轉(zhuǎn)化為二層主問題與服務(wù)層子問題；所述二層主問題用于優(yōu)化拉格朗日乘子，再將所述二層主問題解耦成若干所述服務(wù)層子問題，所述服務(wù)層子問題解耦后優(yōu)化每個服務(wù)實例的決策變量；

所述服務(wù)層子問題關(guān)于決策變量構(gòu)成所述低維MDP問題。

2.如權(quán)利要求1所述衛(wèi)星邊緣智能代理的編排方法，其特征在于，所述求解解耦后的所述低維MDP問題，采用在所述服務(wù)層子問題、所述主問題和所述子問題之間互相迭代計算，實現(xiàn)從針對基站的優(yōu)化化解到針對每個服務(wù)實例的優(yōu)化，包括：

對遷移決策變量、計算資源、帶寬資源和功率資源及拉格朗日乘子進行初始化；

對每個時隙進行迭代計算，包括：

外層循環(huán)：循環(huán)變量為第三個服務(wù)實例，如果滿足迭代終止條件，則終止該外層循環(huán)；

第一個內(nèi)循環(huán)：對所有基站遍歷；

求解所述子問題中關(guān)于計算資源變量的凸優(yōu)化問題；

繼續(xù)執(zhí)行第一個內(nèi)循環(huán)，循環(huán)變量第一個服務(wù)實例；

求解所述子問題中關(guān)于功率資源變量的凸優(yōu)化問題；

求解所述子問題中關(guān)于帶寬資源變量的凸優(yōu)化問題；

滿足第一個內(nèi)循環(huán)的迭代終止條件，則執(zhí)跳出第一個內(nèi)循環(huán)；

執(zhí)行第二個內(nèi)循環(huán)：循環(huán)變量第二個服務(wù)實例；

對基站內(nèi)的每個服務(wù)執(zhí)行新的MDP模型訓(xùn)練，求解所述服務(wù)層子問題并輸出每個服務(wù)實例的遷移決策變量；

更新拉格朗日乘子；

若滿足第二個內(nèi)循環(huán)的迭代終止條件，則執(zhí)跳出第二個內(nèi)循環(huán)；

將迭代計算得到的遷移決策變量、計算資源、帶寬資源和功率資源作為輸出。

3.如權(quán)利要求2所述衛(wèi)星邊緣智能代理的編排方法，其特征在于，所述對基站內(nèi)的每個服務(wù)執(zhí)行新的MDP模型訓(xùn)練，包括：

將生成的決策變量、拉格朗日乘子作為輸入，并用策略迭代的方法訓(xùn)練新的MDP模型；

依據(jù)訓(xùn)練的結(jié)果，求解所述服務(wù)層子問題并輸出每個服務(wù)實例的遷移決策變量。

4.如權(quán)利要求1所述衛(wèi)星邊緣智能代理的編排方法，其特征在于，確定所述低維MDP的狀態(tài)空間、行動、轉(zhuǎn)移概率和瞬時收益函數(shù)；

所述轉(zhuǎn)移概率其中表示服務(wù)實例n在t時隙可行的遷移集合；

所述瞬時收益函數(shù)為：

其中，表示遷移服務(wù)實例相比不遷移服務(wù)實例獲得的增益；為效用函數(shù)；表示該服務(wù)實例的鄰居基站集合；為t時隙的狀態(tài)空間；表示用戶n在第t時段隨機遷移至某一基站；表示服務(wù)實例n在第t時段的開始時刻決定遷移至的某一基站。