[發(fā)明專利]一種基于強(qiáng)化學(xué)習(xí)的衛(wèi)星信號(hào)周跳探測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110123896.2
• 申請(qǐng)日: 2021-01-29
• 公開(kāi)（公告）號(hào): CN112946698B
• 公開(kāi)（公告）日: 2023-08-29
• 發(fā)明（設(shè)計(jì)）人: 夏娜;王振舉;羅輝;胡迪;于永堂;張繼文;徐思;吳成;何夢(mèng)花
• 申請(qǐng)（專利權(quán)）人: 合肥工業(yè)大學(xué)智能制造技術(shù)研究院;合肥星北航測(cè)信息科技有限公司
• 主分類號(hào): G01S19/29
• 分類號(hào): G01S19/29;G01S19/37;G01S19/44;G06N3/044;G06N3/084;G06N3/092
• 代理公司: 安徽省合肥新安專利代理有限責(zé)任公司 34101
• 代理人: 陸麗莉;何梅生

1.一種基于強(qiáng)化學(xué)習(xí)的衛(wèi)星信號(hào)周跳探測(cè)方法，其特征是按如下步驟進(jìn)行：

步驟1：對(duì)衛(wèi)星信號(hào)載波相位進(jìn)行高階差分處理；

步驟1.1：以所設(shè)定的采樣周期T獲得樣本數(shù)為k+r+1的載波相位值序列，對(duì)所述載波相位值序列進(jìn)行高階差分處理，共獲得k+1個(gè)r階差分值，其中，載波相位的第i個(gè)r階差分值為r為差分階數(shù)；

利用式(1)計(jì)算第i個(gè)差分序列x_i：

式(1)中，c為使第i個(gè)差分序列x_i在[-1,1]范圍內(nèi)的縮放系數(shù)；

步驟2：利用式(2)所示的坐標(biāo)延遲重構(gòu)法構(gòu)建第j個(gè)空間向量X_j并作為第j個(gè)訓(xùn)練樣本：

式(2)中，x_i+1為第i+1個(gè)差分序列；k表示訓(xùn)練樣本集X的樣本數(shù)；

步驟3：利用式(3)構(gòu)造預(yù)測(cè)方差

式(3)中，是第j個(gè)輸出預(yù)測(cè)值，是k個(gè)輸出預(yù)測(cè)值的均值；

步驟4：利用式(4)構(gòu)造第j個(gè)周跳探測(cè)統(tǒng)計(jì)量D_j：

式(4)中，是第j個(gè)輸出預(yù)測(cè)值；

步驟5：利用式(5)建立強(qiáng)化學(xué)習(xí)方法的第j個(gè)獎(jiǎng)勵(lì)函數(shù)R_j：

式(5)中，η表示獎(jiǎng)勵(lì)值，b表示獎(jiǎng)勵(lì)函數(shù)的判決量，S表示當(dāng)前衛(wèi)星信號(hào)的狀態(tài)，S′表示當(dāng)前狀態(tài)的下一狀態(tài)；→表示狀態(tài)的變化；

步驟6：構(gòu)建強(qiáng)化學(xué)習(xí)方法的網(wǎng)絡(luò)模型：

步驟6.1：構(gòu)建由多個(gè)卷積層組成的循環(huán)神經(jīng)網(wǎng)絡(luò)RNN，并用于對(duì)所述訓(xùn)練樣本集X進(jìn)行特征提取，得到多維特征向量；

步驟6.2：構(gòu)建全連接層，用于將所述多維特征向量映射為一維特征向量；

步驟6.3：構(gòu)建由兩個(gè)n輸出的全連接層組成的Q網(wǎng)絡(luò)，用于對(duì)一維特征向量進(jìn)行信息抽象映射，得到衛(wèi)星信號(hào)的預(yù)測(cè)值；

步驟6.4：構(gòu)建由一個(gè)m連接的全連接層組成的動(dòng)作向量，用于對(duì)所述衛(wèi)星信號(hào)的預(yù)測(cè)值進(jìn)行處理，并輸出一個(gè)含有m個(gè)元素的動(dòng)作向量，包括：m₁個(gè)調(diào)整動(dòng)作與m₂個(gè)終止動(dòng)作；m＝m₁+m₂；

步驟7：對(duì)強(qiáng)化學(xué)習(xí)方法的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練：

步驟7.1：隨機(jī)初始化Q網(wǎng)絡(luò)的所有參數(shù)的集合w，基于集合w初始化所有的狀態(tài)，將經(jīng)驗(yàn)池初始化為空集；

步驟7.2：通過(guò)循環(huán)神經(jīng)網(wǎng)絡(luò)RNN和全連接層獲取一維特征向量；

步驟7.3：將一維特征向量作為Q網(wǎng)絡(luò)的輸入，由Q網(wǎng)絡(luò)輸出所有動(dòng)作對(duì)應(yīng)的Q值，并用ε-貪婪法在當(dāng)前輸出的Q值中選擇對(duì)應(yīng)的第j個(gè)動(dòng)作A_j，以1-ε為概率貪婪選擇當(dāng)前最大行為價(jià)值的動(dòng)作，以ε為概率隨機(jī)從m個(gè)動(dòng)作向量中選擇一個(gè)動(dòng)作，其中，ε為探索率，并設(shè)初始值為q₁，且隨著訓(xùn)練周期的增加，將ε逐漸降低至q₂；

步驟7.4：在當(dāng)前衛(wèi)星信號(hào)的狀態(tài)S下執(zhí)行第j個(gè)動(dòng)作A_j，得到新?tīng)顟B(tài)S′對(duì)應(yīng)的特征向量和第j個(gè)獎(jiǎng)勵(lì)R_j；

步驟7.5：將五元組{Y_j,A_j,R_j,Y′_j,is_end_j}存入經(jīng)驗(yàn)池，其中，Y_j為第j個(gè)訓(xùn)練樣本X_j在狀態(tài)S下通過(guò)循環(huán)神經(jīng)網(wǎng)絡(luò)RNN和全連接層后得到的特征向量，R_j是在狀態(tài)S下執(zhí)行動(dòng)作A_j后得到的獎(jiǎng)賞，Y′_j為在新?tīng)顟B(tài)S′下通過(guò)循環(huán)神經(jīng)網(wǎng)絡(luò)RNN和全連接層后得到的特征向量，is_end_j為終止?fàn)顟B(tài)；

步驟7.6：從經(jīng)驗(yàn)池中采樣k個(gè)樣本，并計(jì)算當(dāng)前輸出的第j個(gè)預(yù)測(cè)值

式(6)中，max_A′Q(Y′_j,A′,w)表示未來(lái)的獎(jiǎng)勵(lì)，γ表示折扣因子，A′_j是當(dāng)前動(dòng)作A_j的下一步動(dòng)作；1≤j≤k；

步驟7.7：通過(guò)神經(jīng)網(wǎng)絡(luò)的梯度反向傳播方法來(lái)更新Q網(wǎng)絡(luò)的所有參數(shù)，并判斷S′是終止?fàn)顟B(tài)is_end_j是否成立，若成立，則迭代結(jié)束，輸出第j個(gè)預(yù)測(cè)值并作為衛(wèi)星信號(hào)周跳探測(cè)的預(yù)測(cè)值，再求出新的周跳探測(cè)統(tǒng)計(jì)量D′_j，并依據(jù)三倍標(biāo)準(zhǔn)差原理，判斷新的周跳探測(cè)統(tǒng)計(jì)量D′_j是否大于a，若是，則認(rèn)為發(fā)生了信號(hào)周跳，否則，轉(zhuǎn)到步驟7.3。