[發(fā)明專利]物聯(lián)網(wǎng)中考慮數(shù)據(jù)相關(guān)性的數(shù)據(jù)動態(tài)采集與傳輸方法

有效

• 申請?zhí)枺?/td>: 202011250319.1
• 申請日: 2020-11-10
• 公開（公告）號: CN112437131B
• 公開（公告）日: 2022-09-13
• 發(fā)明（設(shè)計）人: 徐超;張凡;張博瑋;張新艷;謝益平;孫紅光
• 申請（專利權(quán)）人: 西北農(nóng)林科技大學(xué)
• 主分類號: H04L67/125
• 分類號: H04L67/125;H04W16/22;H04W52/02;H04W84/18
• 代理公司: 北京眾合誠成知識產(chǎn)權(quán)代理有限公司 11246
• 代理人: 趙浩竹

本發(fā)明公開一種物聯(lián)網(wǎng)中考慮數(shù)據(jù)相關(guān)性的數(shù)據(jù)動態(tài)采集與傳輸方法，通過多個能量收集傳感器組成了物聯(lián)網(wǎng)網(wǎng)絡(luò)，適當激活能量收集傳感器來更新狀態(tài)來提高信息的時效性；具體采用關(guān)聯(lián)信息年齡的概念來表示能量收集傳感器的信息時效性，然后引出一個動態(tài)更新優(yōu)化的問題來使得觀測到的長期平均信息相關(guān)年齡最小，該問題綜合考慮了資源傳輸約束和能量因果約束關(guān)系；然后采用馬爾可夫決策過程來描述狀態(tài)更新過程，并通過在標準的Q?network中進行動作剔除以解決該問題，本發(fā)明設(shè)計的一種基于深度強化學(xué)習(xí)的狀態(tài)更新算法，該算法可以同時解決環(huán)境動態(tài)未知、維數(shù)災(zāi)難以及有效動作與狀態(tài)之間的耦合問題。

技術(shù)領(lǐng)域

本發(fā)明涉及物聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及一種物聯(lián)網(wǎng)中考慮數(shù)據(jù)相關(guān)性的數(shù)據(jù)動態(tài)采集與傳輸方法。

背景技術(shù)

近來物聯(lián)網(wǎng)的發(fā)展給許多領(lǐng)域帶來了巨大的影響，產(chǎn)生了許多有價值的實時應(yīng)用，從工廠自動化的高速裝配和包裝，智能交通系統(tǒng)中的自動駕駛，到智慧城市或精準農(nóng)業(yè)中的環(huán)境監(jiān)測和過程自動化。對于這些實時的應(yīng)用，服務(wù)質(zhì)量在很大程度上依賴于新信息的及時傳遞，因為過時的信息將降低決策的準確性和可靠性。最近，信息年齡被提出，作為一種新的標準，從信息的目的地(數(shù)據(jù)融合中心)的角度評估信息時效性，其測量自生成到接收最新的分組所經(jīng)過的時間。信息年齡表示了網(wǎng)絡(luò)中的傳輸延遲以及傳感器上的更新時間。因此，信息年齡對于信息時效性的評價更加重要和全面，而設(shè)計高效的狀態(tài)更新策略對于提高物聯(lián)網(wǎng)網(wǎng)絡(luò)中的信息時效性至關(guān)重要。

在工作中，通常假設(shè)不同傳感器生成的狀態(tài)更新是獨立的，每個傳感器都與目標處的信息年齡值相關(guān)聯(lián)。然而，對于實際場景中的許多物聯(lián)網(wǎng)應(yīng)用，不同傳感器的狀態(tài)更新可能是關(guān)聯(lián)的，因此，這些更新需要在數(shù)據(jù)融合中心處集成做出明智的決策，即傳感器是關(guān)聯(lián)的。例如，環(huán)境監(jiān)視可能需要具有重疊視野的多個攝像頭來監(jiān)測給定場景，并且自動駕駛可以依賴于汽車的路況和狀態(tài)，通過聚合來自不同傳感器的測量結(jié)果來生成。因此，相關(guān)信息年齡的概念在中被引入來表示能量采集傳感器的信息時效性，最近的研究開始探索狀態(tài)更新方案來改善物聯(lián)網(wǎng)網(wǎng)絡(luò)中的相關(guān)信息年齡。

同時，對于物聯(lián)網(wǎng)網(wǎng)絡(luò)來說，提供最新狀態(tài)更新的最大挑戰(zhàn)之一是傳感器的電量供應(yīng)有限，因為它們通常由容量有限的電池供電，而不是固定電源。出于經(jīng)濟角度的考慮，能量收集技術(shù)被認為是為傳感器供電的一個具有挑戰(zhàn)性的解決方案。因此，最近的一些研究開始研究如何通過優(yōu)化能量收集來降低信息年齡的實現(xiàn)。然而，之前的研究在所考慮的物聯(lián)網(wǎng)網(wǎng)絡(luò)中只加入了一個能量收集傳感器，并沒有考慮傳感器之間的相關(guān)性對狀態(tài)更新策略設(shè)計的影響。因此，如何設(shè)計高效的動態(tài)更新策略來保證集成信息的時效性成為了關(guān)鍵問題。

發(fā)明內(nèi)容

針對上述問題，本發(fā)明提供了一種物聯(lián)網(wǎng)中考慮數(shù)據(jù)相關(guān)性的數(shù)據(jù)動態(tài)采集與傳輸方法，采用馬爾可夫決策過程來描述狀態(tài)更新過程，并通過在標準的Q-network中加入動作剔除，設(shè)計了一種基于深度強化學(xué)習(xí)的狀態(tài)更新算法，該算法可以同時解決環(huán)境動態(tài)未知、維數(shù)災(zāi)難以及有效動作與狀態(tài)之間的耦合問題。

為了實現(xiàn)上述技術(shù)方案，本發(fā)明提供了一種深度強化學(xué)習(xí)方法，其特征在于，首先將動態(tài)協(xié)作狀態(tài)更新過程描述為馬爾可夫決策過程，然后通過在標準DQN中加入動作剔除機制來更新算法的有效性。

進一步改進在于：將所關(guān)心的動態(tài)狀態(tài)更新表示為由元組(S，A(t)，U(·，·))組成的馬爾可夫決策過程，描述如下：

1)狀態(tài)空間S:首先定義每個單位時間為t的傳感器n_k的狀態(tài)為

其中

表示從最后一次檢測成功的時間段結(jié)束到時間段t開始的時間

傳感器在時的激活時間，為傳感器電池中的能量；然后將馬爾可夫決策過程的狀態(tài)定義為所有傳感器的狀態(tài)和數(shù)據(jù)融合中心處的相關(guān)信息年齡值的組合，即