[發明專利]基于深度Q網絡的RFID多閱讀器防碰撞算法

在審

• 申請號: 201810407901.0
• 申請日: 2018-04-26
• 公開（公告）號: CN108563971A
• 公開（公告）日: 2018-09-21
• 發明（設計）人: 鄭嘉利;袁源
• 申請（專利權）人: 廣西大學
• 主分類號: G06K7/10
• 分類號: G06K7/10;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于深度Q網絡的RFID多閱讀器防碰撞算法，約定閱讀器個數為N，系統可用信道資源數為R，學習次數為T，概率ε，折扣系數為γ，權重為θ，其特征在于，該算法步驟還包括：

步驟1)初始化：根據RFID網絡中閱讀器和信道資源的個數，初始化回放存儲replaymemory為D，使用隨機權重θ初始化動作-價值函數Q，觀察初始狀態s；

步驟2)執行動作：產生一個0到1之間的隨機數，當這個隨機數小于概率ε則選擇一個隨機動作，若大于概率ε則選擇最大Q值對應的動作，執行動作a后，觀察獎賞值c和下一狀態s′，在回放存儲D中保存經驗<s，a，c，s′>；

步驟3)訓練神經網絡：由于狀態之間具有連續性，如果對于每一個狀態都更新Q值，受狀態分布影響，效果會不好；因此，從回放存儲D中進行樣本隨機變換，每次采用隨機數據進行梯度下降，并通過反向傳播方法更新神經網絡權重θ；

步驟4)狀態轉化：當系統還未達到學習次數T時，令s＝s′，轉到步驟2，當達到學習次數T則終止學習過程。

2.根據權利要求1所述的適用于基于深度Q網絡的閱讀器防碰撞算法，其特征在于，所述信道資源用于表示閱讀器的可用信道數，所述回放存儲(replay memory)D用于存放所有經驗值<s，a，c，s′>，當訓練網絡時，使用的是來自回放存儲器的隨機數據批次，而不是使用最近的變換。

3.根據權利要求1所述的適用于基于深度Q網絡的閱讀器防碰撞算法，其特征在于，所述步驟1)狀態s由i和A(i)確定，其中i表示當前閱讀器，i∈{1，2，...，N}，A(i)表示當前閱讀器可用信道資源數，A(i)∈{1，2，...，R}，即當前閱讀器i可用的信道資源數A(i)，動作a表示分配一個信道資源給閱讀器，同時定義閱讀器i的信道狀態是R維向量U(i)＝{u₁(i)，u₂(i)，...，u_R(i)}，且

4.根據權利要求1～2任意所述的適用于RFID系統的基于深度Q網絡的閱讀器防碰撞算法，其特征在于，所述步驟2)中，概率ε隨時間變化從1降低到0.1，從而一開始系統采取完全隨機的行動以最大化地探索狀態空間，然后再穩定在一個固定的探索率上。

5.根據權利要求3所述的適用于RFID系統的基于深度Q網絡的閱讀器防碰撞算法，其特征在于，所述步驟2)獎勵可以表示為：

c(s，a)＝n₁(s，a)c₁+n₂(s，a)c₂+n₃(s，a)c₃+n₄(s，a)c₄，其中n₁(s，a)表示占用信道k且在閱讀器i的干擾范圍內的閱讀器數量，n₂(s，a)表示不占用信道k但在閱讀器i的干擾范圍內的閱讀器數量，n₃(s，a)表示占用信道k但不在閱讀器i的干擾范圍內的閱讀器數量，n₄(s，a)表示不占用信道k且不在閱讀器i的干擾范圍內的閱讀器數量，系數c₁，c₂，c₃，c₄通常滿足c₁＞c₂＞c₃＞c₄，c(s，a)越小，系統碰撞率越小，符合深度Q網絡學習規則。

6.根據權利要求4所述的適用于RFID系統的基于深度Q網絡的閱讀器防碰撞算法，其特征在于，對于給定變換<s，a，c，s′>，Q學習中的Q表更新規則需要被以下規則取代：

a)為當前狀態s進行一次前向傳播，獲得所有動作的預測的Q值；

b)為下一個狀態s′進行一次前向傳播，計算整體網絡輸出的最大值maxQ(s′，a′)，其中a′表示狀態s′對應的動作；

c)為動作設置Q值目標c+γmax Q(s′，a′)，對于其它所有動作，設置Q值目標為第a)步中原本返回的值，使這些輸出的誤差為0；

d)利用Q學習算法為神經網絡提供有標注的樣本，把目標Q值作為標注，通過計算目標Q直與神經網絡輸出的誤差，再將誤差反向傳回神經元，從而使用梯度下降的方法更新權重θ。