[發明專利]一種目標物體檢測方法及設備

有效

• 申請號: 201710491627.5
• 申請日: 2017-06-20
• 公開（公告）號: CN107403426B
• 公開（公告）日: 2020-02-21
• 發明（設計）人: 左國玉;杜婷婷;盧佳豪;邱永康
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/246
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;吳歡燕

1.一種目標物體檢測方法，其特征在于，包括：

根據圖像特征向量和Agent歷史動作數據，更新當前狀態；

根據所述當前狀態，利用Double DQN算法的第一DQN網絡，獲取各種動作對應的第一期望價值函數值；

根據所述第一期望價值函數值和決策參數ε，采用ε-greedy策略選擇下一個動作，檢測所述目標物體；

根據所述下一個動作的執行結果，利用Double DQN算法中第二DQN網絡的第二價值函數對所述下一個動作進行評估；

其中，具體根據更新后的當前狀態，利用Double DQN算法中第一DQN網絡的如下第一期望價值函數形式，計算各種動作對應的第一期望價值函數值：

式中，Q_main(s,a；θ)表示第一期望價值函數，r表示當前狀態下動作產生的獎勵信號，γ表示折扣因子，s和a分別表示當前狀態和當前狀態下的動作，s_t+1和a_t+1分別表示下一狀態和下一狀態下的動作，θ表示第一DQN網絡參數；

其中，所述根據圖像特征向量和Agent歷史動作數據，更新當前狀態進一步包括：

以當前環境的所述圖像特征向量和Agent的最后若干個所述歷史動作數據為新元素，加入表示所述當前狀態的序列。

2.根據權利要求1所述的方法，其特征在于，所述根據所述當前狀態，通過Double DQN算法的第一DQN網絡，獲取各種動作對應的第一期望價值函數值進一步包括：

根據更新后的所述當前狀態的序列，利用Double DQN算法中第一DQN網絡的第一期望價值函數，獲取各動作對應的所述第一期望價值函數值。

3.根據權利要求2所述的方法，其特征在于，所述根據所述第一期望價值函數值和決策參數ε，采用ε-greedy策略選擇下一個動作進一步包括：

基于所述各動作對應的各所述第一期望價值函數值，以ε的概率隨機選擇所述各動作中的一種動作，以1-ε的概率選擇各所述第一期望價值函數值中最大的一個對應的動作，作為所述下一個動作。

4.根據權利要求1所述的方法，其特征在于，在所述采用ε-greedy策略選擇下一個動作，檢測所述目標物體之后，還包括：

當判斷達到檢測標準或者達到限制條件時，停止檢測；

或者，當判斷未達到檢測標準且未達到限制條件時，基于迭代算法選擇再下一個動作，檢測所述目標物體，直至達到檢測標準或者達到限制條件。

5.根據權利要求4所述的方法，其特征在于，所述基于迭代算法選擇再下一個動作，檢測所述目標物體包括：

根據所述下一個動作更新所述歷史動作數據，獲取新歷史動作數據，根據所述下一個動作的執行結果，獲取獎勵函數值，并獲取新圖片特征向量；

根據所述新歷史動作數據和所述新圖片特征向量，更新所述當前狀態，獲取下一狀態；

根據所述獎勵函數值，更新所述Double DQN算法的第一期望價值函數和第二價值函數，獲取新的第一期望價值函數和新的第二價值函數；

調整所述決策參數ε，并根據所述新的第一期望價值函數和所述調整后的決策參數ε，采用ε-greedy策略選擇再下一個動作，檢測所述目標物體。

6.根據權利要求4所述的方法，其特征在于，所述達到檢測標準包括：

檢測框和所述目標物體所在區域真實框的重合區域與所述檢測框和所述真實框的覆蓋總區域的比值不小于給定閾值；

所述達到限制條件包括：

所述動作中沒有一種能使所述當前狀態產生變化；

或者，所述執行動作的次數達到設定值。

7.根據權利要求1所述的方法，其特征在于，在所述根據圖像特征向量和Agent歷史動作數據，更新當前狀態之前，還包括：

采集圖像，預處理所述圖像，并對所述預處理后的圖像進行特征提取，獲取所述圖像特征向量。