[發明專利]一種安檢員視覺作業規范識別判定和引導的方法及系統

有效

• 申請號: 202310478421.4
• 申請日: 2023-04-28
• 公開（公告）號: CN116189101B
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 黃瑩;王曉侃;茹一
• 申請（專利權）人: 公安部第一研究所
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V40/18;G06T7/70;G06V40/20
• 代理公司: 北京汲智翼成知識產權代理事務所(普通合伙) 11381
• 代理人: 陳曦;賈興昌

1.一種安檢員視覺作業規范識別判定和引導的方法，其特征在于包括如下步驟：

S1：實時獲取過檢物品圖像，同時實時捕獲安檢員對過檢物品圖像的視覺行為數據；

S2：針對所述過檢物品圖像，利用重點區域關注度預測模型生成重點區域關注度預測信息；

S3：結合過檢物品圖像、重點區域關注度預測信息、安檢員對過檢物品圖像的視覺行為數據進行綜合評估，判定視覺作業行為的質量；其中，所述綜合評估包括圖像重點區域命中率的計算和全部過檢物品圖像的搜索覆蓋率的計算；

S4：根據判定的視覺作業行為進行作業引導和回看處理。

2.如權利要求1所述的方法，其特征在于所述視覺行為數據包括但不限于：視線落點位置、實時視線跟蹤軌跡。

3.如權利要求2所述的方法，其特征在于所述視線落點位置通過如下子步驟獲得：

將安檢員注視的視線落點視為圓形區域，其中視線駐留時間越長，圓形區域的直徑越大；將多個視線落點表示為不規則重疊的多個圓形區域，計算多個重疊區域的最大外接矩形面積，計算得到的結果作為所述視線落點位置。

4.如權利要求1所述的方法，其特征在于所述圖像重點區域命中率的計算包括如下子步驟：

根據幾何圖形的重疊面積篩選并記錄下“命中區域”和“未命中區域”位置，計算出“命中區域”在所有重點區域的占比，作為所述圖像重點區域命中率。

5.如權利要求1所述的方法，其特征在于全部過檢物品圖像的搜索覆蓋率的計算包括如下子步驟：

針對所述全部過檢物品圖像，計算所有安檢員注視的視線落點、實時視線跟蹤軌跡內包絡的區域在圖像總面積中的占比，作為全部過檢物品圖像的搜索覆蓋率。

6.如權利要求4或5所述的方法，其特征在于所述視覺作業行為的質量包括：有隱患、有漏檢、有盲區、未違規；

其中，有隱患的判定方法為：將圖像重點區域命中率的計算中得到的命中率數值與按監管要求設定的圖像重點區域命中率的初設閾值進行比對，若命中率數值小于按監管要求設定的圖像重點區域命中率的初設閾值，則判定為有隱患；

有漏檢的判定方法為：對全部過檢物品圖像的搜索覆蓋率計算中得到的數值進行判定，若數值等于0，則判定為有漏檢；

有盲區的判定方法為：將全部過檢物品圖像的搜索覆蓋率的計算中得到的數值和按監管要求設定的全部過檢物品圖像的搜索覆蓋率的初設閾值進行比對，若數值小于按監管要求設定的全部過檢物品圖像的搜索覆蓋率的初設閾值且數值大于0，則判定為有盲區；

未違規的判定方法為：若圖像重點區域命中率的數值大于按監管要求設定的圖像重點區域命中率的初設閾值，并且全部過檢物品圖像的搜索覆蓋率計算中得到的數值大于按監管要求設定的全部過檢物品圖像的搜索覆蓋率的初設閾值，則判定為未違規。

7.如權利要求6所述的方法，其特征在于所述作業引導的內容具體包括：

若判定為有隱患，則進行圖像重點區域閃爍和/或變色提示，使圖像重點區域被提示，或者對圖像重點區域中未命中區域進行提示，然后將過檢物品圖像、該過檢物品圖像的重點區域關注度預測信息、安檢員對該過檢物品圖像的視覺行為數據全部發送至識圖質量評估設備，并進入回看等候；

若判定為有漏檢，則將過檢物品重新過檢，即重復步驟S1～S3；

若判定為有盲區，則通過報警燈和/或報警器進行提醒，然后將過檢物品圖像、該過檢物品圖像的重點區域關注度預測信息、安檢員對該過檢物品圖像的視覺行為數據發送至識圖質量評估設備，并進入回看等候；

若判定為未違規，則進入安全守候。