[發明專利]基于人工智能和計算機視覺的火車安全監控方法和裝置

在審

• 申請號: 202011617566.0
• 申請日: 2020-12-30
• 公開（公告）號: CN112597959A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 祝斯佳;陳雪磊
• 申請（專利權）人: 鄭州博瀚智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 鄭州芝麻繪智知識產權代理事務所(普通合伙) 41191
• 代理人: 符亞飛

1.一種基于人工智能和計算機視覺的火車安全監控方法，其特征在于，包括如下步驟：

獲取火車駕駛員的手勢識別語音啟動指令；

對所述手勢識別語音啟動指令進行判斷，獲取所述手勢識別語音啟動指令是否是有效語音啟動指令的判別結果；

若所述判別結果為所述手勢識別語音啟動指令是有效語音啟動指令，則獲取至少兩幀火車駕駛員的手勢動作圖像；

根據各幀手勢動作圖像，獲取各幀手勢動作圖像的手勢動作數據；

根據各幀手勢動作數據，獲取各幀手勢動作數據的節點和邊的特征向量；

將所述各幀手勢動作數據的節點和邊的特征向量輸入至預設的手勢動作識別模型中，識別得到目標手勢動作；

將所述目標手勢動作輸入至預設的火車狀態識別模型中，獲取與所述目標手勢動作相對應的目標火車狀態信息。

2.根據權利要求1所述的基于人工智能和計算機視覺的火車安全監控方法，其特征在于，所述對所述手勢識別語音啟動指令進行判斷，獲取所述手勢識別語音啟動指令是否是有效語音啟動指令的判別結果具體為：

對所述手勢識別語音啟動指令進行語音識別，得到手勢識別文字啟動指令；

將所述手勢識別文字啟動指令與預設的手勢識別文字啟動標準指令進行比對，若所述手勢識別文字啟動指令是所述手勢識別文字啟動標準指令，則所述手勢識別語音啟動指令是有效語音啟動指令，若所述手勢識別文字啟動指令不是所述手勢識別文字啟動標準指令，則所述手勢識別語音啟動指令不是有效語音啟動指令。

3.根據權利要求1所述的基于人工智能和計算機視覺的火車安全監控方法，其特征在于，所述各幀手勢動作數據的節點的特征向量包括節點的三維世界坐標以及節點在三維坐標系中的速度；所述各幀手勢動作數據的邊的特征向量包括邊所對應的兩個節點之間的空間歐式距離以及邊所對應的兩個節點的連線與三維坐標系中三個坐標軸之間的夾角。

4.根據權利要求1所述的基于人工智能和計算機視覺的火車安全監控方法，其特征在于，所述手勢動作識別模型的創建過程具體為：

獲取火車駕駛員的各個手勢動作所對應的手勢動作樣本數據集，所述手勢動作樣本數據集包括與對應的手勢動作相對應的至少兩幀手勢動作樣本數據；

對于任意一個手勢動作，獲取該手勢動作的手勢動作樣本數據集中各幀手勢動作樣本數據的節點和邊的特征向量；

將該手勢動作對應的節點和邊的特征向量輸入至預設的圖網絡結構進行計算；

對經過計算后的圖網絡結構進行訓練，獲取該手勢動作的手勢動作識別子模型；

獲取火車駕駛員的所有手勢動作對應的手勢動作識別子模型，所述火車駕駛員的所有手勢動作對應的手勢動作識別子模型構成所述手勢動作識別模型。

5.根據權利要求4所述的基于人工智能和計算機視覺的火車安全監控方法，其特征在于，所述將該手勢動作對應的節點和邊的特征向量輸入至預設的圖網絡結構進行計算具體為：

初始化該手勢動作的每一幀手勢動作樣本數據的全局屬性的特征向量；

構建與該手勢動作的手勢動作樣本數據的幀數相同個數的圖網絡結構，將每一幀手勢動作樣本數據的節點和邊的特征向量以及初始化的全局屬性的特征向量輸入到對應的圖網絡結構；

在每一幀手勢動作樣本數據的節點和邊的特征向量以及初始化的全局屬性的特征向量對應的圖網絡結構中，對每一幀手勢動作樣本數據的節點和邊的特征向量以及初始化的全局屬性的特征向量進行多次更新和聚合運算，輸出該手勢動作每一幀手勢動作樣本數據的全局屬性的目標特征向量；

根據該手勢動作所有幀的手勢動作樣本數據的全局屬性的目標特征向量，獲取該手勢動作的目標分類向量。

6.根據權利要求5所述的基于人工智能和計算機視覺的火車安全監控方法，其特征在于，所述對每一幀手勢動作樣本數據的節點和邊的特征向量以及初始化的全局屬性的特征向量進行多次更新和聚合運算中，采用多層感知機MLP模型進行更新運算，采用求和函數進行聚合運算。