[發(fā)明專利]塔臺(tái)管制員工作狀態(tài)的檢測(cè)方法、裝置及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811581277.2
• 申請(qǐng)日: 2018-12-24
• 公開(kāi)（公告）號(hào): CN109830238B
• 公開(kāi)（公告）日: 2021-07-30
• 發(fā)明（設(shè)計(jì)）人: 陸峰
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): G10L15/26
• 分類號(hào): G10L15/26;G10L15/06;G10L25/51;H04N7/18;G06K9/00
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 鈄颯颯;劉芳

1.一種塔臺(tái)管制員工作狀態(tài)的檢測(cè)方法，其特征在于，包括：

采集塔臺(tái)管制員的語(yǔ)音數(shù)據(jù)，并從所述語(yǔ)音數(shù)據(jù)中提取關(guān)鍵詞；

獲取塔臺(tái)管制員的視頻圖像，并從所述視頻圖像中獲取所述塔臺(tái)管制員的注視區(qū)域；

確定與所述關(guān)鍵詞對(duì)應(yīng)的預(yù)設(shè)的塔臺(tái)管制員的注視區(qū)域，若所述注視區(qū)域與所述預(yù)設(shè)的塔臺(tái)管制員的注視區(qū)域的交疊區(qū)域大于或者等于閾值，則確定所述塔臺(tái)管制員正確完成觀察動(dòng)作；

其中，從所述視頻圖像中獲取所述塔臺(tái)管制員的注視區(qū)域，包括：

通過(guò)預(yù)設(shè)的人臉模型提取所述視頻圖像的特征點(diǎn)，所述特征點(diǎn)用于表征所述塔臺(tái)管制員的人臉信息；

將所述特征點(diǎn)與三維頭部模型匹配，得到頭部位置姿態(tài)數(shù)據(jù)；

根據(jù)所述特征點(diǎn)確定人眼區(qū)域，并根據(jù)所述人眼區(qū)域獲取所述塔臺(tái)管制員的視線方向；

根據(jù)所述塔臺(tái)管制員的視線方向和所述頭部位置姿態(tài)數(shù)據(jù)，獲得所述塔臺(tái)管制員的注視區(qū)域。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，從所述語(yǔ)音數(shù)據(jù)中提取關(guān)鍵詞，包括：

提取所述塔臺(tái)管制員連續(xù)語(yǔ)音數(shù)據(jù)中的字詞信息，利用預(yù)設(shè)的關(guān)鍵字詞表進(jìn)行篩選匹配，提取出所述關(guān)鍵詞。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，從所述語(yǔ)音數(shù)據(jù)中提取關(guān)鍵詞，包括：

將所述塔臺(tái)管制員的語(yǔ)音數(shù)據(jù)輸入語(yǔ)音模型，通過(guò)所述語(yǔ)音模型識(shí)別出所述關(guān)鍵詞，其中所述語(yǔ)音模型是通過(guò)預(yù)設(shè)的語(yǔ)音數(shù)據(jù)訓(xùn)練或分析建模得到的。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，從所述視頻圖像中獲取所述塔臺(tái)管制員的注視區(qū)域，包括：

將所述塔臺(tái)管制員的視頻圖像輸入預(yù)設(shè)訓(xùn)練模型，直接學(xué)習(xí)獲得所述塔臺(tái)管制員的視線方向和頭部位置姿態(tài)數(shù)據(jù)；

根據(jù)所述塔臺(tái)管制員的視線方向和所述頭部位置姿態(tài)數(shù)據(jù)，獲得所述塔臺(tái)管制員的注視區(qū)域。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在確定與所述關(guān)鍵詞對(duì)應(yīng)的預(yù)設(shè)的塔臺(tái)管制員的注視區(qū)域，若所述注視區(qū)域與所述預(yù)設(shè)的塔臺(tái)管制員的注視區(qū)域的交疊區(qū)域大于或者等于閾值，則確定所述塔臺(tái)管制員正確完成觀察動(dòng)作之后，還包括：

若確定所述塔臺(tái)管制員未正確完成觀察動(dòng)作，則通過(guò)預(yù)設(shè)的方式進(jìn)行提示或者預(yù)警；所述預(yù)設(shè)的方式包括：圖像、文本、語(yǔ)音中的任一或任多組合。

6.一種塔臺(tái)管制員工作狀態(tài)的檢測(cè)裝置，其特征在于，包括：

采集模塊，用于采集塔臺(tái)管制員的語(yǔ)音數(shù)據(jù)，并從所述語(yǔ)音數(shù)據(jù)中提取關(guān)鍵詞；

獲取模塊，用于獲取塔臺(tái)管制員的視頻圖像，并從所述視頻圖像中獲取所述塔臺(tái)管制員的注視區(qū)域；

檢測(cè)模塊，用于確定與所述關(guān)鍵詞對(duì)應(yīng)的預(yù)設(shè)的塔臺(tái)管制員的注視區(qū)域，若所述注視區(qū)域與所述預(yù)設(shè)的塔臺(tái)管制員的注視區(qū)域的交疊區(qū)域大于或者等于閾值，則確定所述塔臺(tái)管制員正確完成觀察動(dòng)作；

其中，從所述視頻圖像中獲取所述塔臺(tái)管制員的注視區(qū)域，包括：

通過(guò)預(yù)設(shè)的人臉模型提取所述視頻圖像的特征點(diǎn)，所述特征點(diǎn)用于表征所述塔臺(tái)管制員的人臉信息；

將所述特征點(diǎn)與三維頭部模型匹配，得到頭部位置姿態(tài)數(shù)據(jù)；

根據(jù)所述特征點(diǎn)確定人眼區(qū)域，并根據(jù)所述人眼區(qū)域獲取所述塔臺(tái)管制員的視線方向；

根據(jù)所述塔臺(tái)管制員的視線方向和所述頭部位置姿態(tài)數(shù)據(jù)，獲得所述塔臺(tái)管制員的注視區(qū)域。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，從所述語(yǔ)音數(shù)據(jù)中提取關(guān)鍵詞，包括：

提取所述塔臺(tái)管制員連續(xù)語(yǔ)音數(shù)據(jù)中的字詞信息，利用預(yù)設(shè)的關(guān)鍵字詞表進(jìn)行篩選匹配，提取出所述關(guān)鍵詞。

8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，從所述語(yǔ)音數(shù)據(jù)中提取關(guān)鍵詞，包括：

將所述塔臺(tái)管制員的語(yǔ)音數(shù)據(jù)輸入語(yǔ)音模型，通過(guò)所述語(yǔ)音模型識(shí)別出所述關(guān)鍵詞，其中所述語(yǔ)音模型是通過(guò)預(yù)設(shè)的語(yǔ)音數(shù)據(jù)訓(xùn)練或分析建模得到的。