[發(fā)明專利]狀態(tài)檢測(cè)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210174065.2
• 申請(qǐng)日: 2022-02-24
• 公開（公告）號(hào): CN114529890A
• 公開（公告）日: 2022-05-24
• 發(fā)明（設(shè)計(jì)）人: 潘蓬;譚昶;賈若然;鄭愛華;張友國(guó);呂軍;胡少云
• 申請(qǐng)（專利權(quán)）人: 訊飛智元信息科技有限公司;科大訊飛股份有限公司;安徽大學(xué)
• 主分類號(hào): G06V20/59
• 分類號(hào): G06V20/59;G06V10/40;G06V10/774;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 楊明月

本發(fā)明提供一種狀態(tài)檢測(cè)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，其中方法包括：確定待檢測(cè)圖像；基于狀態(tài)檢測(cè)模型，通過(guò)空間變換自適應(yīng)定位待檢測(cè)圖像中的狀態(tài)相關(guān)區(qū)域，通過(guò)狀態(tài)相關(guān)區(qū)域?qū)Υ龣z測(cè)圖像進(jìn)行人員狀態(tài)檢測(cè)；狀態(tài)檢測(cè)模型是基于樣本圖像和樣本圖像的人員狀態(tài)類別標(biāo)簽訓(xùn)練得到的。本發(fā)明提供的方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，能夠通過(guò)對(duì)待檢測(cè)圖像特征進(jìn)行空間變換，在待檢測(cè)圖像中自適應(yīng)定位到與狀態(tài)相關(guān)的區(qū)域，再通過(guò)對(duì)狀態(tài)相關(guān)區(qū)域?qū)Υ龣z測(cè)圖像進(jìn)行人員狀態(tài)檢測(cè)，實(shí)現(xiàn)了以狀態(tài)相關(guān)區(qū)域?yàn)闄z測(cè)目標(biāo)，得到在待檢測(cè)圖像中與狀態(tài)相關(guān)的區(qū)域，減少了因固定區(qū)域檢測(cè)導(dǎo)致的后續(xù)狀態(tài)類別檢測(cè)結(jié)果錯(cuò)誤的問(wèn)題，提高了狀態(tài)類別檢測(cè)的準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器視覺(jué)技術(shù)領(lǐng)域，尤其涉及一種狀態(tài)檢測(cè)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

目前在汽車輔助駕駛領(lǐng)域，駕駛員狀態(tài)檢測(cè)是輔助駕駛系統(tǒng)的重要組成部分，旨在車內(nèi)能夠做到向駕駛員察覺(jué)到危險(xiǎn)，減少危險(xiǎn)因素。駕駛員狀態(tài)檢測(cè)主要是檢測(cè)駕駛員出現(xiàn)分神的情況，例如：抽煙、打電話或者疲勞駕駛等，當(dāng)檢測(cè)到這些情況時(shí)輔助駕駛系統(tǒng)會(huì)進(jìn)行語(yǔ)音或者警示燈告警。

現(xiàn)有的駕駛員狀態(tài)檢測(cè)主要是通過(guò)從圖像中固定的ROI區(qū)域(感興趣區(qū)域)，例如：眼睛、嘴巴和手部區(qū)域等，再通過(guò)ROI區(qū)域的局部特征進(jìn)行人員狀態(tài)檢測(cè)。但以與狀態(tài)無(wú)關(guān)的關(guān)鍵點(diǎn)檢測(cè)機(jī)制進(jìn)行ROI區(qū)域檢測(cè)，會(huì)出現(xiàn)ROI區(qū)域識(shí)別出錯(cuò)導(dǎo)致人員狀態(tài)類別檢測(cè)結(jié)果錯(cuò)誤，還可能出現(xiàn)ROI區(qū)域識(shí)別正常但由于ROI區(qū)域特征較少依舊會(huì)導(dǎo)致人員狀態(tài)類別檢測(cè)結(jié)果錯(cuò)誤。

發(fā)明內(nèi)容

本發(fā)明提供一種狀態(tài)檢測(cè)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，用以解決現(xiàn)有技術(shù)中通過(guò)ROI進(jìn)行人員狀態(tài)類別檢測(cè)容易導(dǎo)致檢測(cè)結(jié)果錯(cuò)誤的缺陷。

本發(fā)明提供一種狀態(tài)檢測(cè)方法，包括：

確定待檢測(cè)圖像；

基于狀態(tài)檢測(cè)模型，通過(guò)空間變換自適應(yīng)定位所述待檢測(cè)圖像中的狀態(tài)相關(guān)區(qū)域，并通過(guò)所述狀態(tài)相關(guān)區(qū)域?qū)λ龃龣z測(cè)圖像進(jìn)行人員狀態(tài)檢測(cè)；

所述狀態(tài)檢測(cè)模型是基于樣本圖像和所述樣本圖像的人員狀態(tài)類別標(biāo)簽訓(xùn)練得到的。

根據(jù)本發(fā)明提供的一種狀態(tài)檢測(cè)方法，所述基于狀態(tài)檢測(cè)模型，通過(guò)空間變換自適應(yīng)定位所述待檢測(cè)圖像中的狀態(tài)相關(guān)區(qū)域，并通過(guò)所述狀態(tài)相關(guān)區(qū)域?qū)λ龃龣z測(cè)圖像進(jìn)行人員狀態(tài)檢測(cè)，包括：

基于所述狀態(tài)檢測(cè)模型中的狀態(tài)定位網(wǎng)絡(luò)，通過(guò)空間變換自適應(yīng)定位所述待檢測(cè)圖像中的狀態(tài)相關(guān)區(qū)域，得到狀態(tài)定位特征，并通過(guò)所述狀態(tài)定位特征和所述待檢測(cè)圖像的卷積特征確定所述狀態(tài)相關(guān)區(qū)域的圖像特征，所述狀態(tài)定位特征用于指示所述狀態(tài)相關(guān)區(qū)域在所述待檢測(cè)圖像中的位置；

基于所述狀態(tài)檢測(cè)模型中的分類網(wǎng)絡(luò)，應(yīng)用所述狀態(tài)相關(guān)區(qū)域的圖像特征對(duì)所述待檢測(cè)圖像進(jìn)行人員狀態(tài)檢測(cè)。

根據(jù)本發(fā)明提供的一種狀態(tài)檢測(cè)方法，所述基于所述狀態(tài)檢測(cè)模型中的狀態(tài)定位網(wǎng)絡(luò)，通過(guò)空間變換自適應(yīng)定位所述待檢測(cè)圖像中的狀態(tài)相關(guān)區(qū)域，得到狀態(tài)定位特征，并通過(guò)所述狀態(tài)定位特征和所述待檢測(cè)圖像的卷積特征確定所述狀態(tài)相關(guān)區(qū)域的圖像特征，包括：

基于所述狀態(tài)定位網(wǎng)絡(luò)中的多層卷積網(wǎng)絡(luò)，對(duì)所述待檢測(cè)圖像進(jìn)行特征提取，得到所述多層卷積網(wǎng)絡(luò)中每層卷積輸出的卷積特征；

基于所述狀態(tài)定位網(wǎng)絡(luò)中的空間變換網(wǎng)絡(luò)，應(yīng)用當(dāng)前層卷積輸出的卷積特征與前一層空間變換所得的空間變換特征，進(jìn)行空間變換，得到當(dāng)前層空間變換的空間變換特征，直至得到最后一層的空間變換特征，并將所述最后一層的空間變換特征確定為所述狀態(tài)定位特征，通過(guò)所述狀態(tài)定位特征和最后一層卷積輸出的卷積特征確定所述狀態(tài)相關(guān)區(qū)域的圖像特征。

根據(jù)本發(fā)明提供的一種狀態(tài)檢測(cè)方法，所述應(yīng)用當(dāng)前層卷積輸出的卷積特征與前一層空間變換所得的空間變換特征，進(jìn)行空間變換，得到當(dāng)前層空間變換的空間變換特征，包括：