[發(fā)明專利]基于機(jī)器視覺的林業(yè)生態(tài)環(huán)境人機(jī)交互方法

在審

• 申請?zhí)枺?/td>: 201711407164.6
• 申請日: 2017-12-22
• 公開（公告）號: CN107992854A
• 公開（公告）日: 2018-05-04
• 發(fā)明（設(shè)計(jì)）人: 朱智勤;鄭明耀;李鵬華;李嫄源;趙芬
• 申請（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京同恒源知識產(chǎn)權(quán)代理有限公司11275
• 代理人: 趙榮之

1.基于機(jī)器視覺的林業(yè)生態(tài)環(huán)境人機(jī)交互方法，其特征在于：該方法包括以下步驟：

S1：基于尺度相關(guān)池與級聯(lián)抑制分類器的人流量監(jiān)測；

S2：基于目標(biāo)三維行為時間尺度不變的特殊人群判別；

S3：基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的危險(xiǎn)行為分析；

S4：多層次抽象語義決策圖像分類的野生動物監(jiān)控：通過使用尺度不變特征變換算法(Scale Invariant Feature Transform,SIFT)描述符對特征點(diǎn)進(jìn)行描述以提取特征；通過構(gòu)建視覺詞典，利用K-means聚類方法將特征點(diǎn)聚成數(shù)類，視覺詞典由聚類中心形成的視覺詞匯組成；利用特征局部投影生成碼書，構(gòu)造BoF(Bag-of-Features)特征；通過利用BoF特征訓(xùn)練分類器，獲取分類模型，對待分類野生動物圖像特征進(jìn)行預(yù)測。

2.根據(jù)權(quán)利要求1所述的基于機(jī)器視覺的林業(yè)生態(tài)環(huán)境人機(jī)交互方法，其特征在于：所述步驟S1具體為：通過構(gòu)造級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)，來識別行人特征，并利用邊界框的數(shù)量統(tǒng)計(jì)，獲得人流量估計(jì)；卷積神經(jīng)網(wǎng)絡(luò)的每一個卷積層都將得到一系列的粗糙對象建議，借助對每一個卷積層使用級聯(lián)抑制分類器CRC將負(fù)面對象建議去除，得到相對精細(xì)的建議；幸存的對象建議通過下一層卷積層得到的特征再次使用級聯(lián)抑制分類器進(jìn)行負(fù)面建議消除；依次循環(huán)往下，到達(dá)第三層卷積層加入使用尺度相關(guān)池與級聯(lián)抑制分類器相結(jié)合；對像素點(diǎn)最少即最小對象的檢測識別；依次第四層第五層方法相同，分別對中等對象和大對象進(jìn)行檢測識別；通過對每一層的卷積特征都進(jìn)行池化，綜合使用各層特征對對象目標(biāo)進(jìn)行檢測。

3.根據(jù)權(quán)利要求1所述的基于機(jī)器視覺的林業(yè)生態(tài)環(huán)境人機(jī)交互方法，其特征在于：所述步驟S2具體為：通過建立目標(biāo)行為的統(tǒng)計(jì)模型，來識別及描述具有時空差異性的個體步態(tài)與行為；在建模階段，首先用相似矩陣描述目標(biāo)姿態(tài)變化，并轉(zhuǎn)換矩陣參數(shù)到對數(shù)空間形成一致的運(yùn)動參數(shù)序列；然后基于多邊形近似算法提取時間尺度不變特征(Time Scale Invariant Feature,TSIF)，并用動態(tài)時間規(guī)整對有限類別行為進(jìn)行統(tǒng)計(jì)建模；在行為識別階段，將測試行為與參考模型相匹配得到最小代價(jià)行為類別；

在層次化流程對視頻幀進(jìn)行處理的前提下，采用基于多點(diǎn)跟蹤模型，并用相似矩陣表示目標(biāo)運(yùn)動姿態(tài)的方法實(shí)現(xiàn)單目視覺下目標(biāo)三維運(yùn)動姿態(tài)估計(jì)；在估計(jì)相似矩陣時，滿足跟蹤點(diǎn)數(shù)不少于矩陣參數(shù)；所跟蹤的點(diǎn)包括外部標(biāo)記點(diǎn)和內(nèi)部標(biāo)記點(diǎn)，外部標(biāo)記點(diǎn)是在目標(biāo)表面人為設(shè)置；內(nèi)部標(biāo)記點(diǎn)用尺度不變特征轉(zhuǎn)換或加速分割測試特征關(guān)鍵點(diǎn)算法在目標(biāo)區(qū)域自動選取；為避免內(nèi)部標(biāo)記點(diǎn)的位置漂移和誤匹配對跟蹤的影響，通過采用人工標(biāo)記的外部點(diǎn)。

4.根據(jù)權(quán)利要求1所述的基于機(jī)器視覺的林業(yè)生態(tài)環(huán)境人機(jī)交互方法，其特征在于：所述步驟S3具體為：基于頭肩檢測的級聯(lián)深度網(wǎng)絡(luò)HsNet的行人行為檢測過程包括：對檢測視頻的每一幀圖像，用多尺度的滑窗按照預(yù)定步長截取一系列的候選小圖像塊Patch，形成待識別樣本；將這些樣本送入預(yù)先訓(xùn)練好的頭肩/非頭肩識別模型HsNet進(jìn)行分類，在網(wǎng)絡(luò)的每一級被分類為負(fù)的樣本的Patch直接舍棄，其余樣本繼續(xù)進(jìn)入網(wǎng)絡(luò)的下一級進(jìn)行更嚴(yán)格的識別分類，經(jīng)過三級CNN網(wǎng)絡(luò)進(jìn)行分類鑒別；網(wǎng)絡(luò)第三級的輸出結(jié)果用于判斷圖像Patch是否屬于頭肩區(qū)域，該區(qū)域的矩形框被稱為頭肩框，將頭肩框高度擴(kuò)展為原對應(yīng)滑動窗口的3倍，得到行人檢測的全身框；對于同一個行人，會形成多個檢測框，最后用非極大值抑制策略剔除多余的檢測框，每個位置只保留最可能的一個檢測框，即行人檢測結(jié)果；

引入非線性運(yùn)動模式學(xué)習(xí)及在線外觀模的基于檢測的分層關(guān)聯(lián)多目標(biāo)跟蹤方法型學(xué)習(xí)策略，算法第一層對檢測對象進(jìn)行底層可信關(guān)聯(lián)，形成軌跡片段；第二層利用非線性運(yùn)動模式在線學(xué)習(xí)和外觀模型多實(shí)例學(xué)習(xí)，對軌跡片段進(jìn)行有效連接，得到可靠的對象軌跡；為了避免遮擋問題，僅僅檢測行人的頭肩部分區(qū)域代替行人整體；將高斯過程回歸(Gaussian process regression,GPR)引入跟蹤過程，平滑對象軌跡片段，解決不同幀對象頭肩部區(qū)域位置跳變問題；

通過從對象的運(yùn)動軌跡中提取基本的參數(shù)作為特征，包括速度、方向和距離，對單個特征進(jìn)行分析或者將多個特征相結(jié)合組成更高級的語義來描述事件，進(jìn)而判斷事件是否發(fā)生。