[發(fā)明專利]基于機(jī)器視覺的林業(yè)生態(tài)環(huán)境人機(jī)交互方法

在審

• 申請?zhí)枺?/td>: 201711407164.6
• 申請日: 2017-12-22
• 公開（公告）號: CN107992854A
• 公開（公告）日: 2018-05-04
• 發(fā)明（設(shè)計(jì)）人: 朱智勤;鄭明耀;李鵬華;李嫄源;趙芬
• 申請（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京同恒源知識產(chǎn)權(quán)代理有限公司11275
• 代理人: 趙榮之

技術(shù)領(lǐng)域

本發(fā)明屬于神經(jīng)網(wǎng)絡(luò)領(lǐng)域，涉及基于機(jī)器視覺的林業(yè)生態(tài)環(huán)境人機(jī)交互方法。

背景技術(shù)

隨著計(jì)算機(jī)、通信、傳感三大核心信息技術(shù)的高速發(fā)展，以物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能為代表的新一代信息技術(shù)成為當(dāng)今世界的中心科學(xué)技術(shù)，必將給未來的經(jīng)濟(jì)社會和生態(tài)環(huán)境帶來深刻的影響。與此同時(shí)，我國現(xiàn)代化林業(yè)發(fā)展也邁向“智慧林業(yè)”2.0發(fā)展時(shí)代。市場調(diào)研表明國家級森林公園、自然保護(hù)區(qū)、生態(tài)保護(hù)區(qū)、旅游風(fēng)景區(qū)、國有林場等對生態(tài)宣傳、生態(tài)科普、生態(tài)旅游服務(wù)方面的人機(jī)交互設(shè)備需求十分迫切。人機(jī)交互設(shè)備是一類結(jié)構(gòu)復(fù)雜、集成度高、技術(shù)密集的基礎(chǔ)裝備，引領(lǐng)高新技術(shù)的發(fā)展，處于價(jià)值鏈高端和產(chǎn)業(yè)鏈的關(guān)鍵環(huán)節(jié)。經(jīng)歷數(shù)十年的發(fā)展，人機(jī)交互以越來越自然的方式呈現(xiàn)在人們面前。視覺智能可識別人員性別、衣著色彩、衣著樣式、舉手姿勢、吸煙行為、人群聚集密度等信息，根據(jù)舉手姿勢選擇人員咨詢發(fā)問，根據(jù)不文明行為進(jìn)行提示勸告，根據(jù)人群密度進(jìn)行預(yù)警，根據(jù)人臉識別進(jìn)行游客統(tǒng)計(jì)。深度學(xué)習(xí)在機(jī)器視覺上的一個(gè)重要突破是行人檢測。目前基于深度學(xué)習(xí)最好的結(jié)果是20.86％。在最新的研究進(jìn)展中，很多在物體檢測中已經(jīng)被證明行之有效的思路都有其在深度學(xué)習(xí)中的實(shí)現(xiàn)。例如，聯(lián)合深度學(xué)習(xí)提出的形變層，對物體部件間的幾何形變進(jìn)行建模；多階段深度學(xué)習(xí)模擬在物體檢測中常用的級聯(lián)分類器；可切換深度網(wǎng)絡(luò)表示物體各個(gè)部件的混合模型；通過遷移學(xué)習(xí)將一個(gè)深度模型行人檢測器自適應(yīng)到一個(gè)目標(biāo)場景。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供一種基于機(jī)器視覺的林業(yè)生態(tài)環(huán)境人機(jī)交互方法，融合人工智能在圖像處理中的已有先進(jìn)成果，面向林業(yè)生態(tài)典型應(yīng)用場景，采用“云”到“端”的處理方式，利用視覺感知所記憶的信息，構(gòu)建林業(yè)生態(tài)環(huán)境統(tǒng)一語義表達(dá)的人機(jī)交互平臺，使之成為林業(yè)生態(tài)系統(tǒng)與外界溝通的重要信息源與“使能器”。

為達(dá)到上述目的，本發(fā)明提供如下技術(shù)方案：

基于機(jī)器視覺的林業(yè)生態(tài)環(huán)境人機(jī)交互方法，包括以下步驟：

S1：基于尺度相關(guān)池與級聯(lián)抑制分類器的人流量監(jiān)測；

S2：基于目標(biāo)三維行為時(shí)間尺度不變的特殊人群判別；

S3：基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的危險(xiǎn)行為分析；

S4：多層次抽象語義決策圖像分類的野生動物監(jiān)控：通過使用尺度不變特征變換算法(Scale Invariant Feature Transform,SIFT)描述符對特征點(diǎn)進(jìn)行描述以提取特征；通過構(gòu)建視覺詞典，利用K-means聚類方法將特征點(diǎn)聚成數(shù)類，視覺詞典由聚類中心形成的視覺詞匯組成；利用特征局部投影生成碼書，構(gòu)造BoF(Bag-of-Features)特征；通過利用BoF特征訓(xùn)練分類器，獲取分類模型，對待分類野生動物圖像特征進(jìn)行預(yù)測。

進(jìn)一步，所述步驟S1具體為：通過構(gòu)造級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)，來識別行人特征，并利用邊界框的數(shù)量統(tǒng)計(jì)，獲得人流量估計(jì)；卷積神經(jīng)網(wǎng)絡(luò)的每一個(gè)卷積層都將得到一系列的粗糙對象建議，借助對每一個(gè)卷積層使用級聯(lián)抑制分類器CRC將負(fù)面對象建議去除，得到相對精細(xì)的建議；幸存的對象建議通過下一層卷積層得到的特征再次使用級聯(lián)抑制分類器進(jìn)行負(fù)面建議消除；依次循環(huán)往下，到達(dá)第三層卷積層加入使用尺度相關(guān)池與級聯(lián)抑制分類器相結(jié)合；對像素點(diǎn)最少即最小對象的檢測識別；依次第四層第五層方法相同，分別對中等對象和大對象進(jìn)行檢測識別；通過對每一層的卷積特征都進(jìn)行池化，綜合使用各層特征對對象目標(biāo)進(jìn)行檢測。

進(jìn)一步，所述步驟S2具體為：通過建立目標(biāo)行為的統(tǒng)計(jì)模型，來識別及描述具有時(shí)空差異性的個(gè)體步態(tài)與行為；在建模階段，首先用相似矩陣描述目標(biāo)姿態(tài)變化，并轉(zhuǎn)換矩陣參數(shù)到對數(shù)空間形成一致的運(yùn)動參數(shù)序列；然后基于多邊形近似算法提取時(shí)間尺度不變特征(Time Scale Invariant Feature,TSIF)，并用動態(tài)時(shí)間規(guī)整對有限類別行為進(jìn)行統(tǒng)計(jì)建模；在行為識別階段，將測試行為與參考模型相匹配得到最小代價(jià)行為類別；

在層次化流程對視頻幀進(jìn)行處理的前提下，采用基于多點(diǎn)跟蹤模型，并用相似矩陣表示目標(biāo)運(yùn)動姿態(tài)的方法實(shí)現(xiàn)單目視覺下目標(biāo)三維運(yùn)動姿態(tài)估計(jì)；在估計(jì)相似矩陣時(shí)，滿足跟蹤點(diǎn)數(shù)不少于矩陣參數(shù)；所跟蹤的點(diǎn)包括外部標(biāo)記點(diǎn)和內(nèi)部標(biāo)記點(diǎn)，外部標(biāo)記點(diǎn)是在目標(biāo)表面人為設(shè)置；內(nèi)部標(biāo)記點(diǎn)用尺度不變特征轉(zhuǎn)換或加速分割測試特征關(guān)鍵點(diǎn)算法在目標(biāo)區(qū)域自動選取；為避免內(nèi)部標(biāo)記點(diǎn)的位置漂移和誤匹配對跟蹤的影響，通過采用人工標(biāo)記的外部點(diǎn)。