[發明專利]課堂錄像中教師黑板書寫動作的自動識別方法

無效

• 申請號: 200910185427.2
• 申請日: 2009-11-09
• 公開（公告）號: CN101699469A
• 公開（公告）日: 2010-04-28
• 發明（設計）人: 詹學峰;朱秀昌;洪紅;梁國山;干宗良;唐貴進;蔡旻
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/20
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 葉連生

技術領域

本發明是一種課堂錄像中教師黑板書寫動作的自動識別算法，屬于遠程教育系統中的圖像識別技術。

背景技術

遠程教育作為一種有效而經濟的學習方式，得到越來越多的認同。而制約遠程教育發展的一個關鍵因素之一是課程視頻資源的缺乏，其原因是較為繁瑣的教學現場視頻的人工攝制過程。目前，拍攝教學視頻需要專門的攝像師到教室里去全程拍攝，或者教師在專門的錄制教室進行授課，成本比較高。因此，使攝制設備自動化、智能化，不需要專門的攝影師的參與，能方便擺放在普通教室，具有廣泛的應用前景。

要實現教學過程的自動錄播，智能視頻分析是其核心技術，包括目標檢測、目標跟蹤及行為識別等。目標檢測利用視頻中運動或特征的信息，檢測出視頻中的目標，屬于低級視頻處理。目標跟蹤根據目標檢測的結果，對特定的目標進行跟蹤，屬于中級視頻處理。行為識別對跟蹤目標的行為進行識別，屬于高級視頻處理。

在用于遠程教學的視頻分析中，在對拍攝的主要目標——教師進行定位、跟蹤之后，還需要對視頻中的教師的行為進行識別，使攝像機自動對不同的行為做出不同的反應，獲得改好的攝像效果。其中，教師寫黑板(在黑板上書寫文字或繪圖)的動作是課堂教學中最常見的重要行為之一，如果檢測到教師正在寫黑板，則攝像頭聚焦在以板書的手為中心的黑板上，使黑板上書寫的內容清晰可見。當檢測到寫黑板結束后，則攝像機恢復原來的狀態。

發明內容

技術問題：本發明的目的是提供一種課堂錄像中教師黑板書寫動作的自動識別方法，在準確地找到教師的位置后，判斷教師是否有寫黑板的動作，如果有則進行攝像機拉伸。問題的實質是在教師板書的目標區域中，根據教師寫板書通常右上部動作較大的特點來比較運動目標各部分的運動量大小，并由此判斷教師是否在板書以及拉伸攝像機。

技術方案：本發明的課堂錄像中教師黑板書寫動作的自動識別方法包括以下步驟：

a.使用采集卡采集一幀圖像，用當前幀與前一幀做圖像相減運算，得到二值化的幀差圖像并進行分析；

b.對二值幀差圖像做數學形態學中的閉運算處理之后，再進行連通區域標記，通過設置閾值，去除二值幀差圖像中較為明顯的噪聲區域；

c.獲取目標矩形框并計算矩形的面積，當矩形面積滿足所定條件時，判斷為有人體運動，則對教師板書行為進行檢測及識別；

d.若連續檢測到了寫黑板行為超過5幀圖像時，則對攝像機進行拉伸處理；

e.若連續檢測不到寫黑板行為超過50幀圖像時，則把攝像機的拉伸倍數還原為初始倍數。

在所述的二值幀差圖像中，判斷教師寫黑板動作的運動量的方法為：

1)幀差圖像分析：幀差圖像分析的對象為目標人體的外接矩形框，是對運動目標的檢測結果，首先對幀差圖像做數學形態學中的閉運算處理，然后對處理后的結果進行連通區域標記，去除二值幀差圖像中的噪聲；當某個連通區域的像素點個數小于1000時，認為該區域為噪聲區域，此時，在二值幀差圖像中組成目標人體的黑色像素點，其余部分均為白色像素點，遍歷整個二值幀差圖像中所有黑色像素點的坐標，并在這些坐標當中分別找出水平和垂直方向的最大和最小坐標值，確定目標人體外接矩形框的左上角頂點A、右上角頂點B、右下角頂點C、左下角頂點D的坐標，當矩形面積在3000到10000之間時，就說明教師有可能在寫黑板；

2)劃分運動區域：教師正在寫黑板的姿態一般是舉起右手，手部有較大的運動而其他部位動作很小，因此首先要將目標人體外接矩形框分成幾個區域，由于寫黑板的動作是教師背向攝像頭伸出手去寫板書，而教師朝右上方向伸出去板書的手與身體通常滿足一定比例，因此可以在腋下部位附近確定一個分割特征點G，通過分割特征點G分別做水平和垂直方向的直線，并與外接矩形框相交，從而可以將外接矩形框分為4個矩形區域；

選擇100幅教師板書時的圖像作為樣本，計算出每幅圖像中的手部寬度像素值和手部高度像素值，并對所有樣本求平均值就可以大致算出H_h和H_w，再由已經獲得的外接矩形框四個頂點的坐標，就可以計算出特征分割點G的坐標，在確定了特征分割點G的坐標以后，過分割點的水平和垂直方向直線與外接矩形框左、右、上、下四條邊的交點E、F、H、I的坐標也隨之確定，從而由目標人體外接矩形框得到四個運動區域，其中外接矩形框的右上部分區域包含了教師伸出去寫黑板的手，整個左側部分包含了教師的身體；