[發明專利]課堂錄像中教師黑板書寫動作的自動識別方法

無效

• 申請號: 200910185427.2
• 申請日: 2009-11-09
• 公開（公告）號: CN101699469A
• 公開（公告）日: 2010-04-28
• 發明（設計）人: 詹學峰;朱秀昌;洪紅;梁國山;干宗良;唐貴進;蔡旻
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/20
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 葉連生

1.一種課堂錄像中教師黑板書寫動作的自動識別方法，其特征在于該方法包括以下步驟：

a.使用采集卡采集一幀圖像，用當前幀與前一幀做圖像相減運算，得到二值化的幀差圖像并進行分析；

b.對二值幀差圖像做數學形態學中的閉運算處理之后，再進行連通區域標記，通過設置閾值，去除二值幀差圖像中較為明顯的噪聲區域；

c.獲取目標矩形框并計算矩形的面積，當矩形面積滿足所定條件時，判斷為有人體運動，則對教師板書行為進行檢測及識別；

d.若連續檢測到了寫黑板行為超過5幀圖像時，則對攝像機進行拉伸處理；

e.若連續檢測不到寫黑板行為超過50幀圖像時，則把攝像機的拉伸倍數還原為初始倍數。

2.根據權利要求1所述的課堂錄像中教師黑板書寫動作的自動識別方法，其特征為在所述的二值幀差圖像中，判斷教師寫黑板動作的運動量的方法為：

1)幀差圖像分析：幀差圖像分析的對象為目標人體的外接矩形框，是對運動目標的檢測結果，首先對幀差圖像做數學形態學中的閉運算處理，然后對處理后的結果進行連通區域標記，去除二值幀差圖像中的噪聲；當某個連通區域的像素點個數小于1000時，認為該區域為噪聲區域，此時，在二值幀差圖像中組成目標人體的黑色像素點，其余部分均為白色像素點，遍歷整個二值幀差圖像中所有黑色像素點的坐標，并在這些坐標當中分別找出水平和垂直方向的最大和最小坐標值，確定目標人體外接矩形框的左上角頂點A、右上角頂點B、右下角頂點C、左下角頂點D的坐標，當矩形面積在3000到10000之間時，就說明教師有可能在寫黑板；

2)劃分運動區域：教師正在寫黑板的姿態一般是舉起右手，手部有較大的運動而其他部位動作很小，因此首先要將目標人體外接矩形框分成幾個區域，由于寫黑板的動作是教師背向攝像頭伸出手去寫板書，而教師朝右上方向伸出去板書的手與身體通常滿足一定比例，因此可以在腋下部位附近確定一個分割特征點G，通過分割特征點G分別做水平和垂直方向的直線，并與外接矩形框相交，從而可以將外接矩形框分為4個矩形區域；

選擇100幅教師板書時的圖像作為樣本，計算出每幅圖像中的手部寬度像素值和手部高度像素值，并對所有樣本求平均值就可以大致算出H_h和H_w，再由已經獲得的外接矩形框四個頂點的坐標，就可以計算出特征分割點G的坐標，在確定了特征分割點G的坐標以后，過分割點的水平和垂直方向直線與外接矩形框左、右、上、下四條邊的交點E、F、H、I的坐標也隨之確定，從而由目標人體外接矩形框得到四個運動區域，其中外接矩形框的右上部分區域包含了教師伸出去寫黑板的手，整個左側部分包含了教師的身體；

3)判斷運動量：根據劃分好的4個運動區域，分別計算出各個區域的運動量，某區域的運動量可以由二值幀差圖像中該區域值為1的像素的個數來描述，而教師寫黑板的姿態反映為目標人體外接矩形框中的右上區域有較大的運動，而右下區域基本上沒有運動，左下和左上區域僅有少量運動；

因此當各區域的運動量滿足以下三個條件的時候，判斷此時視頻中的目標人體正在寫黑板：

a.右上的手部區域HBFG的運動量比右下空白區域GFCI的運動量大；

b.左下的身體區域EGID的運動量比右下空白區域GFCI的運動量大；

c.右上的手部區域HBFG有一定的運動量，即手部區域運動量與該區域面積的比值達到一定的比例。