[發明專利]一種智能網課系統

有效

• 申請號: 202010400166.8
• 申請日: 2020-05-13
• 公開（公告）號: CN111582202B
• 公開（公告）日: 2023-10-17
• 發明（設計）人: 劉昱昊
• 申請（專利權）人: 上海海事大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V40/20;G06V10/30;G06V10/50;G06V10/82;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 上海諾衣知識產權代理事務所(普通合伙) 31298
• 代理人: 劉艷芝

1.一種智能網課系統，其特征在于，基于筆記本自帶攝像頭或電腦連接的攝像頭所攝的視頻圖像作為輸入，其中攝像頭擺放在能夠拍攝到人臉圖像的位置，通常擺放在屏幕正前方，若不是正前方，可以在識別結果處理模塊中更改人臉朝向的基準偏移角度值來補償攝像頭擺放位置；本系統包括：圖像預處理模塊，目標檢測模塊，人臉識別模塊，頭部方向檢測模塊，學生動作識別模塊，識別結果處理模塊；這6個功能模塊各自的實現方法如下：

圖像預處理模塊，對攝像頭采集到的圖像進行去噪和光照補償，然后進行圖像增強，最后將處理后的圖像數據傳遞給目標檢測模塊；

目標檢測模塊，對接收到圖像預處理模塊傳遞來的圖像數據進行目標檢測，分別檢測當前區域是否有個體，若有個體則提取其面部區域并傳遞給人臉識別模塊和頭部方向檢測模塊、提取上肢區域和手部區域圖像傳遞給學生動作識別模塊；

人臉識別模塊，對接收到目標檢測模塊傳遞來的人臉區域圖像數據進行人臉識別，并將識別結果分別傳遞給頭部方向檢測模塊和識別結果處理模塊；

頭部方向檢測模塊，根據目標檢測模塊傳遞來的人臉區域圖像數據，并結合人臉識別模塊傳遞來的識別結果進行人臉朝向識別，并將結果傳遞給識別結果處理模塊；

學生動作識別模塊，根據目標檢測模塊傳遞來的上肢區域和手部區域圖像數據，進行動作識別，判斷當前學生手部動作和上肢動作，并將識別結果傳遞給識別結果處理模塊；

識別結果處理模塊對接收到的識別結果進行整合，根據人臉識別模塊的識別結果判斷攝像頭前的個體是否為當前登錄賬戶對應的個體，根據頭部方向檢測模塊所識別的個體面部朝向來判斷當前個體注意力朝向，根據學生動作識別模塊來判斷當前學生與教師的交互動作。

2.根據權利要求1所述的一種智能網課系統，其特征在于所述的圖像預處理模塊的具體實現方法為：

在初始化階段該模塊不工作；在檢測過程中：第一步，對監控攝像頭所攝的監控圖像進行均值去噪，從而得到去噪后的監控圖像；第二步，對去噪后的監控圖像進行光照補償，從而得到光照補償后的圖像；第三步，將光照補償后的圖像進行圖像增強，將圖像增強后的數據傳遞給目標檢測模塊；

所述的對監控攝像頭所攝的監控圖像進行均值去噪，其方法是：設監控攝像頭所攝的監控圖像為X_src，因為X_src為彩色RGB圖像，因此存在X_src-R，X_src-G，X_src-B三個分量，對于每一個分量X_src′,分別進行如下操作：首先設置一個3×3維的窗口，考慮該圖像X_src′的每個像素點X_src′(i,j),以該點為中心點的3×3維矩陣所對應的像素值分別為[X_src′(i-1,j-1),X_src′(i-1,j),X_src′(i-1,j+1),X_src′(i,j-1),X_src′(i,j),X_src′(i,j+1),X_src′(i+1,j-1),X_src′(i+1,j),X_src′(j+1,j+1)]進行從大到小排列，取其排在中間的值為去噪后圖像X_src″在像素(i,j)所對應濾波后值賦值給X_src″(i,j)；對于X_src′的邊界點，會出現其3×3維的窗口所對應的某些像素點不存在的情況，那么只需計算落在窗口內存在的像素點的中間值即可，若窗口內為偶數個點，將排在中間兩個像素值的平均值作為該像素點去噪后的像素值賦值給X_src″(i,j)，從而，新的圖像矩陣X_src″即為X_src在當前RGB分量的去噪后的圖像矩陣，對于X_src-R，X_src-G，X_src-B在三個分量分別進行去噪操作后，將得到的X_src-R″，X_src-G″，X_src-B″分量，將這三個新的分量整合成一張新的彩色圖像X_Den即為去噪后所得的圖像；

所述的對去噪后的監控圖像進行光照補償，設去噪后的監控圖像X_Den，因為X_Den為彩色RGB圖像，因此X_Den存在RGB三個分量，對于每一個分量X_Den′,分別進行光照補償，然后將得到的X_cpst′整合得到彩色RBG圖像X_cpst，X_cpst即為X_Den光照補償后的圖像，對每一個分量X_Den′分別進行光照補償的步驟為：第一步，設X_Den′為m行n列，構造X_Den′^sum和Num_Den為同樣m行n列的矩陣，初始值均為0，步長窗口大小為l，其中函數min(m,n)表示取m和n的最小值，表示取整數部分,sqrt(l)表示l的平方根，若l1則l＝1；第二步，設X_Den左上角坐標為(1,1),從坐標(1,1)開始，根據窗口大小為l和步長s確定每一個候選框，該候選框為[(a,b),(a+l,b+l)]所圍成的區域，對于X_Den′在候選框區域內所對應的圖像矩陣進行直方圖均衡化，得到候選區域[(a,b),(a+l,b+l)]的均衡化后的圖像矩陣X_Den″，然后X_Den′^sum對應的[(a,b),(a+l,b+l)]區域的每一個元素計算X_Den′^sum(a+i_Xsum,b+j_Xsum)＝X_Den′^sum(a+i_Xsum,b+j_Xsum)+X_Den″(i_Xsum,j_Xsum)，其中(i_Xsum,j_Xsum)為整數且1≤i_Xsum≤l，1≤j_Xsum≤l，并將Num_Den對應的[(a,b),(a+l,b+l)]區域內的每一個元素加1；最后，計算其中(i_XsumNum,j_XsumNum)為X_Den對應的每一個點，從而得到X_cpst即為對當前分量X_Den′進行光照補償；

所述的根據窗口大小為l和步長s確定每一個候選框，其步驟為：

設監控圖像為m行n列,(a,b)為選定的區域的左上角坐標，(a+l,b+l)為選定區域的右下角坐標，該區域由[(a,b),(a+l,b+l)]表示，(a,b)的初始值為(1,1)；

當a+l≤m時：

b＝1；

當b+l≤n時：

選定的區域為[(a,b),(a+l,b+l)]；

b＝b+s；

內層循環結束；

a＝a+s；

外層循環結束；

上述過程中，每次選定的區域[(a,b),(a+l,b+l)]均為候選框；

所述的對于X_Den′在候選框區域內所對應的圖像矩陣進行直方圖均衡化，設候選框區域為[(a,b),(a+l,b+l)]所圍成的區域，X_Den″即為X_Den′在[(a,b),(a+l,b+l)]區域內的圖像信息，其步驟為：第一步，構造向量I，I(i_I)為X_Den″中像素值等于i_I的個數，0≤i_I≤255；第二步，計算向量第三步，對于X_Den″上的每一個點(i_XDen,j_XDen)，其像素值為X_Den″(i_XDen,j_XDen),計算X″_Den(i_XDen,j_XDen)＝I′(X″_Den(i_XDen,j_XDen))；待X_Den″圖像內的所有像素點值都計算并更改后直方圖均衡化過程結束，X_Den″內保存的即為直方圖均衡化的結果；

所述的將光照補償后的圖像進行圖像增強，設光照補償后的圖像為X_cpst，其對應的RGB通道分別為X_cpstR,X_cpstG,X_cpstB，對X_cpst圖像增強后得到的圖像為X_enh；對其進行圖像增強的步驟為：第一步，對于X_cpst的所有分量X_cpstR,X_cpstG,X_cpstB計算其按指定尺度進行模糊后的圖像；第二步，構造矩陣L_XenhR,L_XenhG,L_XenhB為與X_cpstR相同維度的矩陣，對于圖像X_cpst的RGB通道中的R通道，計算LX_enhR(i,j)＝log(X_cpstR(i,j))-LX_cpstR(i,j)，(i,j)的取值范圍為圖像矩陣中所有的點，對于圖像X_cpst的RGB通道中的G通道和B通道采用與R通道同樣的算法得到LX_enhG和LX_enhB；第三步，對于圖像X_cpst的RGB通道中的R通道，計算LX_enhR中所有點取值的均值MeanR和均方差VarR(注意是均方差)，計算MinR＝MeanR-2×VarR和MaxR＝MeanR+2×VarR，然后計算X_enhR(i,j)＝Fix((LX_cpstR(i,j)-MinR)/(MaxR-MinR)×255)，其中Fix表示取整數部分，若取值0則賦值為0，取值255則賦值為255；對于RGB通道中的G通道和B通道采用與R通道同樣的算法得到X_enhG和X_enhB，將分別屬于RGB通道的X_enhR、X_enhG、X_enhB整合成一張彩色圖像X_enh；

所述的對于X_cpst的所有分量X_cpstR,X_cpstG,X_cpstB計算其按指定尺度進行模糊后的圖像，對于RGB通道中的R通道X_cpstR，其步驟為：第一步，定義高斯函數G(x,y,σ)＝k×exp(-(x²+y²)/σ²)，σ為尺度參數，k＝1/∫∫G(x,y)dxdy，則對于X_cpstR的每一個點X_cpstR(i,j)計算，其中表示卷積運算，對于距離邊界低于尺度σ的點，只計算X_cpstR與G(x,y,σ)對應部分的卷積，Fix()表示取整數部分，若取值0則賦值為0，取值255則賦值為255；對于RGB通道中的G通道和B通道采用與R通道同樣的算法更新X_cpstG和X_cpstG。