[發明專利]板書書寫行為檢測方法、裝置、介質及電子設備

在審

• 申請號: 202110587529.8
• 申請日: 2021-05-27
• 公開（公告）號: CN113297985A
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 馬丁;陳奕名;張建鑫;霍衛濤;董連杰;張赫;王超;麻越;王賽
• 申請（專利權）人: 新東方教育科技集團有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 李柯瑩

本公開涉及一種板書書寫行為檢測方法、裝置、介質及電子設備，該方法包括：針對待檢測視頻中的每一圖像幀，將所述圖像幀輸入到人體姿態檢測模型中，得到所述人體姿態檢測模型輸出的所述圖像幀中的人體關鍵點和人體骨架信息；根據所述人體關鍵點、所述人體骨架信息、板書書寫行為檢測模型，得到用于表征所述圖像幀中是否具有板書書寫行為的目標結果；根據每一圖像幀各自對應的目標結果，確定所述待檢測視頻中的板書書寫行為視頻片段。通過上述技術方案，提高提取出板書書寫行為視頻片段的效率，而且提高板書書寫行為檢測的準確度。

技術領域

本公開涉及計算機技術領域，具體地，涉及一種板書書寫行為檢測方法、裝置、介質及電子設備。

背景技術

隨著教學環境的不斷提升，線下課的錄播成為教育場景中非常重要的環節，為了能夠將線下教學過程記錄下來并提供給學生，線下智慧教室中通常設置有攝像頭，例如朝向黑板的攝像頭，該攝像頭可以用于錄制教師上課時的視頻，錄制的視頻可以供學生復習學習內容。

通常情況下，教師講解課程中的重要內容時，一般會進行板書書寫，因此對課程視頻中教師的板書書寫行為進行識別，可以提取出教師講解重點內容時的視頻片段，一方面提高視頻剪輯效率，另一方面提高學生復習重點內容的效率，然而相關技術中對視頻中教師的板書書寫行為的檢測不夠準確。

發明內容

本公開的目的是提供一種板書書寫行為檢測方法、裝置、介質及電子設備，以提高板書書寫行為檢測的準確度。

為了實現上述目的，第一方面，本公開提供一種板書書寫行為檢測方法，所述方法包括：針對待檢測視頻中的每一圖像幀，將所述圖像幀輸入到人體姿態檢測模型中，得到所述人體姿態檢測模型輸出的所述圖像幀中的人體關鍵點和人體骨架信息；根據所述人體關鍵點、所述人體骨架信息、板書書寫行為檢測模型，得到用于表征所述圖像幀中是否具有板書書寫行為的目標結果；根據每一圖像幀各自對應的目標結果，確定所述待檢測視頻中的板書書寫行為視頻片段。

可選地，所述板書書寫行為檢測模型包括多個模型；所述根據所述人體關鍵點、所述人體骨架信息、板書書寫行為檢測模型，得到用于表征所述圖像幀中是否具有板書書寫行為的目標結果，包括：針對所述多個模型中的每一模型，根據該模型、所述人體關鍵點、所述人體骨架信息，得到該模型對應的用于表征所述圖像幀中是否具有板書書寫行為的識別結果；根據每一模型各自對應的識別結果，得到用于表征所述圖像幀中是否具有板書書寫行為的所述目標結果。

可選地，所述多個模型包括第一板書書寫行為檢測模型，所述第一板書書寫行為檢測模型用于通過如下方式得到用于表征所述圖像幀中是否具有板書書寫行為的識別結果：獲取所述人體關鍵點和所述人體骨架信息構成的第一特征圖；根據所述第一特征圖，確定所述圖像幀中人體的手臂預測關鍵點的位置信息以及所述手臂預測關鍵點表征所述人體正在進行板書書寫行為的預測概率；根據所述預測概率和所述手臂預測關鍵點的位置信息，得到所述第一板書書寫行為檢測模型對應的用于表征所述圖像幀中是否具有板書書寫行為的識別結果。

可選地，所述第一板書書寫行為檢測模型包括圖像處理網絡，所述圖像處理網絡用于對所述人體關鍵點和所述人體骨架信息進行特征提取，以得到所述第一特征圖，其中，所述圖像處理網絡包括卷積核大小為1×3的卷積層和卷積核大小為3×1的卷積層。

可選地，所述第一板書書寫行為檢測模型包括多個轉置卷積層和多個2D卷積層；所述第一板書書寫行為檢測模型用于通過如下方式根據所述第一特征圖確定所述手臂預測關鍵點的位置信息和所述預測概率：根據所述第一特征圖、所述多個轉置卷積層，得到第二特征圖；根據所述第二特征圖、所述多個2D卷積層，得到第三特征圖，其中，所述第三特征圖中每一像素點的像素值表征該像素點具有板書書寫行為的概率；根據所述第三特征圖，得到所述手臂預測關鍵點的位置信息和所述預測概率。