[發明專利]一種在線課程知識樹的生成關聯方法

有效

• 申請號: 202011018522.6
• 申請日: 2020-09-24
• 公開（公告）號: CN112231522B
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 陳浩;趙翌臣;趙玉成;肖富貴
• 申請（專利權）人: 北京奧鵬遠程教育中心有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06K9/34;G06N3/04;G06N3/08
• 代理公司: 北京集智東方知識產權代理有限公司 11578
• 代理人: 陳亞斌;關兆輝

1.一種在線課程知識樹的生成關聯方法，其特征在于，所述方法包括：

基于對PPT樣式的圖片和/或文字和/或符號的識別，訓練OCR模型和YOLO目標檢測模型；

基于對在線課程的大綱的爬取，獲取所述在線課程的知識樹主分支；

基于所述OCR模型、YOLO目標檢測模型和所述在線課程的視頻，捕捉并處理所述視頻中的PPT畫面，獲取所述PPT畫面的OCR結果；

基于預設規則從所述OCR結果中抽取知識點；

層級化所述知識點，并獲取所述知識點在所述視頻中的起止時間；

合并所述知識點至所述知識樹主分支，生成所述在線課程知識樹；

基于所述OCR模型和/或ASR模型，獲取所述在線課程的視頻的字幕信息和/或語音信息，將所述知識點與所述在線課程的試題進行關聯；

其中，所述基于對PPT樣式的圖片和/或文字和/或符號的識別，訓練OCR模型和YOLO目標檢測模型，具體為：

選擇OCR模型，所述OCR模型包括clovaai文字識別模型；

基于程序批量化生成的訓練數據，訓練選擇的OCR模型，生成所述OCR模型的中文語料；

增加所述YOLO目標檢測模型對特殊符號的檢測識別、定位以及尺寸估算，所述特殊符號包括wingdings符號。

2.根據權利要求1所述的在線課程知識樹的生成關聯方法，其特征在于，

所述clovaai文字識別模型的識別步驟，具體為，

基于圖像進行卷積，提取特征；

基于LSTM處理所述特征；

前向傳播并產生預測文字。

3.根據權利要求1所述的在線課程知識樹的生成關聯方法，其特征在于，

所述增加所述YOLO目標檢測模型對特殊符號的檢測識別、定位以及尺寸估算，具體為，

建立特殊符號目標檢測模型，基于包含抗鋸齒與換色算法的圖像合成算法，批量生成所述特殊符號的訓練數據。

4.根據權利要求3所述的在線課程知識樹的生成關聯方法，其特征在于，

所述抗鋸齒與換色算法，具體為，

定義圖像紅綠藍三通道分別為C_Red、C_Green、C_Blue；

當將所述特殊符號變成紅色主色調，然后疊加到一張背景圖片時，即C_Red＝c_Red，C_Green＝0，C_Blue＝0，其中c_Red∈[0,255]，

將所述背景圖片的紅色通道像素減去c_Red，即C_Red＝C_Red-c_Red，獲取記作img_bg的第一結果；

將所述特殊符號的圖片的紅綠藍三通道均除以255，即C_Red＝C_Red/255，C_Green＝C_Green/255，C_Blue＝C_Blue/255，獲取記作img_wingdings的第二結果；

將img_bg與img_wingdings逐點相乘，獲取記作img的第三結果；

將img的紅色通道加上c_Red，即C_Red＝C_Red+c_Red。

5.根據權利要求4所述的在線課程知識樹的生成關聯方法，其特征在于，

所述增加所述YOLO目標檢測模型對特殊符號的檢測識別、定位以及尺寸估算，具體還包括，

截取文字行向左擴展2倍字高的區域作為目標檢測的圖像；

定位所述特殊符號的位置；

識別定位的所述特殊符號的圖像類別；

計算所述特殊符號的面積。