[發明專利]基于大數據和OCR的網絡課堂中文板書結構化分享系統

有效

• 申請號: 202010109683.X
• 申請日: 2020-02-22
• 公開（公告）號: CN111353397B
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 楊麗納;程蘭芝;鐘大成;尚宇;張顥倚;劉楚然;余淼;劉少卿
• 申請（專利權）人: 鄭州鐵路職業技術學院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08;G06Q50/20
• 代理公司: 鄭州芝麻知識產權代理事務所(普通合伙) 41173
• 代理人: 董曉勇

本發明公開了一種基于大數據和OCR的網絡課堂中文板書結構化分享系統，該系統包括：圖像獲取單元、課件排版特征提取單元、板書書寫特征提取單元、張量融合單元、混合特征提取單元、板書分享單元，這些單元之間相互協作對課件圖像、板書圖像進行分析從而實現板書分享。利用本發明，在網絡課堂教學中，實現了網絡課堂板書結構化分享，能夠幫助教師自主發現板書缺陷。

技術領域

本發明涉及深度學習、大數據技術領域，具體涉及一種基于大數據和OCR的網絡課堂中文板書結構化分享系統。

背景技術

目前，網絡課堂是一種廣泛應用在高校公開課、企業培訓、職業培訓、中小幼教育等線上課堂的廣泛形式，具體是講師使用PPT和實時板書內容來進行課件講解。網絡課堂具有廣泛的前景。從泛IT教育機構舉例來說3節課在線教育培訓，與BAT、TMD等互聯網公司展開合作，與企業共建評估標準，為企業和個人提供培訓服務。Pluralsight美國在線培訓公司，2018年5月登陸美國NASDAQ，截止2018年底市值達32.6億美元。其市值之大，是因為線上教育的便利已經觸及到每個領域，忽略重播的課程，僅每日產生的在線課堂板書數據已十分可觀，但網絡課堂的數據量十分龐大，每日產生的板書數據和課件數據尚未被用于分析。

另一方面，教師的教育質量提升是離不開課堂反饋的，線下教育的質量能夠有較好的把控的原因是教師在板書書寫后能夠根據課堂反饋把握較好的板書內容詳盡程度，來把握較好的節奏。而目前，網絡課堂講師依賴的反饋主要限制在課后量化評分上，因為反饋不足，教師很難發現板書存在的問題。在這種反饋不足的情況下，教師需要通過相似板書來自主發現問題。而目前暫時沒有自動化分析板書內容的系統，即教師難以發現與自己教授內容相似的板書推薦分享，也無法知道其他用戶對自己板書的關注情況。

因此，現有網絡課堂教育領域存在缺少板書分享、教師無法自主發現板書缺陷的問題。

發明內容

本發明提供了一種基于大數據和OCR的網絡課堂中文板書結構化分享系統，實現了網絡課堂板書結構化分享，能夠幫助教師自主發現板書缺陷。

一種基于大數據和OCR的網絡課堂中文板書結構化分享系統，該系統包括：

圖像獲取單元，用于基于網絡課堂的應用程序接口獲取課件圖像以及板書圖像；

課件排版特征提取單元，用于將課件圖像輸入課件排版風格編碼器、課件排版風格解碼器構成的神經網絡，進行前向傳播，得到第一張量；

板書書寫特征提取單元，用于將板書圖像輸入板書書寫風格編碼器、板書書寫風格解碼器構成的神經網絡，進行前向傳播，得到第二張量；

張量融合單元，用于將尺寸相同的第一張量、第二張量按通道維度進行拼接合并操作，得到通道數更高的第三張量；

混合特征提取單元，用于將第三張量輸入混合特征編碼器進行編碼處理，并將編碼結果輸入全連接網絡，得到高維特征向量；

文字識別單元，用于基于OCR模塊對板書圖像進行文字識別，得到中文字符數量；

板書分享單元，用于根據高維特征向量以及中文字符數量計算板書之間的相似度，并根據相似度向用戶進行雙向分享。

圖像獲取單元還包括預處理模塊，預處理模塊用于對獲得的板書圖像進行底色添加、反色處理，從而得到符合網絡常規設計參數的板書圖像。

課件排版風格編碼器、課件排版風格解碼器是沙漏組合結構，采用卷積神經網絡模塊；板書書寫風格編碼器、板書書寫風格解碼器是沙漏組合結構，采用卷積神經網絡模塊。

全連接網絡的推薦配置是4096、4096、1024、256、512。

OCR模塊的識別結果是一組字符串，對字符串的字符進行過濾，統計中文字符數量。