[發(fā)明專利]基于大數(shù)據(jù)和OCR的網(wǎng)絡(luò)課堂中文板書結(jié)構(gòu)化分享系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010109683.X
• 申請日: 2020-02-22
• 公開（公告）號: CN111353397B
• 公開（公告）日: 2021-01-01
• 發(fā)明（設(shè)計）人: 楊麗納;程蘭芝;鐘大成;尚宇;張顥倚;劉楚然;余淼;劉少卿
• 申請（專利權(quán)）人: 鄭州鐵路職業(yè)技術(shù)學(xué)院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08;G06Q50/20
• 代理公司: 鄭州芝麻知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 41173
• 代理人: 董曉勇

1.一種基于大數(shù)據(jù)和OCR的網(wǎng)絡(luò)課堂中文板書結(jié)構(gòu)化分享系統(tǒng)，其特征在于，該系統(tǒng)包括：

圖像獲取單元，用于基于網(wǎng)絡(luò)課堂的應(yīng)用程序接口獲取課件圖像以及板書圖像；

課件排版特征提取單元，用于將課件圖像輸入課件排版風(fēng)格編碼器、課件排版風(fēng)格解碼器構(gòu)成的神經(jīng)網(wǎng)絡(luò)，進行前向傳播，得到第一張量；

板書書寫特征提取單元，用于將板書圖像輸入板書書寫風(fēng)格編碼器、板書書寫風(fēng)格解碼器構(gòu)成的神經(jīng)網(wǎng)絡(luò)，進行前向傳播，得到第二張量；

張量融合單元，用于將尺寸相同的第一張量、第二張量按通道維度進行拼接合并操作，得到通道數(shù)更高的第三張量；

混合特征提取單元，用于將第三張量輸入混合特征編碼器進行編碼處理，并將編碼結(jié)果輸入全連接網(wǎng)絡(luò)，得到高維特征向量；

文字識別單元，用于基于OCR模塊對板書圖像進行文字識別，得到中文字符數(shù)量；

板書分享單元，用于根據(jù)高維特征向量以及中文字符數(shù)量計算板書之間的相似度，并根據(jù)相似度向用戶進行雙向分享，相似度計算采用以下計算模型：

S1＝D(V1，V2)*(W₂-X)

S2＝D(V1，V2)*1

其中，V1表示根據(jù)本地用戶的課件圖像以及板書圖像數(shù)據(jù)經(jīng)過神經(jīng)網(wǎng)絡(luò)分析得到的高維特征向量，V2表示待匹配的課件圖像以及板書圖像數(shù)據(jù)經(jīng)過神經(jīng)網(wǎng)絡(luò)分析得到的高維特征向量，D(V1，V2)表示兩個高維特征向量之間的相似度，W₂表示待匹配的目標(biāo)板書的字?jǐn)?shù)，X為補償值；S1是忽略本地板書字?jǐn)?shù)，考慮目標(biāo)板書字?jǐn)?shù)的相似度計算模型；S2是忽略本地及目標(biāo)板書字?jǐn)?shù)，考慮全局風(fēng)格特征的相似度計算模型，在使用S2對板書進行粗篩選之后可以使用S1對結(jié)果進行細化。

2.如權(quán)利要求1所述的基于大數(shù)據(jù)和OCR的網(wǎng)絡(luò)課堂中文板書結(jié)構(gòu)化分享系統(tǒng)，其特征在于，所述圖像獲取單元還包括預(yù)處理模塊，預(yù)處理模塊用于對獲得的板書圖像進行底色添加、反色處理，從而得到符合網(wǎng)絡(luò)常規(guī)設(shè)計參數(shù)的板書圖像。

3.如權(quán)利要求1所述的基于大數(shù)據(jù)和OCR的網(wǎng)絡(luò)課堂中文板書結(jié)構(gòu)化分享系統(tǒng)，其特征在于，所述課件排版風(fēng)格編碼器、課件排版風(fēng)格解碼器是沙漏組合結(jié)構(gòu)，采用卷積神經(jīng)網(wǎng)絡(luò)模塊；所述板書書寫風(fēng)格編碼器、板書書寫風(fēng)格解碼器是沙漏組合結(jié)構(gòu)，采用卷積神經(jīng)網(wǎng)絡(luò)模塊。

4.如權(quán)利要求1所述的基于大數(shù)據(jù)和OCR的網(wǎng)絡(luò)課堂中文板書結(jié)構(gòu)化分享系統(tǒng)，其特征在于，所述全連接網(wǎng)絡(luò)的推薦配置是4096、4096、1024、256、512。

5.如權(quán)利要求1所述的基于大數(shù)據(jù)和OCR的網(wǎng)絡(luò)課堂中文板書結(jié)構(gòu)化分享系統(tǒng)，其特征在于，所述OCR模塊的識別結(jié)果是一組字符串，對字符串的字符進行過濾，統(tǒng)計中文字符數(shù)量。