[發(fā)明專(zhuān)利]網(wǎng)上課堂視頻知識(shí)點(diǎn)識(shí)別方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010324019.7
• 申請(qǐng)日: 2020-04-22
• 公開(kāi)（公告）號(hào): CN111462554A
• 公開(kāi)（公告）日: 2020-07-28
• 發(fā)明（設(shè)計(jì)）人: 張新華;王朝選;顧佳檳;郭弘毅;申會(huì)強(qiáng);吳高峰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 浙江藍(lán)鴿科技有限公司
• 主分類(lèi)號(hào): G09B5/06
• 分類(lèi)號(hào): G09B5/06;G06F16/41;G06F16/483
• 代理公司: 上海一平知識(shí)產(chǎn)權(quán)代理有限公司 31266
• 代理人: 成春榮;竺云

1.一種網(wǎng)上課堂視頻知識(shí)點(diǎn)識(shí)別方法，其特征在于，包括：

確定待識(shí)別的課堂視頻的知識(shí)點(diǎn)域；

獲取所述課堂視頻，所述課堂視頻包括教學(xué)課件部分和黑板板書(shū)部分；

對(duì)于所述教學(xué)課件部分，根據(jù)課件頁(yè)面切換時(shí)間點(diǎn)將其劃分成多節(jié)視頻，并基于所述知識(shí)點(diǎn)域識(shí)別每節(jié)視頻包含的知識(shí)點(diǎn)的第一集合；

對(duì)于所述黑板板書(shū)部分，根據(jù)黑板板書(shū)更新時(shí)間點(diǎn)將其劃分成多節(jié)視頻，并基于所述知識(shí)點(diǎn)域識(shí)別每節(jié)視頻包含的知識(shí)點(diǎn)的第二集合；

將所述每節(jié)視頻對(duì)應(yīng)的音頻根據(jù)音頻停頓點(diǎn)劃分成多個(gè)音頻片段，并基于所述知識(shí)點(diǎn)域識(shí)別每個(gè)音頻片段包含的知識(shí)點(diǎn)的第三集合；

根據(jù)所述第一集合、所述第二集合和所述第三集合計(jì)算所述課堂視頻包含的知識(shí)點(diǎn)的集合。

2.如權(quán)利要求1所述的網(wǎng)上課堂視頻知識(shí)點(diǎn)識(shí)別方法，其特征在于，所述確定待識(shí)別的課堂視頻的知識(shí)點(diǎn)域之前，還包括：

預(yù)先構(gòu)建課程表庫(kù)和知識(shí)點(diǎn)庫(kù)，所述課程表庫(kù)中課程表的屬性信息包括授課日期、上課時(shí)間、下課時(shí)間、授課教師、科目和班級(jí)，所述知識(shí)點(diǎn)庫(kù)中知識(shí)點(diǎn)的屬性信息包括科目、年級(jí)、學(xué)習(xí)階段和關(guān)鍵詞；

所述確定待識(shí)別的課堂視頻的知識(shí)點(diǎn)域，進(jìn)一步包括：

預(yù)先設(shè)置所述課堂視頻的自動(dòng)錄制開(kāi)關(guān)，所述自動(dòng)錄制開(kāi)關(guān)的啟動(dòng)時(shí)間、停止時(shí)間分別對(duì)應(yīng)于所述課堂視頻的課程表中的上課時(shí)間、下課時(shí)間；

響應(yīng)于所述課堂視頻的錄制開(kāi)關(guān)啟動(dòng)信號(hào)，從所述課程表庫(kù)中獲取所述課堂視頻的課程表；

根據(jù)所獲取的課程表確定所述課堂視頻對(duì)應(yīng)的科目、年級(jí)和學(xué)習(xí)階段；

根據(jù)所述課堂視頻對(duì)應(yīng)的科目、年級(jí)和學(xué)習(xí)階段從所述知識(shí)點(diǎn)庫(kù)中獲取該課堂視頻的知識(shí)點(diǎn)域。

3.如權(quán)利要求1所述的網(wǎng)上課堂視頻知識(shí)點(diǎn)識(shí)別方法，其特征在于，所述獲取所述課堂視頻，所述課堂視頻包括教學(xué)課件部分和黑板板書(shū)部分，進(jìn)一步包括：

從課堂視頻合成模塊獲取所述課堂視頻，其中，所述視頻合成模塊用于根據(jù)預(yù)設(shè)規(guī)則切換獲取攝像機(jī)拍攝視頻和教學(xué)計(jì)算機(jī)屏幕視頻，并將對(duì)應(yīng)于所述黑板板書(shū)部分的攝像機(jī)拍攝視頻和對(duì)應(yīng)于所述教學(xué)課件部分的教學(xué)計(jì)算機(jī)屏幕視頻合成為該課堂視頻；

所述獲取所述課堂視頻，所述課堂視頻包括教學(xué)課件部分和黑板板書(shū)部分之后，還包括：

根據(jù)所述預(yù)設(shè)切換條件切換識(shí)別所述課堂視頻中所述教學(xué)課件部分和所述黑板板書(shū)部分中的知識(shí)點(diǎn)。

4.如權(quán)利要求3所述的網(wǎng)上課堂視頻知識(shí)點(diǎn)識(shí)別方法，其特征在于，所述根據(jù)所述預(yù)設(shè)切換條件切換識(shí)別所述課堂視頻中教學(xué)課件部分和黑板板書(shū)部分中的知識(shí)點(diǎn)，進(jìn)一步包括：

當(dāng)滿(mǎn)足以下條件之一時(shí)，由識(shí)別所述黑板板書(shū)部分中的知識(shí)點(diǎn)切換到識(shí)別所述教學(xué)課件部分中的知識(shí)點(diǎn)：

接收到在教學(xué)計(jì)算機(jī)上執(zhí)行打開(kāi)用于播放教學(xué)課件的教學(xué)軟件的信號(hào)，

接收到在教學(xué)計(jì)算機(jī)上執(zhí)行打開(kāi)投影儀的信號(hào)，

接收到在教學(xué)計(jì)算機(jī)上操作鍵盤(pán)或鼠標(biāo)的信號(hào)；以及，

當(dāng)滿(mǎn)足以下條件之一時(shí)，由識(shí)別所述教學(xué)課件部分中的知識(shí)點(diǎn)切換到識(shí)別所述黑板板書(shū)部分中的知識(shí)點(diǎn)：

接收到在教學(xué)計(jì)算機(jī)上執(zhí)行關(guān)閉所述教學(xué)軟件的信號(hào)，

接收到在教學(xué)計(jì)算機(jī)上執(zhí)行關(guān)閉所述投影儀的信號(hào)，

識(shí)別到所述黑板區(qū)域中有遮擋。

5.如權(quán)利要求1所述的網(wǎng)上課堂視頻知識(shí)點(diǎn)識(shí)別方法，其特征在于，所述對(duì)于所述教學(xué)課件部分，根據(jù)課件頁(yè)面切換時(shí)間點(diǎn)將其劃分成多節(jié)視頻之前，還包括：

對(duì)于所述教學(xué)課件部分，記錄在教學(xué)計(jì)算機(jī)上操作鍵盤(pán)、鼠標(biāo)的時(shí)間點(diǎn)；

獲取該時(shí)間點(diǎn)前后兩幀教學(xué)計(jì)算機(jī)屏幕的圖像；

將前后兩幀圖像灰度圖化后作差，并將差值圖進(jìn)行二值圖化處理生成二值圖；

如果所述二值圖的像素個(gè)數(shù)之和大于第一預(yù)設(shè)閾值時(shí)，判定該時(shí)間點(diǎn)為課件頁(yè)面切換時(shí)間點(diǎn)；

所述基于所述知識(shí)點(diǎn)域識(shí)別每節(jié)視頻包含的知識(shí)點(diǎn)的第一集合，進(jìn)一步包括：

獲取對(duì)應(yīng)于所述教學(xué)課件部分的所述每節(jié)視頻中的教學(xué)課件頁(yè)面；

將對(duì)應(yīng)于每節(jié)視頻的所述教學(xué)課件頁(yè)面轉(zhuǎn)化為文本；

基于所述知識(shí)點(diǎn)域，根據(jù)預(yù)設(shè)知識(shí)點(diǎn)識(shí)別算法識(shí)別文本中的知識(shí)點(diǎn)，得到所述第一集合。