[發明專利]板書播報方法和設備

在審

• 申請號: 202210737112.X
• 申請日: 2022-06-27
• 公開（公告）號: CN115064150A
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 劉雅慧;周小芹;陳力;楊康;童梁
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L13/033
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 周婷婷

1.一種板書播報方法，其特征在于，包括：

響應于語音播報觸發操作，獲取目標板書圖像，其中，所述目標板書圖像是對目標區域進行拍攝得到的圖像；

獲取目標紅外信息，其中，所述目標紅外信息是對所述目標區域進行紅外掃描得到的紅外信息；

根據所述目標紅外信息確定光斑在所述目標板書圖像中的目標位置；

對所述目標板書圖像中與所述目標位置匹配的待識別區域進行板書內容識別，得到目標文本；

在目標音頻庫中查找到與所述目標文本對應的目標音頻的情況下，播放所述目標音頻。

2.根據權利要求1所述的方法，其特征在于，所述根據所述目標紅外信息確定光斑在所述目標板書圖像中的目標位置包括：

將所述目標紅外信息所指示的坐標位置，確定為所述目標位置，其中，所述坐標位置為所述光斑在所述目標區域中的位置。

3.根據權利要求1所述的方法，其特征在于，在獲取目標板書圖像之前，還包括：

響應于所述語音播報觸發操作，控制目標掃描拍攝設備對所述目標區域進行紅外掃描，其中，所述目標掃描拍攝設備還用于對所述目標區域進行拍攝。

4.根據權利要求3所述的方法，其特征在于，在獲取目標板書圖像之前，還包括：

在檢測到目標設備將所述光斑投射在所述目標區域上時，確定出獲取到所述語音播報觸發操作；或者

在檢測到所述目標設備處于投射所述光斑的狀態時，確定出獲取到所述語音播報觸發操作。

5.根據權利要求3所述的方法，其特征在于，所述獲取目標板書圖像包括：

在所述目標區域中書寫所述目標板書內容的過程中，控制所述目標掃描拍攝設備對所述目標區域進行多次拍攝，得到多張板書圖像；根據所述多張板書圖像確定所述目標板書圖像；或者

響應于所述語音播報觸發操作，在控制所述目標掃描拍攝設備對所述目標區域進行紅外掃描的同時，控制所述目標掃描拍攝設備對所述目標區域進行拍攝，得到所述目標板書圖像。

6.根據權利要求5所述的方法，其特征在于，根據所述多張板書圖像確定所述目標板書圖像，包括：

對所述多張板書圖像進行疊加，得到所述目標板書圖像；或者

利用透射變換矩陣對所述多張板書圖像進行圖像校正，得到多張校正圖像，其中，所述透射變換矩陣用于還原所述多張板書圖像中的板書內容的形狀；對所述多張校正圖像進行疊加，得到所述目標板書圖像。

7.根據權利要求1所述的方法，其特征在于，所述對所述目標板書圖像中與所述目標位置匹配的待識別區域進行板書內容識別，得到目標文本包括：

確定所述目標板書圖像中與所述目標位置匹配的第一識別區域，其中，所述第一識別區域是以所述目標位置為中心、第一距離為半徑的待識別區域；

對所述第一識別區域進行板書內容識別，得到候選文本；

在所述候選文本的文本完整度滿足完整度條件的情況下，將所述候選文本確定為所述目標文本，其中，所述文本完整度用于表示所述候選文本為單詞或文字的概率。

8.根據權利要求7所述的方法，其特征在于，在得到候選文本之后，所述方法還包括：

在所述候選文本的文本完整度不滿足所述完整度條件的情況下，將待識別區域由所述第一識別區域擴展至第二識別區域，其中，所述第二識別區域是以所述目標位置為中心、第二距離為半徑的待識別區域；

對所述第二識別區域進行板書內容識別，得到所述目標文本，其中，所述目標文本的文本完整度滿足所述完整度條件。

9.一種板書播報設備，其特征在于，包括：

黑板，所述黑板上設置有允許書寫的目標區域；

掃描拍攝設備，安裝在所述黑板上方，用于對所述黑板中的所述目標區域進行紅外掃描以得到目標紅外信息，還用于對所述目標區域進行拍攝以得到板書圖像；

處理器，用于對所述板書圖像進行處理，得到目標板書圖像，并從所述目標板書圖像中識別出目標文本，以及播放與所述目標文本對應的目標音頻。

10.根據權利要求9所述的設備，其特征在于，還包括：

屏幕，用于顯示包括所述目標文本的目標文檔，其中，所述目標文檔為可編輯文檔。