[發明專利]一種掃描筆的錄音翻譯系統及方法

在審

• 申請號: 202110264608.5
• 申請日: 2021-03-11
• 公開（公告）號: CN112989847A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 陳家峰;秦曙光
• 申請（專利權）人: 讀書郎教育科技有限公司
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06F16/432;G06F16/438;G06K9/22;G10L15/26;G10L17/02
• 代理公司: 廣州德偉專利代理事務所(普通合伙) 44436
• 代理人: 黃浩威;何文穎

1.一種掃描筆的錄音翻譯系統，其特征在于，包括：

翻譯功能觸發模塊：用于觸發翻譯事件；

聲紋設置觸發模塊：用于觸發聲紋設置事件；

聲音采集模塊：用于在觸發聲紋設置事件后獲取用戶的聲音并傳輸至聲紋存儲與識別模塊，以及用于在觸發翻譯事件后獲取交流的聲音數據并傳輸至聲紋存儲與識別模塊；

用戶照片攝像模塊：用于在聲紋設置時拍攝得到用戶照片并傳輸至聲紋存儲與識別模塊；

聲紋存儲與識別模塊：用于在聲紋設置時對用戶的聲音進行聲紋提取，以及將提取的聲紋信息和用戶照片進行映射并存儲；用于在翻譯時提取獲取的聲音數據中所有的聲紋信息，并在預先存儲的聲紋信息中檢索出相應的聲紋信息和其所映射的用戶照片，以及對聲音數據按聲紋信息進行切分，并將切分得到的聲音片段按發生的時間從先到后排序，然后將每段聲音片段連同其對應的用戶照片發送至翻譯模塊；

翻譯模塊：用于將切分得到的每段聲音片段翻譯成文本，并將每段聲音片段的翻譯文本和對應的用戶照片融合在一起，最后輸出在掃描筆的顯示屏上。

2.一種利用權利要求1所述系統的方法，其特征在于，具體過程如下：

S1、通過聲紋設置觸發模塊觸發聲紋設置，通過聲音采集模塊參與交流的用戶的聲音，聲紋存儲與識別模塊對用戶的聲音進行聲紋識別，提取聲紋信息；然后利用攝像模塊獲取用戶照片，聲紋存儲與識別模塊將提取的聲紋信息和用戶照片進行映射并存儲；通過上述過程，依次建立各個參與交流的用戶的聲紋信息與用戶照片的映射關系；

S2、通過翻譯功能觸發模塊觸發翻譯事件，然后聲音采集模塊獲取交流的聲音數據；

S3、聲紋存儲與識別模塊提取該聲音數據中所有的聲紋信息，并在預先存儲的聲紋信息中檢索出相應的聲紋信息和其所映射的用戶照片；

S4、聲紋存儲與識別模塊對聲音數據按聲紋信息進行切分，并將切分得到的聲音片段按發生的時間從先到后排序，然后將每段聲音片段連同其對應的用戶照片發送至翻譯模塊；

S5、翻譯模塊將切分得到的每段聲音片段翻譯成文本，并將每段聲音片段的翻譯文本和對應的用戶照片融合在一起，最后輸出在掃描筆的顯示屏上。

3.根據權利要求2所述的方法，其特征在于，步驟S5中，將每段聲音片段的翻譯文本和對應的用戶照片融合在一起的過程為：每段聲音片段的翻譯文本作為一個獨立的段落，每個段落按發生的時間從先到后排序，對應的用戶照片放在對應段落的首端。