[發明專利]基于人工智能的字幕生成方法、裝置、設備及存儲介質在審
申請號: | 202011010403.6 | 申請日: | 2020-09-23 |
公開(公告)號: | CN111949805A | 公開(公告)日: | 2020-11-17 |
發明(設計)人: | 馮奕然;馮英林 | 申請(專利權)人: | 深圳前海知行科技有限公司 |
主分類號: | G06F16/41 | 分類號: | G06F16/41;G06F16/44;H04N21/435;H04N21/488;H04N21/81;G06N3/04;G06N3/08 |
代理公司: | 深圳市特訊知識產權代理事務所(普通合伙) 44653 | 代理人: | 黃彧 |
地址: | 518000 廣東省深圳市南山區*** | 國省代碼: | 廣東;44 |
權利要求書: | 查看更多 | 說明書: | 查看更多 |
摘要: | |||
搜索關鍵詞: | 基于 人工智能 字幕 生成 方法 裝置 設備 存儲 介質 | ||
本發明涉及人工智能領域,公開了一種基于人工智能的字幕生成方法、裝置、設備及存儲介質。該方法包括:獲取待生成字幕的視頻數據,其中,視頻數據包括:時間序列、時間序列對應的語音數據、時間序列對應的圖像數據;讀取語音語言種類和目標語言種類,以及調取語音語言種類對應的機器學習轉換算法,對語音數據進行轉換處理,生成目標語言種類的字符串數據,其中,字符串數據包括:文字字符串、文字字符串對應的聲紋標簽序列;根據聲紋標簽序列中的標簽種類,對文字字符串進行染色處理,生成聲紋標簽序列對應的目標語言染色字幕;根據時間序列,將目標語言染色字幕與圖像數據進行合并處理,生成附帶字幕的視頻數據。
技術領域
本發明涉及人工智能領域,尤其涉及一種基于人工智能的字幕生成方法、裝置、設備及存儲介質。
背景技術
自人工智能在最后的棋牌領域圍棋戰勝了人類的最強選手以來,人工智能就不斷受到人們的關注,從最開始的CNN神經網絡到SSD神經網絡,再到GAN神經網絡。人工智能的技術在各種細分場景下不斷應用,不同的神經網絡涌現了各種不同的技術,各種改進算法給人工智能領域添磚加瓦。在移動支付領域,人臉識別的精準度和速度不斷提高,人臉識別技術已經在高精度情況下遷移至安全防護領域比現有的虹膜識別有更廣闊的應用場景。在自動駕駛領域,人工智能不斷刷新人們對智能駕駛的認知,一幅幅科幻場景正在變成現實,傳統基于統計學與分類的駕駛輔助技術正在被基于線性代數的人工智能輔助技術不斷代替。
然而在字幕領域中,現有的字幕生成技術還是基于傳統的統計學與概率對聲紋進行處理,生成字幕。不僅導致字幕的生成準確度不夠,而且處理方式上,是直接將聲紋轉換成文字,然后將文字翻譯為需要的文字。目前,也存在一些基于人工智能的字幕生成技術,但是處理上也是先將直接將聲紋轉換成文字,然后將文字翻譯成目標語言,在翻譯后對字幕染色,滿足不了人們的需要實時生成染色字幕的需要,處理速度較慢。因此,需要一種能更迅速的生成易辨識翻譯字幕的技術。
發明內容
本發明的主要目的在于解決現有技術生成易辨識翻譯字幕較慢的技術問題。
本發明第一方面提供了一種基于人工智能的字幕生成方法,所述基于人工智能的字幕生成方法包括:
獲取待生成字幕的視頻數據,其中,所述視頻數據包括:時間序列、所述時間序列對應的語音數據、所述時間序列對應的圖像數據;
讀取語音語言種類和目標語言種類,以及調取所述語音語言種類和所述目標語言種類對應的機器學習轉換算法,對所述語音數據進行轉換處理,生成所述目標語言種類的字符串數據,其中,所述字符串數據包括:文字字符串、所述文字字符串對應的聲紋標簽序列;
根據所述聲紋標簽序列中的標簽種類,對所述文字字符串進行染色處理,生成所述聲紋標簽序列對應的目標語言染色字幕;
根據所述時間序列,將所述目標語言染色字幕與所述圖像數據進行合并處理,生成附帶字幕的視頻數據。
可選的,在本發明第一方面的第一種實現方式中,所述調取所述語音語言種類對應的機器學習轉換算法,對所述語音數據進行轉換處理,生成所述目標語言種類的字符串數據包括:
對所述語音數據的聲紋特征進行提取,生成所述語音數據對應的特征矩陣;
根據所述語音語言種類,調取所述語音語言種類對應的識別算法,以及根據所述識別算法,對所述特征矩陣進行識別處理,得到文字字符串;
根據所述時間序列,將所述文字字符串與所述特征矩陣進行嵌入處理,得到標簽特征矩陣;
根據所述語音語言種類,調取所述語音語言種類對應的聲紋分類算法,以及根據所述聲紋分類算法,對所述標簽特征矩陣進行分類標記處理,得到所述文字字符串對應的聲紋標簽序列;
將所述聲紋標簽序列與所述文字字符串進行組合處理,得到字符串數據。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于深圳前海知行科技有限公司,未經深圳前海知行科技有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/202011010403.6/2.html,轉載請聲明來源鉆瓜專利網。
- 上一篇:一種用于腎盂腎盞沖洗的雙通道軟鏡鞘
- 下一篇:固體絕緣筒