[發(fā)明專利]數(shù)據(jù)傳輸和顯示方法、裝置、系統(tǒng)、設(shè)備以及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110292347.8
• 申請日: 2021-03-18
• 公開（公告）號: CN112949547A
• 公開（公告）日: 2021-06-11
• 發(fā)明（設(shè)計）人: 李展鵬;趙珂;孫德乾;胡超凡
• 申請（專利權(quán)）人: 北京市商湯科技開發(fā)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T3/00
• 代理公司: 北京中知恒瑞知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11889
• 代理人: 吳迪

本公開提供了一種數(shù)據(jù)傳輸和顯示方法、裝置、系統(tǒng)、設(shè)備以及存儲介質(zhì)。該方法包括：獲取待處理的視頻圖像幀；對所述視頻圖像幀分別進(jìn)行圖像檢測以及視頻編碼操作，以得到目標(biāo)檢測結(jié)果以及視頻編碼幀，其中，所述視頻編碼幀包含所述視頻圖像幀的圖像信息；將所述目標(biāo)檢測結(jié)果融合至所述視頻編碼幀中，得到目標(biāo)視頻編碼幀；向播放設(shè)備傳輸所述目標(biāo)視頻編碼幀。本公開實(shí)施例通過改善數(shù)據(jù)傳輸過程，優(yōu)化了播放設(shè)備輸出的目標(biāo)視頻圖像幀，從而滿足實(shí)時性要求較高的人機(jī)交互場景。

技術(shù)領(lǐng)域

本公開涉及圖像處理的技術(shù)領(lǐng)域，具體而言，涉及一種數(shù)據(jù)傳輸和顯示方法、裝置、系統(tǒng)、設(shè)備以及存儲介質(zhì)。

背景技術(shù)

智能圖像采集設(shè)備可以向其他設(shè)備分別傳輸視頻圖像和視頻圖像的圖像檢測結(jié)果。考慮到現(xiàn)有傳輸方式中視頻圖像和相應(yīng)的圖像檢測結(jié)果是獨(dú)立傳輸?shù)模矣捎跀?shù)據(jù)傳輸通道的限制，難以對不同視頻圖像對應(yīng)的圖像檢測結(jié)果進(jìn)行區(qū)分，也就影響了視頻圖像和圖像檢測結(jié)果之間的對齊。

因此，目前亟需一種數(shù)據(jù)傳輸方法，以確保視頻圖像和圖像檢測結(jié)果之間的對齊。

發(fā)明內(nèi)容

本公開實(shí)施例至少提供一種數(shù)據(jù)傳輸和顯示方法、裝置、系統(tǒng)、設(shè)備以及存儲介質(zhì)。

第一方面，本公開實(shí)施例提供了一種數(shù)據(jù)傳輸方法，包括：獲取待處理的視頻圖像幀；對所述視頻圖像幀分別進(jìn)行圖像檢測以及視頻編碼操作，以得到目標(biāo)檢測結(jié)果以及視頻編碼幀，其中，所述視頻編碼幀包含所述視頻圖像幀的圖像信息；將所述目標(biāo)檢測結(jié)果融合至所述視頻編碼幀中，得到目標(biāo)視頻編碼幀；向播放設(shè)備傳輸所述目標(biāo)視頻編碼幀。

在本公開實(shí)施例中，在獲取到視頻圖像幀之后，將該視頻圖像幀的目標(biāo)檢測結(jié)果融合至該視頻圖像幀的視頻編碼幀中，進(jìn)而將融合之后得到的目標(biāo)視頻編碼幀傳輸至播放設(shè)備，可以實(shí)現(xiàn)視頻圖像幀及其目標(biāo)檢測結(jié)果的一一對齊，從而確保視頻圖像幀和目標(biāo)檢測結(jié)果的同步傳輸。也就意味著，本公開提供的技術(shù)方案可以通過改善數(shù)據(jù)傳輸過程，優(yōu)化播放設(shè)備輸出的目標(biāo)視頻圖像幀。尤其對于實(shí)時性要求較高的人機(jī)交互場景而言，該技術(shù)方案可以滿足高實(shí)時性的需求，保證播放設(shè)備輸出的視頻圖像幀與目標(biāo)檢測結(jié)果相匹配，減少因輸出內(nèi)容不匹配而引發(fā)的圖像或視頻失真，使輸出內(nèi)容更符合實(shí)際場景需求。

一種可選的實(shí)施方式中，所述將所述目標(biāo)檢測結(jié)果融合至所述視頻編碼幀中，得到目標(biāo)視頻編碼幀，包括：在所述視頻編碼幀中確定目標(biāo)擴(kuò)展字段；將所述目標(biāo)檢測結(jié)果存儲在所述視頻編碼幀中與所述目標(biāo)擴(kuò)展字段相對應(yīng)的存儲區(qū)域，得到所述目標(biāo)視頻編碼幀。

一種可選的實(shí)施方式中，所述目標(biāo)擴(kuò)展字段為所述視頻編碼幀中的自定義信息SEI字段。

通過上述描述可知，通過將目標(biāo)檢測結(jié)果存儲在視頻編碼幀中與目標(biāo)擴(kuò)展字段相對應(yīng)的存儲區(qū)域，能夠在不改變視頻編碼幀的幀結(jié)構(gòu)的情況下，將目標(biāo)檢測結(jié)果融合至視頻編碼幀中，從而實(shí)現(xiàn)將目標(biāo)檢測結(jié)果和視頻圖像幀進(jìn)行一一對齊，以確保視頻圖像幀和目標(biāo)檢測結(jié)果的同步傳輸。

一種可選的實(shí)施方式中，所述方法應(yīng)用于一種圖像處理設(shè)備，所述將所述目標(biāo)檢測結(jié)果融合至所述視頻編碼幀中，得到所述目標(biāo)視頻編碼幀，包括：獲取所述播放設(shè)備的設(shè)備類型信息，并根據(jù)所述設(shè)備類型信息確定所述圖像處理設(shè)備和所述播放設(shè)備之間的預(yù)設(shè)通信協(xié)議；按照所述預(yù)設(shè)通信協(xié)議對應(yīng)的數(shù)據(jù)格式，對所述目標(biāo)檢測結(jié)果進(jìn)行格式轉(zhuǎn)化，并將格式轉(zhuǎn)化之后的目標(biāo)檢測結(jié)果融合至所述視頻編碼幀中，得到所述目標(biāo)視頻編碼幀。

通過上述描述可知，通過自適應(yīng)的按照圖像處理設(shè)備和播放設(shè)備之間的預(yù)設(shè)通信協(xié)議對目標(biāo)檢測結(jié)果進(jìn)行格式轉(zhuǎn)化，可以擴(kuò)大圖像采集設(shè)備和播放設(shè)備之間的適用范圍，從而使得本公開技術(shù)方案能夠適用到各類型的圖像處理設(shè)備和播放設(shè)備上，以擴(kuò)大本公開技術(shù)方案的應(yīng)用領(lǐng)域。

一種可選的實(shí)施方式中，在所述將所述目標(biāo)檢測結(jié)果融合至所述視頻編碼幀中，得到目標(biāo)視頻編碼幀之前，還包括：在所述目標(biāo)檢測結(jié)果滿足壓縮條件的情況下，對所述目標(biāo)檢測結(jié)果進(jìn)行壓縮，并將壓縮后的目標(biāo)檢測結(jié)果作為融合至所述視頻編碼幀中的目標(biāo)檢測結(jié)果。