[發(fā)明專(zhuān)利]多視角三維直播方法、系統(tǒng)、裝置、終端和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010197059.X
• 申請(qǐng)日: 2020-03-19
• 公開(kāi)（公告）號(hào): CN113497944A
• 公開(kāi)（公告）日: 2021-10-12
• 發(fā)明（設(shè)計(jì)）人: 張啟煊;虞晶怡;張龍文;王一瑋;姚滄力
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海科技大學(xué)
• 主分類(lèi)號(hào): H04N21/218
• 分類(lèi)號(hào): H04N21/218;H04N21/414;H04N21/44
• 代理公司: 上海光華專(zhuān)利事務(wù)所(普通合伙) 31219
• 代理人: 倪靜

本申請(qǐng)?zhí)峁┒嘁暯侨S直播方法、系統(tǒng)、裝置、終端和存儲(chǔ)介質(zhì)，上述系統(tǒng)包括：多個(gè)視頻采集設(shè)備，用于采集RGBD視頻信息；圖像處理設(shè)備，與所述多個(gè)視頻采集設(shè)備通信連接，用于獲取所述RGBD視頻信息，并對(duì)所述多個(gè)視頻采集設(shè)備進(jìn)行幀級(jí)別畫(huà)面同步，對(duì)RGBD視頻畫(huà)面進(jìn)行多畫(huà)面的三維重建，并根據(jù)重建的三維場(chǎng)景進(jìn)行多畫(huà)面間的平滑拼接，以供進(jìn)行多視角播放。本發(fā)明利用人工智能、計(jì)算機(jī)視覺(jué)以及音頻卷積的方法手段，能夠?qū)崿F(xiàn)以手機(jī)作為輸入端的多視角三維直播。本發(fā)明的技術(shù)方案僅需手機(jī)即可完成多視角、三維的直播畫(huà)面采集，具有較好的實(shí)時(shí)性；支持通過(guò)VR設(shè)備或全息顯示設(shè)備實(shí)現(xiàn)三維直播的觀看；還支持直接通過(guò)手機(jī)觀看平滑拼接后的多視角直播畫(huà)面。

技術(shù)領(lǐng)域

本申請(qǐng)涉及視覺(jué)處理技術(shù)領(lǐng)域，特別是涉及多視角三維直播方法、系統(tǒng)、裝置、終端和存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著手機(jī)行業(yè)及移動(dòng)通信技術(shù)的發(fā)展，注重互動(dòng)以及內(nèi)容豐富性的網(wǎng)絡(luò)直播產(chǎn)業(yè)逐漸興起，如何給用戶(hù)提供更加穩(wěn)定、實(shí)時(shí)的直播服務(wù)以及更豐富的交互體驗(yàn)成為了重要的話(huà)題。

由于難以實(shí)時(shí)解決多設(shè)備間的畫(huà)面時(shí)間同步問(wèn)題，現(xiàn)有的網(wǎng)絡(luò)直播在形式上更多只是提供給用戶(hù)二維、單個(gè)機(jī)位的畫(huà)面，信息量十分有限。5G技術(shù)的發(fā)展使多視角甚至三維的直播成為可能，但往往需要專(zhuān)業(yè)、大型的拍攝設(shè)備相加持，難以與將手機(jī)作為視頻輸入端的直播行業(yè)相融。

申請(qǐng)內(nèi)容

鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本申請(qǐng)的目的在于提供多視角三維直播方法、系統(tǒng)、裝置、終端和存儲(chǔ)介質(zhì)，用于解決現(xiàn)有技術(shù)中的三維視頻直播難以與將手機(jī)作為視頻輸入端的直播行業(yè)相融問(wèn)題。

為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本申請(qǐng)的第一方面提供一種多視角三維直播方法，包括：獲取來(lái)自多個(gè)視頻采集設(shè)備的RGBD視頻信息；對(duì)所述多個(gè)視頻采集設(shè)備進(jìn)行幀級(jí)別畫(huà)面同步；對(duì)RGBD視頻畫(huà)面進(jìn)行多畫(huà)面的三維重建；根據(jù)重建的三維場(chǎng)景進(jìn)行多畫(huà)面間的平滑拼接，以供進(jìn)行多視角播放。

于本申請(qǐng)的第一方面的一些實(shí)施例中，所述對(duì)所述多個(gè)視頻采集設(shè)備進(jìn)行幀級(jí)別畫(huà)面同步，包括：通過(guò)音頻和理想高頻特征聲波的卷積匹配高頻特征聲波位置；計(jì)算精細(xì)時(shí)間差，并結(jié)合畫(huà)面時(shí)間戳所反映的粗差對(duì)所述多個(gè)視頻采集設(shè)備進(jìn)行幀級(jí)別畫(huà)面同步。

于本申請(qǐng)的第一方面的一些實(shí)施例中，所述對(duì)RGBD視頻畫(huà)面進(jìn)行多畫(huà)面的三維重建，包括：利用計(jì)算機(jī)視覺(jué)算法對(duì)每個(gè)視頻采集設(shè)備的RGBD視頻畫(huà)面進(jìn)行三維建圖并生成對(duì)應(yīng)的三維點(diǎn)云；利用三維點(diǎn)集配準(zhǔn)算法每個(gè)視頻采集設(shè)備所生成的同一時(shí)刻的點(diǎn)云還原為三維場(chǎng)景。

于本申請(qǐng)的第一方面的一些實(shí)施例中，所述三維點(diǎn)集配準(zhǔn)算法包括：迭代最近點(diǎn)算法。

為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本申請(qǐng)的第二方面提供一種多視角三維直播系統(tǒng)，包括：多個(gè)視頻采集設(shè)備，用于采集RGBD視頻信息；圖像處理設(shè)備，與所述多個(gè)視頻采集設(shè)備通信連接，用于獲取所述RGBD視頻信息，并對(duì)所述多個(gè)視頻采集設(shè)備進(jìn)行幀級(jí)別畫(huà)面同步，對(duì)RGBD視頻畫(huà)面進(jìn)行多畫(huà)面的三維重建，并根據(jù)重建的三維場(chǎng)景進(jìn)行多畫(huà)面間的平滑拼接，以供進(jìn)行多視角播放。

于本申請(qǐng)的第二方面的一些實(shí)施例中，所述系統(tǒng)還包括：智能視覺(jué)設(shè)備，與所述圖像處理設(shè)備通信連接，用于接收多視角播放畫(huà)面；其中，所述智能視覺(jué)設(shè)備包括AR設(shè)備和/或VR設(shè)備。

于本申請(qǐng)的第二方面的一些實(shí)施例中，所述圖像處理設(shè)備包括服務(wù)器；所述視頻采集設(shè)備包括帶有深度傳感器的智能終端。

為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本申請(qǐng)的第三方面提供一種多視角三維直播裝置，包括：通信模塊，用于接收來(lái)自多個(gè)視頻采集設(shè)備的RGBD視頻信息；多視角直播模塊，用于對(duì)所述多個(gè)視頻采集設(shè)備進(jìn)行幀級(jí)別畫(huà)面同步，對(duì)RGBD視頻畫(huà)面進(jìn)行多畫(huà)面的三維重建，并根據(jù)重建的三維場(chǎng)景進(jìn)行多畫(huà)面間的平滑拼接，以供進(jìn)行多視角播放。