[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡(luò)的視頻防抖方法、裝置及圖像對齊裝置

有效

• 申請?zhí)枺?/td>: 201710763517.X
• 申請日: 2017-08-30
• 公開（公告）號: CN107566688B
• 公開（公告）日: 2021-02-19
• 發(fā)明（設(shè)計）人: 莊曉濱;周俊明;戴長軍
• 申請（專利權(quán)）人: 廣州方硅信息技術(shù)有限公司
• 主分類號: H04N5/21
• 分類號: H04N5/21;G06N3/04
• 代理公司: 北京晉德允升知識產(chǎn)權(quán)代理有限公司 11623
• 代理人: 王戈

本申請公開了一種基于卷積神經(jīng)網(wǎng)絡(luò)的視頻防抖方法及裝置，該方法包括：依次將存在單應(yīng)性對應(yīng)關(guān)系的前一幀畫面與相鄰的下一幀畫面輸入到預(yù)先建立的卷積神經(jīng)網(wǎng)絡(luò)模型，根據(jù)每對畫面的四個頂點坐標的偏差，確定每幀畫面與第一幀畫面的四個頂點坐標之間的偏差，再根據(jù)確定出的每幀畫面的偏差，確定每幀畫面與第一幀畫面的四個頂點坐標之間的矯正偏差，根據(jù)每幀畫面的矯正偏差以及第一幀畫面的已知四個頂點坐標，確定每幀畫面的四個頂點矯正坐標，根據(jù)確定出的每幀畫面的四個頂點矯正坐標，確定指定的兩幀畫面之間的單應(yīng)性矩陣，并矯正每幀畫面。通過上述方法，可以有效的實現(xiàn)所拍攝的畫面的每一幀能夠平滑的發(fā)生的變化的效果。

技術(shù)領(lǐng)域

本申請涉及計算機技術(shù)領(lǐng)域，尤其涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)的視頻防抖方法及裝置。

背景技術(shù)

在計算機視覺領(lǐng)域中，包含同一對象的任意兩幅圖像通過單應(yīng)性聯(lián)系在一起，而通過確定兩幅圖像的單應(yīng)性矩陣可以廣泛的應(yīng)用到人們的實際生活中，如，圖像校正、圖像對齊以及相機防抖等。

目前，在不同的相機姿態(tài)下，同一個對象所產(chǎn)生的圖像內(nèi)容會有所不同，但是仍然存在著局部對應(yīng)的像素，可以利用局部對應(yīng)的像素來確定包含同一對象的任意兩幅圖像對應(yīng)的單應(yīng)性矩陣。

具體的，在現(xiàn)有技術(shù)中，主要使用MS-COCO數(shù)據(jù)集中的圖片來生成實驗所需的128*128的圖像數(shù)據(jù)，使用兩幅圖像相對應(yīng)的四對頂點(8個橫縱坐標) 的相對偏移量作為標簽，訓(xùn)練基于卷積神經(jīng)網(wǎng)絡(luò)的VGG-style網(wǎng)絡(luò)的部分參數(shù)，后續(xù)，可利用訓(xùn)練好的VGG-style網(wǎng)絡(luò)確定包含同一對象的兩幅的圖像對應(yīng)的單應(yīng)性矩陣。

但是，現(xiàn)有技術(shù)在生成數(shù)據(jù)時，沒有充分考慮圖像內(nèi)部發(fā)生的變化，包括亮度變化以及內(nèi)部擾動的常見的情況，使得在使用VGG-style網(wǎng)絡(luò)確定包含同一對象的兩幅的圖像對應(yīng)的單應(yīng)性矩陣的精度較低。

發(fā)明內(nèi)容

本申請實施例提供一種基于卷積神經(jīng)網(wǎng)絡(luò)的視頻防抖方法及裝置，解決現(xiàn)有技術(shù)中攝像機在拍攝時會出現(xiàn)攝像機抖動，從而使得所拍攝的畫面瞬間發(fā)生劇烈的抖動變化的問題。

本申請實施例提供的一種基于卷積神經(jīng)網(wǎng)絡(luò)的視頻防抖方法，包括：

依次將前一幀畫面與相鄰的下一幀畫面輸入到預(yù)先建立的卷積神經(jīng)網(wǎng)絡(luò)模型，其中，所述前一幀畫面與相鄰的所述下一幀畫面存在單應(yīng)性對應(yīng)關(guān)系；

根據(jù)每對所述卷積神經(jīng)網(wǎng)絡(luò)模型輸出的前一幀畫面與相鄰的下一幀畫面的四個頂點坐標之間的偏差，確定每幀畫面與第一幀畫面的四個頂點坐標之間的偏差；

根據(jù)確定出的每幀畫面與第一幀畫面的四個頂點坐標之間的偏差，確定每幀畫面與第一幀畫面的四個頂點坐標之間的矯正偏差；

根據(jù)每幀畫面與第一幀畫面的四個頂點坐標之間的矯正偏差以及第一幀畫面的已知四個頂點坐標，確定每幀畫面的四個頂點矯正坐標；

根據(jù)確定出的每幀畫面的四個頂點矯正坐標，確定指定的兩幀畫面之間的單應(yīng)性矩陣，并根據(jù)該單應(yīng)性矩陣矯正每幀畫面。

優(yōu)選地，依次將前一幀畫面與相鄰的下一幀畫面輸入到預(yù)先建立的卷積神經(jīng)網(wǎng)絡(luò)模型之前，所述方法還包括：

制作訓(xùn)練圖像集，其中，所述訓(xùn)練圖像集包括至少一對存在單應(yīng)性對應(yīng)關(guān)系的矩形圖像，初始化待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型內(nèi)的各權(quán)重參數(shù)，將所述至少一對存在單應(yīng)性對應(yīng)關(guān)系的矩形圖像輸入待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型，根據(jù)待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型輸出的所述至少一對存在單應(yīng)性對應(yīng)關(guān)系的矩形圖像的頂點坐標的偏差以及所述至少一對存在單應(yīng)性對應(yīng)關(guān)系的矩形圖像的頂點坐標訓(xùn)練所述待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型內(nèi)的各權(quán)重參數(shù)，得到卷積神經(jīng)網(wǎng)絡(luò)模型。

優(yōu)選地，所述至少一對存在單應(yīng)性對應(yīng)關(guān)系的矩形圖像均為灰度圖像，和 /或所述至少一對存在單應(yīng)性對應(yīng)關(guān)系的矩形圖像的中心點相同且尺寸相同。