[發(fā)明專利]在影片自動置入虛擬廣告的系統(tǒng)、電腦程序產(chǎn)品及其方法

在審

• 申請?zhí)枺?/td>: 202210175393.4
• 申請日: 2022-02-25
• 公開（公告）號: CN116308523A
• 公開（公告）日: 2023-06-23
• 發(fā)明（設(shè)計）人: 吳升翰;林豐勝;李潤容
• 申請（專利權(quán)）人: 財團(tuán)法人工業(yè)技術(shù)研究院
• 主分類號: G06Q30/0241
• 分類號: G06Q30/0241;G06V10/774;G06V10/764;H04N21/44;H04N21/81
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 張博

1.一種在影片自動置入虛擬廣告的系統(tǒng)，包含：

影片片段偵測模塊，用于通過第一訓(xùn)練模型偵測運動賽事影片的目標(biāo)片段；

背景提取模塊，用于執(zhí)行背景提取，以由該目標(biāo)片段的第一幀的背景提取出第一背景遮罩；

校正模塊，用于執(zhí)行攝影機(jī)校正，以通過第二訓(xùn)練模型偵測該第一幀與運動賽場模板之間的第一轉(zhuǎn)換關(guān)系；以及

廣告素材置入模塊，用于根據(jù)該第一轉(zhuǎn)換關(guān)系轉(zhuǎn)換廣告素材，以獲得第一轉(zhuǎn)換廣告素材，并根據(jù)該第一背景遮罩執(zhí)行廣告素材置入，以將該第一轉(zhuǎn)換廣告素材置入至該第一幀，以獲得具有置入廣告的第一影像幀。

2.根據(jù)權(quán)利要求1所述的在影片自動置入虛擬廣告的系統(tǒng)，還包含訓(xùn)練模塊，該訓(xùn)練模塊用于通過第一深度學(xué)習(xí)網(wǎng)路模型對至少訓(xùn)練影片執(zhí)行第一訓(xùn)練程序，以獲得該第一訓(xùn)練模型。

3.根據(jù)權(quán)利要求1所述的在影片自動置入虛擬廣告的系統(tǒng)，還包含訓(xùn)練模塊，該訓(xùn)練模塊用于通過第二深度學(xué)習(xí)網(wǎng)路模型對多個訓(xùn)練幀執(zhí)行第二訓(xùn)練程序，以獲得第二訓(xùn)練模型，其中，各個該訓(xùn)練幀具有與其對應(yīng)的轉(zhuǎn)換關(guān)系。

4.根據(jù)權(quán)利要求1所述的在影片自動置入虛擬廣告的系統(tǒng)，其中，該背景提取模塊用于通過色鍵過濾該第一幀，以獲得初始背景遮罩，且對該初始背景遮罩進(jìn)行去雜訊，并在該初始背景遮罩加上預(yù)定義遮罩，以獲得該第一背景遮罩。

5.根據(jù)權(quán)利要求1所述的在影片自動置入虛擬廣告的系統(tǒng)，其中，該廣告素材置入模塊用于執(zhí)行該廣告素材置入，以融合該第一幀與該第一背景遮罩，以獲得第一融合幀，并將該第一轉(zhuǎn)換廣告素材置入至該第一融合幀，以獲得具有置入廣告的該第一影像幀。

6.根據(jù)權(quán)利要求1所述的在影片自動置入虛擬廣告的系統(tǒng)，其中，該第一轉(zhuǎn)換關(guān)系為該第一幀與該運動賽場模板之間的單應(yīng)性，而該運動賽場模板對應(yīng)于預(yù)設(shè)攝影機(jī)姿態(tài)。

7.根據(jù)權(quán)利要求1所述的在影片自動置入虛擬廣告的系統(tǒng)，其中，該背景提取模塊用于對該目標(biāo)片段的第二幀執(zhí)行該背景提取，以獲得第二背景遮罩。

8.根據(jù)權(quán)利要求7所述的在影片自動置入虛擬廣告的系統(tǒng)，還包含攝影機(jī)姿態(tài)追蹤模塊，該攝影機(jī)姿態(tài)追蹤模塊用于執(zhí)行攝影機(jī)姿態(tài)追蹤，以根據(jù)該第二背景遮罩計算該第二幀與該運動賽場模板之間的第二轉(zhuǎn)換關(guān)系。

9.根據(jù)權(quán)利要求8所述的在影片自動置入虛擬廣告的系統(tǒng)，其中，該第二轉(zhuǎn)換關(guān)系為該第二幀與該運動賽場模板之間的單應(yīng)性，而該運動賽場模板對應(yīng)于預(yù)設(shè)攝影機(jī)姿態(tài)。

10.根據(jù)權(quán)利要求8所述的在影片自動置入虛擬廣告的系統(tǒng)，其中，該廣告素材置入模塊用于根據(jù)該第二轉(zhuǎn)換關(guān)系轉(zhuǎn)換該廣告素材，以獲得第二轉(zhuǎn)換廣告素材，并執(zhí)行該廣告素材置入，以將該第二轉(zhuǎn)換廣告素材置入至該第二幀，以獲得具有置入廣告的第二影像幀。

11.根據(jù)權(quán)利要求8所述的在影片自動置入虛擬廣告的系統(tǒng)，其中，該攝影機(jī)姿態(tài)追蹤模塊用于根據(jù)該第二背景遮罩執(zhí)行該攝影機(jī)姿態(tài)追蹤，以對該第一幀及該第二幀執(zhí)行特征匹配，以獲得特征匹配結(jié)果，且根據(jù)該特征匹配結(jié)果計算該第一幀和該第二幀之間的幀轉(zhuǎn)換關(guān)系，并將該幀轉(zhuǎn)換關(guān)系乘以該第一轉(zhuǎn)換關(guān)系，以獲得該第二轉(zhuǎn)換關(guān)系。

12.根據(jù)權(quán)利要求8所述的在影片自動置入虛擬廣告的系統(tǒng)，其中，當(dāng)該攝影機(jī)姿態(tài)追蹤模塊用于判斷該第二轉(zhuǎn)換關(guān)系的誤差分?jǐn)?shù)大于或等于誤差門檻值時，該校正模塊對該第二幀重新執(zhí)行該攝影機(jī)校正，以通過該第二訓(xùn)練模型偵測該第二幀與該運動賽場模板之間的校正后的第二轉(zhuǎn)換關(guān)系，且其中該廣告素材置入模塊根據(jù)該校正后的第二轉(zhuǎn)換關(guān)系轉(zhuǎn)換該廣告素材，以獲得第二轉(zhuǎn)換廣告素材，并執(zhí)行該廣告素材置入，以根據(jù)該第二背景遮罩將該第二轉(zhuǎn)換廣告素材置入至該第二幀，以獲得具有置入廣告的第二影像幀。