[發(fā)明專利]一種基于三維點(diǎn)云的圖像生成方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211629805.3
• 申請(qǐng)日: 2022-12-19
• 公開（公告）號(hào): CN116188891A
• 公開（公告）日: 2023-05-30
• 發(fā)明（設(shè)計(jì)）人: 楊星;胡以華;梁振宇;胡睿晗;朱東濤;穆華;王陽陽;高皓琪;許顥礫
• 申請(qǐng)（專利權(quán)）人: 中國人民解放軍國防科技大學(xué)
• 主分類號(hào): G06V10/774
• 分類號(hào): G06V10/774;G06V10/764;G06V10/74
• 代理公司: 中國和平利用軍工技術(shù)協(xié)會(huì)專利中心 11215
• 代理人: 劉光德

本發(fā)明公開一種基于三維點(diǎn)云的圖像生成方法和系統(tǒng)，涉及三維點(diǎn)云數(shù)據(jù)處理技術(shù)領(lǐng)域。本發(fā)明利用樣本點(diǎn)云數(shù)據(jù)訓(xùn)練點(diǎn)云分類模型，使得經(jīng)訓(xùn)練的點(diǎn)云分類模型能夠從表征第一目標(biāo)的原始點(diǎn)云數(shù)據(jù)中識(shí)別出第一目標(biāo)；對(duì)原始點(diǎn)云數(shù)據(jù)的部分?jǐn)?shù)據(jù)點(diǎn)進(jìn)行擾動(dòng)以獲取第一對(duì)抗點(diǎn)云數(shù)據(jù)，并計(jì)算經(jīng)訓(xùn)練的點(diǎn)云分類模型將表征第一目標(biāo)的第一對(duì)抗點(diǎn)云數(shù)據(jù)識(shí)別為第二目標(biāo)的分類損失；獲取原始點(diǎn)云數(shù)據(jù)和第一對(duì)抗點(diǎn)云數(shù)據(jù)之間表征點(diǎn)云泛化距離的第一損失以及表征網(wǎng)格面泛化距離的第二損失，并結(jié)合分類損失確定協(xié)同優(yōu)化損失；通過優(yōu)化協(xié)同優(yōu)化損失確定協(xié)同優(yōu)化損失的最小值，利用協(xié)同優(yōu)化損失的最小值和原始點(diǎn)云數(shù)據(jù)生成第二對(duì)抗點(diǎn)云數(shù)據(jù)，以對(duì)抗來自攻擊方的點(diǎn)云攻擊。

技術(shù)領(lǐng)域

本發(fā)明屬于三維點(diǎn)云數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種基于三維點(diǎn)云的圖像生成方法和系統(tǒng)。

背景技術(shù)

目前，深度學(xué)習(xí)模型研究的深入，使得人臉識(shí)別、目標(biāo)檢測(cè)等基于二維圖像識(shí)別應(yīng)用得到了空前的發(fā)展。可是由于深度學(xué)習(xí)模型是由多層權(quán)重和偏置的數(shù)學(xué)參數(shù)組成的。相對(duì)于二維圖像識(shí)別模型，在360度全向性的角度上考慮，三維點(diǎn)云識(shí)別提供了更加魯棒的人工智能感知工具，廣泛應(yīng)用在雷達(dá)識(shí)別、自動(dòng)駕駛等領(lǐng)域。

針對(duì)三維點(diǎn)云識(shí)別模型脆弱性的研究，相對(duì)于二維圖像識(shí)別模型脆弱性的研究工作相對(duì)較少。本專利針對(duì)三維點(diǎn)云數(shù)據(jù)，在對(duì)抗優(yōu)化過程中采用了協(xié)同優(yōu)化的方式進(jìn)行學(xué)習(xí)，最終以較少的點(diǎn)云位置的改動(dòng)，實(shí)現(xiàn)固定標(biāo)簽的攻擊。

從市場(chǎng)上現(xiàn)有方法來看，通過對(duì)抗優(yōu)化迭代的方式實(shí)現(xiàn)三維點(diǎn)云模型固定標(biāo)簽的攻擊，一般通過獲取待攻擊局部點(diǎn)云和與待攻擊局部點(diǎn)云匹配的待匹配局部點(diǎn)云，計(jì)算待攻擊局部點(diǎn)云內(nèi)每個(gè)點(diǎn)的對(duì)抗攻擊敏感度，并根據(jù)各個(gè)對(duì)抗攻擊敏感度，實(shí)現(xiàn)待攻擊局部點(diǎn)云的擾動(dòng)。

此種實(shí)現(xiàn)方式借鑒了點(diǎn)云和Mesh（三維視覺表征的網(wǎng)格面數(shù)據(jù)結(jié)構(gòu)，由節(jié)點(diǎn)、邊、面組成）之間互相轉(zhuǎn)化的機(jī)制，通過直接計(jì)算對(duì)抗生成點(diǎn)云和Mesh與原始點(diǎn)云和Mesh的距離，實(shí)現(xiàn)對(duì)抗樣本的優(yōu)化生成，而沒有考慮計(jì)算匹配度和敏感度的成本問題。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中存在的上述技術(shù)問題，本發(fā)明提出一種基于三維點(diǎn)云的圖像生成方案。

本發(fā)明第一方面公開了一種基于三維點(diǎn)云的圖像生成方法。所述方法包括：步驟S1、利用樣本點(diǎn)云數(shù)據(jù)訓(xùn)練點(diǎn)云分類模型，經(jīng)訓(xùn)練的點(diǎn)云分類模型從表征第一目標(biāo)的原始點(diǎn)云數(shù)據(jù)中識(shí)別出所述第一目標(biāo)；步驟S2、對(duì)所述原始點(diǎn)云數(shù)據(jù)的部分?jǐn)?shù)據(jù)點(diǎn)進(jìn)行擾動(dòng)以獲取第一對(duì)抗點(diǎn)云數(shù)據(jù)，并計(jì)算所述經(jīng)訓(xùn)練的點(diǎn)云分類模型將表征所述第一目標(biāo)的所述第一對(duì)抗點(diǎn)云數(shù)據(jù)識(shí)別為第二目標(biāo)的分類損失；步驟S3、獲取所述原始點(diǎn)云數(shù)據(jù)和所述第一對(duì)抗點(diǎn)云數(shù)據(jù)之間表征點(diǎn)云泛化距離的第一損失以及表征網(wǎng)格面泛化距離的第二損失，并結(jié)合所述分類損失確定協(xié)同優(yōu)化損失；步驟S4、通過優(yōu)化所述協(xié)同優(yōu)化損失確定所述協(xié)同優(yōu)化損失的最小值，利用所述協(xié)同優(yōu)化損失的最小值和所述原始點(diǎn)云數(shù)據(jù)生成第二對(duì)抗點(diǎn)云數(shù)據(jù)，以對(duì)抗來自攻擊方的點(diǎn)云攻擊；其中，所述協(xié)同優(yōu)化損失的最小值表征對(duì)所述原始點(diǎn)云數(shù)據(jù)進(jìn)行最小擾動(dòng)以獲取所述第二對(duì)抗點(diǎn)云數(shù)據(jù)，且所述經(jīng)訓(xùn)練的點(diǎn)云分類模型將表征所述第一目標(biāo)的第二對(duì)抗點(diǎn)云數(shù)據(jù)識(shí)別為所述第二目標(biāo)。

根據(jù)第一方面的方法，在所述步驟S1中，每一組所述樣本點(diǎn)云數(shù)據(jù)均表征一個(gè)目標(biāo)，利用多組樣本點(diǎn)云數(shù)據(jù)訓(xùn)練所述點(diǎn)云分類模型，所述經(jīng)訓(xùn)練的點(diǎn)云分類模型對(duì)各個(gè)目標(biāo)的分類準(zhǔn)確率不低于第一閾值，且從表征第一目標(biāo)的原始點(diǎn)云數(shù)據(jù)中識(shí)別出所述第一目標(biāo)。

根據(jù)第一方面的方法，在所述步驟S2中，所述部分?jǐn)?shù)據(jù)點(diǎn)的數(shù)量與所述原始點(diǎn)云數(shù)據(jù)中全部數(shù)據(jù)點(diǎn)的數(shù)量之間的比值不超過第二閾值，對(duì)所述部分?jǐn)?shù)據(jù)點(diǎn)的坐標(biāo)值在給定范圍內(nèi)進(jìn)行更改，使得得到的所述第一對(duì)抗點(diǎn)云數(shù)據(jù)仍表征所述第一目標(biāo)。

根據(jù)第一方面的方法，在所述步驟S2中，將所述第一對(duì)抗點(diǎn)云數(shù)據(jù)輸入至所述經(jīng)訓(xùn)練的點(diǎn)云分類模型，基于所述經(jīng)訓(xùn)練的點(diǎn)云分類模型對(duì)所述第一對(duì)抗點(diǎn)云數(shù)據(jù)的識(shí)別結(jié)果，計(jì)算將所述第一對(duì)抗點(diǎn)云數(shù)據(jù)識(shí)別為所述第二目標(biāo)的分類損失。