[發(fā)明專利]手機(jī)的相機(jī)拍照系統(tǒng)及其圖像生成方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110871919.8
• 申請(qǐng)日: 2021-07-30
• 公開（公告）號(hào): CN113592757A
• 公開（公告）日: 2021-11-02
• 發(fā)明（設(shè)計(jì)）人: 胡瑋
• 申請(qǐng)（專利權(quán)）人: 黎川縣凡帝科技有限公司
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06K9/46;G06N3/04;G06N3/08;G06T3/40
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種手機(jī)的相機(jī)拍照系統(tǒng)，其特征在于，包括：

源圖像單元，用于分別通過具有第一視野的第一攝像頭和具有第二視野的第二攝像頭獲得第一圖像和第二圖像，所述第二視野大于所述第一視野；

特征圖生成單元，用于分別將所述第一圖像和所述第二圖像通過第一卷積神經(jīng)網(wǎng)絡(luò)，以獲得對(duì)應(yīng)于所述第一圖像的第一特征圖和對(duì)應(yīng)于所述第二圖像的第二特征圖，所述第一特征圖和所述第二特征圖具有相同的尺度；

差分單元，用于計(jì)算所述第一特征圖和所述第二特征圖之間的差分以獲得差分特征圖；

矩陣分解單元，用于對(duì)所述差分特征圖的每個(gè)特征矩陣進(jìn)行特征值分解以將每個(gè)所述特征矩陣分解為本征向量矩陣、對(duì)角本征值矩陣和本征向量矩陣的轉(zhuǎn)置的向量乘積，以獲得所述差分特征圖的每個(gè)所述特征矩陣的初始相關(guān)坐標(biāo)矩陣；

尺寸轉(zhuǎn)化單元，用于將每個(gè)所述初始相關(guān)坐標(biāo)矩陣通過線性插值轉(zhuǎn)化為與所述第一特征圖和所述第二特征圖中的特征矩陣具有相同的大小，再按照通道排列為與所述第一特征圖和所述第二特征圖具有相同尺度的坐標(biāo)轉(zhuǎn)換特征圖；

高維融合單元，用于以所述坐標(biāo)轉(zhuǎn)換特征圖對(duì)所述第一特征圖進(jìn)行坐標(biāo)轉(zhuǎn)化并與所述第二特征圖進(jìn)行融合，以獲得融合特征圖；以及

圖像生成單元，用于將所述融合特征圖輸入作為生成器的第二卷積神經(jīng)網(wǎng)絡(luò)，以獲得所述第一圖像和所述第二圖像的融合圖像。

2.根據(jù)權(quán)利要求1所述的手機(jī)的相機(jī)拍照系統(tǒng)，其中，所述差分單元，進(jìn)一步用于計(jì)算所述第一特征圖和所述第二特征圖之間的按像素位置的特征值之差，以獲得差分特征圖。

3.根據(jù)權(quán)利要求1所述的手機(jī)的相機(jī)拍照系統(tǒng)，其中，所述矩陣分解單元，進(jìn)一步用于對(duì)所述差分特征圖的每個(gè)特征矩陣進(jìn)行特征值分解以將每個(gè)所述特征矩陣分解為本征向量矩陣、對(duì)角本征值矩陣和本征向量矩陣的轉(zhuǎn)置的向量乘積，其中，M＝QAQ^T，其中M為所述差分特征圖中的每個(gè)特征矩陣，Λ＝diag(λ₁，λ₂，...,λ_N)，λ₁≥λ₂≥...v≥λ_N，是有序的對(duì)角本征值矩陣，且Q＝[q₁,q₂,...，q_N]是包含相應(yīng)本征向量作為列的本征向量矩陣。

4.根據(jù)權(quán)利要求3所述的手機(jī)的相機(jī)拍照系統(tǒng)，其中，所述矩陣分解單元，進(jìn)一步用于基于如下公式獲得所述差分特征圖的每個(gè)所述特征矩陣的初始相關(guān)坐標(biāo)矩陣；

其中，所述公式為：

其中Λ₂＝diag(λ₁,λ₂)是最大的兩個(gè)本征值的對(duì)角矩陣，且Q₂＝[q₁,q₂]包含Q的前兩列，符號(hào)表示對(duì)矩陣Λ₂的每個(gè)位置的值取平方根。

5.根據(jù)權(quán)利要求1所述的手機(jī)的相機(jī)拍照系統(tǒng)，其中，所述高維融合單元，進(jìn)一步用于：將所述坐標(biāo)轉(zhuǎn)換特征圖與所述第一特征圖進(jìn)行矩陣相乘后再與所述第二特征圖進(jìn)行相加，以獲得所述融合特征圖。

6.根據(jù)權(quán)利要求1所述的手機(jī)的相機(jī)拍照系統(tǒng)，其中，所述第一卷積神經(jīng)網(wǎng)絡(luò)和/或所述第二卷積神經(jīng)網(wǎng)絡(luò)為深度殘差網(wǎng)絡(luò)。