[發明專利]圖像升頻系統及其訓練方法、以及圖像升頻方法

有效

• 申請號: 201610984239.6
• 申請日: 2016-11-09
• 公開（公告）號: CN108074215B
• 公開（公告）日: 2020-04-14
• 發明（設計）人: 那彥波;張麗杰;李曉宇
• 申請（專利權）人: 京東方科技集團股份有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 北京市中咨律師事務所 11247
• 代理人: 劉薇;李崢

1.一種圖像升頻系統，包括：至少兩個卷積神經網絡模塊；以及至少一個復合器；

其中，所述至少兩個卷積神經網絡模塊與所述至少一個復合器彼此交替地連接，以使得在相鄰的兩個所述卷積神經網絡模塊之間連接有一個所述復合器；

所述至少兩個卷積神經網絡模塊中的第一卷積神經網絡模塊被配置為接收輸入圖像和與所述輸入圖像的分辨率相同的補充圖像，并基于所述輸入圖像和與所述輸入圖像的分辨率相同的補充圖像，生成第一數量的特征圖像，并向與其連接的下一個所述復合器輸出；

所述至少兩個卷積神經網絡模塊中的其它卷積神經網絡模塊被配置為接收來自前一個所述復合器的輸出圖像和與所接收的所述輸出圖像的分辨率相同的補充圖像，并基于所述輸出圖像和與所述輸出圖像的分辨率相同的補充圖像，生成第二數量的特征圖像，并向與其連接的下一個所述復合器輸出，或者作為所述圖像升頻系統的輸出；

所述復合器被配置為將所接收的特征圖像中的每n*n個特征圖像合成為一個特征圖像，并將所合成的第三數量的特征圖像輸出到與其連接的下一個所述卷積神經網絡模塊，或者作為所述圖像升頻系統的輸出；

其中，n表示所述復合器的升頻倍率，是大于1的整數，所述復合器所接收的特征圖像的數量是n*n的倍數。

2.根據權利要求1所述的圖像升頻系統，其中，所述補充圖像是具有固定分布和白噪聲的圖像。

3.根據權利要求1或2所述的圖像升頻系統，其中，所述復合器的升頻倍率是相同的。

4.根據權利要求1或2所述的圖像升頻系統，其中，所述復合器的升頻倍率是2的倍數。

5.根據權利要求3所述的圖像升頻系統，其中，所述復合器的升頻倍率是2的倍數。

6.根據權利要求1或2所述的圖像升頻系統，其中，所述復合器是自適應插值濾波器。

7.根據權利要求3所述的圖像升頻系統，其中，所述復合器是自適應插值濾波器。

8.根據權利要求4所述的圖像升頻系統，其中，所述復合器是自適應插值濾波器。

9.根據權利要求5所述的圖像升頻系統，其中，所述復合器是自適應插值濾波器。

10.一種顯示裝置，包括如權利要求1至9任意一項所述的圖像升頻系統。

11.一種用于訓練如權利要求1至9任意一項所述的圖像升頻系統的方法，包括：

構建第一訓練集合，其包括原始圖像和所述原始圖像的至少一個降頻圖像，其中所述降頻圖像的分辨率低于所述原始圖像的分辨率；

構建第二訓練集合，其包括所述原始圖像、倍率因子和基于所述倍率因子的所述原始圖像的第一降質圖像，所述第一降質圖像的分辨率與所述原始圖像的分辨率相同；

利用所述第二訓練集合，以所述原始圖像和所述第一降質圖像作為輸入，以所述倍率因子作為輸出，訓練卷積神經網絡系統；

使用所訓練的所述卷積神經網絡系統并使用所述第一訓練集合，獲取所述圖像升頻系統的參數；

基于具有所獲取的參數的圖像升頻系統，構建新的訓練集合，其包括所述原始圖像、所述倍率因子以及基于所述倍率因子的所述原始圖像的第二降質圖像，其中所述第二降質圖像的分辨率與所述原始圖像的分辨率相同；

利用所述新的訓練集合，以所述原始圖像和所述第二降質圖像作為輸入，以所述倍率因子作為輸出，訓練所述卷積神經網絡系統；

使用所訓練的所述卷積神經網絡系統并使用所述第一訓練集合，再次獲取所述圖像升頻系統的參數；以及

重復執行所述新的訓練集合的構建、所述卷積神經網絡系統的訓練和所述圖像升頻系統的參數的獲取。