[發(fā)明專利]低照度圖像處理方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211259351.5
• 申請(qǐng)日: 2022-10-14
• 公開(kāi)（公告）號(hào): CN116664411A
• 公開(kāi)（公告）日: 2023-08-29
• 發(fā)明（設(shè)計(jì)）人: 涂娟娟;秦臻;張繼東;曹靖城;吳春平
• 申請(qǐng)（專利權(quán)）人: 天翼數(shù)字生活科技有限公司
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06N3/0464;G06N3/048;G06N3/0475;G06N3/094;G06V10/46;G06V10/82
• 代理公司: 上海專利商標(biāo)事務(wù)所有限公司 31100
• 代理人: 亓云;蔡悅

本發(fā)明提供了一種低照度圖像處理的方法和系統(tǒng)，其中該方法包括：獲取待處理圖像；確定該待處理圖像是低照度圖像還是高照度圖像；響應(yīng)于確定該待處理圖像為低照度圖像：提取該低照度圖像的尺度不變特征變換SIFT特征，基于SIFT特征將該低照度圖像與參照特征庫(kù)中的高照度參照?qǐng)D像進(jìn)行比較；響應(yīng)于在該參照特征庫(kù)找到與該低照度圖像的相似度高于閾值的高照度參照?qǐng)D像，用所找到的高照度參照?qǐng)D像作為該低照度圖像的經(jīng)處理圖像；響應(yīng)于在該參照特征庫(kù)未找到與該低照度圖像的相似度高于閾值的高照度參照?qǐng)D像，提取該低照度圖像的圖像特征，以及將提取的圖像特征輸入經(jīng)訓(xùn)練的基于生成對(duì)抗網(wǎng)絡(luò)的圖像去噪模型來(lái)得到該低照度圖像的經(jīng)處理圖像。

技術(shù)領(lǐng)域

本發(fā)明涉及視聯(lián)網(wǎng)領(lǐng)域，并且更具體地，涉及用于對(duì)視頻幀中的低照度幀進(jìn)行去噪聲的圖像處理方法和系統(tǒng)。

背景技術(shù)

隨著5G和視頻技術(shù)的發(fā)展，基于攝像頭的看家類產(chǎn)品發(fā)展迅速，而視頻文件的存儲(chǔ)規(guī)模也越來(lái)越大。以中國(guó)電信天翼看家產(chǎn)品為例，每日新增的視頻文件就需要25P的存儲(chǔ)空間，海量的存儲(chǔ)最直接的是帶來(lái)很大的硬件采購(gòu)成本，另外海量的存儲(chǔ)對(duì)于擴(kuò)容、運(yùn)維、容災(zāi)等都帶來(lái)很大的管理成本。所以對(duì)視頻文件盡可能大的壓縮是一個(gè)迫在眉睫的長(zhǎng)期的技術(shù)難題。

特別是在低照度環(huán)境下，感光元件增加曝光時(shí)間，溫度上升，較長(zhǎng)時(shí)間的感光會(huì)造成大量白噪聲、暗電流，這些白噪聲和暗電流會(huì)造成大量隨機(jī)噪點(diǎn)的輸出。

1、成像質(zhì)量低，用戶體驗(yàn)差；視頻可能會(huì)被高斯噪聲、椒鹽噪聲、瑞利噪聲、指數(shù)噪聲等的一種或者多種噪聲覆蓋；

2、噪點(diǎn)會(huì)造成視頻中的高頻信號(hào)較密集，如果不加處理直接輸入到編碼器進(jìn)行編碼，會(huì)造成存儲(chǔ)空間的提升；在H265標(biāo)準(zhǔn)下單路視頻攝像頭的碼流在亮度正常的情況下被壓縮到700K左右，但在夜晚陰雨天等低照度環(huán)境下，存儲(chǔ)容量會(huì)增加30％-50％；

3、這些圖像用于人臉識(shí)別、車牌識(shí)別等AI識(shí)別時(shí)，成功率較低，會(huì)給智能安防帶來(lái)很大隱患。

傳統(tǒng)的編解碼技術(shù)會(huì)使用低通濾波和中值濾波的方式進(jìn)行噪聲的處理。但低通濾波在去除噪聲的同時(shí)圖片會(huì)變得模糊。中值濾波采用非線性的方法，在保護(hù)圖像尖銳的邊緣同時(shí)，選擇適當(dāng)?shù)狞c(diǎn)來(lái)替代污染點(diǎn)的值，所以處理效果不會(huì)像低通濾波那樣模糊，但中值濾波的算法決定了對(duì)椒鹽噪聲表現(xiàn)較好，對(duì)高斯噪聲等其它噪聲表現(xiàn)較差。近年來(lái)隨著人工智能的發(fā)展，機(jī)器學(xué)習(xí)算法和深度學(xué)習(xí)算法被應(yīng)用到圖像去噪領(lǐng)域，并取得了較為明顯的成果，但人工智能模型的訓(xùn)練依賴于大量樣本集的標(biāo)注和學(xué)習(xí)，在推理階段依賴于硬件的算力，在端側(cè)進(jìn)行ISP處理和AI處理時(shí)會(huì)增加硬件成本。

題為“一種夜間低照度圖像噪聲的抑制方法”的中國(guó)專利申請(qǐng)(CN102054266B)公開(kāi)了一種夜間低照度圖像噪聲的抑制方法，具體方法為：首先判斷找出大增益增強(qiáng)后的低照度圖像，對(duì)低照度圖像中的噪聲敏感區(qū)域進(jìn)行非線性映射，在對(duì)非線性映射后的圖像再進(jìn)行一次中值濾波，最后輸出的結(jié)果圖像即為噪聲抑制后的圖像。本發(fā)明采用非線性映射與中值濾波相結(jié)合的方法對(duì)圖像的噪聲進(jìn)行抑制，由此達(dá)到了在保持原有圖像能見(jiàn)度的同時(shí)，抑制低照度圖像的噪聲，提高夜間圖像的監(jiān)控畫面質(zhì)量。本發(fā)明采用中值濾波的方法，泛化能力較差，對(duì)椒鹽噪聲有一定效果，其它噪聲較差。

題為“基于相似場(chǎng)景的低照度監(jiān)控圖像增強(qiáng)方法”的中國(guó)專利申請(qǐng)(CN103020924B)公開(kāi)了一種基于相似場(chǎng)景的低照度監(jiān)控圖像增強(qiáng)方法，該方法包括步驟：獲取與低照度監(jiān)控圖像場(chǎng)景相似的高照度圖像構(gòu)建相似場(chǎng)景圖像庫(kù)，且圖像庫(kù)中的圖像與低照度監(jiān)控圖像大小相同；對(duì)低照度監(jiān)控圖像進(jìn)行預(yù)處理以提高圖像質(zhì)量；在相似場(chǎng)景圖像庫(kù)中搜索與待增強(qiáng)的低照度監(jiān)控圖像最相似的圖像作為參考圖像，所述的與待增強(qiáng)的低照度監(jiān)控圖像最相似的圖像為：相似場(chǎng)景圖像庫(kù)中與待增強(qiáng)的低照度監(jiān)控圖像的像素差值和最小的圖像；采用直方圖匹配的方法，讓待增強(qiáng)的低照度監(jiān)控圖像的直方圖與參考圖像的直方圖匹配以增強(qiáng)低照度監(jiān)控圖像。采用本發(fā)明方法對(duì)低照度監(jiān)控圖像進(jìn)行增強(qiáng)，可提高監(jiān)控圖像的清晰度。本發(fā)明提出了相似場(chǎng)景下使用高質(zhì)量相似圖像進(jìn)行圖像增強(qiáng)，但直接使用直方圖匹配的方式去匹配準(zhǔn)確率較低，因?yàn)橹狈綀D本身受光照影響較大。