[發明專利]一種針對十億像素的像素塊排列方法與系統

在審

• 申請號: 202211433402.1
• 申請日: 2022-11-16
• 公開（公告）號: CN115830366A
• 公開（公告）日: 2023-03-21
• 發明（設計）人: 方璐;郭雨晨;戴瓊海;袁肖赟;林浩哲;肖京;曾凡濤
• 申請（專利權）人: 清華大學;平安科技（深圳）有限公司
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06N5/04
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 石茵汀

本發明公開了一種針對十億像素的像素塊排列方法與系統，該方法包括：將待標注的十億像素圖像輸入至推理模型中，并利用初始像素塊構建像素塊樹；基于像素塊過濾模型和像素塊樹進行像素塊過濾，以將相鄰的細粒度像素塊排列到相應的粗粒度像素塊中；以及，基于剩余的細粒度像素塊和相應的粗粒度像素塊以及像素塊打包模型得到預設數量的畫布，并在預設數量的畫布中生成打包像素塊的最終布局信息；基于打包像素塊的最終布局信息進行模型優化以得到訓練好的推理模型，基于訓練好的推理模型輸出待標注的十億像素圖像的標注數據以及標注數據的標簽。本發明所提出像素塊排列框架在保持理想性能的同時對十億像素圖像的推理速度有了大幅度提高。

技術領域

本發明涉及圖像分類技術領域，特別是涉及一種針對十億像素的像素塊排列方法與系統。

背景技術

隨著高分辨率相機的廣泛應用，高分辨率圖像進行目標檢測的需求越來越大。通常航空和遙感圖像具有相對較高的分辨率，比如其中的VisDrone數據集中的圖像可以達到2,000×1,500像素。最近推出的PANDA數據集是首個十億像素級(25,000×14,000)以人為中心的視頻和圖像數據集，它進一步拓展了高分辨率圖像分析的前沿領域，同時也為在如此大的圖像上加速目標檢測提供了巨大的挑戰。

加速對象檢測的一個主要方向是設計高效的網絡架構，例如Faster RCNN、YOLO和SSD。然而，大多數框架都是在MSCOCO這樣的一般圖像上開發的。直接將它們應用到超分辨圖像可能仍然會造成巨大的時間成本。同時，對超分辨圖像的高速推理框架以及具體方法研究較少。

因此，近年來有人提出了一些加快相對超分辨圖像目標檢測的工作。有團隊提出了一個圖像級解決方案，它自適應地為每個輸入圖像選擇分辨率。眾所周知，我們只能對局部區域進行必要的計算，而不能對整個超分辨圖像進行計算。基于這種直覺，大多數現有的工作都專注于尋找物體可能存在的局部像素塊。還有團隊將低分辨率的檢測盒作為像素塊，對這些像素塊進行細化分辨率的最終檢測。此外，CRENet將粗檢測結果聚類形成像素塊，clusterdet遵循RPN的思想，并使用神經網絡來估計準確的補丁，AutoFocus和GLSAN根據圖像特征生成像素塊，DMNe在密度圖的指導下獲取像素塊。另外還有一些采用強化學習方法尋找有價值的像素塊的方法。然而，上述方法通常需要更多的像素塊來保證性能，隨著圖像分辨率的增加，當圖像分辨率達到十億像素級時，像素塊的數量將會非常多(可能超過12000個)。因此，它們對應的時間成本在實際應用中仍然難以接受的。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

針對在檢測模型中，采用像素塊排列方法，利用模塊化設計解決在原有高分辨率上進行高效的目標檢測圖像方法中，當圖像分辨率達到十億像素級時，專注于檢測目標可能出現的地方并生成相應的局部像素塊，然后對每個局部像素塊進行獨立檢測，獨立檢測時間成本大的問題。本發明提出一個用于十億像素級圖像的快速目標檢測的全新的像素塊排列框架。在此框架下，利用像素樹來加速檢測確定哪些像素塊可以打包到一起進行訓練，利用像素塊過濾和像素塊打包模塊來生成理想的像素塊布局，最終保持良好的性能的同時可以提高10億像素級圖像的推理速度。

本發明的另一個目的在于提出一種針對十億像素的像素塊排列系統。

為達上述目的，本發明一方面提出一種針對十億像素的像素塊排列方法，包括：

獲取待標注的十億像素圖像和對應的圖像標簽，以及推理模型；其中，所述推理模型包括像素塊樹生成模型、像素塊過濾模型和像素塊打包模型；

將所述待標注的十億像素圖像輸入至所述推理模型中，以基于所述像素塊樹生成模型和所述圖像標簽進行聚類得到初始像素塊，并利用所述初始像素塊構建像素塊樹；其中，所述像素塊樹包括細粒度像素塊和相應的粗粒度像素塊；