[發明專利]一種基于邊緣閉合與共性檢測的圖像生成方法及系統

有效

• 申請號: 202110371068.0
• 申請日: 2021-04-07
• 公開（公告）號: CN112800259B
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 余放;黃崑;孫海沙
• 申請（專利權）人: 武漢市真意境文化科技有限公司
• 主分類號: G06F16/532
• 分類號: G06F16/532;G06F16/583;G06K9/34;G06K9/46;G06N3/04
• 代理公司: 武漢紅觀專利代理事務所(普通合伙) 42247
• 代理人: 陳凱

本發明公開一種基于邊緣閉合與共性檢測的圖像生成方法及系統，所述方法包括：獲取輸入的文本，對文本進行文本要素篩選；將篩選出的文本要素分別輸入圖像搜索引擎，輸出相應的圖像搜索結果；從中篩選出多個有效圖像，對各個圖像進行邊緣檢測，得到邊緣檢測圖像；采用最近鄰探測連接的方式對邊緣檢測圖像中的實體進行邊緣閉合操作，得到具有封閉邊緣的實體；對圖像中的所有實體按對應的封閉邊緣進行裁剪操作，得到備選純實體圖像；通過無監督圖像分類算法對備選純實體圖像進行分類，統計各個類別的圖像總數，將圖像總數最多的類別中的圖像作為對應文本要素的語義圖像。本發明可基于文本生成符合常理、背景為透明或純色的高質量、純實體語義圖像。

技術領域

本發明屬于文本-圖像生成技術領域，具體涉及一種基于像素閉合與共性檢測的圖像語義分割方法及系統、設備、存儲介質。

背景技術

在內容生產領域，高效生產IP決定了以IP生產為核心業務的企業競爭力。但由于IP生產是典型的創造型工作，近十年高速發展的深度學習技術并不能很好的適應“創造”的任務。深度學習在圖像方面的應用，以機器視覺領域為主，而文字轉靜止圖像任務是一類典型的信息量增加，要求神經網絡具有創造能力的人工智能技術。其底層原理是利用含有卷積神經網絡或循環神經網絡或各種形式的生成式網絡對圖像的像素信息進行訓練，生成神經網絡模型，模型將參數化的經驗保存在神經網絡各個節點內，從而具有預測或是生成新的相同模式圖像的能力。

機器視覺技術目前在圖像的分類識別問題上發揮較好，但是在圖像生成任務上離市場應用還有一段距離，主要問題表現在：1.在圖像風格變換上嚴重依賴輸入像素的訓練，并且生成的圖像具有較強原圖像模式的風格；2.在純圖像生成上，生成分辨率較低圖像有較好效果，但是對于標準分辨率和高分辨率圖像生成的圖像效果模糊，目前無還法進入市場應用領域；3.生成的圖像有可能不符合人類日常視覺理解。

就目前而言，由各種生成式深度神經網絡創造的圖像還不能達到滿足市場應用的技術能力，生成標清且符合物理規律的合理圖像仍較為困難，且這類任務需要耗費大量的人工標定標簽成本和訓練成本。

而現存的基于語義-圖像分割技術的語義圖像生成方式依賴訓練，訓練樣本需要大量的人工像素級圖像標定工作，造成每一個樣本的人工標定標簽的的工作量都較普通深度學習更大，在應用領域難以付出如此規模的人力成本。現存的弱監督學習語義分割技術仍然部分依賴對圖像進行人工像素級的染色標定?，F存的無監督語義分割技術則是完全依賴生成仿真空間的生成實例，仿真實例與真實空間的各個要素并非同分布，因此也無法有效用于真實圖片中要素的提取。

發明內容

有鑒于此，本發明提出了一種基于像素閉合與共性檢測的圖像圖像生成方法及系統、設備、存儲介質，用于解決現有文本-圖像生成技術中人工標定和訓練繁瑣、無法根據文本生成合理的語義圖像的問題。

本發明第一方面，公開一種基于邊緣閉合與共性檢測的圖像生成方法，所述方法包括：

獲取輸入的文本，對文本進行文本要素篩選；

將篩選出的文本要素分別輸入圖像搜索引擎，輸出相應的圖像搜索結果；

對于同一文本要素對應的搜索結果，從中篩選出多個有效圖像，對各個圖像進行邊緣檢測，得到邊緣檢測圖像；

設定動態掃描半徑，基于動態掃描半徑，采用最近鄰探測連接的方式對邊緣檢測圖像中的實體進行邊緣閉合操作，得到具有封閉邊緣的實體；

對圖像中的所有實體按對應的封閉邊緣進行裁剪操作，將裁剪分割出的圖像作為備選純實體圖像；

通過無監督圖像分類算法對備選純實體圖像進行分類，統計各個類別的圖像總數，將圖像總數最多的類別中的圖像作為對應文本要素的語義圖像。

優選的，所述對文本進行文本要素篩選具體為：

對輸入的文本進行分詞、去停用詞處理，進行詞性標注；