[發明專利]融合紋理特征與形狀特征的時序性的草圖識別方法

有效

• 申請號: 201711379401.2
• 申請日: 2017-12-20
• 公開（公告）號: CN108229501B
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 賈棋;樊鑫;秦啟煒;唐國磊;劉日升;徐秀娟;趙曉薇;許真珍
• 申請（專利權）人: 大連理工大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62;G06T5/50;G06T11/00;G06N3/04
• 代理公司: 大連星海專利事務所有限公司 21208
• 代理人: 裴毓英

本發明屬于計算機視覺領域，公開了一種融合紋理特征與形狀特征的時序性的草圖識別方法。首先，按照草圖的筆畫順序獲取一個圖像序列；其次，提取每個圖像的紋理特征和形狀特征，形成對應于圖像序列的特征序列；然后，將特征輸入到包含兩個階段的網絡中進行學習，第一階段的兩個循環神經網絡分別接受圖像的紋理特征和形狀特征，第二階段首先融合上一階段的輸出，然后輸入到第三個循環神經網絡，最后通過分類器得到結果，如此，按照序列中的順序進行迭代學習。優點：將幾何描述子用于草圖識別，同時采用循環神經網絡對草圖的時序特征進行有效學習，從而顯著改善原有識別模型忽視草圖形狀特征與時序性特征的缺陷，較好地提升草圖識別率。

技術領域

本發明屬于計算機視覺領域，涉及圖像分類任務，特別涉及一種融合紋理和形狀特征的時序性的草圖識別方法。

背景技術

反映物體主要特征的草圖，是人們交流想法的一種有效途徑。然而，自動識別筆畫順序多變和風格各異的手繪草圖是一個巨大的挑戰，以至于近些年來的自動識別率觸到了天花板。大多數現行的方法，尤其是基于深度網絡的方法，不是忽略了草圖的幾何特征，把在自然圖像識別中取得巨大成功的紋理特征用于草圖識別，而忽視了紋理特征在草圖中并不太豐富的缺陷；就是把草圖當作結構順序固定的手寫字母來處理，忽視了草圖區別于其他形狀的時序性，或者未能很好地解決手繪順序有區別的同類草圖對結果的擾動。

本發明結合這兩個角度，設計了一種序列性雙循環神經網絡。通過幾何描述子揭示草圖的形狀特征，并采用循環神經網絡學習草圖的時序性特征，從而彌補了單一紋理特征的缺陷，提高了草圖識別率。

發明內容

為了彌補單一紋理特征的不足以更好地識別草圖，本發明提供了一種結合紋理特征與形狀特征的時序性的草圖識別方法。

本發明的技術方案包括如下步驟：

步驟1.獲取圖像序列

對于每一個草圖S，假設它有N個順序筆畫，則S可以表示為(s₁,s₂,...,s_N)。其中，s_i為該草圖S的第i個順序筆畫，i為[1,N]之間的整數。建立一個包含P個圖像的序列(I₁,I₂,...,I_P)。其中，第t個圖像I_t包含了筆畫s₁到s_t×N/P，t為[1,P]之間的整數。

步驟2.提取圖像特征

對上述圖像序列中的每一幅圖像I_t，提取圖像紋理特征提取圖像形狀特征

步驟3.利用循環神經網絡對草圖筆畫進行迭代學習

搭建一個包含兩個階段和3個GRU(gated recurrent unit)的網絡，如圖1所示的每一行。然后，按照圖像序列(I₁,I₂,...,I_P)的順序進行迭代學習。圖1中的第t行即為利用圖像I_t的紋理特征和形狀特征進行第t次迭代學習。

其中，每一步的迭代學習又包含兩個階段：

步驟3‐1第一階段的2個GRU分別學習了一個從輸入序列和到輸出和的映射。以形狀特征為例，給出如下解釋：