[發明專利]融合紋理特征與形狀特征的時序性的草圖識別方法

有效

• 申請號: 201711379401.2
• 申請日: 2017-12-20
• 公開（公告）號: CN108229501B
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 賈棋;樊鑫;秦啟煒;唐國磊;劉日升;徐秀娟;趙曉薇;許真珍
• 申請（專利權）人: 大連理工大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62;G06T5/50;G06T11/00;G06N3/04
• 代理公司: 大連星海專利事務所有限公司 21208
• 代理人: 裴毓英

1.一種融合紋理特征與形狀特征的時序性的草圖識別方法，包括以下步驟:

步驟1.獲取圖像序列

對于每一個草圖S，有N個順序筆畫，將S表示為(s₁,s₂,...,s_N)；其中，s_i為該草圖S的第i個順序筆畫，i為[1,N]之間的整數；建立一個包含P個圖像的序列(I₁,I₂,...,I_P)，其中，第t個圖像I_t包含了筆畫s₁到s_t×N/P，t為[1,P]之間的整數；

步驟2.提取圖像特征

對上述圖像序列中的每一幅圖像I_t，提取圖像紋理特征提取圖像形狀特征

步驟3.利用循環神經網絡對草圖筆畫進行迭代學習

搭建一個包含兩個階段和3個GRU的網絡；然后，按照圖像序列(I₁,I₂,...,I_P)的順序進行迭代學習；其中，第t行即為利用圖像I_t的紋理特征和形狀特征進行第t次迭代學習；

其中，每一步的迭代學習又包含兩個階段：

步驟3-1第一階段的2個GRU分別學習了一個從輸入序列和到輸出和的映射；以形狀特征為例，給出如下解釋：

其中，和表示GRU的輸入和輸出，h_t是GRU的隱藏狀態，并由其他三個門單元r_t、z_t、和決定；操作符⊙表示向量的對應元素相乘；W_*和U是權重矩陣，b_*是GRU的權重向量；同理，將另一個GRU將紋理特征映射到

步驟3-2在第t次迭代學習中，第二階段的輸入是(y_texture^Ty_shape^T)^T，輸出則為其中，首先將線性函數W(y_texture^Ty_shape^T)^T+b應用于第二階段的開始位置，W的維度為256*128，用以融合被記憶的紋理特征和形狀特征；然后將融合后的特征輸入第3個GRU網絡；而第二階段GRU的輸出則與最終作為分類器的softmax層進行稠密連接，得到分類結果。

2.根據權利要求1所述的融合紋理特征與形狀特征的時序性的草圖識別方法，其特征在于，所述步驟1中，P＝5。

3.根據權利要求1所述的融合紋理特征與形狀特征的時序性的草圖識別方法，其特征在于，所述步驟2中，使用Sketch-A-Net模型提取圖像紋理特征

4.根據權利要求1所述的融合紋理特征與形狀特征的時序性的草圖識別方法，其特征在于，所述步驟2中，使用Shape Context提取圖像形狀特征

5.根據權利要求4所述的融合紋理特征與形狀特征的時序性的草圖識別方法，其特征在于，對于形狀特征的提取有如下步驟：

步驟2-1對每一個筆畫應用形狀上下文作為幾何描述子，且每個筆畫上采集5個特征點；

步驟2-2對形狀特征進行k-means聚類，聚類中心作為codebook；

步驟2-3使用其中M個聚類中心作為描述整個筆畫空間的原型；并使用局部約束線性編碼LLC生成最終編碼了的筆畫表示；

步驟2-4將maxpooling應用于全部筆畫特征，獲取更具有區分性的500維的特征向量。