[發明專利]一種基于圖卷積神經網絡的圖像分類方法及系統

有效

• 申請號: 201911420143.7
• 申請日: 2019-12-31
• 公開（公告）號: CN111222000B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 李旦;梁慶中;孫晨鵬;趙東陽;陳仁謠
• 申請（專利權）人: 中國地質大學（武漢）
• 主分類號: G06F16/55
• 分類號: G06F16/55;G06F16/583;G06F16/951;G06F40/284;G06V10/764;G06V10/82;G06N3/0464;G06N3/042;G06N3/08
• 代理公司: 武漢知產時代知識產權代理有限公司 42238
• 代理人: 孫麗麗

本發明提供一種基于圖卷積神經網絡的圖像分類方法及系統，具體包括：用爬蟲根據圖像標簽在網絡上爬取圖像對應一段文本信息；對所述文本信息預處理，得到詞語；計算詞語與詞語之間的PMI值、圖像與詞語之間的TF?IDF值；根據所述PMI值和TF?IDF成圖，構成圖像與詞語作為結點的圖結構數據；利用圖卷積神經網絡對圖結構數據進行處理，得到圖像分類結果；本發明的有益效果是：在原有的圖像數據上，為每張圖像添加對應的文本描述信息，利用圖卷積神經網絡提高圖像分類準確率。

技術領域

本發明涉及圖像分類領域，尤其涉及一種基于圖卷積神經網絡的圖像分類方法及系統。

背景技術

隨著計算機網絡的不斷發展，人們每天從互聯網獲得大量的信息，這些信息包含了文本信息、圖像信息、音頻信息、視頻信息等等，如何更好地獲取人們感興趣的信息，就需要對這些信息進行分類。目前針對文本信息的分類技術相對來說比較成熟，但其他三類信息的分類技術卻有所欠缺，于是本人提出一種基于圖卷積神經網絡的圖像分類方法。

現有的圖像分類方法大都局限于如何更有效地利用圖像本身的視覺信息，卻忽略了引入外部信息來豐富文本信息的想法，這樣導致文本分類準確率不。

發明內容

本發明的目的在于針對上述技術缺陷，提供一種基于圖卷積神經網絡的圖像分類方法及系統，具體包括以下步驟：

S1：獲取訓練用的圖像數據集，圖像數據集中包含多張圖像，每張圖像有一個與之對應的文本標簽；

S2：使用爬蟲在網絡上爬取與每個文本標簽對應的一段文本；

S3：用自然語言處理工具對爬取到的文本進行預處理，得到與爬取到的文本相關的不同詞語；

S4：計算所有詞語間的PMI值，代表詞語間的貢獻強度；

S5：計算圖像與詞語間的TF-IDF值，代表圖像與詞語間的關聯強度；

S6：根據得到的PMI值與TF-IDF值成圖，得到圖結構數據；

S7：利用BERT模型，得到每個詞語的向量表示，作為詞語結點的初始特征向量；

S8：利用卷積神經網絡對圖像提取特征，得到特征向量表示，作為圖像結點的初始特征向量；

S9：利用圖卷積神經網絡對得到的所述圖結構數據訓練，并對最終得到的圖像結點特征向量進行分類，達到圖像分類的目的。

進一步地，步驟S2中，使用爬蟲在網絡上爬取與每個文本標簽對應的一段文本時，只保留一段相關文本。

進一步地，步驟S3中，所述預處理依次包括：分詞處理，除去標點和停用詞。

進一步地，步驟S4中，計算PMI值的公式為：

上式中，#W(i,j)表示語料中同時包含詞語i與詞語j的滑動窗口數目，#W表示滑動窗口的總數，#W(i)表示包含詞語i的滑動窗口的數目。

進一步地，步驟S5中，計算TF-IDF值的具體公式為：

TF-IDF＝TF×IDF

上式中，m為某個圖像中詞語i出現的次數，n為該圖像這個所有詞語的數目；p為圖像總數，q為包含詞語i的圖像數目。

進一步地，步驟S6中根據得到的PMI值與TF-IDF值成圖，具體為：若兩個詞語間的PMI值大于0則代表兩個詞語的結點間有一條連邊，邊的權重即為PMI值；若圖像與詞語間的TF-IDF值大于0，則代表圖像與詞語的結點間有一條連邊，邊的權重即為TF-IDF值。