[發(fā)明專利]基于圖神經網絡的眾包標簽推測方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010034292.6
• 申請日: 2020-01-13
• 公開（公告）號: CN111275079B
• 公開（公告）日: 2023-07-04
• 發(fā)明（設計）人: 紀守領;吳含露;陳建海;林昶廷;鄧水光
• 申請（專利權）人: 浙江大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/40;G06V10/82;G06N3/0464
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 馬士林

1.一種基于圖神經網絡的眾包標簽推測方法，其特征在于，包括以下步驟：

(1)對眾包標簽進行數據處理，得到標注人員及任務的初始特征；

(2)為標注人員的任務分配情況構建標注人員-任務異構圖、標注人員同構圖以及任務同構圖；

(3)將標注人員-任務異構圖、標注人員同構圖以及任務同構圖輸入到圖神經網絡中，獲得任務節(jié)點的嵌入特征；

所述的圖神經網絡由三個消息傳遞層堆疊而成；第一個消息傳遞層在不同類型的節(jié)點之間傳遞信息，更新節(jié)點的隱含狀態(tài)；第二個消息傳遞層在同類節(jié)點之間傳遞信息，更新節(jié)點的隱含狀態(tài)；第三個消息傳遞層和第一個消息傳遞層相同；

將標注人員-任務異構圖輸入到第一個消息傳遞層，用于在標注人員與所標注的任務之間傳遞消息；將標注人員同構圖以及任務同構圖輸入到第二個消息傳遞層，用于在同類節(jié)點之間傳遞消息，其中標注人員同構圖和任務同構圖中節(jié)點特征為第一個消息傳遞層輸出的嵌入特征；最后將第二個消息傳遞層產生的嵌入特征輸入第三個消息傳遞層，產生任務節(jié)點的嵌入特征；

(4)將獲得的任務節(jié)點的嵌入特征輸入到預測層中，得到任務屬于各個標簽的概率，概率最大的標簽視為該任務的正確標簽。

2.根據權利要求1所述的基于圖神經網絡的眾包標簽推測方法，其特征在于，步驟(1)中，對眾包標簽進行數據處理，包括：

(1-1)對于一個標注人員，其初始特征維度是一個超參數，每一維度都為該標注人員所標注過的標簽和多數投票得到的標簽相同的概率；

(2-2)對于一個任務，其初始特征維度是一個超參數，其初始特征維度和標注人員初始特征的維度保持一致，每一維都為標注人員標注該任務的標簽和多數投票得到的標簽相同的概率。

3.根據權利要求1所述的基于圖神經網絡的眾包標簽推測方法，其特征在于，步驟(2)中：

所述的標注人員-任務異構圖以標注人員與任務為節(jié)點，標注人員與任務為兩類節(jié)點，標注人員節(jié)點與任務節(jié)點之間的邊表示該任務被分配給該標注人員；

所述的標注人員同構圖以標注人員為節(jié)點，且每個節(jié)點上具有特征，標注的任務交集不為空集的兩個標注人員節(jié)點之間具有邊，邊上具有特征，表示為兩個標注人員節(jié)點屬性的相似度；

所述的任務同構圖以任務為節(jié)點，且每個節(jié)點上具有特征，標注人員交集不為空集的兩個任務節(jié)點之間具有邊，邊上具有特征，表示為兩個任務節(jié)點屬性的相似度。

4.根據權利要求3所述的基于圖神經網絡的眾包標簽推測方法，其特征在于，兩個標注人員節(jié)點屬性的相似度計算為兩個標注人員標注過任務的交集中，所標注的標簽相同的概率；兩個任務節(jié)點屬性的相似度計算為標注這兩個任務的標注人員交集中，對任務標注的標簽相同的概率。

5.根據權利要求1所述的基于圖神經網絡的眾包標簽推測方法，其特征在于，所述的預測層將輸入經過一次線性變換再經過Softmax激活函數得到輸出；所述輸出的維度與任務的類別總數相同，且所有維度相加為1。

6.一種基于圖神經網絡的眾包標簽推測系統(tǒng)，其特征在于，包括：

數據處理及建圖模塊，對原始的眾包標簽數據進行處理，并構建標注人員-任務異構圖、標注人員同構圖以及任務同構圖；

特征提取模塊，基于所述的標注人員-任務異構圖、標注人員同構圖以及任務同構圖，通過圖神經網絡對標注人員及任務進行特征提取；所述的圖神經網絡由三個消息傳遞層堆疊而成；第一個消息傳遞層在不同類型的節(jié)點之間傳遞信息，更新節(jié)點的隱含狀態(tài)；第二個消息傳遞層在同類節(jié)點之間傳遞信息，更新節(jié)點的隱含狀態(tài)；第三個消息傳遞層和第一個消息傳遞層相同；將標注人員-任務異構圖輸入到第一個消息傳遞層，用于在標注人員與所標注的任務之間傳遞消息；將標注人員同構圖以及任務同構圖輸入到第二個消息傳遞層，用于在同類節(jié)點之間傳遞消息，其中標注人員同構圖和任務同構圖中節(jié)點特征為第一個消息傳遞層輸出的嵌入特征；最后將第二個消息傳遞層產生的嵌入特征輸入第三個消息傳遞層，產生任務節(jié)點的嵌入特征；

標簽預測模塊，基于任務節(jié)點的嵌入特征來預測該任務屬于各個標簽的概率，并以概率最高的標簽作為該任務的正確標簽。

7.根據權利要求6所述的基于圖神經網絡的眾包標簽推測系統(tǒng)，其特征在于，所述的標簽預測模塊將輸入經過一次線性變換再經過Softmax激活函數得到輸出；所述輸出的維度與任務的類別總數相同，且所有維度相加為1。