[發明專利]基于雙重注意力的圖像界面自動生成代碼方法及裝置

在審

• 申請號: 202210027565.3
• 申請日: 2022-01-11
• 公開（公告）號: CN114463604A
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 李偉;余孝琴;李澎林;余文杰
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06V10/774;G06V10/74;G06V10/764;G06N3/04;G06N3/08;G06F8/34;G06F8/41;G06K9/62
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 忻明年

1.一種基于雙重注意力的圖像界面自動生成代碼方法，其特征在于，所述基于雙重注意力的圖像界面自動生成代碼方法，包括：

對含有GUI圖像界面與對應DSL文件的數據集進行預處理，獲得訓練集，訓練集中每個訓練樣本包括與GUI圖像界面對應的圖像界面張量，以及與DSL文件對應的DSL向量；

構建并訓練圖像界面DSL序列預測模型，所述圖像界面DSL序列預測模型包括注意力層、特征提取器、雙重注意力模塊、生成層和分類層，將所述DSL向量輸入到注意力層提取出上下文向量，將所述圖像界面張量輸入到所述特征提取器提取出多尺度特征圖，所述多尺度特征圖與上下文向量輸入到雙重注意力模塊，提取出雙重注意力特征，所述雙重注意力特征與上下文向量輸入到生成層生成分類分數張量，所述分類分數張量經過分類器輸出DSL序列；

采用訓練好的圖像界面DSL序列預測模型對輸入的待處理圖像界面進行預測，預測出對應的DSL序列，經編譯器編譯得到對應平臺代碼。

2.根據權利要求1所述的基于雙重注意力的圖像界面自動生成代碼方法，其特征在于，所述特征提取器基于ResNet50，去除了ResNet50最后一個卷積層以及之后的平均池化層和全連接層，最后接一個1×1卷積層。

3.根據權利要求1所述的基于雙重注意力的圖像界面自動生成代碼方法，其特征在于，所述多尺度特征圖與上下文向量輸入到雙重注意力模塊，提取出雙重注意力特征，包括：

將多尺度特征圖變換為空間特征圖，然后經過卷積操作后與上下文向量經過softmax函數生成空間權重向量，將所述空間權重向量與空間特征圖相乘得到空間注意力特征；

將多尺度特征圖變換為通道特征圖，然后經過卷積操作后與上下文向量經過softmax函數生成通道權重向量，將所述通道權重向量與通道特征圖相乘得到通道注意力特征；

將所述空間注意力特征與通道注意力特征逐項求和得到雙重注意力特征。

4.根據權利要求1所述的基于雙重注意力的圖像界面自動生成代碼方法，其特征在于，所述訓練圖像界面DSL序列預測模型，所采用的損失函數為交叉熵損失函數。

5.根據權利要求1所述的基于雙重注意力的圖像界面自動生成代碼方法，其特征在于，所述注意力層和生成層分別為單層長短期記憶網絡。

6.一種基于雙重注意力的圖像界面自動生成代碼裝置，包括處理器以及存儲有若干計算機指令的存儲器，其特征在于，所述計算機指令被處理器執行時實現權利要求1至權利要求5中任意一項所述方法的步驟。