[發明專利]基于雙重注意力的圖像界面自動生成代碼方法及裝置

在審

• 申請號: 202210027565.3
• 申請日: 2022-01-11
• 公開（公告）號: CN114463604A
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 李偉;余孝琴;李澎林;余文杰
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06V10/774;G06V10/74;G06V10/764;G06N3/04;G06N3/08;G06F8/34;G06F8/41;G06K9/62
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 忻明年

本發明公開了一種基于雙重注意力的圖像界面自動生成代碼方法及裝置，使用DSL描述GUI，基于Resnet50提取圖像特征，采用雙層LSTM提取上下文向量，圖像特征與上下文向量聯合輸入雙重注意力模塊，分別計算通道注意力和空間注意力，讓網絡對輸入圖片的特征多方面進行加權重處理，生成層結合注意力輸出分類分數張量，模型輸出的DSL序列最后經Compiler編譯特定平臺源碼。本發明提出的融合空間注意力機制和通道注意力雙重注意力機制，能夠在解碼器學習DSL變量關系時，提供當前時間步對應GUI組件空間位置，并按照計算的通道重要程度分配對關鍵圖像特征圖的有效關注，極大增強了網絡學習能力、提高了圖像界面生成代碼的準確率。

技術領域

本申請屬于代碼生成技術領域，尤其涉及一種基于雙重注意力的圖像界面自動代碼生成方法及裝置。

背景技術

圖像界面自動代碼生成是指無需開發人員的參與，利用代碼生成方法將UI設計師繪制的圖像界面自動轉換為能夠運行代碼，也稱圖像界面逆向工程。傳統方法主要通過啟發式規則、機器學習目標檢測算法提取特征推測GUI組件層次結構、位置信息。但定義規則需要專家的啟發式經驗，人為干涉強，對未知問題的處理不夠靈活。近年來深度學習在機器翻譯、圖像描述任務中的優先表現顯示神經網絡能夠挖掘數據潛在特征，降低傳統特征工程復雜度。在借鑒機器翻譯的經驗下，2017年Tony Beltramelli等人首次將深度學習技術應用到圖像界面自動代碼生成任務，創新性的以圖像界面截圖為卷積神經網絡輸入，結合遞歸循環神經網絡得到GUI源碼的圖像界面生成代碼模型。作者提出的Pix2code取得了令人印象深刻的結果，但仍然存在較高的誤識別問題。為降低模型誤差率，雷慧調整了Pix2code模型中的CNN網絡結構以保留組件位置和顏色，使用多層卷積層，增加步長以替代池化層。韓易在傳統的編解碼模型中加入了目標檢測機制，使用目標檢測器Mask-RCNN識別獲取目標圖像，再利用CNN和雙向長短時記憶網絡(Bi-LSTM)對原始圖像、目標圖像和文本數據建模。隨后，Zhu等人提出一種基于注意機制的分層代碼生成方法。作者使用一個塊級長短時記憶網絡編碼DSL結合圖像高層特征計算注意力分布，得到帶有權值的視覺索引信息指導令牌級長短時記憶網絡解碼生成DSL序列。然而該方法存在潛在的缺點，塊級的長短時記憶網絡(LSTM)可能會誤預測塊的數量，這導致該塊的子代令牌自動跳過。XiongwenPang等人提出了兩個神經網絡模型HGui2code和SGui2code。SGui2code使用ON-LSTM替換LSTM，實現按照語法規則生成代碼。HGuiCode將注意力計算區域從多個元素轉變為單個元素，但單個元素對圖像特征的關注度平均，不能很好區分同一類型組件特點。

上述基于注意力機制的解決方法，注意力計算對輸入圖片的特征仍是平等處理的，導致解碼器生成DSL序列任務因丟失大部分全局信息聚焦的區域也非常分散，表現不佳。另外，視覺特征專注于高維特征圖，很少挖掘層間特征的相關性，未充分利用整個網絡中的局部特征信息。

發明內容

為了克服現有的不足，本申請針對上述的兩個問題進行了改進，提出一種基于雙重注意力的圖像界面代碼生自動生成方法及裝置，聯合了計算機視覺先進方法殘差神經網絡Resnet50提取圖像特征，減少因網絡深度加深產生的梯度消失問題。提出了雙重注意力模塊，能夠很好的建立局部DSL與圖像特征關聯性，增強網絡學習能力，解決輸入特征被平等處理而導致網絡表征能力不足的問題。

為了實現上述目的，本申請技術方案如下：

一種基于雙重注意力的圖像界面自動生成代碼方法，包括：

對含有GUI圖像界面與對應DSL文件的數據集進行預處理，獲得訓練集，訓練集中每個訓練樣本包括與GUI圖像界面對應的圖像界面張量，以及與DSL文件對應的DSL向量；