[發(fā)明專利]代碼生成方法、裝置、電子設(shè)備及可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110605143.5
• 申請(qǐng)日: 2021-05-31
• 公開（公告）號(hào): CN113504906B
• 公開（公告）日: 2022-06-24
• 發(fā)明（設(shè)計(jì)）人: 李佳佳
• 申請(qǐng)（專利權(quán)）人: 貝殼找房（北京）科技有限公司
• 主分類號(hào): G06F8/38
• 分類號(hào): G06F8/38;G06N3/04;G06N3/08
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 楊云云

本發(fā)明提供一種代碼生成方法、裝置、電子設(shè)備及可讀存儲(chǔ)介質(zhì)，其中方法包括：獲取目標(biāo)前端網(wǎng)頁的網(wǎng)頁截圖及網(wǎng)頁截圖對(duì)應(yīng)的網(wǎng)頁源代碼；基于帶有注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)視覺模型，提取網(wǎng)頁截圖的第一特征，并基于帶有注意力機(jī)制的語言處理網(wǎng)絡(luò)模型，提取網(wǎng)頁源代碼的第二特征；融合第一特征和第二特征，獲取融合特征；基于融合特征以及解碼模型，生成目標(biāo)前端網(wǎng)頁的代碼。本發(fā)明通過在圖像處理模塊和自然語言處理模塊中加入注意力機(jī)制，并基于此提取網(wǎng)頁截圖和對(duì)應(yīng)網(wǎng)頁源代碼的特征并融合，能夠僅通過對(duì)強(qiáng)相關(guān)性的部分詞匯和圖像局部區(qū)域的重點(diǎn)計(jì)算，即實(shí)現(xiàn)代碼的準(zhǔn)確有效預(yù)測(cè)，從而能有效降低運(yùn)算量并有效提高運(yùn)算效率和準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種代碼生成方法、裝置、電子設(shè)備及可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著互聯(lián)網(wǎng)數(shù)字化技術(shù)的發(fā)展，自動(dòng)化前端技術(shù)的開發(fā)越來越多的受到人們的關(guān)注。自動(dòng)化前端技術(shù)中有個(gè)被稱為超文本標(biāo)記語言(Hyper Text Markup Language,HTML)的概念，其是一種標(biāo)記語言，包括一系列標(biāo)簽，通過這些標(biāo)簽可以將網(wǎng)絡(luò)上的文檔格式統(tǒng)一，使分散的Internet資源連接為一個(gè)邏輯整體。HTML文本是由HTML代碼組成的描述性文本，它通過超級(jí)鏈接方式將文本中的文字、圖表與其他信息媒體相關(guān)聯(lián)。

當(dāng)前自動(dòng)化前端技術(shù)開發(fā)的瓶頸是計(jì)算能力，目前利用深度學(xué)習(xí)技術(shù)及合成訓(xùn)練數(shù)據(jù)探索智能化構(gòu)建前端技術(shù)可以解決上述問題。利用前端頁面原型生成對(duì)應(yīng)代碼可以極大的緩解前端人員的開發(fā)壓力，極大簡(jiǎn)化設(shè)計(jì)工作流程。

但是，目前在利用深度學(xué)習(xí)技術(shù)進(jìn)行前端技術(shù)開發(fā)時(shí)，多在網(wǎng)頁截圖全局和網(wǎng)頁源代碼全局基礎(chǔ)上進(jìn)行同等運(yùn)算，運(yùn)算量大，造成運(yùn)算效率較低。

發(fā)明內(nèi)容

本發(fā)明提供一種代碼生成方法、裝置、電子設(shè)備及可讀存儲(chǔ)介質(zhì)，用以解決現(xiàn)有技術(shù)運(yùn)算效率低等問題的缺陷，實(shí)現(xiàn)有效提高運(yùn)算效率的目標(biāo)。

本發(fā)明提供一種代碼生成方法，包括：

獲取目標(biāo)前端網(wǎng)頁的網(wǎng)頁截圖以及與所述網(wǎng)頁截圖對(duì)應(yīng)的網(wǎng)頁源代碼；

基于帶有注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)視覺模型，提取所述網(wǎng)頁截圖的第一特征，并基于帶有注意力機(jī)制的語言處理網(wǎng)絡(luò)模型，提取所述網(wǎng)頁源代碼的第二特征；

融合所述第一特征和所述第二特征，獲取融合特征；

基于所述融合特征以及解碼模型，生成所述目標(biāo)前端網(wǎng)頁的代碼。

根據(jù)本發(fā)明一個(gè)實(shí)施例的代碼生成方法，還包括訓(xùn)練所述帶有注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)視覺模型、所述帶有注意力機(jī)制的語言處理網(wǎng)絡(luò)模型以及所述解碼模型的步驟：

獲取訓(xùn)練樣本，并將所述訓(xùn)練樣本對(duì)應(yīng)的真實(shí)值代碼作為所述訓(xùn)練樣本的標(biāo)簽標(biāo)注所述訓(xùn)練樣本，所述訓(xùn)練樣本包括網(wǎng)頁截圖樣本以及與所述網(wǎng)頁截圖樣本關(guān)聯(lián)的網(wǎng)頁源代碼樣本；

分別在初始卷積神經(jīng)網(wǎng)絡(luò)視覺模型和初始語言處理網(wǎng)絡(luò)模型中加入注意力機(jī)制模型，獲取初始帶有注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)視覺模型和初始帶有注意力機(jī)制的語言處理網(wǎng)絡(luò)模型；

將所述網(wǎng)頁截圖樣本輸入所述初始帶有注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)視覺模型，并將所述網(wǎng)頁源代碼樣本輸入所述初始帶有注意力機(jī)制的語言處理網(wǎng)絡(luò)模型，以基于所述初始解碼模型預(yù)測(cè)前端網(wǎng)頁代碼；

比對(duì)預(yù)測(cè)的前端網(wǎng)頁代碼與所述真實(shí)值代碼，并基于所述比對(duì)確定的偏差，迭代更新網(wǎng)絡(luò)模型參數(shù)，以進(jìn)行循環(huán)訓(xùn)練，直至訓(xùn)練完成，獲取所述帶有注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)視覺模型、所述帶有注意力機(jī)制的語言處理網(wǎng)絡(luò)模型和所述解碼模型。

根據(jù)本發(fā)明一個(gè)實(shí)施例的代碼生成方法，所述獲取訓(xùn)練樣本，包括：

通過對(duì)所述標(biāo)準(zhǔn)訓(xùn)練數(shù)據(jù)庫中的原始數(shù)據(jù)進(jìn)行平移、旋轉(zhuǎn)或放縮，獲取第一訓(xùn)練樣本集；