[發明專利]基于人工智能的前端交互頁面轉換方法、裝置及介質

在審

• 申請號: 202110034032.3
• 申請日: 2021-01-11
• 公開（公告）號: CN112732259A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 余雄偉;蔡羽;黃德運
• 申請（專利權）人: 贊同科技股份有限公司
• 主分類號: G06F8/38
• 分類號: G06F8/38;G06K9/20;G06K9/62;G06N3/08
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 俞梁清

本發明涉及一種基于人工智能的前端交互頁面轉換方法、裝置及介質的技術方案，包括：對HTML5的多個組件元素進行機器學習，得到HTML5組件的分類模型；對組件位置和印刷字體進行機器學習，得到OCR文字識別模型；獲取待轉換矢量圖形參數信息，根據參數信息將矢量圖形轉換為HTML5定義文件，進而根據HTML5定義文件生成HTML5的多個基礎組件；選取相似度最高的基礎組件進行填充，對填充的圖像區域進行基于OCR文字識別模型的識別，并在基礎組件添加OCR文字識別模型的識別文字信息。本發明的有益效果為：將人工智能圖像分類技術引入到前端界面開發中，可以減少開發人員的編碼工作，使前端界面從UI設計圖到最終成品HTML5文件之間的轉化效率提高，從而使前端的開發變得高效。

技術領域

本發明涉及計算機領域，具體涉及了一種基于人工智能的前端交互頁面轉換方法、裝置及介質。

背景技術

當前銀行的各類業務均采用HTML5作為主要的人機交互界面，包括內部使用的柜面系統、監控系統、各類管理應用及外部使用的手機銀行、自助設備，從而造成目前HTML5開發需求量急劇增加。同時，對用戶體驗要求越來越高，往往需求UI設計師先進行大量的設計工作，然后再由技術人員進行實現，從而加長了開發周期。

傳統的HTML5前端開發方案，均為UI設計師使用Sketch等工具先進行原型設計，然后技術人員對照設計圖，進行手工的編碼開發，或通過可視化工具，進行復刻開發；現有開發模式均需求耗費相當大的開發成本在對原型設計轉化為實際可用的HTML5文件上，此工作往往是低技術難度的重復機機械勞動，從推高了整個項目的開發成本。

發明內容

本發明的目的在于至少解決現有技術中存在的技術問題之一，提供了一種基于人工智能的前端交互頁面轉換方法、裝置及介質，通過神經網絡深度學習的圖像分類技術，以達到降低開發成本及提高開發效率的目的。

本發明的技術方案包括一種基于人工智能的前端交互頁面轉換方法，其特征在于，該方法包括：分類模型訓練，基于MobileNet模型的圖像分類對HTML5的多個組件進行機器學習，得到HTML5組件的分類模型；文字定位模型訓練，基于CTPN模型學習組件的位置，得到OCR文字定位模型；文字識別模型訓練，基于DenseNet模型學習印刷字，得到OCR文字識別模型；矢量圖形文件第一轉換步驟，獲取待轉換矢量圖形參數信息，根據參數信息將矢量圖形轉換為HTML5定義文件，進而根據HTML5定義文件生成HTML5的若干第一組件，所述第一組件包括文本、圖片及矢量圖；矢量圖形文件第二轉換步驟，根據待顯示的前端交互頁面圖像信息，調用分類模型進行識別，根據識別結果匹配對應的第一組件，選取相似度最高的第一組件進行填充，對填充的圖像區域進行基于OCR文字識別模型的識別，并在第一組件添加OCR文字識別模型的識別文字信息，得到第二組件；其中，矢量圖形文件為Sketch文件。

根據所述的基于人工智能的前端交互頁面轉換方法，其中分類模型訓練包括：數據預處理、預訓練模型訓練、數據標注、模型微調及模型發布；其中數據預處理包括將ReDraw數據集按組件類型進行歸類，并統一等比例縮放圖片尺寸至設定像素；其中預訓練模型訓練包括基于MobileNet模型使用多個ReDraw數據集訓練模型；其中數據標注包括對HTML頁面數據的多個組件數據進行對應標注；其中模型微調包括使用MobileNet模型并加載預訓練模型進行微調；模型發布包括發布模型并提供HTTP服務并提供調用接口。

根據所述的基于人工智能的前端交互頁面轉換方法，其中OCR模型訓練包括文字定位模型訓練和文字識別模型訓練，其中文字定位模型訓練通過CTPN算法實現，其中文字識別模型訓練通過DenseNet算法實現。

根據所述的基于人工智能的前端交互頁面轉換方法，其中文字定位模型訓練包括：文字定位圖片標注、圖像數據預處理與數據增強、CTPN模型構建、CTPN模型訓練、CTPN模型評估和CTPN模型保存。