[發明專利]一種基于Transformer的Python偽代碼自動生成方法

在審

• 申請號: 202110134579.0
• 申請日: 2021-01-29
• 公開（公告）號: CN112947930A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 陳翔;劉珂;楊光;陳曉紅;于池
• 申請（專利權）人: 南通大學
• 主分類號: G06F8/41
• 分類號: G06F8/41;G06N3/04;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 朱小兵

1.一種基于Transformer的Python偽代碼自動生成方法，其特征在于，包括以下步驟：

S1、在Github上下載Python源代碼和對應的偽代碼以構建初始語料庫，并對該語料庫執行一系列預處理操作得到語料庫；

所述步驟S1中對數據庫進行預處理時，包括如下步驟：

S101、將源代碼中的所有標識符轉換成小寫；

S102、使用NUM標記替換代碼中的特定數字，用STR標記替換代碼中的特定字符串；

S103、根據python命名規則，使用‘_’作為分隔符來進一步拆分開發人員定義的標識符；

S2、將語料庫分成訓練集、驗證集，訓練集用于構建并訓練模型，驗證集用于進行模型優化；

S3、基于上述構建的語料庫，對構建的基于Transformer的CNN模型進行訓練，利用結合位置編碼方法以及注意力機制attention進行優化，得到偽代碼自動生成模型：

所述偽代碼自動生成模型的參數設置如下：

所述偽代碼自動生成模型的深度設置為2層；

所述偽代碼自動生成模型的寬度設置為256；

所述偽代碼自動生成模型的學習率設置為0.001；

所述偽代碼自動生成模型的Dropout概率設置為0.25；

所述偽代碼自動生成模型的kernel_size設置為3；

所述偽代碼自動生成模型的scale設置為

所述偽代碼自動生成模型的batch_size設置為12；

所述偽代碼自動生成模型的beam_size設置為3。

2.根據權利要求1所述的基于Transformer的Python偽代碼自動生成方法，其特征在于，所述步驟S3中使用卷積神經網絡進行建模時，包括如下步驟：

S301、基于卷積神經網絡使用代碼特征提取器挖掘代碼的深層特征表示；

S302、將代碼特征提取器學習到的特征表示與Transformer編碼器學習到的上下文向量進行融合得到向量X；

S303、將向量X輸入到Transformer解碼器中，通過多頭注意力機制，利用殘差連接和層歸一化使矩陣運算維數一致，并將網絡中的隱藏層歸一化為標準正態分布；

S304、通過前饋層和線性映射層，使用激活函數對向量進行激活；

S305、基于波束搜索算法，根據代碼語義和代碼特征為每行代碼生成細粒度偽碼。