[發明專利]基于離線監督學習的函數式程序自動合成方法

有效

• 申請號: 201911301796.3
• 申請日: 2019-12-17
• 公開（公告）號: CN111142857B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 王雨泓;李鑫;郭建
• 申請（專利權）人: 華東師范大學
• 主分類號: G06F8/30
• 分類號: G06F8/30;G06F8/70;G06F40/289;G06N3/0442;G06N3/0455;G06N3/084
• 代理公司: 上海藍迪專利商標事務所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

1.一種基于離線監督學習的函數式程序自動合成方法，其特征在于：包括以下步驟：

步驟一：對給定的輸入輸出示例對，利用miniKanren約束邏輯編程系統基于三種不同的策略生成狀態樹形式的訓練樣本；

步驟二：從狀態樹中提取關系約束，并用神經網絡模型對其進行編碼，得到關系約束的嵌入信息；

步驟三：從狀態樹中提取程序執行軌跡，即候選子程序的信息，利用神經網絡對其進行編碼，得到候選子程序的嵌入信息；

步驟四：針對每個候選子程序計算其上下文的嵌入信息；

步驟五：將關系約束、候選子程序以及候選子程序上下文三者的嵌入信息進行拼接，得到特征矩陣，輸入到神經網絡中，計算出候選子程序的概率分布；

步驟六：根據目標程序的子程序計算出對應的one-hot向量，設計損失函數計算候選子程序的概率分布與該one-hot向量的誤差，并將其反向傳播，調整神經網絡模型參數；

步驟七：重復步驟二至步驟六，直至神經網絡模型的精度在訓練集和驗證集上均達到預期；

步驟八：利用訓練好的神經網絡模型基于給定的輸入輸出示例對和miniKanren進行交互，合成滿足需求的程序；其中：

所述利用miniKanren約束邏輯編程系統基于三種不同的策略生成狀態樹形式的訓練樣本包括以下步驟：

步驟A1：將輸入輸出示例對輸入到miniKanren中，輸出狀態樹；對狀態樹的葉子節點進行展開，將得到的所有狀態樹插入到訓練樣本隊列中；每次所選取的葉子節點滿足性質：從狀態樹的根節點到該葉子節點的路徑上的程序構成目標程序的子程序；

步驟A2：設置狀態樹展開步數T，其數值等于2倍的目標程序合成步數；將輸入輸出示例對輸入到miniKanren中，得到狀態樹；隨機選擇狀態樹的葉子節點進行展開，當展開步數達到T時結束展開，將得到的所有狀態樹插入到訓練樣本隊列中；

步驟A3：設置隨機種子S，S∈[0,1]，S是實數；設置狀態樹展開步數T，其值與步驟A2中設置的步數相同；將輸入輸出示例對輸入到miniKanren中，輸出狀態樹；根據S的值，對狀態樹進行不同的展開；當S小于0.5時，按照步驟A1的策略選擇葉子節點對狀態樹進行展開；當S大于等于0.5時，按照步驟A2的策略選擇葉子節點對狀態樹進行展開；當展開步數達到T時結束展開，將得到的所有狀態樹插入到訓練樣本隊列中。

2.如權利要求1所述的基于離線監督學習的函數式程序自動合成方法，其特征在于：所述步驟二具體包括以下步驟：

步驟B1：獲取狀態樹葉子節點的關系約束，將關系約束進行分詞并使用word2vector模型計算出對應分詞的嵌入詞向量；

步驟B2：將關系約束的嵌入詞向量輸入到以LSTM為內核的編碼器中計算出關系約束的嵌入向量，得到關系約束的嵌入信息。

3.如權利要求2所述的基于離線監督學習的函數式程序自動合成方法，其特征在于：步驟三所述利用神經網絡對其進行編碼，得到候選子程序的嵌入信息包括以下步驟：

步驟C1：讀取從狀態樹的根節點到葉子節點的一條路徑信息作為一個候選子程序；

步驟C2：將候選子程序進行分詞并使用word2vector模型計算出對應分詞的嵌入詞向量；

步驟C3：將候選子程序的嵌入詞向量輸入到以LSTM為內核的編碼器中并計算出候選子程序的嵌入向量，得到候選子程序的嵌入信息；其中，使用的編碼器與步驟B2中使用的編碼器一致。

4.如權利要求1所述的基于離線監督學習的函數式程序自動合成方法，其特征在于：步驟四所述針對每個候選子程序計算其上下文的嵌入信息的方式如公式(1)所示：

其中為第i個候選子程序的上下文的嵌入信息，P^j為第j個候選子程序的嵌入信息，n為候選子程序的數目。