[發(fā)明專利]一種基于WTP-WCD算法的API推薦方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011078740.9
• 申請(qǐng)日: 2020-10-10
• 公開(kāi)（公告）號(hào): CN112214511A
• 公開(kāi)（公告）日: 2021-01-12
• 發(fā)明（設(shè)計(jì)）人: 文萬(wàn)志;王仕強(qiáng);陳志強(qiáng);陸曉紅;鄭大順;謝忠壤;張斌
• 申請(qǐng)（專利權(quán)）人: 南通大學(xué)
• 主分類號(hào): G06F16/245
• 分類號(hào): G06F16/245;G06F8/20;G06F40/216
• 代理公司: 北京科家知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11427
• 代理人: 徐思波

1.一種基于WTP-WCD算法的API推薦方法，其特征在于，包括如下步驟：

步驟1)、收集API數(shù)據(jù)集；

步驟2)、對(duì)數(shù)據(jù)集預(yù)處理；

步驟3)、建立模型，將數(shù)據(jù)進(jìn)行向量化處理；

步驟4)、對(duì)生成的詞向量進(jìn)行加權(quán)處理；

步驟5)、對(duì)需要查詢的問(wèn)題內(nèi)容同樣進(jìn)行步驟二、三、四處理操作；

步驟6)、進(jìn)行相似度計(jì)算。

2.根據(jù)權(quán)利要求1所述的基于WTP-WCD算法的API推薦方法，其特征在于，步驟1)的具體步驟如下：

(1-1)收集API數(shù)據(jù)集來(lái)構(gòu)造數(shù)據(jù)庫(kù)：爬蟲(chóng)調(diào)用requests庫(kù)來(lái)獲取API信息文檔的url，然后通過(guò)BeautifulSoup庫(kù)來(lái)解析url所在的網(wǎng)站，最后利用正則表達(dá)式來(lái)獲取標(biāo)簽爬取API的對(duì)象、API函數(shù)方法以及API注釋，然后將爬取的內(nèi)容存儲(chǔ)在數(shù)據(jù)庫(kù)中；

(1-2)提取問(wèn)答網(wǎng)站中Java項(xiàng)目的API推薦信息，提取的QA對(duì)中要包含Java標(biāo)簽，對(duì)提取后的問(wèn)題進(jìn)行篩選，首先問(wèn)題的答案要包含API實(shí)體，保證數(shù)據(jù)的有效性，然后給問(wèn)題本身的評(píng)分設(shè)定一個(gè)閾值，低于這個(gè)閾值的數(shù)據(jù)就剔除，并且它的答案的分?jǐn)?shù)應(yīng)為正，最后將提取的數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫(kù)中。

3.根據(jù)權(quán)利要求1所述的基于WTP-WCD算法的API推薦方法，其特征在于，步驟2)的具體步驟如下：

(2-1)首先語(yǔ)句之間要進(jìn)行分句，用標(biāo)點(diǎn)符號(hào)進(jìn)行分離，使用nltk包中的sent_tokenize方法進(jìn)行分句；

(2-2)分詞中刪除標(biāo)點(diǎn)符號(hào)時(shí)使用punctuation方法先找出所有的標(biāo)點(diǎn)符號(hào)，然后使用replace方法用空格代替標(biāo)點(diǎn)符號(hào)，并以空格切分字符串，形成單個(gè)單詞，最后將所有的單詞轉(zhuǎn)化為小寫(xiě)；

(2-3)刪除頻率小于10的低頻詞和停用詞；

(2-4)將縮寫(xiě)形式的單詞改寫(xiě)成完整形式；

(2-5)對(duì)單詞列表進(jìn)行詞性標(biāo)記，使用nltk包中pos_tag()方法進(jìn)行標(biāo)記，并返回標(biāo)記列表；

(2-6)最后使用snowballstemner()方法，還原在時(shí)態(tài)下和被動(dòng)語(yǔ)態(tài)中出現(xiàn)的的‘ed’和‘ing’，恢復(fù)復(fù)數(shù)和第三人稱單數(shù)的‘s’和‘es’，減少重復(fù)，并提取相似的詞干。

4.根據(jù)權(quán)利要求1所述的基于WTP-WCD算法的API推薦方法，其特征在于，步驟3)中建立的模型模型結(jié)構(gòu)分為三層：輸入層、隱層和softmax層，其中，輸入層輸入的是onehot向量，在輸入層和隱層之間有一個(gè)權(quán)重矩陣w，將隱層設(shè)置為300維特征，權(quán)重矩陣w和onehot向量進(jìn)行相乘會(huì)得到一個(gè)300維特征向量，再通過(guò)wx+b函數(shù)，之后softmax，得到概率輸出；

模型訓(xùn)練時(shí)設(shè)置參數(shù)如下：embedding_size：100，skip_window：5，num_skips：2，num_steps：100000，num_sampled：64，vocab_size：50000，learning_rate：0.0001，epoch：100，batch_size：100。