[發(fā)明專利]一種針對輸出結(jié)果為連續(xù)性變量進(jìn)行預(yù)測的回歸模型

在審

• 申請?zhí)枺?/td>: 202011399233.5
• 申請日: 2020-12-01
• 公開（公告）號: CN112488298A
• 公開（公告）日: 2021-03-12
• 發(fā)明（設(shè)計(jì)）人: 陳寶安;王夢;沈艷飛
• 申請（專利權(quán)）人: 東南大學(xué)
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京同輝知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11357
• 代理人: 饒富春

本發(fā)明涉及預(yù)測模型的研究領(lǐng)域，具體的是基于機(jī)器學(xué)習(xí)方法下的一種針對輸出結(jié)果為連續(xù)性變量進(jìn)行預(yù)測的回歸模型，具有以下優(yōu)點(diǎn)：高度魯棒性和容錯(cuò)能力，即模型具有較高的精度，算法性能面對模型假設(shè)出現(xiàn)誤差時(shí)產(chǎn)生的影響較小，可維持其穩(wěn)定性；脫離人為模型的限制，不依賴于參數(shù)及模型本身，通過計(jì)算機(jī)自主學(xué)習(xí)實(shí)時(shí)優(yōu)化模型。該方法以影響輸出結(jié)果的因素為基礎(chǔ)，以多層全連接層神經(jīng)網(wǎng)絡(luò)模型為架構(gòu)進(jìn)行預(yù)測，該模型尤其適用于龐大的數(shù)據(jù)量，具有較高的精度及穩(wěn)定性，能充分逼近復(fù)雜的非線性關(guān)系且脫離人為模型的限制。

技術(shù)領(lǐng)域

本發(fā)明涉及預(yù)測模型的研究領(lǐng)域，具體的是一種針對輸出結(jié)果為連續(xù)性變量進(jìn)行預(yù)測的回歸模型。

背景技術(shù)

機(jī)器學(xué)習(xí)是一種近年來興起的基于計(jì)算機(jī)的統(tǒng)計(jì)學(xué)方法，由于它能夠接納龐大的數(shù)據(jù)集，并以靈活、可訓(xùn)練的方式理解變量之間的復(fù)雜關(guān)系，使得它在大數(shù)據(jù)的處理中具有獨(dú)特的優(yōu)勢，從而獲得群體水平的數(shù)據(jù)來反映人群普遍的真實(shí)情況，而不是從少量的具有偏倚的樣本數(shù)據(jù)中分析獲得片面的結(jié)果而對群體水平進(jìn)行推斷，這是相較于經(jīng)典醫(yī)學(xué)統(tǒng)計(jì)學(xué)的巨大優(yōu)勢及根本性的改變。既往的研究多集中于對數(shù)據(jù)水平觀察，隨著電子醫(yī)療檔案記錄的普遍應(yīng)用，評價(jià)隨著時(shí)間發(fā)展演變，數(shù)據(jù)縱向效應(yīng)的分析顯得尤為重要，在相關(guān)研究的基礎(chǔ)上預(yù)測未來事件的發(fā)生是必要的。這種方法所具有的靈活性和延展性使得同一組算法能夠接受迭代訓(xùn)練，在基礎(chǔ)數(shù)據(jù)集的深度和廣度中發(fā)現(xiàn)多個(gè)臨床問題。

機(jī)器學(xué)習(xí)方法在醫(yī)學(xué)領(lǐng)域的應(yīng)用的范圍主要包括圖像識別、遺傳學(xué)和基因組學(xué)分析、智能診療和預(yù)測預(yù)后。其中預(yù)測預(yù)后通過對患者臨床癥狀、檢驗(yàn)學(xué)和影像學(xué)特征及基因組學(xué)分析等要素對疾的診斷、發(fā)生發(fā)展、預(yù)后等進(jìn)行了預(yù)測，主要應(yīng)用的方法是支持向量機(jī)和人工神經(jīng)網(wǎng)絡(luò)，少部分運(yùn)用了隨機(jī)森林，對于二分類和多分類結(jié)果變量的概率估計(jì)時(shí)顯示出了良好的性能。但目前臨床中缺乏基于機(jī)器學(xué)習(xí)方法對輸出結(jié)果為連續(xù)性變量的模型的建立，該方面的預(yù)測研究仍處于空白。

發(fā)明內(nèi)容

為解決上述背景技術(shù)中提到的不足，本發(fā)明的目的在于提供一種針對輸出結(jié)果為連續(xù)性變量進(jìn)行預(yù)測的回歸模型，解決了目前缺乏基于機(jī)器學(xué)習(xí)方法對輸出結(jié)果為連續(xù)性變量的模型的現(xiàn)狀。

本發(fā)明的目的可以通過以下技術(shù)方案實(shí)現(xiàn)：

一種針對輸出結(jié)果為連續(xù)性變量進(jìn)行預(yù)測的回歸模型，包括以下步驟：

一、確定神經(jīng)網(wǎng)絡(luò)模型的架構(gòu)及秩函數(shù)，以邏輯回歸作為基本模型，函數(shù)為歐式距離，激活函數(shù)為ReLU；

二、參數(shù)處理：輸入維度包括連續(xù)變量和分類變量，連續(xù)變量中離散數(shù)值直接減去該維度均值再除以方差將其統(tǒng)一歸一化，分類變量用0、1量化表示后再歸一化；

三、將數(shù)據(jù)隨機(jī)化后分為訓(xùn)練集及測試集，其特征及分布統(tǒng)一；

四、初始化函數(shù)，設(shè)定輸入層節(jié)點(diǎn)、隱藏節(jié)點(diǎn)和輸出層節(jié)點(diǎn)的數(shù)量；

五、初始參數(shù)，設(shè)定訓(xùn)練集中批大小，驗(yàn)證集中批大小學(xué)習(xí)率以及總回合數(shù)；

六、使用訓(xùn)練集樣本訓(xùn)練學(xué)習(xí)模型，運(yùn)用誤差反向傳播算法和梯度下降算法根據(jù)輸入的不同維度與輸出結(jié)果及維度間的權(quán)重實(shí)時(shí)反饋并優(yōu)化權(quán)重，從而學(xué)習(xí)并構(gòu)建出模型；

七、根據(jù)已有的模型對未知的測試集數(shù)據(jù)進(jìn)行測試以驗(yàn)證模型的擬合度，用損失函數(shù)曲線表示，并采用平均絕對誤差、平均平方誤差和均方根誤差三個(gè)量化指標(biāo)對模型進(jìn)行精度分析。

進(jìn)一步地，所述步驟一中：神經(jīng)網(wǎng)絡(luò)模型內(nèi)部算法中的W是權(quán)重矩陣，W_{input_hidden}是輸入層和隱藏層之間的權(quán)重，W_{hidden_output}表示隱藏層和輸出層之間的權(quán)重，I是輸入矩陣，X是組合調(diào)節(jié)后的信號，即輸入到下一隱藏層的結(jié)果矩陣，O代表來自神經(jīng)網(wǎng)絡(luò)的最后一層中的所有輸出；

X_hidden＝W_{input_hidden}*I