[發(fā)明專利]有屬性序列的機(jī)器學(xué)習(xí)系統(tǒng)和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910719231.0
• 申請(qǐng)日: 2019-08-06
• 公開（公告）號(hào): CN110826686A
• 公開（公告）日: 2020-02-21
• 發(fā)明（設(shè)計(jì)）人: 莊中方;A·阿羅拉;J·扎瓦維;孔祥南;E·潤丹斯坦納
• 申請(qǐng)（專利權(quán)）人: 艾瑪?shù)纤购喴坠煞莨?/a>
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08;G06N20/00
• 代理公司: 中國國際貿(mào)易促進(jìn)委員會(huì)專利商標(biāo)事務(wù)所 11038
• 代理人: 高欣

本發(fā)明涉及有屬性序列的機(jī)器學(xué)習(xí)系統(tǒng)和方法。用于嵌入有屬性序列數(shù)據(jù)的機(jī)器學(xué)習(xí)系統(tǒng)和方法。有屬性序列數(shù)據(jù)包括具有固定數(shù)量的屬性數(shù)據(jù)元素的屬性數(shù)據(jù)部分和具有可變數(shù)量的序列數(shù)據(jù)元素的序列數(shù)據(jù)部分。屬性網(wǎng)絡(luò)模塊包括前饋神經(jīng)網(wǎng)絡(luò)，被配置為將屬性數(shù)據(jù)部分轉(zhuǎn)換為具有第一數(shù)量的屬性特征的經(jīng)編碼的屬性向量。序列網(wǎng)絡(luò)模塊包括遞歸神經(jīng)網(wǎng)絡(luò)，被配置為將序列數(shù)據(jù)部分轉(zhuǎn)換為具有第二數(shù)量的序列特征的經(jīng)編碼的序列向量。在使用中，機(jī)器學(xué)習(xí)系統(tǒng)學(xué)習(xí)并輸出輸入有屬性序列數(shù)據(jù)的固定長度特征表示，該固定長度特征表示編碼不同屬性數(shù)據(jù)元素之間的依賴性、不同序列數(shù)據(jù)元素之間的依賴性，以及有屬性序列數(shù)據(jù)內(nèi)屬性數(shù)據(jù)元素和序列數(shù)據(jù)元素之間的依賴性。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器學(xué)習(xí)的應(yīng)用。特別地，本發(fā)明的實(shí)施例提供用于 有屬性序列(attributed sequence)的特征嵌入的無監(jiān)督和受監(jiān)督學(xué) 習(xí)，有屬性序列即，具有用于在實(shí)際應(yīng)用中使用的期望特性的包括固 定長度屬性數(shù)據(jù)和可變長度序列數(shù)據(jù)二者的數(shù)據(jù)實(shí)例，實(shí)際應(yīng)用包括 (但不限于)欺詐檢測，以及web用戶的點(diǎn)擊流、在線顧客的購買 歷史或DNA序列的分析和數(shù)據(jù)挖掘。

背景技術(shù)

有序數(shù)據(jù)自然地在廣泛的應(yīng)用中出現(xiàn)。有序數(shù)據(jù)的示例包括web 用戶的點(diǎn)擊流、在線顧客的購買歷史和基因的DNA序列。有序數(shù)據(jù) 包括可變長度的分類項(xiàng)目序列，并且通常需要在饋送到學(xué)習(xí)算法之前 仔細(xì)設(shè)計(jì)特征表示。對(duì)有序數(shù)據(jù)進(jìn)行特征學(xué)習(xí)的一種方法稱為序列嵌 入，其中目標(biāo)是將可變長度序列變換為固定長度的特征表示。

用于序列嵌入的現(xiàn)有技術(shù)方法關(guān)注于僅根據(jù)有序數(shù)據(jù)進(jìn)行學(xué)習(xí)。 但是，在許多真實(shí)世界應(yīng)用中，可變長度序列通常與固定大小的屬性 集合相關(guān)聯(lián)。例如，在在線購買系統(tǒng)中，每個(gè)用戶交易包括指示交易 的上下文的一組屬性(例如，“用戶名”、“瀏覽器”和“IP地址”)和一系列用戶動(dòng)作(例如，“登錄”、“搜索”、“向購物車 添加項(xiàng)目”、“結(jié)賬(check out)”等)。作為另一個(gè)示例，在基因 功能分析中，每個(gè)基因可以由指示基因在不同類型的細(xì)胞中的表達(dá)水 平的DNA序列和一組屬性表示。

在序列嵌入問題中，常規(guī)方法關(guān)注于對(duì)項(xiàng)目依賴性建模，即，序 列內(nèi)不同項(xiàng)目之間的依賴性。但是，當(dāng)與不同的屬性值相關(guān)聯(lián)時(shí)，項(xiàng) 目的給定排序可能具有不同的含義。因此，學(xué)習(xí)具有實(shí)際應(yīng)用的期望 特性的嵌入需要聯(lián)合考慮三種類型的依賴性：項(xiàng)目依賴性(即，序列 中不同項(xiàng)目之間的依賴性)；屬性依賴性(即，不同屬性之間的依賴 性)；以及有屬性序列依賴性(即，序列中的屬性和項(xiàng)目之間的依賴 性)。

緊密相關(guān)的問題是距離度量學(xué)習(xí)。通常期望觀察數(shù)據(jù)的特征表示 具有相似觀察有相似特征的特性，即，此類觀察被聚類在特征空間 中，而不相似觀察的表示在距離上更分離。因此，在距離度量學(xué)習(xí) 中，目標(biāo)是基于一組相似/不相似的實(shí)例對(duì)來學(xué)習(xí)合適的距離度量。 從信息檢索到醫(yī)療保健信息學(xué)的許多真實(shí)世界應(yīng)用可以從距離度量學(xué) 習(xí)中極大受益。例如，在醫(yī)療保健信息學(xué)中，可能期望學(xué)習(xí)準(zhǔn)確測量 患者之間的相似性的距離度量以找到針對(duì)患者的正確治療。

用于距離度量學(xué)習(xí)的常規(guī)方法通常關(guān)注于學(xué)習(xí)馬哈拉諾比斯 (Mahalanobis)距離度量，其等同于學(xué)習(xí)關(guān)于數(shù)據(jù)屬性的線性變 換。在非線性設(shè)置中，可以首先學(xué)習(xí)非線性映射函數(shù)以將實(shí)例投影到 新空間中，然后最終度量變?yōu)樵摽臻g中的歐幾里德距離度量。深度度 量學(xué)習(xí)通常是實(shí)踐中學(xué)習(xí)非線性映射的選擇方法。雖然關(guān)于使用有序 數(shù)據(jù)的度量學(xué)習(xí)已經(jīng)取得進(jìn)展，但是上面討論的挑戰(zhàn)在有序數(shù)據(jù)依賴 于相關(guān)聯(lián)的上下文/屬性的情況下再次出現(xiàn)。

因此，對(duì)于許多實(shí)際應(yīng)用，需要有效的系統(tǒng)和方法來學(xué)習(xí)包括固 定長度屬性數(shù)據(jù)以及相關(guān)聯(lián)的可變長度有序數(shù)據(jù)的數(shù)據(jù)集和觀察的特 征和距離度量。

發(fā)明內(nèi)容