[發(fā)明專(zhuān)利]一種基于歷史行為共現(xiàn)的數(shù)據(jù)劃分方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201810456096.0
• 申請(qǐng)日: 2018-05-14
• 公開(kāi)（公告）號(hào): CN108647730B
• 公開(kāi)（公告）日: 2020-11-24
• 發(fā)明（設(shè)計(jì)）人: 姜松浩;張程;趙曉芳;段東圣;杜翠蘭
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)科學(xué)院計(jì)算技術(shù)研究所
• 主分類(lèi)號(hào): G06K9/62
• 分類(lèi)號(hào): G06K9/62
• 代理公司: 北京律誠(chéng)同業(yè)知識(shí)產(chǎn)權(quán)代理有限公司 11006
• 代理人: 祁建國(guó);梁揮

本發(fā)明涉及機(jī)器分類(lèi)領(lǐng)域，特別是一種利用歷史交互數(shù)據(jù)共現(xiàn)進(jìn)行的無(wú)人工參與的屬性劃分領(lǐng)域。本發(fā)明利用互聯(lián)網(wǎng)長(zhǎng)期的交互數(shù)據(jù)積累，從海量數(shù)據(jù)中獲取信息，根據(jù)歷史數(shù)據(jù)中多數(shù)人通過(guò)一定時(shí)間窗口內(nèi)瀏覽、點(diǎn)擊等交互行為中共同出現(xiàn)的物體、信息等，將這些物體、信息等通過(guò)無(wú)監(jiān)督的技術(shù)手段進(jìn)行歸類(lèi)，從而解決物體劃分標(biāo)準(zhǔn)不統(tǒng)一、無(wú)劃分規(guī)則或標(biāo)準(zhǔn)時(shí)很難劃分、人工參與成本高的現(xiàn)有劃分的三個(gè)難題，幫助需求方節(jié)省成本、創(chuàng)造價(jià)值的同時(shí)解決劃分中遇到的問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器分類(lèi)領(lǐng)域，特別涉及一種基于歷史行為共現(xiàn)的數(shù)據(jù)劃分方法及系統(tǒng)。

背景技術(shù)

屬性劃分是指利用某一屬性或某些屬性將總體分成部分的過(guò)程。屬性劃分是很好的人工智能的應(yīng)用場(chǎng)景，也是最早的人工智能技術(shù)落地的應(yīng)用場(chǎng)景。屬性劃分在我們?nèi)丈仙钪蟹浅３Ｒ?jiàn)，很多時(shí)候我們不自覺(jué)將不同物體進(jìn)行劃分，例如我們將蘋(píng)果劃分為水果，將菠菜劃分為蔬菜，或者我們?cè)诳葱侣剷r(shí)不由自主的按照新聞內(nèi)容將新聞劃分為體育新聞、財(cái)經(jīng)新聞、社會(huì)新聞等等。

利用自身屬性對(duì)物體或者信息等進(jìn)行相應(yīng)的劃分具有廣泛的需求和應(yīng)用，例如門(mén)戶(hù)網(wǎng)站會(huì)利用分類(lèi)器將新聞內(nèi)容按照內(nèi)容劃分為不同類(lèi)型，郵箱會(huì)利用訓(xùn)練好的分類(lèi)器根據(jù)郵件內(nèi)容將郵件分為垃圾郵件、廣告郵件等。利用人工智能技術(shù)手段對(duì)物體或者信息進(jìn)行劃分可以減少人工成本，對(duì)企業(yè)有良好的經(jīng)濟(jì)作用。

劃分通俗來(lái)講就是按照某種規(guī)則、根據(jù)或原則，將整體分為幾個(gè)部分，現(xiàn)階段劃分的方法有如下幾類(lèi)：

現(xiàn)有技術(shù)一：基于規(guī)則的人工劃分，主要是根據(jù)不同的劃分需要按照用途、適用人群、使用范圍等規(guī)則劃分，這種方式普遍適用性較強(qiáng)，但存在劃分速度慢，劃分失誤率高，人工成本高等問(wèn)題。

現(xiàn)有技術(shù)二：基于人工標(biāo)注類(lèi)別、特征的有監(jiān)督的機(jī)器分類(lèi)劃分方式，有監(jiān)督模型是指用已知某種或某些特性的樣本作為訓(xùn)練集，以建立一個(gè)數(shù)學(xué)模型，再用已建立的模型來(lái)預(yù)測(cè)未知樣本，此種方法稱(chēng)為有監(jiān)督學(xué)習(xí)。機(jī)器分類(lèi)模型發(fā)展和演變?nèi)遮叧墒旌头€(wěn)定，有多種分類(lèi)器，例如分類(lèi)模型的支持向量機(jī)(SVM)、K近鄰、邏輯回歸(LR)、人工神經(jīng)網(wǎng)絡(luò)等等在基于人工標(biāo)注和人工特征提取的前提下在不同數(shù)據(jù)和應(yīng)用場(chǎng)景下表現(xiàn)出不俗的表現(xiàn)。

該方法的通常技術(shù)是通過(guò)人工標(biāo)注類(lèi)別同時(shí)按照人為的方式將部分內(nèi)容進(jìn)行類(lèi)別標(biāo)注，同時(shí)對(duì)每個(gè)物體、信息進(jìn)行屬性、特征標(biāo)注，利用標(biāo)注數(shù)據(jù)對(duì)分類(lèi)模型進(jìn)行訓(xùn)練，然后將訓(xùn)練成熟的分類(lèi)器用于物體、信息等內(nèi)容的劃分，通常分類(lèi)器為專(zhuān)屬模型，針對(duì)不同的劃分內(nèi)容需要重新訓(xùn)練分類(lèi)器。

這種方式隨著技術(shù)的不斷成熟，由于其減少人工成本，減少失誤率，劃分速度大幅度提升的優(yōu)勢(shì)，越來(lái)越多的傳統(tǒng)業(yè)務(wù)用到機(jī)器劃分方法，例如文本分類(lèi)、情感分析、主題劃分等等。

現(xiàn)有技術(shù)三：基于人工特征提取的相似性機(jī)器聚類(lèi)劃分方式，作為無(wú)監(jiān)督的劃分方法可以減少人工成本，也是一種常見(jiàn)的劃分方法。無(wú)監(jiān)督學(xué)習(xí)即與有監(jiān)督對(duì)立，通常是在類(lèi)別沒(méi)有被標(biāo)注的訓(xùn)練樣本中來(lái)解決各種問(wèn)題的方法。聚類(lèi)是一種常見(jiàn)的機(jī)器學(xué)習(xí)中的無(wú)監(jiān)督學(xué)習(xí)方法，聚類(lèi)方法依照不同的計(jì)算方法可以分為劃分方法、基于密度的方法、層次方法、基于網(wǎng)格的方法等等，常見(jiàn)的算法有基于劃分的K-Means算法、基于密度的DBSCAN算法、基于層次劃分的CHAMELEON算法等等。

這種方式盡管減少了有監(jiān)督的分類(lèi)劃分方式的人工類(lèi)別標(biāo)注和模型訓(xùn)練過(guò)程，但由于特征的記錄和提取仍然采用人工的方式。這種方式應(yīng)用場(chǎng)景也很多例如：異常檢測(cè)、輿情分析等等。