[發(fā)明專(zhuān)利]一種基于Hadoop的并行k近鄰分類(lèi)方法

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201210071445.X
• 申請(qǐng)日: 2012-03-19
• 公開(kāi)（公告）號(hào): CN102622446A
• 公開(kāi)（公告）日: 2012-08-01
• 發(fā)明（設(shè)計(jì)）人: 高陽(yáng);楊育彬;王靈江;商琳
• 申請(qǐng)（專(zhuān)利權(quán)）人: 南京大學(xué);南京大學(xué)江陰信息技術(shù)研究院
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30
• 代理公司: 南京蘇高專(zhuān)利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 夏雪

1.一種基于Hadoop的并行k近鄰分類(lèi)方法，包括如下步驟：

(1)數(shù)據(jù)預(yù)處理；

(2)在Hadoop平臺(tái)各個(gè)節(jié)點(diǎn)的Mapper端并行計(jì)算一個(gè)測(cè)試數(shù)據(jù)與位于該節(jié)點(diǎn)的訓(xùn)練數(shù)據(jù)的距離；

(3)在所述Mapper端用選擇算法確定該測(cè)試數(shù)據(jù)的局部k近鄰數(shù)據(jù)，將所有局部k近鄰數(shù)據(jù)發(fā)送到Hadoop各個(gè)節(jié)點(diǎn)的Reducer端；

(4)在所述Reducer端接收該測(cè)試數(shù)據(jù)的所有局部k近鄰數(shù)據(jù)，用選擇算法確定全局k近鄰數(shù)據(jù)；

(5)利用所述全局k近鄰數(shù)據(jù)對(duì)該測(cè)試數(shù)據(jù)進(jìn)行分類(lèi)，得到該測(cè)試數(shù)據(jù)的分類(lèi)結(jié)果；

(6)重復(fù)執(zhí)行步驟(2)至(5)，得到所有測(cè)試數(shù)據(jù)的分類(lèi)結(jié)果。

2.根據(jù)權(quán)利要求1所述一種基于Hadoop的并行k近鄰分類(lèi)方法，其特征在于：所述局部k近鄰數(shù)據(jù)為(key，value)，其中key為測(cè)試數(shù)據(jù)，value為所述距離和訓(xùn)練數(shù)據(jù)的類(lèi)標(biāo)的組合數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述一種基于Hadoop的并行k近鄰分類(lèi)方法，其特征在于：所述步驟(5)中，分類(lèi)的依據(jù)是D-F理論。