[發(fā)明專利]一種集群的外部數(shù)據(jù)訪問方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710946005.7
• 申請(qǐng)日: 2017-10-12
• 公開（公告）號(hào): CN107885460A
• 公開（公告）日: 2018-04-06
• 發(fā)明（設(shè)計(jì)）人: 孫旭
• 申請(qǐng)（專利權(quán)）人: 北京人大金倉信息技術(shù)股份有限公司
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06
• 代理公司: 北京紐樂康知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)11210
• 代理人: 秦月貞

1.一種集群的外部數(shù)據(jù)訪問方法，其特征在于，包括以下步驟：

S1 在外部存放數(shù)據(jù)的機(jī)器上，啟動(dòng)文件加載進(jìn)程，并對(duì)外提供網(wǎng)絡(luò)接口服務(wù)；

S2 集群中在計(jì)算節(jié)點(diǎn)上啟動(dòng)ForeignTableScan算子，并行的連接文件加載進(jìn)程、并行地加載數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的集群的外部數(shù)據(jù)訪問方法，其特征在于，S1進(jìn)一步包括：

S11對(duì)外啟動(dòng)特定的網(wǎng)絡(luò)端口服務(wù)；

S12集群的計(jì)算節(jié)點(diǎn)連接網(wǎng)絡(luò)服務(wù)；

S13 集群的計(jì)算節(jié)點(diǎn)發(fā)送讀取指令；

S14 文件加載進(jìn)程發(fā)送一定數(shù)據(jù)量的數(shù)據(jù)給計(jì)算節(jié)點(diǎn)。

3.根據(jù)權(quán)利要求2所述的集群的外部數(shù)據(jù)訪問方法，其特征在于，S11中在加載機(jī)器啟動(dòng)網(wǎng)絡(luò)端口，將加載機(jī)作為加載服務(wù)器。

4.根據(jù)權(quán)利要求2所述的集群的外部數(shù)據(jù)訪問方法，其特征在于，S12中集群的計(jì)算節(jié)點(diǎn)可以連接加載機(jī)服務(wù)，并請(qǐng)求數(shù)據(jù)。

5.根據(jù)權(quán)利要求2所述的集群的外部數(shù)據(jù)訪問方法，其特征在于，S13中集群的計(jì)算節(jié)點(diǎn)可以發(fā)送讀取數(shù)據(jù)指令，此時(shí)，文件加載進(jìn)程可以發(fā)送數(shù)據(jù)給這個(gè)計(jì)算節(jié)點(diǎn)。

6.根據(jù)權(quán)利要求1所述的集群的外部數(shù)據(jù)訪問方法，其特征在于，S2進(jìn)一步包括：

S21在ForeignTableScan，根據(jù)自身的節(jié)點(diǎn)ID，輪詢連接數(shù)據(jù)加載服務(wù)進(jìn)程；

S22 發(fā)送讀取數(shù)據(jù)指令，計(jì)算節(jié)點(diǎn)每次處理完數(shù)據(jù)，主動(dòng)請(qǐng)求數(shù)據(jù)；

S23讀取數(shù)據(jù)，并按照數(shù)據(jù)分隔符解析數(shù)據(jù)，將解析好的數(shù)據(jù)表示成內(nèi)核元組形式，所述元組參與后續(xù)計(jì)算。

7.根據(jù)權(quán)利要求6所述的集群的外部數(shù)據(jù)訪問方法，其特征在于，S23中加載服務(wù)器回饋一定數(shù)據(jù)量的數(shù)據(jù)，計(jì)算節(jié)點(diǎn)根據(jù)一定的格式，將接受的數(shù)據(jù)解析成各個(gè)字段，并將其轉(zhuǎn)化成內(nèi)部元組，由ForeignTableScan返回，進(jìn)行下一步SQL運(yùn)算。