[發(fā)明專利]基于文化天貓的多源異構(gòu)數(shù)據(jù)采集方法、裝置和電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202210253883.1
• 申請(qǐng)日: 2022-03-15
• 公開(kāi)（公告）號(hào): CN114756532A
• 公開(kāi)（公告）日: 2022-07-15
• 發(fā)明（設(shè)計(jì)）人: 徐佳君
• 申請(qǐng)（專利權(quán)）人: 上海創(chuàng)圖網(wǎng)絡(luò)科技股份有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/22;G06F16/242;G06F16/2455;G06F16/2458;G06F16/25;G06F40/216
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.基于文化天貓的多源異構(gòu)數(shù)據(jù)采集方法，其特征在于，包括：

創(chuàng)建不同類型多源異構(gòu)文化數(shù)據(jù)源接口，利用所述多源異構(gòu)文化數(shù)據(jù)源接口對(duì)各多源異構(gòu)文化數(shù)據(jù)源進(jìn)行采集；

根據(jù)預(yù)設(shè)多源異構(gòu)文化數(shù)據(jù)源清洗規(guī)則對(duì)采集的所述多源異構(gòu)文化數(shù)據(jù)源進(jìn)行清洗，得到清洗后的多源異構(gòu)文化數(shù)據(jù)源；

利用雙向修正的融合方法修正清洗后的多源異構(gòu)文化數(shù)據(jù)源，得到修正多源異構(gòu)文化數(shù)據(jù)；

根據(jù)預(yù)設(shè)多源異構(gòu)文化數(shù)據(jù)采集規(guī)則對(duì)所述修正多源異構(gòu)文化數(shù)據(jù)進(jìn)行關(guān)鍵詞提取；

基于預(yù)設(shè)關(guān)鍵詞權(quán)重算法確定與所述多源異構(gòu)文化數(shù)據(jù)源的索引路徑相對(duì)的唯一關(guān)鍵詞。

2.如權(quán)利要求1所述的基于文化天貓的多源異構(gòu)數(shù)據(jù)采集方法，其特征在于，在創(chuàng)建不同類型多源異構(gòu)文化數(shù)據(jù)源接口之前，包括：

建立關(guān)鍵詞表；

獲取所述多源異構(gòu)文化數(shù)據(jù)源的采集內(nèi)容，并創(chuàng)建對(duì)應(yīng)的采集語(yǔ)法；

根據(jù)所述采集語(yǔ)法，建立多源異構(gòu)文化數(shù)據(jù)采集規(guī)則；

將所述多源異構(gòu)文化數(shù)據(jù)采集規(guī)則關(guān)聯(lián)到所述關(guān)鍵詞表對(duì)應(yīng)的關(guān)鍵詞。

3.如權(quán)利要求1所述的基于文化天貓的多源異構(gòu)數(shù)據(jù)采集方法，其特征在于，所述建立關(guān)鍵詞表，包括：

獲取多源異構(gòu)文化數(shù)據(jù)源，確定多源異構(gòu)文化數(shù)據(jù)源關(guān)鍵詞；

獲取所述多源異構(gòu)文化數(shù)據(jù)源中數(shù)據(jù)內(nèi)容的類型特征，確定類型特征關(guān)鍵詞；

根據(jù)所述多源異構(gòu)文化數(shù)據(jù)源關(guān)鍵詞和所述類型特征關(guān)鍵詞，確定所述多源異構(gòu)文化數(shù)據(jù)源關(guān)鍵詞和所述類型特征關(guān)鍵詞的鄰近詞，并將所述鄰近詞作為補(bǔ)充詞；

根據(jù)所述多源異構(gòu)文化數(shù)據(jù)源關(guān)鍵詞、所述類型特征關(guān)鍵詞和所述補(bǔ)充詞建立三維異構(gòu)的關(guān)鍵詞表。

4.如權(quán)利要求2所述的基于文化天貓的多源異構(gòu)數(shù)據(jù)采集方法，其特征在于，所述獲取多源異構(gòu)文化數(shù)據(jù)源的采集內(nèi)容，并創(chuàng)建對(duì)應(yīng)的采集語(yǔ)法，包括：

基于所述多源異構(gòu)文化數(shù)據(jù)源的采集需求，確定抽象語(yǔ)法樹(shù)；

通過(guò)所述抽象語(yǔ)法樹(shù)獲取所述多源異構(gòu)文化數(shù)據(jù)源采集內(nèi)容，基于自定義的反射規(guī)則，構(gòu)建采集語(yǔ)法的邏輯執(zhí)行規(guī)則；

基于所述多源異構(gòu)文化數(shù)據(jù)源采集內(nèi)容的內(nèi)容序列和內(nèi)容形式，構(gòu)建采集語(yǔ)法的語(yǔ)法結(jié)構(gòu)；

根據(jù)所述邏輯執(zhí)行規(guī)則和語(yǔ)法結(jié)構(gòu)，確定所述采集語(yǔ)法。

5.如權(quán)利要求2所述的基于文化天貓的多源異構(gòu)數(shù)據(jù)采集方法，其特征在于，所述根據(jù)所述采集語(yǔ)法，建立數(shù)據(jù)采集規(guī)則，包括：

獲取多源異構(gòu)文化數(shù)據(jù)的采集請(qǐng)求，基于所述采集請(qǐng)求，調(diào)用所述采集語(yǔ)法；

基于所述采集語(yǔ)法確定多源異構(gòu)文化數(shù)據(jù)的統(tǒng)一數(shù)據(jù)導(dǎo)入接口；

通過(guò)基于規(guī)則融合技術(shù)，融合數(shù)據(jù)采集規(guī)則，并將融合數(shù)據(jù)采集規(guī)則配置到所述統(tǒng)一數(shù)據(jù)導(dǎo)入接口，構(gòu)建統(tǒng)一數(shù)據(jù)導(dǎo)入接口的多源異構(gòu)文化數(shù)據(jù)采集規(guī)則。

6.如權(quán)利要求2所述的基于文化天貓的多源異構(gòu)數(shù)據(jù)采集方法，其特征在于，所述將所述多源異構(gòu)文化數(shù)據(jù)采集規(guī)則關(guān)聯(lián)到所述關(guān)鍵詞表對(duì)應(yīng)的關(guān)鍵詞上，包括：

確定所述多源異構(gòu)文化數(shù)據(jù)采集規(guī)則的規(guī)則特征；

根據(jù)所述規(guī)則特征，在所述關(guān)鍵詞表中確定與所述規(guī)則特征相對(duì)應(yīng)的關(guān)鍵詞特征；

根據(jù)所述關(guān)鍵詞特征確定所述關(guān)鍵詞的，并對(duì)所述關(guān)鍵詞進(jìn)行地址標(biāo)記；根據(jù)所述地址標(biāo)記，確定所述關(guān)鍵詞的地址信息；

根據(jù)所述地址信息將所述數(shù)據(jù)采集規(guī)則配置到所述關(guān)鍵詞表的關(guān)鍵詞上。

7.如權(quán)利要求1所述的基于文化天貓的多源異構(gòu)數(shù)據(jù)采集方法，其特征在于，所述基于預(yù)設(shè)關(guān)鍵詞權(quán)重算法確定與所述多源異構(gòu)文化數(shù)據(jù)源的索引路徑相對(duì)的唯一關(guān)鍵詞，包括：

當(dāng)同一索引路徑存在多個(gè)關(guān)鍵詞時(shí)，利用預(yù)設(shè)關(guān)鍵詞權(quán)重算法計(jì)算多個(gè)關(guān)鍵詞與相應(yīng)的索引路徑之間的權(quán)重占比；

選擇權(quán)重占比最大的關(guān)鍵詞為唯一關(guān)鍵詞，刪除其它關(guān)鍵詞。