[發(fā)明專(zhuān)利]構(gòu)建索引的方法及設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201710075884.0
• 申請(qǐng)日: 2017-02-13
• 公開(kāi)（公告）號(hào): CN108427675B
• 公開(kāi)（公告）日: 2022-09-02
• 發(fā)明（設(shè)計(jì)）人: 韓陸
• 申請(qǐng)（專(zhuān)利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類(lèi)號(hào): G06F16/22
• 分類(lèi)號(hào): G06F16/22;G06F16/23
• 代理公司: 上海百一領(lǐng)御專(zhuān)利代理事務(wù)所(普通合伙) 31243
• 代理人: 陳貞健;邵棟

本申請(qǐng)的目的是提供一種構(gòu)建索引的方案，該方案首先從數(shù)據(jù)源中以分片為單位獲取數(shù)據(jù)，然后對(duì)所述數(shù)據(jù)建立索引，并生成所述數(shù)據(jù)的分片信息，使得在后續(xù)更新索引時(shí)可以通過(guò)分片信息確定數(shù)據(jù)在數(shù)據(jù)源中所在的分片，由此降低建立、更新索引時(shí)的處理粒度，即使索引中存在錯(cuò)誤，也可以通過(guò)分片信息快速查找到出錯(cuò)數(shù)據(jù)的更新內(nèi)容，以實(shí)現(xiàn)索引更新，從而避免采用回滾或者重建的方式對(duì)實(shí)現(xiàn)索引的更新，適用于海量數(shù)據(jù)的場(chǎng)景，使得構(gòu)建、維護(hù)索引的處理過(guò)程更加高效。

技術(shù)領(lǐng)域

本申請(qǐng)涉及信息技術(shù)領(lǐng)域，尤其涉及一種構(gòu)建索引的方案。

背景技術(shù)

在大數(shù)據(jù)業(yè)務(wù)中，我們通過(guò)搜索引擎對(duì)海量數(shù)據(jù)進(jìn)行信息檢索，數(shù)據(jù)能被快速檢索的前提是構(gòu)建有數(shù)據(jù)的索引。其中，包含海量數(shù)據(jù)的數(shù)據(jù)系統(tǒng)即為數(shù)據(jù)源，其中包含待索引的數(shù)據(jù)，實(shí)際場(chǎng)景中數(shù)據(jù)源可能是數(shù)據(jù)庫(kù)。已索引的數(shù)據(jù)存儲(chǔ)的系統(tǒng)則為數(shù)據(jù)匯，其中包含已經(jīng)構(gòu)建過(guò)索引的數(shù)據(jù)，實(shí)際場(chǎng)景中數(shù)據(jù)匯可以是搜索引擎。

構(gòu)建索引的過(guò)程比較耗時(shí)，因?yàn)橥ǔＧ闆r下，被索引的數(shù)據(jù)規(guī)模非常大，且每隔一定時(shí)間會(huì)生成一定規(guī)模的增量數(shù)據(jù)。在構(gòu)建索引的過(guò)程中，有可能因?yàn)閿?shù)據(jù)錯(cuò)誤導(dǎo)致索引出錯(cuò)，例如數(shù)據(jù)格式錯(cuò)誤、數(shù)據(jù)內(nèi)容錯(cuò)誤、數(shù)據(jù)重復(fù)等問(wèn)題，均可能導(dǎo)致索引出錯(cuò)。

對(duì)于數(shù)據(jù)錯(cuò)誤導(dǎo)致索引出錯(cuò)的情況，常見(jiàn)的解決方案是數(shù)據(jù)回滾，即一旦索引出錯(cuò)，就回滾本次構(gòu)建索引操作的全部數(shù)據(jù)，重新構(gòu)建索引，由于需要重新處理全部數(shù)據(jù)，且可能仍然出錯(cuò)，會(huì)導(dǎo)致該過(guò)程占用大量的計(jì)算資源，效率較低。而另一種解決方案是丟棄出錯(cuò)數(shù)據(jù)并記錄出錯(cuò)日志，然后增加后處理，在本次操作的全部數(shù)據(jù)中查詢(xún)出錯(cuò)日志所記錄的出錯(cuò)數(shù)據(jù)，然后追加這些出錯(cuò)數(shù)據(jù)的索引。在此過(guò)程中，雖然無(wú)需對(duì)全部數(shù)據(jù)進(jìn)行重新處理，節(jié)省了處理錯(cuò)誤數(shù)據(jù)的時(shí)間，但是由于需要在全部數(shù)據(jù)中查詢(xún)出錯(cuò)數(shù)據(jù)，沒(méi)有細(xì)粒度處理方式，在海量數(shù)據(jù)的場(chǎng)景中后處理過(guò)程仍然需要人工介入，因此效率不高，且進(jìn)一步增加了人工維護(hù)成本。

申請(qǐng)內(nèi)容

本申請(qǐng)的一個(gè)目的是提供一種構(gòu)建索引的方法及設(shè)備，用以解決現(xiàn)有技術(shù)在處理數(shù)據(jù)錯(cuò)誤導(dǎo)致索引出錯(cuò)的情況時(shí)效率較低的問(wèn)題。

為實(shí)現(xiàn)上述目的，本申請(qǐng)?zhí)峁┝艘环N構(gòu)建索引的方法，所述方法包括：

從數(shù)據(jù)源中，以分片為單位獲取數(shù)據(jù)；

對(duì)所述數(shù)據(jù)建立索引，并生成所述數(shù)據(jù)的分片信息，其中，所述分片信息用于標(biāo)識(shí)所述數(shù)據(jù)在數(shù)據(jù)源中所在的分片。

本申請(qǐng)的一種實(shí)施方式中，所述方法還包括：

在更新索引時(shí)，從所述數(shù)據(jù)源中獲取新增數(shù)據(jù)，其中，所述新增數(shù)據(jù)為未建立索引的數(shù)據(jù)；

對(duì)所述新增數(shù)據(jù)建立索引，并生成所述新增數(shù)據(jù)的分片信息。

本申請(qǐng)的一種實(shí)施方式中，所述方法還包括：

生成所述數(shù)據(jù)的操作標(biāo)記；

在更新索引時(shí)，根據(jù)所述分片信息從所述數(shù)據(jù)源獲取出錯(cuò)數(shù)據(jù)的更新內(nèi)容，并根據(jù)所述更新內(nèi)容覆蓋所述索引中出錯(cuò)數(shù)據(jù)的當(dāng)前內(nèi)容，其中，所述出錯(cuò)數(shù)據(jù)是操作標(biāo)記為索引錯(cuò)誤的數(shù)據(jù)。

本申請(qǐng)的一種實(shí)施方式中，所述方法還包括：

構(gòu)建所述數(shù)據(jù)的主鍵，其中，所述主鍵用于在數(shù)據(jù)源的相應(yīng)分片中定位所述數(shù)據(jù)。

本申請(qǐng)的一種實(shí)施方式中，在更新索引時(shí)，根據(jù)所述分片信息從所述數(shù)據(jù)源獲取出錯(cuò)數(shù)據(jù)的更新內(nèi)容，包括：

在更新索引時(shí)，根據(jù)所述分片信息在所述數(shù)據(jù)源中確定所述出錯(cuò)數(shù)據(jù)所在的分片；

根據(jù)所述數(shù)據(jù)的主鍵，在數(shù)據(jù)源的相應(yīng)分片中定位所述出錯(cuò)數(shù)據(jù)；

獲取所述出錯(cuò)數(shù)據(jù)的更新內(nèi)容。

本申請(qǐng)的一種實(shí)施方式中，所述方法還包括：