[發(fā)明專利]一種建立索引的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710946410.9
• 申請(qǐng)日: 2017-10-12
• 公開（公告）號(hào): CN110019646B
• 公開（公告）日: 2021-10-15
• 發(fā)明（設(shè)計(jì)）人: 焦晨晨
• 申請(qǐng)（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06F16/31
• 分類號(hào): G06F16/31;G06F16/33
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 張一軍;陸錦華

本發(fā)明公開了一種建立索引的方法和裝置，涉及計(jì)算機(jī)技術(shù)領(lǐng)域。該方法的一具體實(shí)施方式包括：將輸入的文本序列分為多個(gè)詞，根據(jù)所述多個(gè)詞和所述多個(gè)詞的子串得到多個(gè)詞與所述詞對(duì)應(yīng)語(yǔ)義項(xiàng)的映射關(guān)系；根據(jù)所述多個(gè)詞與所述詞對(duì)應(yīng)語(yǔ)義項(xiàng)的映射關(guān)系建立第一索引；根據(jù)用戶的歷史搜索數(shù)據(jù)確定候選詞與所述候選詞對(duì)應(yīng)語(yǔ)義項(xiàng)的映射關(guān)系，并判斷所述候選詞與所述候選詞對(duì)應(yīng)語(yǔ)義項(xiàng)的映射關(guān)系是否正確；根據(jù)所述判斷的結(jié)果修正所述第一索引，以得到第二索引。該實(shí)施方式能夠在商品索引召回階段，既能夠保證召回率以盡可能多地召回與用戶搜索詞相關(guān)的商品，又能提高準(zhǔn)確率以盡可能地過(guò)濾掉不相關(guān)的商品。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種建立索引的方法和裝置。

背景技術(shù)

隨著網(wǎng)絡(luò)技術(shù)和物流技術(shù)的發(fā)展，近年來(lái)電商迅速崛起，電商平臺(tái)的商品數(shù)量及種類數(shù)量正在成指數(shù)級(jí)的增長(zhǎng)，大型平臺(tái)都有數(shù)十億的商品，如何更加高效和智能地滿足用戶的搜索需求是非常大的挑戰(zhàn)。用戶的搜索詞多種多樣，同一個(gè)事物存在口語(yǔ)化、簡(jiǎn)稱、縮寫等多種不同名稱，而商品名稱通常比較規(guī)范且偏書面語(yǔ)，兩者之間直接進(jìn)行文本匹配往往會(huì)出現(xiàn)問(wèn)題。

在電商搜索的初期，商品數(shù)比較少，索引可以直接按字切分，最大可能的保證能夠召回用戶所需的商品，隨著商品數(shù)量及種類數(shù)量逐漸豐富，這種不考慮詞序的方法會(huì)帶來(lái)很多問(wèn)題，比如用戶搜“紅酒”，喝的紅酒和酒紅色的衣服，同樣可以被召回。因此就有了先分詞再建索引的方法，這樣固定搭配如“火龍果”，建索引的時(shí)候就是整個(gè)詞一個(gè)索引鏈，不必為“火”“龍”“果”都建索引，大大提高了搜索召回的準(zhǔn)確率。但是因?yàn)榉衷~精度以及用戶搜索詞和商品名稱不能直接匹配，例如商品中“女士連衣裙”被正常分詞為“女士|連衣裙”，但是用戶常搜“女裙”、“夏裙女”，文本匹配沒(méi)有辦法召回該商品。因此索引端在正常的分詞結(jié)果中，又增加了更多細(xì)粒度的詞，比如上例中在索引字段又增加了“女，裙”，方便用戶在搜索“女裙”、“夏裙女”等的時(shí)候也能召回名稱為“女士連衣裙”的商品。這些增加的更細(xì)粒度的詞被稱為“語(yǔ)義項(xiàng)”，語(yǔ)義項(xiàng)是按字索引到按詞索引之間的橋梁。

盡管現(xiàn)有的建立索引的方案中為索引端的分詞結(jié)果中添加了一些細(xì)粒度的詞(語(yǔ)義項(xiàng))，但在實(shí)際的搜索應(yīng)用中仍存在一些缺陷，例如，用戶在搜索樂(lè)高時(shí)，可能得到了高樂(lè)高這樣的搜索結(jié)果，而用戶搜索樂(lè)高時(shí)召回與高樂(lè)高相關(guān)的商品顯然是不符合用戶預(yù)期的。

在實(shí)現(xiàn)本發(fā)明過(guò)程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在如下問(wèn)題：

現(xiàn)有方案存在召回的商品不準(zhǔn)確的問(wèn)題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例提供一種建立索引的方法和裝置，能夠在商品索引召回階段，既能夠保證召回率以盡可能多地召回與用戶搜索詞相關(guān)的商品，又能提高準(zhǔn)確率以盡可能地過(guò)濾掉不相關(guān)的商品。

為實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種建立索引的方法。

一種建立索引的方法，包括：將輸入的文本序列分為多個(gè)詞，根據(jù)所述多個(gè)詞和所述多個(gè)詞的子串得到多個(gè)詞與所述詞對(duì)應(yīng)語(yǔ)義項(xiàng)的映射關(guān)系；根據(jù)所述多個(gè)詞與所述詞對(duì)應(yīng)語(yǔ)義項(xiàng)的映射關(guān)系建立第一索引；通過(guò)歷史搜索數(shù)據(jù)確定候選詞與所述候選詞對(duì)應(yīng)語(yǔ)義項(xiàng)的映射關(guān)系，以根據(jù)所述候選詞與所述候選詞對(duì)應(yīng)語(yǔ)義項(xiàng)的映射關(guān)系修正所述第一索引，獲得第二索引。

可選地，所述歷史搜索數(shù)據(jù)包括搜索詞和對(duì)應(yīng)的用戶點(diǎn)擊的文本序列，通過(guò)歷史搜索數(shù)據(jù)確定候選詞與所述候選詞對(duì)應(yīng)語(yǔ)義項(xiàng)的映射關(guān)系的步驟，包括：對(duì)所述搜索詞和所述用戶點(diǎn)擊的文本序列進(jìn)行分詞，以得到搜索詞分詞和對(duì)應(yīng)的文本序列分詞；根據(jù)所述搜索詞分詞和所述對(duì)應(yīng)的文本序列分詞中存在包含關(guān)系的搜索詞分詞和文本序列分詞確定所述候選詞與所述候選詞對(duì)應(yīng)語(yǔ)義項(xiàng)的映射關(guān)系。