[發(fā)明專利]一種基于Solr的電商索引文件的混合式更新方法

有效

• 申請?zhí)枺?/td>: 201810116231.7
• 申請日: 2018-02-06
• 公開（公告）號: CN108280215B
• 公開（公告）日: 2021-07-30
• 發(fā)明（設計）人: 王晨陽;劉垣;郭李華
• 申請（專利權）人: 福建工程學院
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/25
• 代理公司: 福州市鼓樓區(qū)京華專利事務所(普通合伙) 35212
• 代理人: 林曉琴

本發(fā)明提供一種基于Solr的電商索引文件的混合式更新方法，事先將商品的信息分為敏感信息和非敏感信息，在敏感信息變動時采用實時更新索引文件的方式更新，而其它非敏感信息的變動采用定時增量更新索引文件的方式更新，這樣既保證了搜索引擎的敏感信息的實時更新，又兼顧了搜索引擎的性能，盡可能減少對索引文件的頻繁更新操作。

技術領域

本發(fā)明涉及計算機技術領域，特別是一種基于Solr的電商索引文件的混合式更新方法。

背景技術

在電商網(wǎng)站系統(tǒng)里，當商品庫里的商品信息發(fā)生變動時，變動需要更新到搜索引擎系統(tǒng)的索引文件里。商品屬性如價格、實時庫存等敏感信息要求實時更新到索引文件中，而像商品名稱或描述信息則允許存在一定延遲后再更新到索引文件中。目前，基于Solr的搜索引擎的索引文件更新方法大致有如下幾種方法：

一、全量更新

全量更新雖然可以采取分段讀取數(shù)據(jù)，可以按自增主鍵分段或者按記錄更新的時間截分段取。但由于數(shù)據(jù)源是可增刪改查，這種更新會導致按自增id的數(shù)據(jù)在有些地方比較稀疏；而按記錄的更新時間截，也有可能在某個時間段里更新大量數(shù)據(jù)，所以也會有不同時間段數(shù)據(jù)過稀或者過密的情況，這種情況導致分段取數(shù)據(jù)調(diào)控不方便。而且如果數(shù)據(jù)源的數(shù)據(jù)量大的話，完成一次全量更新得耗費較長的時間，而且可能真正需要更新到索引文件的記錄只有某幾條，所以對于數(shù)據(jù)源的數(shù)據(jù)量比較多的情況，全量更新明顯不適合。

二、增量更新

增量更新是每隔一定的時間，把數(shù)據(jù)源有被修改的記錄更新到索引文件中，所以存在數(shù)據(jù)源和索引文件之間數(shù)據(jù)同步的延遲。對于敏感數(shù)據(jù)如商品價格、實時庫存等如果沒能實時同步到索引文件的話，那么用戶通過搜索引擎檢索出來的商品的價格、實時庫存則和實際的商品價格、實時庫存不符。

3)實時更新

每次商品信息變動都向Solr發(fā)送一個更新索引文件的請求。實時更新的方法會頻繁對索引文件進行寫入操作，影響索引文件的讀取效率。而且客戶端是以同步的方式向Solr發(fā)送一個更新索引文件的請求，并不能保證該請求肯定會執(zhí)行成功，如果中間出現(xiàn)網(wǎng)絡故障，則會造成數(shù)據(jù)源和索引文件不一致。

發(fā)明內(nèi)容

本發(fā)明要解決的技術問題，在于提供一種基于Solr的電商索引文件的混合式更新方法，將商品的敏感信息變動實時更新到索引文件中，而其它非敏感信息的變動采用定時增量更新的方式更新到索引文件中，這樣既保證了搜索引擎的敏感信息的實時更新，又兼顧了搜索引擎的性能，盡可能減少對索引文件的頻繁更新操作。

本發(fā)明是這樣實現(xiàn)的：一種基于Solr的電商索引文件的混合式更新方法，事先將商品信息分為敏感信息和非敏感信息，并且基于Solrj開發(fā)一個WEB服務命名為Solrj服務，所述Solrj服務用于實現(xiàn)實時更新索引文件和定時增量更新索引文件，然后進行如下步驟：

步驟S1、商品管理系統(tǒng)修改商品信息并將商品修改的信息保存到數(shù)據(jù)庫，同時將商品記錄的IsCommit字段值改為“F”，且LastUpdatedDateTime字段值記錄修改時間；

步驟S2、判斷本次修改商品信息的操作是否為刪除操作，如果是刪除操作，則更改商品記錄的Expired字段的值為“T”，等待所述Solrj服務進行所述定時增量更新索引文件；如果不是刪除操作，則繼續(xù)執(zhí)行步驟S3；

步驟S3、判斷被修改的商品信息是否包含有敏感信息，如果是，則所述Solrj服務進行所述實時更新索引文件；如果不是，則等待所述Solrj服務進行所述定時增量更新索引文件。

進一步地，所述實時更新索引文件包括以下步驟：

步驟S11、所述商品管理系統(tǒng)異步調(diào)用所述Solrj服務提供的實時更新索引接口；

步驟S12、所述Solrj服務接收到調(diào)用請求后，向Solr搜索服務器發(fā)送實時更新索引文件的請求；