[發明專利]一種基于本地緩存快速建立索引的方法及系統

有效

• 申請號: 201710072166.8
• 申請日: 2017-02-08
• 公開（公告）號: CN106970937B
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 殷亞云;何學勇;姜平
• 申請（專利權）人: 焦點科技股份有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F12/0871
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 陳建和

一種基于本地緩存快速建立索引的系統，包括基礎信息中心、調度中心、資源作業讀取器、本地緩存構建器、數據緩沖隊列和索引數據提交器；由調度中心按照基礎信息中心中存儲的任務時間，對任務進行發起；資源作業讀取器按照數據源從數據庫中讀取數據至本地緩存構建器，由本地緩存構建器完成數據在本地的緩存；所述基礎信息中心，用于存儲緩存構建和更新任務的基礎信息；所述調度中心依賴基礎信息中心配置的任務時間，定時地執行任務，并從基礎信息中心獲取任務運行所依賴的基礎信息；所述本地緩存構建器，用于負責本地緩存的管理；所述數據緩沖隊列用于存放從本地緩存讀入的數據。

技術領域

本發明屬于電子商務搜索技術領域，具體涉及一種通過本地緩存優化提升搜索索引更新的方法及系統。

背景技術

當下電商平臺的火熱，對于商家來說，希望將越來越多的產品發布至電商平臺，對于消費者也希望在電商平臺中快速精準的發現自己需要的商品；而對于電商平臺而言，要滿足商家和消費者的需求，通常在技術層面上會建立一種快速索引商品的機制，而傳統完全依賴數據更新商品索引數據已經很難滿足電商搜索平臺快速高效的索引任務。

隨著人們對電商搜索平臺商品及時性要求越來越高，目前市面上的搜索系統通常將索引更新任務拆分為增量更新和全量更新兩個階段，通常面對大部分場景，通過增量更新獲取數據庫中的增量數據更新至搜索平臺索引系統中，足以解決大部分索引數據及時性的問題。但是對于搜索系統中的索引的重建任務有時候也是必不可少的，當數據日益增長，每做一次重建搜索平臺索引的任務，耗時也越來越長，同時對數據庫的壓力也很大。

目前大部分的電商平臺的搜索系統中，如果要對產品信息進行檢索，大致需要經歷如下幾個步驟：

(1)從數據庫中讀取需要索引的產品信息；

(2)對產品信息中的各個字段(如：產品名稱、產品關鍵詞、產品屬性…)進行分詞，然后將寫入索引中。由于B2C、B2B電商平臺的差異，對產品信息進行分詞也會采用不同的分詞器，簡單一點可能采用開源的分詞器組件，如果要精準一點則需要再多花一些心思，一般的電商平臺都會有自己的分詞詞庫；

(3)用戶的檢索階段，對用于的搜索詞進行分詞，將搜索詞分詞后的結果拿到搜索索引中進行查找合并排序，最終將結果返回至前端瀏覽器；

我們對步驟(2)做一下分析，索引的核心在于對各個字段進行分詞存儲，那么問題來了，對哪些進行索引，對字段如何分詞，這些都是隨時會發生變化的：業務上可能過幾天需要添加一個索引字段；業務上可能過幾天就接收到客戶反饋，覺得某些詞的搜索結果不精準；近期分詞技術上又有了新的突破，分詞算法需要調整；

上述種種因素都可能引起索引數據的全量更新，試想一下，如果我們數據庫中有2000萬的數據，同時這個數據庫也在被電商平臺的產品列表頁所使用，發生一次重建需要10個小時，那么這10個小時內，首先是對數據產生了一定的壓力，再者間接的影響了電商平臺的產品列表頁。

對于這樣一個問題，現有的解決方案通常會選擇一個訪問量的低谷，即前臺流量不大，數據庫壓力偏低的時間段進行索引的重建，所以很多迫切需要重建搜索平臺索引的需求就無法得到滿足。因而，如何實現任何時候重建搜索平臺索引且又不影響數據庫性能成了當前迫切需要解決的問題。

發明內容

為解決現有技術存在的局限性和不足，本發明的目的是，通過緩存段和緩存塊構建本地緩存結構，將數據庫表中的數據全部按照本地緩存結構進行數據存儲；當搜索平臺需要對所有數據重新寫入索引時，按照緩存塊在緩存段中的順序依次讀取數據進內存供搜索平臺使用，解決搜索平臺重建搜索索引對數據庫強依賴的問題，降低重建索引對數據庫的壓力，保證在任意時刻有索引重建需求時都能進行重建索引的任務，提升了重建索引的效率。