[發明專利]一種支持邏輯電路快速查詢的存儲器裝置及其訪問方法

在審

• 申請號: 201410708797.0
• 申請日: 2014-11-28
• 公開（公告）號: CN104571946A
• 公開（公告）日: 2015-04-29
• 發明（設計）人: 李鴿子;陳小剛;宋志棠;陳邦明;李順芬;周密
• 申請（專利權）人: 中國科學院上海微系統與信息技術研究所
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 上海光華專利事務所 31219
• 代理人: 李儀萍

技術領域

本發明涉及一種存儲器及其查詢數據的方法，特別是涉及一種支持邏輯電路快速查詢的存儲器裝置及其訪問方法。

背景技術

當今信息技術的發展及創新正使各個產業發生改變，在信息爆炸時代產生了海量數據。而數據正滲透到當今每一個行業和業務職能領域，成為重要的生產因素。各行各業海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈余浪潮的到來，正如《紐約時報》2012年2月的一篇專欄中所稱，“大數據”時代已經降臨，在商業、經濟及其他領域中，決策將日益基于數據和分析而作出，而并非基于經驗和直覺。

大數據是一個數據巨大，結構復雜，類型眾多的數據構成的數據集合，一方面是數據容量的不斷擴大，數據集合的范圍已經從兆字節(MB)到吉字節(GB)再到太字節(TB)，甚至還有拍字節(PB)、艾字節(EB)和澤字節(ZB)的計數單位出現。著名咨詢公司IDC的研究報告稱，未來十年全球大數據將增加50倍。僅在2011年，就有1.8ZB(也就是1.8萬億GB)的大數據創建產生。這相當于每位美國人每分鐘寫3條微博，而且還是不停地寫2.6976萬年。在未來十年，管理數據倉庫的服務器的數量將增加10倍以便迎合50倍的大數據增長。截止到2012年，數據量已經從TB(1024GB＝1TB)級別躍升到PB(1024TB＝1PB)、EB(1024PB＝1EB)乃至ZB(1024EB＝1ZB)級別，另一方面，日益增長的集成式大數據已不再適宜于用當前管理數據庫的工具來進行分析處理。其難點包括：數據的抓取，存儲，檢索，共享，分析以及可視化等。

海量數據時代，人們已經不再為數據匱乏而苦惱，信息也變得不再昂貴，而如何從海量數據中獲得數據卻變得越發昂貴，如何在海量數據中快速準確抓取用戶所需要的數據成為現在社會關注的重點也是當下急需要解決的難點。當前，各行業對海量數據需求的趨勢越來越呈現以下方面：1：期望實時決策；2：希望在面臨風險的情況下做出決策；3：希望在適當的時間及時的提供產品；4：用戶希望很好的體驗；5：需要及時及正確的應對任何問題。傳統用戶所用的信息檢索方式如圖1所示。用戶通過服務器系統向存儲器系統中發送數據請求，數據中心服務器收到命令開始從存儲系統中查詢和搜索用戶所需要的數據信息，顯然，CPU只能直接處理內存中的數據信息，CPU先從內存中搜索數據，如不命中則從存儲器系統中搜索查詢，然后將查找的到數據的整個塊搬至內存中，然后再將結果返回至用戶端。顯然，從海量數據中搜索出有價值的數據會耗費大量CPU的時間，將數據從存儲系統導入內存中，造成了大量的數據遷移，致使系統功耗增加。對于日益龐大的數據系統來說，從存儲器系統向服務器內存中導入數據時限制處理器處理速度的一個大瓶頸，因為我們知道，不管是什么存儲器系統，其對其數據讀寫速率要遠遠小于對內存數據的讀寫速率。

如何解決傳輸瓶頸成為了關鍵的問題。目前，為了提高服務器處理器處理數據的速度，可采用IMC(IMC，In?Memory?Computation)技術來提高處理速度，該技術是通過增加內存的容量，從而可以一次性導入更多的數據量，從而加快處理器處理數據的速率。這樣的方法在一定程度上可以提高數據處理的速度，但是一定數量的處理器核的內存容量是一定的，當想要更大的內存就需要增加更多數量的處理器核，這樣就增加了成本，且增加各個處理器核之間的協調工作的難度，這樣的架構也無法充分發揮多CPU內核的潛在的高性能，且數據經存儲器系統經內存到CPU，數據吞吐瓶頸依然存在，存儲設備只“存放”數據，耗時的計算仍然習慣性在CPU完成，并且由于內存是易失性的存儲器，需要定時刷新數據，所以造成的功耗也非常的大。

如此龐大的數據庫中用戶真正感興趣的信息往往只是冰山一角，處理器大部分時間在搜索和查詢那些用戶真正需要的數據，大大浪費了時間和資源。存儲器系統都有控制器，它們的任務是對存儲單元進行控制盒管理，例如磨損均衡、模塊選擇、錯誤糾察、數據讀寫等任務，大部分時間處于空閑狀態，但是控制器是通過虛擬內存地址來管理存儲器，造成了執行效率不高，且有一定出錯概率。

綜上所述，如何減少甚至杜絕數據遷移來提高系統效率的關鍵，如何利用存儲器中的控制器并且如何提高存儲器控制器的執行效率及管理存儲器地址的方法，是我們急需要解決的問題。

因此，有必要提出一種支持邏輯電路快速查詢的存儲器裝置及其訪問方法，來解決上述問題。

發明內容