[發明專利]一種基于Memcached的大數據緩存交互式查詢方法

在審

• 申請號: 201710160266.6
• 申請日: 2017-03-17
• 公開（公告）號: CN107145500A
• 公開（公告）日: 2017-09-08
• 發明（設計）人: 沈志宏;周園春;吳章生;黎建輝;朱小杰;杜園園;徐曉偉
• 申請（專利權）人: 中國科學院計算機網絡信息中心
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京君尚知識產權代理事務所(普通合伙)11200
• 代理人: 余長江

1.一種基于Memcached的大數據緩存交互式查詢方法，其步驟包括：

1)將Memcached驅動程序放入Spark SQL的類路徑中，并引入到Spark SQL的SQLContext中；所述Memcached驅動程序包括DefaultSource、MemcachedRelation和MemcachedRDD，其中所述DefaultSource實現了Spark中的RelationProvider，用于創建Spark SQL數據源中的MemcachedRelation；所述MemcachedRelation繼承并實現了Spark中的BaseRelation和TableScan，用于根據用戶需求實現Spark SQL與Memcached服務器之間的交互；所述MemcachedRDD為Spark處理Memcached服務器中的數據提供接口；

2)根據Memcached服務器中緩存數據的結構指定表的數據模式，調用SQLContext的sql()方法，提交CREATE TABLE語句創建Spark SQL數據源中的表；

3)調用SQLContext的sql()方法，提交SQL INSERT語句，在Spark SQL中根據上述創建的表并調用Memcached API將數據寫入Memcached服務器中；

4)調用SQLContext的sql()方法，提交SQL SELECT語句，在Spark SQL中根據上述創建的表并調用Memcached API查詢Memcached服務器中的緩存數據。

2.如權利要求1所述的方法，其特征在于，步驟1)中所述Memcached驅動程序表現為一個Java程序包的形式。

3.如權利要求1所述的方法，其特征在于，步驟1)中所述MemcachedRelation還用于存放數據模式的映射和scan數據的規則。

4.如權利要求1所述的方法，其特征在于，步驟1)中所述MemcachedRDD還定義了數據在模式定義下類型的強制轉換。

5.如權利要求1所述的方法，其特征在于，步驟2)中所述數據模式包括數據表的表名及所屬類型、列的列名，且每一列需要指定列名以及值類型。

6.如權利要求1所述的方法，其特征在于，步驟2)中在創建Spark SQL數據源中的表時，通過USING參數指定采用的Memcached驅動。

7.如權利要求1所述的方法，其特征在于，步驟2)中在創建Spark SQL數據源中的表時，通過OPTIONS參數指定Memcached服務器的參數；所述Memcached服務器的參數包括服務器地址、主機列表和數據列存儲在Memcached中key的前綴。