[發明專利]基于Spark和SIMD的彈性分布式序列比對系統及方法

在審

• 申請號: 201710637194.X
• 申請日: 2017-07-31
• 公開（公告）號: CN107358061A
• 公開（公告）日: 2017-11-17
• 發明（設計）人: 徐波;王超;周學海;李曦;陳香蘭;李昌龍;莊航;王茄力;王慶鳳
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06F19/10
• 分類號: G06F19/10;G06F17/30
• 代理公司: 蘇州創元專利商標事務所有限公司32103
• 代理人: 范晴,丁浩秋

1.一種基于Spark和SIMD的彈性分布式序列比對系統，其特征在于，包括一個主節點和與主節點連接的多個工作節點，所述主節點用于管理元數據和集群，包括基于分布式計算框架Spark的主節點、基于分布式內存文件系統Alluxio的主節點和Hadoop分布式文件系統的主節點；

所述工作節點用于數據的存儲和計算，包括存儲層和計算層，所述存儲層包括Alluxio和HDFS，所述計算層包括基于分布式計算框架Spark和SIMD指令集，基于分布式計算框架Spark通過中介模塊調用基于SIMD的序列比對算法進行序列比對。

2.根據權利要求1所述的基于Spark和SIMD的彈性分布式序列比對系統，其特征在于，所述中介模塊的執行包括以下步驟：

通過Spark的Scala類調用Java類，并進行對象和數據轉換；

通過Java類調用基于SIMD的序列比對算法，將計算結果返回給Java類；

Java類將計算結果返回給Scala類，并將Java對象轉換成Scala對象。

3.根據權利要求1所述的基于Spark和SIMD的彈性分布式序列比對系統，其特征在于，所述基于SIMD的序列比對算法包括分布式本地序列比對算法DSW、分布式全局序列比對算法DNW和分布式半全局序列比對算法DSG。

4.一種基于Spark和SIMD的彈性分布式序列比對方法，其特征在于，包括預處理階段、Map階段和Top K階段；

預處理階段，對查詢序列、參考序列數據集和評分矩陣進行抽取、清洗和轉換；

Map階段，將查詢序列與參考序列數據集中的每一條參考序列進行序列比對，通過中介模塊調用基于SIMD的序列比對算法進行序列比對，獲得序列比對結果；

Top K階段，獲取查詢序列與所有參考序列比對得分最高的K個結果。

5.根據權利要求4所述的基于Spark和SIMD的彈性分布式序列比對方法，其特征在于，所述序列比對結果包括參考序列名稱、最佳序列比對得分和路徑，路徑用開始位置、結束位置和Cigar表示。

6.根據權利要求4所述的基于Spark和SIMD的彈性分布式序列比對方法，其特征在于，所述基于SIMD的序列比對算法包括分布式本地序列比對算法DSW、分布式全局序列比對算法DNW和分布式半全局序列比對算法DSG。

7.根據權利要求4所述的基于Spark和SIMD的彈性分布式序列比對方法，其特征在于，所述中介模塊的執行包括以下步驟：

通過Spark的Scala類調用Java類，并進行對象和數據轉換；

通過Java類調用基于SIMD的序列比對算法，將計算結果返回給Java類；

Java類將計算結果返回給Scala類，并將Java對象轉換成Scala對象。