[發(fā)明專利]一種基于應(yīng)用執(zhí)行單元的PaaS請(qǐng)求分發(fā)機(jī)制

在審

• 申請(qǐng)?zhí)枺?/td>: 201410216427.5
• 申請(qǐng)日: 2014-05-21
• 公開(kāi)（公告）號(hào): CN105100168A
• 公開(kāi)（公告）日: 2015-11-25
• 發(fā)明（設(shè)計(jì)）人: 魏豪;張銳;王千祥
• 申請(qǐng)（專利權(quán)）人: 北京大學(xué)
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

技術(shù)領(lǐng)域：

本發(fā)明涉及一種基于應(yīng)用執(zhí)行單元的PaaS請(qǐng)求分發(fā)機(jī)制，適用于在PaaS平臺(tái)上更合理地分發(fā)用戶對(duì)應(yīng)用的請(qǐng)求，屬于軟件技術(shù)領(lǐng)域。

背景技術(shù)：

為了能提供可靠、高效的應(yīng)用服務(wù)，PaaS平臺(tái)上應(yīng)用的服務(wù)往往由應(yīng)用的多個(gè)實(shí)例共同承擔(dān)完成，并且通常單個(gè)應(yīng)用實(shí)例不會(huì)獨(dú)自占盡虛擬機(jī)上的全部資源。因此，平臺(tái)需將用戶的請(qǐng)求根據(jù)一定的規(guī)則分發(fā)給各個(gè)應(yīng)用實(shí)例，由各個(gè)實(shí)例借助所在服務(wù)器提供的資源，完成對(duì)請(qǐng)求的響應(yīng)和處理，并將結(jié)果返回給用戶。

基于輪詢的負(fù)載平衡是一種較為常見(jiàn)的請(qǐng)求分發(fā)方式，它通過(guò)輪詢，將用戶請(qǐng)求平均地轉(zhuǎn)發(fā)給各個(gè)應(yīng)用實(shí)例。這種方法實(shí)現(xiàn)簡(jiǎn)單，但在PaaS平臺(tái)的彈性機(jī)制中有顯著的缺點(diǎn)：由于單位時(shí)間內(nèi)每個(gè)應(yīng)用實(shí)例所承擔(dān)的請(qǐng)求數(shù)量不固定，一個(gè)應(yīng)用實(shí)例的狀態(tài)發(fā)生改變，可能會(huì)影響整個(gè)服務(wù)器集群上相應(yīng)應(yīng)用的所有實(shí)例狀態(tài)，進(jìn)而引發(fā)不必要的彈性操作。

發(fā)明內(nèi)容：

本發(fā)明提出了一種基于應(yīng)用執(zhí)行單元的PaaS請(qǐng)求分發(fā)機(jī)制，將PaaS平臺(tái)上應(yīng)用實(shí)例能接收到的最高請(qǐng)求率進(jìn)行限定，使得應(yīng)用大部分實(shí)例接收到的請(qǐng)求率都處于較為穩(wěn)定的狀態(tài)，各自的請(qǐng)求率不會(huì)相互影響，解決傳統(tǒng)的基于輪詢的負(fù)載平衡方法中各應(yīng)用實(shí)例請(qǐng)求率之間的耦合性，從而防止出現(xiàn)一個(gè)應(yīng)用實(shí)例狀態(tài)改變影響整個(gè)服務(wù)器集群上相應(yīng)應(yīng)用所有實(shí)例狀態(tài)的現(xiàn)象，減少了觸發(fā)的彈性操作次數(shù)，降低了由此帶來(lái)的資源開(kāi)銷。

附圖說(shuō)明

附圖為基于應(yīng)用執(zhí)行單元的請(qǐng)求分配方法

具體實(shí)施方式：

本發(fā)明設(shè)計(jì)了應(yīng)用“執(zhí)行單元”作為應(yīng)用服務(wù)的基本單位，來(lái)代替基于輪詢的負(fù)載平衡方法中接收請(qǐng)求率大小不固定的應(yīng)用實(shí)例。一個(gè)應(yīng)用的執(zhí)行單元是指限定了最高請(qǐng)求率R_max的應(yīng)用實(shí)例。如果一個(gè)應(yīng)用執(zhí)行單元接受的請(qǐng)求率達(dá)到R_max，則稱其處于滿負(fù)荷狀態(tài)，否則為不滿狀態(tài)，特別地，將接受請(qǐng)求率為零的執(zhí)行單元稱為空?qǐng)?zhí)行單元。在每個(gè)請(qǐng)求分發(fā)周期內(nèi)，用戶請(qǐng)求被分發(fā)給應(yīng)用的若干執(zhí)行單元承擔(dān)，且通常只有一個(gè)處于不滿狀態(tài)。例如：假設(shè)某應(yīng)用的執(zhí)行單元最大請(qǐng)求率R_max設(shè)為60req/s。某一時(shí)刻用戶對(duì)該應(yīng)用的請(qǐng)求率達(dá)到150req/s，則分別分配60req/s的請(qǐng)求給2個(gè)執(zhí)行單元使之達(dá)到滿負(fù)荷狀態(tài)，剩余30req/s的請(qǐng)求分配給1個(gè)執(zhí)行單元。

如果應(yīng)用的全部執(zhí)行單元都處于滿負(fù)荷狀態(tài)仍不足以承載所有用戶請(qǐng)求，則將超出執(zhí)行單元承載能力的請(qǐng)求推遲至下一分發(fā)周期接受處理，如下一分發(fā)周期請(qǐng)求數(shù)仍超過(guò)執(zhí)行單元承載能力，則繼續(xù)推遲處理，以此類推。上述推遲操作會(huì)導(dǎo)致應(yīng)用平均響應(yīng)時(shí)間增長(zhǎng)，可以通過(guò)PaaS平臺(tái)上的彈性資源管理機(jī)制持續(xù)監(jiān)測(cè)平均響應(yīng)時(shí)間，并在其超過(guò)特定閾值時(shí)增加執(zhí)行單元以提高承載能力。

基于執(zhí)行單元的請(qǐng)求分配方式保證了應(yīng)用大部分實(shí)例接收到的請(qǐng)求率都處于較為穩(wěn)定的狀態(tài)，各自的請(qǐng)求率不會(huì)相互影響，解決了基于輪詢的負(fù)載平衡方法中各應(yīng)用實(shí)例請(qǐng)求率之間的耦合性，從而防止出現(xiàn)一個(gè)應(yīng)用實(shí)例狀態(tài)改變影響整個(gè)服務(wù)器集群上相應(yīng)應(yīng)用所有實(shí)例狀態(tài)的現(xiàn)象，減少了觸發(fā)的彈性操作次數(shù)，降低了由此帶來(lái)的資源開(kāi)銷。

附圖展示了基于應(yīng)用執(zhí)行單元的請(qǐng)求分配方法的優(yōu)越性，某應(yīng)用A在VM1、VM2和VM3三臺(tái)虛擬機(jī)上各部署了1個(gè)執(zhí)行單元，它們承擔(dān)的請(qǐng)求各有2單位的資源開(kāi)銷，且均處于滿負(fù)荷狀態(tài)。當(dāng)系統(tǒng)進(jìn)行收縮操作關(guān)閉VM3時(shí)，需要將它上面的執(zhí)行單元“整體”地遷移到其他虛擬機(jī)上。在這個(gè)例子中執(zhí)行單元被遷移到了資源占用還未超過(guò)閾值的VM2上。上述過(guò)程只觸發(fā)了一次彈性操作，其彈性操作次數(shù)較少，因此彈性操作帶來(lái)的額外開(kāi)銷較低。

應(yīng)用執(zhí)行單元的最高請(qǐng)求率R_max決定了單位時(shí)間內(nèi)單個(gè)執(zhí)行單元可以接收到的最大請(qǐng)求數(shù)，進(jìn)而決定了單個(gè)執(zhí)行單元的資源開(kāi)銷。因此，為應(yīng)用執(zhí)行單元確定合適的R_max值至關(guān)重要。本發(fā)明基于應(yīng)用特征以及應(yīng)用的請(qǐng)求率上限R_ul(隨著請(qǐng)求率的增加，應(yīng)用所在虛擬機(jī)會(huì)有某項(xiàng)系統(tǒng)資源消耗首先超過(guò)閾值，將應(yīng)用此時(shí)的請(qǐng)求率定義為應(yīng)用的請(qǐng)求率上限，記為R_ul)來(lái)確定R_max。令R_max＝R_ul/k，其中k為正整數(shù)，將確定R_max的問(wèn)題轉(zhuǎn)化為確定k值。

如果k過(guò)小，則意味著滿載的執(zhí)行單元承載了較大的請(qǐng)求率，需要占用更多的資源量，會(huì)難以找到合適的其他應(yīng)用的執(zhí)行單元與其共同使用服務(wù)器的資源，從而喪失搭配部署的靈活性；如果k過(guò)大，則意味著滿載的執(zhí)行單元承載了較小的請(qǐng)求率，所需資源量較少，便能在同一個(gè)虛擬機(jī)上部署較多數(shù)目的應(yīng)用執(zhí)行單元，但由于處理器在接受各個(gè)執(zhí)行單元的請(qǐng)求時(shí)要不斷地進(jìn)行進(jìn)程的調(diào)度，執(zhí)行單元數(shù)目過(guò)多會(huì)導(dǎo)致進(jìn)程調(diào)度頻繁，從而增大調(diào)度開(kāi)銷。因此，k值的確定需在保證搭配部署靈活性和系統(tǒng)調(diào)度開(kāi)銷之間做一個(gè)權(quán)衡。另外，不同應(yīng)用的k值也會(huì)不同：對(duì)于資源開(kāi)銷較大的應(yīng)用，其k值應(yīng)相對(duì)較小，否則需較多執(zhí)行單元才能滿足其資源需求，增大調(diào)度開(kāi)銷。因此k值的大小需結(jié)合應(yīng)用特征確定。