TW201737113A - 任務調度方法和裝置 - Google Patents

任務調度方法和裝置 Download PDF

Info

Publication number
TW201737113A
TW201737113A TW106105356A TW106105356A TW201737113A TW 201737113 A TW201737113 A TW 201737113A TW 106105356 A TW106105356 A TW 106105356A TW 106105356 A TW106105356 A TW 106105356A TW 201737113 A TW201737113 A TW 201737113A
Authority
TW
Taiwan
Prior art keywords
task
cluster
data
scheduling
scheduled
Prior art date
Application number
TW106105356A
Other languages
English (en)
Other versions
TWI738721B (zh
Inventor
Le He
Yan Huang
Ying-Jie Shi
Jie Zhang
Chen Zhang
Original Assignee
Alibaba Group Services Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Services Ltd filed Critical Alibaba Group Services Ltd
Publication of TW201737113A publication Critical patent/TW201737113A/zh
Application granted granted Critical
Publication of TWI738721B publication Critical patent/TWI738721B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5033—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering data affinity
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/48—Indexing scheme relating to G06F9/48
    • G06F2209/486—Scheduler internals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/504—Resource capping

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本發明提供了任務調度方法和裝置，藉由對進行跨叢集讀寫的任務所需的網路資源進行分析，以獲得讀和寫所佔用網路資源的情況，根據讀和寫所需的網路資源的情況，對任務進行調度。由於讀和寫所佔用的網路資源的情況，分別體現了將任務調度至讀和寫時所訪問資料所在叢集能夠節省的網路資源，因而，據此確定任務所調度至的叢集能夠使得任務實現較少的網路資源佔用，解決現有技術中叢集間的頻寬佔用過高的情況。

Description

任務調度方法和裝置
本發明關於計算機技術，尤其關於一種任務調度方法和裝置。
為了提高系統的穩定性和網路中心的資料處理能力及服務能力，通常採用叢集技術。叢集技術的出現，能夠使得服務器相互連接在一起，構成一個叢集，多個叢集相互連接構成一個分佈式系統，該分佈式系統內的各個叢集運行一系列共同的應用程序。
在分佈式系統中，可以將所運行的應用程序劃分為多個任務，對於單個任務來說，可以將其按照運行的業務類型不同劃分至不同的業務單元內，進而將同屬一個業務單元的任務運行於同一個叢集上並將這些任務的任務資料也儲存該叢集上。
由於一個業務單元中的一個任務可能會需要讀取另一業務單元中的另一任務的任務資料，也就是說在原叢集上運行的任務需要依賴另一任務的任務資料。因此，當任務和其所依賴的另一任務的任務資料，即依賴資料，在不同 叢集上時，該任務會出現跨叢集讀寫的情況，導致佔用了大量的頻寬。針對這一問題，現有技術中一旦發現某一任務存在跨叢集讀寫的情況，便將該任務調度至其所讀取的依賴資料所在的目標叢集。但在實際運行過程中仍會出現叢集間的頻寬佔用過高的情況。
本發明提供一種任務調度方法和裝置，用於解決現有技術中叢集間的頻寬佔用過高的情況。
為達到上述目的，本發明的實施例採用如下技術方案：
第一方面，提供了一種任務調度方法，包括：對進行跨叢集讀寫的任務所需的網路資源進行分析，以獲得該任務跨叢集執行讀和寫所需的網路資源的情況；根據讀和寫所需的網路資源的情況，對該任務進行調度。
第二方面，提供了一種任務調度裝置，包括：分析模塊，用於對進行跨叢集讀寫的任務所需的網路資源進行分析，以獲得該任務跨叢集執行讀和寫所需的網路資源的情況；調度模塊，用於根據該讀和寫所需的網路資源的情況，對該任務進行調度。
本發明實施例提供的任務調度方法和裝置，藉由對進行跨叢集讀寫的任務所需的網路資源進行分析，以獲得任 務跨叢集執行讀和寫所佔用網路資源的情況，根據讀和寫所需的網路資源的情況，對任務進行調度。由於讀和寫所佔用的網路資源的情況，分別體現了將任務調度至讀和寫時所訪問資料所在叢集能夠節省的網路資源，因而，據此確定任務所調度至的叢集能夠使得任務實現較少的網路資源佔用，解決現有技術中叢集間的頻寬佔用過高的情況。
上述說明僅是本發明技術方案的概述，為了能夠更清楚瞭解本發明的技術手段，而可依照說明書的內容予以實施，並且為了讓本發明的上述和其它目的、特徵和優點能夠更明顯易懂，以下特舉本發明的具體實施方式。
101、102‧‧‧步驟
201~203‧‧‧步驟
31‧‧‧分析模塊
32‧‧‧調度模塊
311‧‧‧獲得單元
312‧‧‧計算單元
321‧‧‧判斷單元
322‧‧‧標識單元
323‧‧‧產生單元
324‧‧‧調度單元
3221‧‧‧判斷子單元
3222‧‧‧雜湊子單元
3223‧‧‧編號子單元
藉由閱讀下文優選實施方式的詳細描述，各種其他的優點和益處對於本領域普通技術人員將變得清楚明瞭。圖式僅用於示出較佳實施方式的目的，而並不認為是對本發明的限制。而且在整個圖式中，用相同的參考符號表示相同的部件。在圖式中：圖1為本發明實施例一提供的一種任務調度方法的流程示意圖；圖2為本發明實施例二提供的一種任務調度方法的流程示意圖；圖3為本發明實施例三提供的一種任務調度裝置的結構示意圖；圖4為本發明實施例四提供的一種任務調度裝置的結 構示意圖。
下面將參照圖式更詳細地描述本公開的示例性實施例。雖然圖式中顯示了本公開的示例性實施例，然而應當理解，可以以各種形式實現本公開而不應被這裡闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，並且能夠將本公開的範圍完整的傳達給本領域的技術人員。
下面結合圖式對本發明實施例提供的任務調度方法和裝置進行詳細描述。
實施例一
圖1為本發明實施例一提供的一種任務調度方法的流程示意圖，本實施例所提供的方法，可以由分佈式系統中的任務管理器執行，如圖1所示，方法包括：
步驟101、對進行跨叢集讀寫的任務所需的網路資源進行分析，以獲得任務跨叢集執行讀和寫所需的網路資源的情況。
具體的，分佈式系統一般會承載著很多的任務，其中有相當一部分是週期性運行的任務，這些任務可能會每小時、每天或者每週的定期運行，任務運行之前需要訪問運行所需的資料，這裡所說的訪問即讀取，任務定期訪問的資料會是當時最新的資料，從而保證了運行所獲得的結果 資料的準確性。在讀取資料之後，還需要將所讀取到的資料輸入到運行的任務中，因此，所讀取的資料為任務的輸入資料。若該任務訪問資料的過程中涉及跨叢集讀的情況，則會佔用一定頻寬等網路資源。由於在這種跨叢集訪問資料的情況下，必然涉及將資料從另一叢集讀取到任務所運行的叢集，此時任務的輸入資料便能夠體現出跨叢集讀所佔用的網路資源的情況，例如：佔用頻寬的情況。
另外，任務在運行結束後，還需要將任務運行的結果資料返回至任務管理器所最初分配的默認叢集，所返回的結果資料需要首先由任務進行輸出，所輸出的資料稱為任務的輸出資料，進而將結果資料寫入默認叢集。若該任務返回結果資料的過程中涉及跨叢集寫的情況，則同樣會佔用一定頻寬等網路資源。由於跨叢集返回結果資料必然涉及將結果資料從任務所運行的叢集寫入到另一叢集，此時任務的輸出資料便能夠體現出跨叢集寫所佔用的網路資源的情況，例如：佔用頻寬的情況。
藉由執行跨叢集讀和寫時，任務所需的網路資源的情況，一方面可以預測出若任務目前所在的原叢集與所讀取的依賴資料所在叢集為不同叢集時，任務所佔用的網路資源情況，另一方面可以預測出若任務目前所在的原叢集與所寫入的結果資料所在叢集為不同叢集時，任務所佔用的網路資源情況。
作為一種可能的實現方式，歷史記錄中記錄有每一個任務運行在目前所分配的原叢集上所輸入和輸出的資料 量，可以根據歷史記錄，針對每一個任務，獲得輸入資料的資料量、輸出資料的資料量，針對每一個任務計算輸入輸出比。其中，輸入輸出比等於輸入資料的資料量與輸出資料的資料量的比值。
步驟102、根據讀和寫所需的網路資源的情況，對任務進行調度。
具體的，若讀操作所需的網路資源多於寫操作所需的網路資源，將任務調度至所讀取的依賴資料所在的目標叢集。
這是由於跨叢集任務的資料儲存和任務運行分別位於不同的叢集上，輸入資料和輸出資料分別均存在三種情況：A.儲存在任務目前所分配的原叢集上；B.儲存在任務所待調度至的目標叢集上；C.儲存在原叢集和目標叢集之外的叢集上。因此，在現有技術的一旦發現某一任務存在跨叢集讀寫的情況，便將該任務調度至其所讀取的依賴資料所在的目標叢集的情況下，輸入資料或輸出資料只要不在目標叢集上就需要藉由跨叢集複製或直讀直寫的方式訪問，跨叢集任務所產生的跨叢集資料量過大時會對網路資源造成壓力。
在一種可能的情況下，若跨叢集任務的輸入資料儲存於目標叢集上並且資料量很大，那麼調度該跨叢集任務至目標叢集可以省去將依賴資料從目標叢集讀取到原叢集的網路資源佔用，同時任務的輸出資料的資料量很小，那麼調度該跨叢集任務至目標叢集所導致增加的將結果資料從 目標叢集寫入到默認叢集的網路資源佔用不會很大，從而使得調度引起的跨叢集網路資源佔用會出現顯著降低。也就是說，輸入資料的資料量與輸出資料的資料量的比值，即輸入輸出比越大則跨叢集網路資源佔用降低的情況越顯著。
作為一種可能的實現方式，可以藉由判斷任務輸入輸出比是否大於預設第一閾值預測調度至依賴資料所在的目標叢集是否能夠有效降低所佔用的頻寬等網路資源，若是，則將任務調度至該任務的依賴資料所在的目標叢集。其中，第一閾值大於1。
相反的，若讀操作所需的網路資源不多於寫操作所需的網路資源，可以將任務調度至所寫入的結果資料所在的叢集。
本實施例中，藉由對進行跨叢集讀寫的任務所需的網路資源進行分析，以獲得讀和寫所佔用網路資源的情況，根據讀和寫所需的網路資源的情況，對任務進行調度。由於讀和寫所佔用的網路資源的情況，分別體現了將任務調度至讀和寫時所訪問資料所在叢集能夠節省的網路資源，因而，據此確定任務所調度至的叢集能夠使得任務實現較少的網路資源佔用，解決現有技術中叢集間的頻寬佔用過高的情況。
實施例二
圖2為本發明實施例二提供的一種任務調度方法的流 程示意圖，如圖2所示，包括：
步驟201、基於歷史記錄進行分析，從進行跨叢集讀寫的任務中篩選出目標任務。
具體的，歷史記錄中記錄有各個任務的任務資訊和資料資訊。其中，任務資訊包括：輸入資料的資料量和輸出資料的資料量；資料資訊包括：輸入資料所在叢集、輸出資料所在叢集、任務所屬業務單元和任務目前所在叢集，以及任務運行頻率和運行開銷。
基於歷史記錄，確定出輸入資料或輸出資料所在叢集和任務目前所在叢集為不同叢集的跨叢集任務。將任務目前所在叢集作為原叢集。
針對每一個跨叢集任務，根據公式輸入輸出比=輸入資料量/輸出資料量，計算輸入輸出比。採用輸入輸出比、輸出資料量、運行開銷和運行頻率、目前任務所在叢集負載所構成的篩選條件篩選出讀操作所需的網路資源多於寫操作所需的網路資源的目標任務。
例如：篩選條件可以為輸入輸出比大於第一閾值，第一閾值為100，且輸出資料量小於100GB，運行開銷、運行頻率、叢集負載等分別小於預設叢集配額。
這裡所說的預設叢集配額是根據目標叢集能夠提供的CPU和儲存空間等叢集資源所確定的。在篩選條件中增加運行開銷、運行頻率、叢集負載等用於指示任務佔用的叢集資源的指標，主要是由於即使輸入輸出比較大也就是調度任務所節省的網路資源較多，但是當任務運行時所佔用 的叢集資源較多，而所調度至的目標叢集無法滿足任務所需，從而大幅增加了目標叢集的負載的情況下，將任務調度至目標叢集後分佈式系統的整體性能並沒有得到明顯提升，這種調度就是得不償失的，因此，在當任務運行時所佔用的叢集資源較多時，不對任務進行調度。
步驟202、對目標任務提取任務標識，產生記錄任務標識的調度資訊。
具體的，獲得目標任務的任務標記，有兩種方法，對於結構化查詢語言(Structured Query Language，SQL)任務可以將查詢語句中週期性的屬性屏蔽掉，對任務進行雜湊摘要處理，例如採用消息摘要算法第五版(Message Digest Algorithm MD5，簡稱MD5)算法進行雜湊摘要處理，並將雜湊摘要作為該任務的任務標識。另一種方法，針對非SQL任務可以直接將任務的固定編號作為任務的任務標識，這些固定編號可以來自如天網系統等外部系統。
在調度資訊中，用任務標識對該目標任務進行標記。另外，調度資訊可以用於記錄目標任務所需調度至的目標叢集。
由於基於歷史記錄進行分析，篩選出目標任務的過程運算量較大，因而，可以預先執行，從而基於執行結果，產生調度資訊。這樣，當接收到待調度的任務時，則無需對其進行分析，可以直接根據預先分析所獲得的調度資訊進行調度，節省了時間，提高的調度的時效性。在實際操 作過程中，可以將基於歷史記錄進行分析，產生調度資訊的過程稱為訓練過程，將後續根據調度資訊進行調度的過程稱為決策過程。
步驟203、當接收到待調度的任務時，根據調度資訊調度任務。
具體的，當接收到待調度的任務時，獲取該任務的任務標識，從而對該任務進行識別。具體來說，可以在任務調度系統接收到待調度的任務後，判斷任務的類型是否為SQL任務，如果是則提取雜湊摘要作為任務標識，否則，提取固定編號作為任務標識。具體獲取任務標識的過程參見步驟202中的相關描述，此處不再贅述。根據獲取到的任務標識，在調度資訊中進行匹配，匹配到了則調度到任務的目標叢集上，否則，調度到任務所寫入的結果資料所在的原叢集。進一步，在調度之後，還可以為經過調度的任務分配計算資源。
因為當跨叢集任務的輸入資料儲存於目標叢集上並且資料量很大時，調度該跨叢集任務至目標叢集可以省去將依賴資料從目標叢集讀取到原叢集的網路資源佔用，同時任務的輸出資料的資料量很小，那麼調度該跨叢集任務至目標叢集所增加的將結果資料從目標叢集到原叢集寫入的網路資源佔用不會很大，因此，使得調度引起的跨叢集網路資源佔用會出現顯著降低。
也就是說，輸入資料的資料量與輸出資料的資料量的比值，即輸入輸出比越大則跨叢集網路資源佔用降低的情 況越顯著，可以據此確定第一閾值的取值，若僅在跨叢集網路資源佔用降低的情況越顯著時調度任務至目標叢集，則可以將第一閾值確定的較大，否則，確定的較小，但第一閾值應大於1。
實施例三
圖3為本發明實施例三提供的一種任務調度裝置的結構示意圖，如圖3所示，包括：分析模塊31和調度模塊32。
分析模塊31，用於對進行跨叢集讀寫的任務所需的網路資源進行分析，以獲得該任務讀和寫所需的網路資源的情況；調度模塊32，用於根據該讀和寫所需的網路資源的情況，對該任務進行調度。
具體的，調度模塊32具體用於若該讀操作所需的網路資源多於寫操作所需的網路資源，將該任務調度至所讀取的依賴資料所在的目標叢集。
本實施例中，藉由對進行跨叢集讀寫的任務所需的網路資源進行分析，以獲得讀和寫所佔用網路資源的情況，根據讀和寫所需的網路資源的情況，對任務進行調度。由於讀和寫所佔用的網路資源的情況，分別體現了將任務調度至讀和寫時所訪問資料所在叢集能夠節省的網路資源，因而，據此確定任務所調度至的叢集能夠使得任務實現較少的網路資源佔用，解決現有技術中叢集間的頻寬佔用過 高的情況。
實施例四
圖4為本發明實施例四提供的一種任務調度裝置的結構示意圖，在圖3所提供的任務調度裝置的基礎上，分析模塊31，包括：獲得單元311和計算單元312。
獲得單元311，用於根據歷史記錄，針對每一個該任務，獲得輸入資料的資料量、輸出資料的資料量。
計算單元312，用於針對每一個該任務計算用於指示讀和寫所需的網路資源的比例的輸入輸出比。
其中，輸入輸出比等於輸入資料的資料量與輸出資料的資料量的比值。
進一步，調度模塊32，包括：判斷單元321、標識單元322、產生單元323和調度單元324。
判斷單元321，用於判斷該任務是否滿足預設的篩選條件。
其中，篩選條件包括：該輸入輸出比大於預設第一閾值；其中，第一閾值大於1。篩選條件還包括：輸出資料的資料量小於第二閾值；和/或，所佔用的叢集資源小於預設配額，其中所佔用的叢集資源包括運行開銷、運行頻率和叢集負載中的至少一個。
標識單元322，用於針對滿足該篩選條件的任務，獲得任務標識。
產生單元323，用於產生用於記錄該任務標識的調度 資訊。
調度單元324，用於若滿足該篩選條件，則將該任務調度至該任務所讀取的依賴資料所在的目標叢集。
具體的，調度單元324，具體用於當接收到待調度任務時，獲取標識單元所獲得該待調度任務的任務標識；若該待調度任務的任務標識與該調度資訊中的任務標識相匹配，則將該待調度任務調度至該待調度任務的依賴資料所在的目標叢集。
進一步，標識單元322，包括：判斷子單元3221、雜湊子單元3222和編號子單元3223。
判斷子單元3221，用於判斷該任務的類型是否為SQL；雜湊子單元3222，用於若該任務的類型為SQL，對該任務進行雜湊處理，獲得雜湊摘要，將該雜湊摘要作為該任務標識；編號子單元3223，用於若該任務的類型不為SQL，將該任務的編號作為該任務標識。
需要說明的是，在前述各中所提及的網路資源可以為網路頻寬和/或網路頻寬時延積，本領域技術人員可以知曉，還可以採用其他用於衡量網路資源的指標，而不會影響各實施例的實現效果。
藉由對進行跨叢集讀寫的任務所需的網路資源進行分析，以獲得讀和寫所佔用網路資源的情況，根據讀和寫所需的網路資源的情況，對任務進行調度。由於讀和寫所佔 用的網路資源的情況，分別體現了將任務調度至讀和寫時所訪問資料所在叢集能夠節省的網路資源，因而，據此確定任務所調度至的叢集能夠使得任務實現較少的網路資源佔用，解決現有技術中叢集間的頻寬佔用過高的情況。
本領域普通技術人員可以理解：實現上述各方法實施例的全部或部分步驟可以藉由程序指令相關的硬體來完成。前述的程序可以儲存於一計算機可讀取儲存介質中。該程序在執行時，執行包括上述各方法實施例的步驟；而前述的儲存介質包括：ROM、RAM、磁碟或者光碟等各種可以儲存程序代碼的介質。
最後應說明的是：以上各實施例僅用以說明本發明的技術方案，而非對其限制；儘管參照前述各實施例對本發明進行了詳細的說明，本領域的普通技術入員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分或者全部技術特徵進行等同替換；而這些修改或者替換，並不使相應技術方案的本質脫離本發明各實施例技術方案的範圍。

Claims (18)

  1. 任務調度方法，其特徵在於，包括：對進行跨叢集讀寫的任務所需的網路資源進行分析，以獲得該任務跨叢集執行讀和寫所需的網路資源的情況；根據讀和寫所需的網路資源的情況，對該任務進行調度。
  2. 根據申請專利範圍第1項所述的任務調度方法，其中，該根據讀和寫所需的網路資源的情況，對該任務進行調度，包括：若讀操作所需的網路資源多於寫操作所需的網路資源，將該任務調度至所讀取的依賴資料所在的目標叢集。
  3. 根據申請專利範圍第1項所述的任務調度方法，其中，該對進行跨叢集讀寫的任務所需的網路資源進行分析，包括：根據歷史記錄，針對每一個該任務，獲得輸入資料的資料量、輸出資料的資料量；針對每一個該任務計算用於指示讀和寫所需的網路資源的比例的輸入輸出比；其中，輸入輸出比等於輸入資料的資料量與輸出資料的資料量的比值。
  4. 根據申請專利範圍第3項所述的任務調度方法，其中，該根據讀和寫所需的網路資源的情況，對該任務進行調度，包括：判斷該任務是否滿足預設的篩選條件；其中，該篩選條件包括：該輸入輸出比大於預設第一閾值；其中，第一 閾值大於1；若滿足該篩選條件，則將該任務調度至該任務所讀取的依賴資料所在的目標叢集。
  5. 根據申請專利範圍第4項所述的任務調度方法，其中，該判斷該任務是否滿足預設的篩選條件之後，還包括：針對滿足該篩選條件的任務，獲得任務標識；產生用於記錄該任務標識的調度資訊。
  6. 根據申請專利範圍第5項所述的任務調度方法，其中，該若滿足該篩選條件，則將該任務調度至該任務所讀取的依賴資料所在的目標叢集，包括：當接收到待調度任務時，針對該待調度任務，獲得任務標識；若該待調度任務的任務標識與該調度資訊中的任務標識相匹配，則將該待調度任務調度至該待調度任務的依賴資料所在的目標叢集。
  7. 根據申請專利範圍第5或6項所述的任務調度方法，其中，該獲得任務標識，包括：判斷該任務的類型是否為SQL；若該任務的類型為SQL，對該任務進行雜湊處理，獲得雜湊摘要，將該雜湊摘要作為該任務標識；否則，將該任務的編號作為該任務標識。
  8. 根據申請專利範圍第4項所述的任務調度方法，其中，該篩選條件還包括：輸出資料的資料量小於第二閾 值；和/或，所佔用的叢集資源小於預設配額，其中所佔用的叢集資源包括運行開銷、運行頻率和叢集負載中的至少一個。
  9. 根據申請專利範圍第1-6項任一項所述的任務調度方法，其中，該網路資源包括：網路頻寬和網路頻寬時延積中的至少一個。
  10. 一種任務調度裝置，其特徵在於，包括：分析模塊，用於對進行跨叢集讀寫的任務所需的網路資源進行分析，以獲得該任務跨叢集執行讀和寫所需的網路資源的情況；調度模塊，用於根據該讀和寫所需的網路資源的情況，對該任務進行調度。
  11. 根據申請專利範圍第10項所述的任務調度裝置，其中，該調度模塊，具體用於若該讀操作所需的網路資源多於寫操作所需的網路資源，將該任務調度至所讀取的依賴資料所在的目標叢集。
  12. 根據申請專利範圍第10項所述的任務調度裝置，其中，該分析模塊，包括：獲得單元，用於根據歷史記錄，針對每一個該任務，獲得輸入資料的資料量、輸出資料的資料量；計算單元，用於針對每一個該任務計算用於指示讀和寫所需的網路資源的比例的輸入輸出比；其中，輸入輸出 比等於輸入資料的資料量與輸出資料的資料量的比值。
  13. 根據申請專利範圍第12項所述的任務調度裝置，其中，該調度模塊，包括：判斷單元，用於判斷該任務是否滿足預設的篩選條件；其中，該篩選條件包括：該輸入輸出比大於預設第一閾值；其中，第一閾值大於1；調度單元，用於若滿足該篩選條件，則將該任務調度至該任務所讀取的依賴資料所在的目標叢集。
  14. 根據申請專利範圍第13項所述的任務調度裝置，其中，該調度模塊，還包括：標識單元，用於針對滿足該篩選條件的任務，獲得任務標識；產生單元，用於產生用於記錄該任務標識的調度資訊。
  15. 根據申請專利範圍第14項所述的任務調度裝置，其中，該標識單元，還用於當接收到待調度任務時，針對該待調度任務，獲得任務標識；該調度單元，具體用於當接收到待調度任務時，獲取標識單元所獲得該待調度任務的任務標識；若該待調度任務的任務標識與該調度資訊中的任務標識相匹配，則將該待調度任務調度至該待調度任務的依賴資料所在的目標叢集。
  16. 根據申請專利範圍第14或15項所述的任務調度 裝置，其中，該標識單元，包括：判斷子單元，用於判斷該任務的類型是否為SQL；雜湊子單元，用於若該任務的類型為SQL，對該任務進行雜湊處理，獲得雜湊摘要，將該雜湊摘要作為該任務標識；編號子單元，用於若該任務的類型不為SQL，將該任務的編號作為該任務標識。
  17. 根據申請專利範圍第13項所述的任務調度方法，其中，該篩選條件還包括：輸出資料的資料量小於第二閾值；和/或，所佔用的叢集資源小於預設配額，其中所佔用的叢集資源包括運行開銷、運行頻率和叢集負載中的至少一個。
  18. 根據申請專利範圍第10-15項任一項所述的任務調度裝置，其中，該網路資源包括：網路頻寬和網路頻寬時延積中的至少一個。
TW106105356A 2016-03-25 2017-02-17 任務調度方法和裝置 TWI738721B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610179807.5A CN107229517A (zh) 2016-03-25 2016-03-25 任务调度方法和装置
CN201610179807.5 2016-03-25

Publications (2)

Publication Number Publication Date
TW201737113A true TW201737113A (zh) 2017-10-16
TWI738721B TWI738721B (zh) 2021-09-11

Family

ID=59899220

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106105356A TWI738721B (zh) 2016-03-25 2017-02-17 任務調度方法和裝置

Country Status (6)

Country Link
US (1) US10922133B2 (zh)
EP (1) EP3413197B1 (zh)
CN (1) CN107229517A (zh)
SG (2) SG11201808118PA (zh)
TW (1) TWI738721B (zh)
WO (1) WO2017162086A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3553747B1 (en) * 2018-04-09 2021-09-01 BlackBerry Limited Methods and devices for predictive coding of point clouds
CN109145053B (zh) * 2018-08-01 2021-03-23 创新先进技术有限公司 数据处理方法和装置、客户端、服务器
CN109144791B (zh) * 2018-09-30 2020-12-22 北京金山云网络技术有限公司 数据转存方法、装置和数据管理服务器
US11579908B2 (en) 2018-12-18 2023-02-14 Vmware, Inc. Containerized workload scheduling
CN109743390B (zh) * 2019-01-04 2022-02-22 深圳壹账通智能科技有限公司 任务调度方法、装置、计算机设备和存储介质
WO2020177720A1 (en) 2019-03-06 2020-09-10 Enteromed Ltd Devices, systems, and methods for delivering therapy to intestinal muscle
CN111857981B (zh) * 2019-04-24 2025-08-15 阿里巴巴集团控股有限公司 一种数据处理方法以及装置
US12271749B2 (en) 2019-04-25 2025-04-08 VMware LLC Containerized workload scheduling
US12017073B2 (en) 2019-05-16 2024-06-25 Enteromed Ltd Devices, systems, and methods for delivering therapy to a sacral nerve
CN110188490B (zh) * 2019-06-03 2021-03-23 珠海格力电器股份有限公司 提高数据仿真效率的方法及装置、存储介质和电子装置
CN113971082B (zh) * 2021-10-25 2025-12-30 北京百度网讯科技有限公司 任务调度方法、装置、设备、介质及产品
CN114978929B (zh) * 2022-04-29 2023-08-18 苏州浪潮智能科技有限公司 一种网络调度装置和方法
CN115633034A (zh) * 2022-10-08 2023-01-20 北京八分量信息科技有限公司 一种跨集群的资源调度方法、装置、设备及存储介质
CN116366654B (zh) * 2023-03-20 2026-03-17 中国工商银行股份有限公司 任务处理方法、装置、计算机可读存储介质及电子设备
CN117472530B (zh) * 2023-10-25 2024-04-05 上海宽睿信息科技有限责任公司 一种基于集中管理的数据智能调度方法及系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6647408B1 (en) 1999-07-16 2003-11-11 Novell, Inc. Task distribution
US7519726B2 (en) * 2003-12-12 2009-04-14 International Business Machines Corporation Methods, apparatus and computer programs for enhanced access to resources within a network
CN101023417A (zh) 2004-06-08 2007-08-22 罗切斯特大学 对集群处理器中的通信并行性折衷的动态管理
US7861246B2 (en) 2004-06-17 2010-12-28 Platform Computing Corporation Job-centric scheduling in a grid environment
JP4477437B2 (ja) * 2004-07-02 2010-06-09 株式会社日立製作所 ストレージ装置、そのクラスタ間データ通信方法、及びそのクラスタ通信制御プログラム
US20060184941A1 (en) 2005-02-15 2006-08-17 Bea Systems, Inc. Distributed task framework
US7934199B2 (en) 2005-09-16 2011-04-26 International Business Machines Corporation Automated operation of IT resources with multiple choice configuration
US8082362B1 (en) 2006-04-27 2011-12-20 Netapp, Inc. System and method for selection of data paths in a clustered storage system
CN101236513B (zh) 2007-01-30 2012-07-18 阿里巴巴集团控股有限公司 一种分布式任务系统和分布式任务管理方法
US8281012B2 (en) * 2008-01-30 2012-10-02 International Business Machines Corporation Managing parallel data processing jobs in grid environments
US20090319608A1 (en) 2008-06-23 2009-12-24 Microsoft Corporation Automated task centered collaboration
US9239994B2 (en) 2009-02-25 2016-01-19 Empire Technology Development Llc Data centers task mapping
US8874505B2 (en) * 2011-01-11 2014-10-28 Hitachi, Ltd. Data replication and failure recovery method for distributed key-value store
CN103092683B (zh) * 2011-11-07 2017-12-26 Sap欧洲公司 用于数据分析的基于启发式的调度
CN103377075A (zh) * 2012-04-28 2013-10-30 腾讯科技（深圳）有限公司 管理任务的方法、装置及系统
CN103019853A (zh) * 2012-11-19 2013-04-03 北京亿赞普网络技术有限公司 一种作业任务的调度方法和装置
CN104520815B (zh) * 2014-03-17 2019-03-01 华为技术有限公司 一种任务调度的方法及装置
US9977699B2 (en) 2014-11-17 2018-05-22 Mediatek, Inc. Energy efficient multi-cluster system and its operations
CN104679479B (zh) * 2015-03-12 2017-10-24 中国人民解放军信息工程大学 一种基于任务编号的调度控制机制的多核密码处理器
CN106161525B (zh) 2015-04-03 2019-09-17 阿里巴巴集团控股有限公司 一种多集群管理方法与设备
CN105162878B (zh) * 2015-09-24 2018-08-31 网宿科技股份有限公司 基于分布式存储的文件分发系统及方法

Also Published As

Publication number Publication date
TWI738721B (zh) 2021-09-11
EP3413197A4 (en) 2019-10-02
WO2017162086A1 (zh) 2017-09-28
US20190034228A1 (en) 2019-01-31
CN107229517A (zh) 2017-10-03
EP3413197B1 (en) 2022-11-30
EP3413197A1 (en) 2018-12-12
SG10202009481XA (en) 2020-11-27
US10922133B2 (en) 2021-02-16
SG11201808118PA (en) 2018-10-30

Similar Documents

Publication Publication Date Title
TW201737113A (zh) 任務調度方法和裝置
US11709834B2 (en) Method and database system for sequentially executing a query and methods for use therein
CN103176974A (zh) 优化数据库中访问路径的方法和装置
CN110377519B (zh) 大数据系统的性能容量测试方法、装置、设备及存储介质
US20160203416A1 (en) A method and system for analyzing accesses to a data storage type and recommending a change of storage type
CN120428929B (zh) 基于光存储的冷热数据交换方法、系统及存储介质
CN113297245A (zh) 获取执行信息的方法及装置
CN120125276A (zh) 一种基于大数据分析的供应商的质量评估方法
CN112526905A (zh) 一种针对指标异常的处理方法及系统
CN119603285B (zh) 一种基于前端监控sdk的智能数据采集方法、设备及介质
CN109992468A (zh) 一种进程性能分析方法、装置、系统及计算机存储介质
US11960939B2 (en) Management computer, management system, and recording medium
CN116975028A (zh) 数据质量指标的核查方法、装置及电子设备
CN120762935B (zh) Gpu与hbm内存融合管理方法及系统
CN119441563B (zh) 用于非结构化数据处理的ai智能决策方法
CN121144404B (zh) 一种数据库字段自动检测与转换方法、设备及介质
CN117808602B (zh) 基于子账户扩展的热点账户记账方法及相关装置
CN121579304A (zh) 资源监控方法及相关设备
CN121144141A (zh) Kubernetes资源协同伸缩方法、系统、计算机设备
CN121210124A (zh) 资源分配方法、装置、电子设备、计算机可读存储介质
CN120704892A (zh) 一种amr电池充电管理的数据集群化处理方法及系统
CN118626341A (zh) 一种用于片上网络的状态监控方法以及系统
CN118409863A (zh) 业务请求文件的处理方法、装置、存储介质以及电子设备
HK40057905A (zh) 获取执行信息的方法及装置
CN121807657A (zh) 一种应用性能分析的方法、装置和设备