TW201719454A - 資料處理伺服器及其資料處理方法 - Google Patents

資料處理伺服器及其資料處理方法 Download PDF

Info

Publication number
TW201719454A
TW201719454A TW104138045A TW104138045A TW201719454A TW 201719454 A TW201719454 A TW 201719454A TW 104138045 A TW104138045 A TW 104138045A TW 104138045 A TW104138045 A TW 104138045A TW 201719454 A TW201719454 A TW 201719454A
Authority
TW
Taiwan
Prior art keywords
data
data processing
instant
real
weight
Prior art date
Application number
TW104138045A
Other languages
English (en)
Inventor
賴槿峰
賴盈勳
侯承育
林郁修
Original Assignee
財團法人資訊工業策進會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人資訊工業策進會 filed Critical 財團法人資訊工業策進會
Priority to TW104138045A priority Critical patent/TW201719454A/zh
Priority to US14/962,912 priority patent/US20170139922A1/en
Priority to CN201510895243.0A priority patent/CN106708914A/zh
Publication of TW201719454A publication Critical patent/TW201719454A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24578Query processing with adaptation to user needs using ranking
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24568Data stream processing; Continuous queries
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/248Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一種資料處理伺服器及其資料處理方法。資料處理伺服器包含資料庫、非即時資料處理模組以及即時資料處理模組。資料庫記錄第一資料處理函數。非即時資料處理模組用以接收資料串流,並根據第一資料處理函數分析資料串流,以產生至少一第一資料權重。即時資料處理模組用以接收資料串流,並根據第一資料處理函數以及至少一第一資料權重更新即時資料處理組態。即時資料處理模組根據即時資料處理組態分析資料串流,以產生即時資料輸出。

Description

資料處理伺服器及其資料處理方法
本發明關於一種資料處理伺服器及其資料處理方法。更具體而言,本發明係關於一種大數據(Big Data)之資料處理伺服器及其資料處理方法。
習知之資料處理方式,由於其數據量較小,因此,使用者仍可透過一般電腦,於合理之條件下完成資料之分析,並獲得想要之輸出。然隨著科技發展,使用者透過電腦及網路得以使用之資料量已呈現巨幅之成長,因此,若以習知之資料處理方式,使用者將難以即時且有效率地獲得期望之輸出。據此,大數據(Big Data)之資料處理方式因此發展,其中,大數據之資料處理方式目前可分為批次處理以及即時處理。
具體而言,批次處理之大數據資料處理方式,主要係針對大資料量之檔案先行分拆,並以非即時之方式進行資料處理,惟此種方式仍有輸出延遲過大以及運算複雜之缺點。另一方面,即時處理之大數據資料處理方式,主要係直接針對大資料量之檔案進行處理並產生輸出,惟此種方式將有結果不夠準確之疑 慮,且若短時間內突發事件之資料占總體資料量比例過小,亦無法針對突發事件做出準確之判斷。
針對前述大數據處理方式之缺點,目前已有技術針 對批次處理之結果以及即時處理之結果進行整合輸出,以提升其準確度,惟在此種操作方式中,整合輸出之結果仍須等待批次處理之結果,且即時資料之處理方法仍須根據之前定義之邏輯與流程偵測及判斷固定事件之資料,因此,資料處理之即時性仍有明顯不足。
有鑑於此,如何改良前述習知大數據之資料處理之 缺點,同時提升資料輸出之即時性以及準確性,乃為業界亟需努力之目標。
本發明之主要目的係提供一種資料處理伺服器,包含資料庫、非即時資料處理模組以及即時資料處理模組。資料庫用以記錄第一資料處理函數。非即時資料處理模組用以:接收資料串流;根據第一資料處理函數分析資料串流,以產生至少一第一資料權重;以及將該至少一第一資料權重儲存於該資料庫。即時資料處理模組用以:接收資料串流;自資料庫擷取第一資料處理函數以及至少一第一資料權重;根據第一資料處理函數以及至少一第一資料權重更新即時資料處理組態,其中,即時資料處理組態包含第一資料處理函數以及至少一第一資料權重;以及根據即時資料處理組態分析資料串流,以產生即時資料輸出。
為完成前述目的,本發明又提供一種用於資料處理 伺服器之資料處理方法。資料處理伺服器包含資料庫、非即時資料處理模組以及即時資料處理模組。資料庫用以記錄第一資料處理函數。資料處理方法包含:(a)令非即時資料處理模組接收資料串流;(b)令非即時資料處理模組根據第一資料處理函數分析資料串流,以產生至少一第一資料權重;(c)令非即時資料處理模組將至少一第一資料權重儲存於資料庫;(d)令即時資料處理模組接收資料串流;(e)令即時資料處理模組自資料庫擷取第一資料處理函數以及至少一第一資料權重;(f)令即時資料處理模組根據第一資料處理函數以及至少一第一資料權重更新即時資料處理組態,其中,即時資料處理組態包含第一資料處理函數以及至少一第一資料權重;(g)令即時資料處理模組根據即時資料處理組態分析資料串流,以產生即時資料輸出。
參閱圖式及隨後描述的實施方式後,所屬技術領域 具有通常知識者可更瞭解本發明的技術手段及具體實施態樣。
1、2、3‧‧‧資料處理伺服器
11‧‧‧資料庫
13‧‧‧非即時資料處理模組
130‧‧‧非即時資料輸出
131‧‧‧非即時資料接收單元
133‧‧‧非即時資料分析單元
15‧‧‧即時資料處理模組
150‧‧‧即時資料處理組態
151‧‧‧即時資料接收單元
152‧‧‧即時資料輸出
153‧‧‧即時資料分析單元
17‧‧‧資料整合模組
170‧‧‧整合資料輸出
9‧‧‧資料源
90‧‧‧資料串流
F1、F2、f1~f5‧‧‧資料處理函數
W1、W2‧‧‧資料權重
第1A圖係本發明第一實施例之資料處理伺服器之示意圖;第1B圖係本發明第一實施例之資料處理伺服器處理資料之示意圖;第2A圖係本發明第二實施例之資料處理伺服器之示意圖;第2B圖係本發明第二實施例之資料處理伺服器處理資料之示 意圖;第3A圖係本發明第三實施例之資料處理伺服器之示意圖;第3B圖係本發明第三實施例之資料處理伺服器處理資料之示意圖;第3C圖係本發明第三實施例之資料處理伺服器處理資料之另一示意圖;第4A圖係本發明第四實施例之資料串流於資料處理伺服器中進行即時資料處理之例示圖;第4B圖係本發明第四實施例之資料串流於資料處理伺服器中進行非即時資料處理之例示圖;第4C圖係本發明第四實施例之資料串流於資料處理伺服器中進行即時資料處理之另一例示圖;第5圖係本發明第五實施例之資料處理方法之流程圖;以及第6圖係本發明第六實施例之資料處理方法之流程圖。
以下將透過本發明之實施例來闡釋本發明。然而,該等實施例並非用以限制本發明需在如實施例所述之任何環境、應用程式或方式方能實施。因此,以下實施例的說明僅在於闡釋本發明,而非用以限制本發明。在以下實施例及圖式中,與本發明非直接相關的元件已省略而未繪示,且繪示於圖式中的各元件之間的尺寸關係僅為便於理解,而非用以限制為實際的實施比例。
請先參考第1A~1B圖。第1A圖係本發明第一實施例 之一資料處理伺服器1之示意圖,第1B圖係本發明第一實施例之資料處理伺服器1處理資料之示意圖。資料處理伺服器1包含一資料庫11、一非即時資料處理模組13以及一即時資料處理模組15。資料庫11記錄一第一資料處理函數F1。非即時資料處理模組13具有一非即時資料接收單元131以及一非即時資料分析單元133。即時資料處理模組15具有一即時資料接收單元151以及一即時資料分析單元153。元件間處理資料之互動流程將於下文中進一步闡述。
具體而言,如圖所示,資料處理伺服器1自一資料源 9接收一資料串流90。接著,就非即時資料處理模組13之角度觀之,非即時資料接收單元131先接收資料串流90,而非即時資料分析單元133便根據資料庫11裡所記錄之第一資料處理函數F1分析資料串流90,以產生與資料串流90相關之至少一第一資料權重W1。隨後,非即時資料分析單元133將至少一第一資料權重W1儲存於資料庫11中。
另一方面,以即時資料處理模組15之角度觀之,其主 要係利用一即時資料處理組態150處理即時資料,同時,即時資料處理模組15亦可確認資料庫11中是否有更新之內容可使用。詳言之,即時資料處理模組15利用即時資料接收單元151接收資料串流90,同時,即時資料分析單元153自資料庫11擷取非即時資料處理模組13更新之第一資料處理函數F1以及至少一第一資料權重W1。
隨後,即時資料分析單元153便可根據第一資料處理 函數F1以及至少一第一資料權重W1更新即時資料處理組態150, 使即時資料處理組態150新增第一資料處理函數F1以及至少一第一資料權重W1之利用。最後,即時資料分析單元153利用更新後之即時處理組態150分析資料串流90,並產生一即時資料輸出152。如此一來,由於即時資料處理組態150已透過第一資料處理函數F1以及至少一第一資料權重W1更新,因此,即時資料分析單元153於利用即時處理組態150分析資料串流90時,所產生之即時資料輸出152除了具備原有之即時性外,同時可具有非即時資料之高可靠性。
請參考第2A~2B圖。第2A圖係本發明第二實施例之 一資料處理伺服器2之示意圖,第2B圖係本發明第二實施例之資料處理伺服器2處理資料之示意圖。其中,第二實施例與第一實施例之架構相似,因此符號相同之元件功能亦同,於此不再贅述。而第二實施例主要係說明利用一資料整合模組17進行資料整合之過程。
類似地,如圖所示,資料處理伺服器2自資料源9接收 資料串流90。接著,就非即時資料處理模組13之角度觀之,非即時資料接收單元131先接收資料串流90,而非即時資料分析單元133便根據資料庫11裡所記錄之第一資料處理函數F1分析資料串流90,以產生與資料串流90相關之至少一第一資料權重W1。隨後,非即時資料分析單元133根據第一資料處理函數F1以及至少一第一資料權重W1分析資料串流90,以產生一非即時資料輸出130,同時將至少一第一資料權重W1儲存於資料庫11中。
另一方面,以即時資料處理模組15之角度觀之,其主 要係利用一即時資料處理組態150處理即時資料,同時,即時資料處理模組15亦可確認資料庫11中是否有更新之內容可使用。詳言之,即時資料處理模組15利用即時資料接收單元151接收資料串流90,同時,即時資料分析單元153自資料庫11擷取非即時資料處理模組13更新之第一資料處理函數F1以及至少一第一資料權重W1。
隨後,即時資料分析單元153便可根據第一資料處理 函數F1以及至少一第一資料權重W1更新即時資料處理組態150,使即時資料處理組態150新增第一資料處理函數F1以及至少一第一資料權重W1之利用。而即時資料分析單元153利用更新後之即時處理組態150分析資料串流90,並產生即時資料輸出152。
須特別說明,第二實施例中,非即時資料輸出130以 及即時資料輸出152皆會輸出至資料整合模組17中,換言之,資料整合模組17擷取非即時資料輸出130以及即時資料輸出152,並據以決定一整合資料輸出170。如此一來,使用者除了可分別查詢非即時資料輸出130以及即時資料輸出152外,亦可查詢整合後之資料。
請先參考第3A圖,其係本發明第三實施例之一資料 處理伺服器3之示意圖。其中,第三實施例與前述實施例之架構相似,因此符號相同之元件功能亦同,於此不再贅述。而第三實施例之資料庫11更記錄一第二資料處理函數F2,其主要係更詳細說明多資料處理函數之應用。
具體而言,如圖所示,資料處理伺服器3自資料源9接 收資料串流90。接著,就非即時資料處理模組13之角度觀之,非即時資料接收單元131先接收資料串流90,而非即時資料分析單元133便根據資料庫11裡所記錄之第一資料處理函數F1分析資料串流90,以產生與資料串流90相關之至少一第一資料權重W1。同時,於第三實施例中,非即時資料分析單元133亦根據資料庫11裡所記錄之第二資料處理函數F2分析資料串流90,以產生與資料串流90相關之至少一第二資料權重W2。隨後,非即時資料分析單元133將至少一第一資料權重W1以及至少一第二資料權重W2儲存於資料庫11中。
另一方面,以即時資料處理模組15之角度觀之,其主 要係利用即時資料處理組態150處理即時資料,同時,即時資料處理模組15亦可確認資料庫11中是否有更新之內容可使用。詳言之,即時資料處理模組15利用即時資料接收單元151接收資料串流90,同時,即時資料分析單元153自資料庫11擷取相關之函數及其資料權重。
請參考第3B圖,其係本發明第三實施例之資料處理 伺服器3處理資料之示意圖。更進一步來說,當第一資料函數F1以及至少一第一資料權重W1與所欲輸出之資料之相關性較高,且第二資料函數F2以及至少一第二資料權重W2與所欲輸出之資料之相關性較低時,即時資料分析單元153僅自資料庫11擷取非即時資料處理模組13更新之第一資料處理函數F1以及至少一第一資料權 重W1。
隨後,同樣地,即時資料分析單元153便可根據第一 資料處理函數F1以及至少一第一資料權重W1更新即時資料處理組態150,使即時資料處理組態150新增第一資料處理函數F1以及至少一第一資料權重W1之利用。最後,即時資料分析單元153利用更新後之即時處理組態150分析資料串流90,並產生一即時資料輸出152。
請參考第3C圖,其係本發明第三實施例之資料處理 伺服器3處理資料之另一示意圖。更詳細來說,當第一資料函數F1、第二資料函數F2、至少一第一資料權重W1以及至少一第二資料權重W2與所欲輸出之資料之相關性皆有高度關聯時,即時資料分析單元153自資料庫11擷取非即時資料處理模組13更新之第一資料函數F1、第二資料函數F2、至少一第一資料權重W1以及至少一第二資料權重W2。
隨後,即時資料分析單元153便可根據第一資料函數 F1、第二資料函數F2、至少一第一資料權重W1以及至少一第二資料權重W2更新即時資料處理組態150,使即時資料處理組態150新增第一資料函數F1、第二資料函數F2、至少一第一資料權重W1以及至少一第二資料權重W2之利用。最後,即時資料分析單元153利用更新後之即時處理組態150分析資料串流90,並產生即時資料輸出152。
須特別說明,如圖所示,第三實施例之資料處理伺服 器3亦可具有資料整合模組17,其同樣用於擷取非即時資料輸出130以及即時資料輸出152,並據以決定整合資料輸出170。由於其操作方式與前述實施例相同,與此不再贅述。
另須強調,由於資料串流90之資料格式可為具有多 種不同欄位之資料態樣,因此,前述實施例中,至少一第一資料權重W1主要係對應於資料串流90之至少一第一資料欄位(未繪示),至少一第二資料權重W2主要係對應於資料串流90之至少一第二資料欄位(未繪示),以下將透過範例作出進一步之說明。
舉例來說,請參考第4A圖,其係本發明第四實施例 之資料串流於資料處理伺服器中進行即時資料處理之例示圖。如圖所示,資料串流主要包含:駕駛、車型、行駛路徑、車速以及塞車狀態等欄位,此時,資料處理伺服器之即時資料處理模組主要係根據車速以及道路之資料處理組態(如前述實施例之即時資料處理組態)進行資料串流之處理。接著,當使用者欲透過資料處理伺服器獲得路徑W-->P之所需時間時,即時資料處理模組主要係針對資料串流之車速以及道路進行分析,並進一步得到路徑W-->P需50分鐘之時間輸出。
另一方面,由於資料處理伺服器之資料庫中存有其 他可處理資料串流之函數(如前述實施例之第一資料處理函數以及第二資料處理函數),非即時資料處理模組便可透過相關函數判斷對應欄位資料之權重值,使即時資料處理模組得據以調整資料處理組態。
請一併參考第4B圖,其係本發明第四實施例之資料 串流於資料處理伺服器中進行非即時資料處理之例示圖。詳言之,當非即時資料處理模組接收資料串流時,其主要可根據資料庫中儲存之各種函數(如車型、車速、道路、駕駛以及塞車程度)對資料串流進行分析,並針對不同之函數產生相應之權重值。
如圖所示,當資料串流經過車型函數f1時,便可獲得 權重值BMW、Benz、Audi。當資料串流經過車速函數f2時,便可得到權重值60、50、70。當資料串流經過道路函數f3時,便可獲得權重值W、X、Y、Z、Q、P。當資料串流經過駕駛函數f4時,便可獲得權重值A、B、C。當資料串流經過塞車程度函數f5時,便可獲得權重值紅、黃、綠。其中,紅表示嚴重塞車,黃表示普通塞車,綠表示順暢。隨後,非即時資料處理模組便可據以產生路徑W-->P需40分鐘之時間輸出。
接著,非即時資料處理模組將前述函數關係以及權 重值儲存至資料庫。如此一來,即時資料處理模組便可進一步利用資料庫更新之函數關係以及權重值。請同時參考第4C圖,其係本發明第四實施例之資料串流於資料處理伺服器中進行即時資料處理之另一例示圖。
具體而言,即時資料處理模組可進一步判斷所需之 函數,並據以更新即時資料處理組態。更進一步來說,如圖所示,由於即時資料處理模組根據塞車程度函數及其權重值,判斷其為影響行車時間之主要因素之一,因此,即時資料處理模組便將塞車 程度之函數及其權重值新增至即時資料處理組態中。
如此一來,由於即時資料處理模組已透過非即時資 料處理模組儲存於資料庫中之函數關係及權重值,針對即時資料處理組態進行更新,並新增直接影響行車時間之塞車程度函數及其權重值,因此,當即時資料處理模組進一步針對資料串流進行處理時,便可以即時之狀態下,得到更為精準之路徑W-->P所需時間小於40分鐘之時間輸出。
須特別說明,前述之資料處理伺服器主要係用於處 理大數據資料,惟其並非用以限制本發明之實施環境。另外,本發明技術主要係著重於:即時資料處理模組利用非即時資料處理模組之回饋更新即時資料處理組態,使得即時資料處理模組得透過更新後之即時資料處理組態獲得更精準之輸出,而本領域技術人員應可透過前揭內容,輕易理解相關之資料處理方式以及函數之利用,因此不再贅述。
再者,前述實施例之資料處理模組(如非即時資料處 理模組以及即時資料處理模組之資料接收單元以及資料分析單元、資料整合模組)可以為相關輸出輸入(I/O)介面以及處理器(Processor)等硬體電路構成,本領域技術人員應可輕易透過前述內容理解其架構,惟其並非用以限制本發明之實施態樣。
本發明之第五實施例係為資料處理方法,其流程圖 請參考第5圖。第五實施例之方法係用於一資料處理伺服器(例如前述實施例之資料處理伺服器),包含一資料庫、一非即時資料處 理模組以及一即時資料處理模組。資料庫用以記錄一第一資料處理函數。第五實施例之詳細步驟如下所述。
首先,以非即時資料處理模組角度觀之,執行步驟 501,令非即時資料處理模組接收一資料串流。接著,執行步驟502,令非即時資料處理模組根據第一資料處理函數分析資料串流,以產生至少一第一資料權重。執行步驟503,令非即時資料處理模組將至少一第一資料權重儲存於資料庫。
另一方面,以即時資料處理模組角度觀之。執行步驟 504,令即時資料處理模組接收資料串流。執行步驟505,令即時資料處理模組自資料庫擷取第一資料處理函數以及至少一第一資料權重。
執行步驟506,令即時資料處理模組根據第一資料處 理函數以及至少一第一資料權重更新一即時資料處理組態。其中,即時資料處理組態包含第一資料處理函數以及至少一第一資料權重。最後,執行步驟507,令即時資料處理模組根據即時資料處理組態分析資料串流,以產生一即時資料輸出。
須特別說明,於第五實施例之其他實施態樣中,資料 處理伺服器可進一步包含一資料整合模組,而非即時資料處理模組可於步驟502後,根據第一資料處理函數以及至少一第一資料權重分析資料串流,以產生一非即時資料輸出。如此一來,資料整合模組便可於步驟507後,擷取即時資料輸出以及非即時資料輸出,並據以決定一整合資料輸出。
本發明之第六實施例係為資料處理方法,其流程圖 請參考第6圖。第六實施例之方法係用於一資料處理伺服器(例如前述實施例之資料處理伺服器),包含一資料庫、一非即時資料處理模組以及一即時資料處理模組。資料庫用以記錄一第一資料處理函數以及一第二資料處理函數。第六實施例之詳細步驟如下所述。
首先,以非即時資料處理模組角度觀之,執行步驟 601,令非即時資料處理模組接收一資料串流。接著,執行步驟602,令非即時資料處理模組根據第一資料處理函數分析資料串流,以產生至少一第一資料權重。執行步驟603,令非即時資料處理模組根據第二資料處理函數分析資料串流,以產生至少一第二資料權重。執行步驟604,令非即時資料處理模組將至少一第一資料權重以及至少一第二資料權重儲存於資料庫。
另一方面,以即時資料處理模組角度觀之。執行步驟 605,令即時資料處理模組接收資料串流。執行步驟606,令即時資料處理模組自資料庫擷取第一資料處理函數、第二資料處理函數、至少一第一資料權重以及至少一第二資料權重。
執行步驟607,令即時資料處理模組根據第一資料處 理函數、第二資料處理函數、至少一第一資料權重以及至少一第二資料權重更新一即時資料處理組態,其中,即時資料處理組態至少包含第一資料處理函數、第二資料處理函數、至少一第一資料權重以及至少一第二資料權重。最後,執行步驟608,令即時資料處理 模組根據即時資料處理組態分析資料串流,以產生一即時資料輸出。
同樣地,須特別說明,於第六實施例之其他實施態樣 中,資料處理伺服器可進一步包含一資料整合模組,而非即時資料處理模組可於步驟603後,根據第一資料處理函數、第二資料處理函數、至少一第一資料權重以及至少一第二資料權重分析資料串流,以產生一非即時資料輸出。如此,資料整合模組便可於步驟608後,擷取即時資料輸出以及非即時資料輸出,並據以決定一整合資料輸出。
綜合上述,本發明之資料處理伺服器及其資料處理 方法,主要係由即時資料處理模組利用非即時資料處理模組之回饋,更新即時資料處理組態,使得即時資料處理模組得透過更新後之即時資料處理組態獲得更精準之輸出,如此一來,便可提升資料輸出之準確性,同時維持資料輸出之即時性。
惟上述實施例僅為例示性說明本發明之實施態樣,以及闡釋本發明之技術特徵,並非用來限制本發明之保護範疇。任何熟悉此技藝之人士可輕易完成之改變或均等性之安排均屬於本發明所主張之範圍,本發明之權利保護範圍應以申請專利範圍為準。
501~507‧‧‧步驟

Claims (14)

  1. 一種資料處理伺服器,包含:一資料庫,用以記錄一第一資料處理函數;一非即時資料處理模組,具有:一非即時資料接收單元,用以接收一資料串流;以及一非即時資料分析單元,用以:根據該第一資料處理函數分析該資料串流,以產生至少一第一資料權重;將該至少一第一資料權重儲存於該資料庫;一即時資料處理模組,具有:一即時資料接收單元,用以接收該資料串流;以及一即時資料分析單元,用以:自該資料庫擷取該第一資料處理函數以及該至少一第一資料權重;根據該第一資料處理函數以及該至少一第一資料權重更新一即時資料處理組態,其中,該即時資料處理組態包含該第一資料處理函數以及該至少一第一資料權重;根據該即時資料處理組態分析該資料串流,以產生一即時資料輸出。
  2. 如請求項1所述之資料處理伺服器,更包含一資料整合模組,其中,該非即時資料分析單元更用以:根據該第一資料處理函數以及該至少一第一資料權重分析該資料串流,以產生一非即時資料輸出;其中,該資料整合模組用以: 擷取該即時資料輸出以及該非即時資料輸出;根據該即時資料輸出以及該非即時資料輸出決定一整合資料輸出。
  3. 如請求項1所述之資料處理伺服器,其中,該資料庫更用以記錄一第二資料處理函數,該非即時資料分析單元更用以:根據該第二資料處理函數分析該資料串流,以產生至少一第二資料權重;將該至少一第二資料權重儲存於該資料庫。
  4. 如請求項3所述之資料處理伺服器,更包含一資料整合模組,其中,該非即時資料分析單元更用以:根據該第一資料處理函數、該第二資料處理函數、該至少一第一資料權重以及該至少一第二資料權重分析該資料串流,以產生一非即時資料輸出;其中,該資料整合模組用以:擷取該即時資料輸出以及該非即時資料輸出;根據該即時資料輸出以及該非即時資料輸出決定一整合資料輸出。
  5. 如請求項3所述之資料處理伺服器,其中,該即時資料分析單元更用以:自該資料庫擷取該第二資料處理函數以及該至少一第二資料權重;根據該第一資料處理函數、該第二資料處理函數、該至少一第一資料權重以及該至少一第二資料權重更新該即時資料處理組態,其中,該即時資料處理組態包含該第一資料處理函數、該第二資料處理函數、該至少一第一資料權重以及該至少一第二資料權重;根據該即時資料處理組態分析該資料串流,以產生該即時資料輸出。
  6. 如請求項5所述之資料處理伺服器,更包含一資料整合模組,其中,該非即時資料分析單元更用以:根據該第一資料處理函數、該第二資料處理函數、該至少一第一資料權重以及該至少一第二資料權重分析該資料串流,以產生一非即時資料輸出;其中,該資料整合模組用以:擷取該即時資料輸出以及該非即時資料輸出;根據該即時資料輸出以及該非即時資料輸出決定一整合資料輸出。
  7. 如請求項1所述之資料處理伺服器,其中,該至少一第一資料權重係對應於該資料串流之至少一第一資料欄位。
  8. 如請求項3所述之資料處理伺服器,其中,該至少一第一資料權重係對應於該資料串流之至少一第一資料欄位,該至少一第二資料權重係對應於該資料串流之至少一第二資料欄位。
  9. 一種用於一資料處理伺服器之資料處理方法,該資料處理伺服器包含一資料庫、一非即時資料處理模組以及一即時資料處理模組,該資料庫用以記錄一第一資料處理函數,該資料處理方法包含:(a)令該非即時資料處理模組接收一資料串流;(b)令該非即時資料處理模組根據該第一資料處理函數分析該資料串流,以產生至少一第一資料權重;(c)令該非即時資料處理模組將該至少一第一資料權重儲存於該資料庫;(d)令該即時資料處理模組接收該資料串流;(e)令該即時資料處理模組自該資料庫擷取該第一資料處理函數 以及該至少一第一資料權重;(f)令該即時資料處理模組根據該第一資料處理函數以及該至少一第一資料權重更新一即時資料處理組態,其中,該即時資料處理組態包含該第一資料處理函數以及該至少一第一資料權重;(g)令該即時資料處理模組根據該即時資料處理組態分析該資料串流,以產生一即時資料輸出。
  10. 如請求項9所述之資料處理方法,其中,該資料處理伺服器更包含一資料整合模組,步驟(b)後更包含:(b1)令該非即時資料處理模組根據該第一資料處理函數以及該至少一第一資料權重分析該資料串流,以產生一非即時資料輸出;其中,步驟(g)後更包含:(h)令該資料整合模組擷取該即時資料輸出以及該非即時資料輸出;(i)令該資料整合模組根據該即時資料輸出以及該非即時資料輸出決定一整合資料輸出。
  11. 如請求項9所述之資料處理方法,其中,該資料庫更用以記錄一第二資料處理函數,步驟(b)後更包含:(b1)令該非即時資料處理模組根據該第二資料處理函數分析該資料串流,以產生至少一第二資料權重;其中,步驟(c)更包含:(c1)令該非即時資料處理模組將該至少一第一資料權重以及該至少一第二資料權重儲存於該資料庫。
  12. 如請求項11所述之資料處理方法,其中,該資料處理伺服器更包含一資料整合模組,步驟(b1)後更包含: (b2)令該非即時資料處理模組根據該第一資料處理函數、該第二資料處理函數、該至少一第一資料權重以及該至少一第二資料權重分析該資料串流,以產生一非即時資料輸出;其中,步驟(g)後更包含:(h)令該資料整合模組擷取該即時資料輸出以及該非即時資料輸出;(i)令該資料整合模組根據該即時資料輸出以及該非即時資料輸出決定一整合資料輸出。
  13. 如請求項11所述之資料處理方法,其中,步驟(e)更包含:(e1)令該即時資料處理模組自該資料庫擷取該第一資料處理函數、該第二資料處理函數、該至少一第一資料權重以及該至少一第二資料權重;其中,步驟(f)更包含:(f1)令該即時資料處理模組根據該第一資料處理函數、該第二資料處理函數、該至少一第一資料權重以及該至少一第二資料權重更新該即時資料處理組態,其中,該即時資料處理組態包含該第一資料處理函數、該第二資料處理函數、該至少一第一資料權重以及該至少一第二資料權重。
  14. 如請求項13所述之資料處理方法,其中,該資料處理伺服器更包含一資料整合模組,步驟(b1)後更包含:(b2)令該非即時資料處理模組根據該第一資料處理函數、該第二資料處理函數、該至少一第一資料權重以及該至少一第二資料權重分析該資料串流,以產生一非即時資料輸出;其中,步驟(g)後更包含: (h)令該資料整合模組擷取該即時資料輸出以及該非即時資料輸出;(i)令該資料整合模組根據該即時資料輸出以及該非即時資料輸出決定一整合資料輸出。
TW104138045A 2015-11-18 2015-11-18 資料處理伺服器及其資料處理方法 TW201719454A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW104138045A TW201719454A (zh) 2015-11-18 2015-11-18 資料處理伺服器及其資料處理方法
US14/962,912 US20170139922A1 (en) 2015-11-18 2015-12-08 Data processing server and data processing method thereof
CN201510895243.0A CN106708914A (zh) 2015-11-18 2015-12-08 数据处理服务器及其数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104138045A TW201719454A (zh) 2015-11-18 2015-11-18 資料處理伺服器及其資料處理方法

Publications (1)

Publication Number Publication Date
TW201719454A true TW201719454A (zh) 2017-06-01

Family

ID=58691066

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104138045A TW201719454A (zh) 2015-11-18 2015-11-18 資料處理伺服器及其資料處理方法

Country Status (3)

Country Link
US (1) US20170139922A1 (zh)
CN (1) CN106708914A (zh)
TW (1) TW201719454A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109742810A (zh) * 2019-01-11 2019-05-10 北京京运通科技股份有限公司 风电集中监控管理系统及管理方法
CN110174139B (zh) * 2019-06-06 2021-03-12 交通运输部公路科学研究所 足尺环道道路内部应力、应变响应数据获取方法及其系统
US12262318B2 (en) * 2021-04-22 2025-03-25 Texas Instruments Incorporated Power aware event scheduling

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10058524A1 (de) * 2000-11-24 2002-06-13 Siemens Ag System und Verfahren zur parallelen Übertragung von echtzeitkritischen und nicht echtzeitkritischen Daten über schaltbare Datennetze, insbesondere Ethernet
EP2695379A4 (en) * 2011-04-01 2015-03-25 Mixaroo Inc SYSTEM AND METHOD FOR PROCESSING, STORING, INDEXING AND REAL TIME DISTRIBUTION OF SEGMENTED VIDEO
US8842007B2 (en) * 2012-08-31 2014-09-23 Thuuz, Inc. Generating alerts for live performances
CN103646111B (zh) * 2013-12-25 2017-02-15 普元信息技术股份有限公司 大数据环境下实现实时数据关联的系统及方法
US10902468B2 (en) * 2014-06-23 2021-01-26 Board Of Regents, The University Of Texas System Real-time, stream data information integration and analytics system
CN104361088B (zh) * 2014-11-17 2017-12-12 国电南京自动化股份有限公司 Scada系统基于实时权重分析的拥塞数据处理方法
CN104794003B (zh) * 2015-02-04 2019-06-04 汉鼎宇佑互联网股份有限公司 一种整合实时和非实时模式的大数据分析系统

Also Published As

Publication number Publication date
CN106708914A (zh) 2017-05-24
US20170139922A1 (en) 2017-05-18

Similar Documents

Publication Publication Date Title
US10650861B2 (en) Video summarization and collaboration systems and methods
TWI486800B (zh) 用於使用編輯距離以及文件資訊的搜尋結果排序之系統與方法
US9661361B2 (en) Systems and methods for live media content matching
JP4925143B2 (ja) ストリームデータ処理システム、ストリームデータ処理方法及びストリームデータ処理プログラム
US9479519B1 (en) Web content fingerprint analysis to detect web page issues
CN105516821B (zh) 弹幕筛选的方法及装置
CN104104999B (zh) 音视频信息推荐方法及设备
WO2016107126A1 (zh) 图片搜索方法和装置
US7991206B1 (en) Surrogate heuristic identification
CN107004021B (zh) 基于处理内容项元数据标签生成推荐
CN107533638B (zh) 利用标签正确性概率来注释视频
CN110348219A (zh) 版本比对方法、系统、计算机设备及可读存储介质
US11734235B2 (en) Automatic drift detection and handling
CN111768242A (zh) 下单率预测方法、设备及可读存储介质
TW201719454A (zh) 資料處理伺服器及其資料處理方法
CN108628886B (zh) 一种音频文件推荐方法及装置
CN104346174B (zh) 一种在线矢量图建模过程的描述与重现方法
CN106909634B (zh) 基于条件的多媒体影像评论数据挖掘与处理方法及系统
CN111246124B (zh) 一种多媒体数字融合方法和装置
CN107291749A (zh) 一种数据指标关联关系的确定方法及装置
CN110674033A (zh) 处理代码的方法、装置、设备及存储介质
CN102523513B (zh) 基于视频播放器精确获取原视频文件图像的实现方法
US12136003B1 (en) Semantic mapping
US10445306B1 (en) Database index storage based on temporal data
CN104765726B (zh) 一种基于信息密度的数据分类方法