TWI825111B - 遊戲系統、遊戲系統的控制方法及遊戲程式 - Google Patents

遊戲系統、遊戲系統的控制方法及遊戲程式 Download PDF

Info

Publication number
TWI825111B
TWI825111B TW108121673A TW108121673A TWI825111B TW I825111 B TWI825111 B TW I825111B TW 108121673 A TW108121673 A TW 108121673A TW 108121673 A TW108121673 A TW 108121673A TW I825111 B TWI825111 B TW I825111B
Authority
TW
Taiwan
Prior art keywords
aforementioned
game
story
input
voice
Prior art date
Application number
TW108121673A
Other languages
English (en)
Other versions
TW202005688A (zh
Inventor
片山崇
Original Assignee
日商薄荷旗股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商薄荷旗股份有限公司 filed Critical 日商薄荷旗股份有限公司
Publication of TW202005688A publication Critical patent/TW202005688A/zh
Application granted granted Critical
Publication of TWI825111B publication Critical patent/TWI825111B/zh

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • A63F13/798—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories for assessing skills or for ranking players, e.g. for generating a hall of fame
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/04—Electrically-operated educational appliances with audible presentation of the material to be studied
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本發明的課題，係一邊將語言學習之發聲評估採用於遊戲以提升娛樂性，一邊充實在實際生活中之自然氣氛及時機中發聲的訓練。 解決手段係具備輸入聲音訊號的輸入介面(12)、辨識遊戲者的聲音，並依據聲音的辨識結果，生成遊戲相關之控制訊號的聲音辨識處理部(144)、遵照記述使故事進行之事件處理的劇本，使遊戲依序進行的劇本控制部(142)、依據操作輸入所致之輸入訊號及控制訊號，使劇本進行的遊戲進行處理部(141)、執行評估遊藝者所致之發音的正確性的遊戲模式的遊戲模式執行部(143a)、及執行使角色的行動相關之故事進行的故事模式的故事模式執行部(143b)，因應相對於所出題的聲音辨識對象問題的遊藝者所致之發音的正確性的點數或等級提升來進行評估。

Description

遊戲系統、遊戲系統的控制方法及遊戲程式
本發明係關於辨識輸入之聲音的遊戲系統、遊戲系統的控制方法及遊戲程式。
伴隨近年之電腦技術的進步，逐漸廣泛利用使用了電腦圖形技術的電子遊戲機。近年來開發各式各樣的遊戲軟體，故此種家庭用的電子遊戲裝置在娛樂上非常受歡迎。在此種電子遊戲機中藉由操作控制器的按鍵，移動角色，或切換遊戲畫面。於此種遊戲中，也開發有辨識對於人類來說最自然的交流手段即發聲，欲依據該辨識結果來控制遊戲的系統(例如先前技術文獻1)。
另一方面，也開發將電腦所致之電子遊戲應用於語言的學習的系統。作為此種用於語言學的系統，例如開發有自動進行針對語言的發音的評估，所謂發音的自動評定方法。該發音的自動評定係自動推估非母語者的音素(Phoneme)及單字的發音、或文章的發音相較於母語者的發音相差哪種程度，並進行評估的構造(例如專利文獻2)。
[先前技術文獻] [專利文獻]
[專利文獻1]國際公開WO98/02223
[專利文獻2]日本特開2006-84966號公報
然而，單純於電子遊戲組合發音的自動評定的顧奏也容易變得單調，有難持續學習的傾向，並且會變成作為遊戲內之指令操作的發音，故有在實際生活中的自然氣氛及時機中發聲的訓練不夠充分的可能性。
本發明係用以解決相關課題所發明者，目的為提供一邊將語言學習之發聲評估採用於遊戲以提升娛樂性，一邊充實在實際生活中之自然氣氛及時機中發聲的訓練的遊戲系統、遊戲系統的控制方法及遊戲程式。
為了解決前述課題，本發明是一種遊戲系統，係因應遊藝者所致之操作輸入及聲音輸入來使遊戲進行的遊戲系統，其特徵為具備：聲音輸入部，係輸入聲音訊號；聲音辨識部，係藉由比較輸入之聲音訊號與預先訂定之聲音辨識用辭典資料以辨識遊戲者的聲音，並依據該聲音的辨識結果，生成遊戲相關的控制訊號；劇本控制部，係遵照記述使故事進行之事件處理的劇本，使遊戲依序進行；遊戲控制部，係依據操作輸入所致之輸入訊號及藉由聲音辨識部所生成之控制訊號，使劇本進行；遊戲模式執行部，係作為事件處理之一，執行遵照劇本控制部所致之控制，依據藉由聲音辨識部所生成之控制訊號，評估遊藝者所致之發音的正確性的遊戲模式；及故事模式執行部，係作為事件處理之一，執行遵照劇本控制部所致之控制，使角色的行動相關之故事進行的故事模式；遊戲模式執行部，係檢測出相對於所出題的聲音辨識對象問題的遊藝者所致之發音的正確性，根據因應所檢測出之正確性的點數或等級提升來進行評估；故事模式執行部，係具有因應藉由遊戲模式執行部所評估之聲音訊號被遊藝者輸入的狀況，執行角色的動作相關之反應事件處理的功能。
又，本發明是一種遊戲系統，係因應遊藝者所致之操作輸入及聲音輸入來使遊戲進行的遊戲系統，其特徵為具備：聲音輸入部，係輸入聲音訊號；聲音辨識部，係藉由比較輸入之聲音訊號與預先訂定之聲音辨識用辭典資料以辨識遊戲者的聲音，並依據該聲音的辨識結果，生成遊戲相關的控制訊號；劇本控制部，係遵照記述使故事進行之事件處理的劇本，使遊戲依序進行；遊戲控制部，係依據前述操作輸入所致之輸入訊號及藉由前述聲音辨識部所生成之前述控制訊號，使前述劇本進行；遊戲模式執行部，係作為前述事件處理之一，執行遵照前述劇本控制部所致之控制，依據藉由聲音辨識部所生成之控制訊號，評估前述遊藝者所致之發音的正確性的遊戲模式；故事模式執行部，係作為前述事件處理之一，執行遵照前述劇本控制部所致之控制，使角色的行動相關之故事進行的故事模式；及後期錄音資料生成部，係取得與從針對以前述故事模式執行部進行的故事所再生之故事模式用動畫取得之後期錄音用動畫的動畫再生同步輸入的聲音，以生成後期錄音資料；前述遊戲模式執行部，係具有檢測出相對於前述後期錄音用動畫、或與其同步輸入的聲音、又或使用前述後期錄音資料所出題的聲音辨識對象問題之遊藝者所致之發音的正確性，根據因應所檢測出之正確性的點數或等級提升來進行前述評估的功能。
本發明是一種遊戲系統的控制方法，係因應遊藝者所致之操作輸入及聲音輸入來使遊戲進行的遊戲系統的控制方法，其特徵為包含： (1) 聲音辨識步驟，係聲音輸入部受理聲音訊號的輸入，聲音辨識部藉由比較輸入之聲音訊號與預先訂定之聲音辨識用辭典資料以辨識遊戲者的聲音，並依據聲音的辨識結果，生成遊戲相關的控制訊號； (2) 遊戲控制步驟，係依據操作輸入所致之輸入訊號及藉由聲音辨識部所生成之控制訊號，劇本控制部遵照記述使故事進行之事件處理的劇本，使遊戲依序進行； (3) 遊戲模式執行步驟，係遊戲模式執行部作為事件處理之一，執行遵照劇本控制部所致之控制，依據藉由聲音辨識部所生成之控制訊號，評估遊藝者所致之發音的正確性的遊戲模式；及 (4) 故事模式執行步驟，係故事模式執行部作為事件處理之一，執行遵照劇本控制部所致之控制，使角色的行動相關之故事進行的故事模式； (5) 在遊戲模式執行步驟中，檢測出相對於所出題的聲音辨識對象問題的遊藝者所致之發音的正確性，根據因應所檢測出之正確性的點數或等級提升來進行前述評估； (6) 在故事模式中，因應藉由遊戲模式執行部所評估之聲音訊號被遊藝者輸入的狀況，執行角色的動作相關之反應事件處理。
又，本發明是一種遊戲系統的控制方法，係因應遊藝者所致之操作輸入及聲音輸入來使遊戲進行的遊戲系統的控制方法，其特徵為包含： (1) 聲音辨識步驟，係聲音輸入部受理聲音訊號的輸入，聲音辨識部藉由比較輸入之聲音訊號與預先訂定之聲音辨識用辭典資料以辨識遊戲者的聲音，並依據該聲音的辨識結果，生成遊戲相關的控制訊號； (2) 遊戲控制步驟，係依據操作輸入所致之輸入訊號及藉由聲音辨識部所生成之控制訊號，劇本控制部遵照記述使故事進行之事件處理的劇本，使遊戲依序進行； (3) 遊戲模式執行步驟，係遊戲模式執行部作為事件處理之一，執行遵照劇本控制部所致之控制，依據藉由聲音辨識部所生成之控制訊號，評估遊藝者所致之發音的正確性的遊戲模式； (4) 故事模式執行步驟，係故事模式執行部作為事件處理之一，執行遵照劇本控制部所致之控制，使角色的行動相關之故事進行的故事模式；及 (5) 後期錄音資料生成步驟，係後期錄音資料產生部取得與從針對以故事模式執行部進行的故事所再生之故事模式用動畫取得之後期錄音用動畫的動畫再生同步輸入的聲音，以生成後期錄音資料； (6) 在遊戲模式執行步驟中，檢測出相對於後期錄音用動畫、或與其同步輸入的聲音、又或使用後期錄音資料所出題的聲音辨識對象問題之遊藝者所致之發音的正確性，根據因應所檢測出之正確性的點數或等級提升來進行評估。
前述發明中，在故事模式中使用兩種以上的語言，並且在遊戲模式中評估相對於兩種以上的語言相關之聲音辨識對象問題的正確性為佳。又，前述發明中，於故事模式中在因應遊藝者所致之聲音訊號的輸入所發生的事件處理中，遵照遊戲模式中所取得之點數或等級提升，讓角色進行動作為佳。進而，發明中，在故事模式中使用兩種以上的語言，並且在遊戲模式中出題兩種以上的語言相關之聲音辨識對象問題為佳。
又，前述發明係於故事模式中在因應遊藝者所致之聲音訊號的輸入所發生的事件處理中，遵照遊戲模式中所取得之點數或等級提升，讓角色進行動作為佳。
再者，上述之本發明的系統及方法，係可藉由在電腦上執行以所定語言記述之本發明的程式來實現。也就是說，藉由將本發明的程式，安裝於行動終端裝置及智慧型手機、穿戴式終端、行動PC等其他資訊處理終端、個人電腦及伺服器電腦等的萬用電腦的IC晶片、記憶體裝置，且在CPU上執行，可構築具有上述之各功能的系統，以實施本發明的方法。
又，本發明的程式係例如可透過通訊線路來發派，又，也可藉由記錄於電腦可讀取的記錄媒體，作為在獨立式計算機上動作的套裝應用程式來進行讓渡。作為該記錄媒體，具體來說，除了可撓性碟或卡匣等的磁性記錄媒體，或CD-ROM及DVD-ROM等的光碟之外，也可記錄於RAM卡等之各種記錄媒體。然後，依據記錄該程式的電腦可讀取的記錄媒體，可使用萬用的電腦或專用電腦，簡便地實施上述之系統及方法，並且可易於進行程式的保存、搬運及安裝。
如上所述，依據該等發明，可一邊將語言學習之發聲評估採用於遊戲以提升娛樂性，一邊充實在實際生活中之自然氣氛及時機中發聲的訓練。
以下，參照添附圖面，詳細說明關於本發明之遊戲系統及遊戲程式的實施形態。再者，本發明並不完全限定於前述之各實施形態，在實施階段中可在不脫出其要旨的範圍，改變構成要件而具體化。又，可藉由前述實施形態所揭示之複數構成要件的適切組合，形成各種發明。例如，從實施形態所示之整體構成要件刪除幾個構成要件亦可。
(遊戲系統的整體構造) 圖1係揭示本實施形態相關的遊戲系統之整體構造的概念圖。本實施形態的遊戲系統係如圖1所示，由遊藝者即複數遊藝者U(Ua，Ub)所使用之智慧型手機1(1a，1b)，與設置於網際網路2上的遊戲伺服器3概略構成。再者，在本實施形態中，將智慧型手機1作為行動終端裝置的一例進行說明。
遊戲伺服器3係在本實施形態中是進行遊戲進行處理的伺服器，可藉由單一伺服器裝置，或複數伺服器裝置群來實現，將複數功能模組虛擬地構築於CPU上，各個功能模組協力運作以執行處裡。又，該遊戲伺服器3係可藉由通訊功能透過網際網路2，進行資料發送接收，並且可藉由Web伺服器功能透過瀏覽器軟體，進行Web網頁的提示等。
智慧型手機1係利用無線通訊的可攜帶的資訊處理終端裝置，無線基地台22等的中繼點與行動電話機以無線進行通訊，可一邊移動一邊接受通話及資料通訊等的通訊服務。作為該行動電話機的通訊方法，例如除了3D(3rd. Generation)方式、LTE(Long Term Evolution)方式、4G方式、FDMA方式、TDMA方式、CDMA方式、W-CDMA方式之外、PHS(Personal Handyphone System)方式等。又，該智慧型手機1係除了通訊功能之外，搭載數位相機功能、應用程式軟體的執行功能、GPS(Global Positioning System)等所致之位置資訊取得功能等、各種功能，也包含平板電腦PC等的行動電腦。
位置資訊取得功能係取得、記錄表示自身機器之位置的位置資訊的功能，作為該位置資訊取得功能，包含例如像GPS般，根據來自衛星的訊號檢測出自身機器的位置的方法，及如圖1所示般，根據手機的無線基地台22、及來自Wifi通訊的存取點的電波強度等檢測出位置的方法。
然後，該智慧型手機1係具備作為顯示資訊的顯示部的液晶顯示器，並且具備使用者用以進行輸入操作的操作按鍵等的操作裝置，作為該操作裝置，包含重疊配置於液晶顯示器，作為取得指定液晶顯示器上之座標位置的觸控操作等所致之操作訊號的輸入部的觸控面板。具體來說，該觸控面板係藉由使用使用者的指尖及觸控筆等的觸控操作所致之壓力及靜電偵測其他等來輸入操作訊號的輸入裝置，重疊顯示圖形的液晶顯示器，與受理與顯示於該液晶顯示器之圖形的座標位置對應之操作訊號的觸控感測器所構成。
(各裝置的內部構造) 接下來，針對構成上述之遊戲系統的各裝置的內部構造進行說明。圖2係揭示本實施形態的遊戲伺服器3之內部構造的區塊圖，圖3係揭示本實施形態的智慧型手機1之內部構造的區塊圖。再者，在說明中所用的「模組」係表示藉由裝置或機器等的硬體，或者具有該功能的軟體，又或該等的組合等所構成，用以達成所定動作的功能單位。
(1)遊戲伺服器 首先，針對遊戲伺服器3的內部構造進行說明。遊戲伺服器3係配置於網際網路2上的伺服器裝置，可透過網際網路2，與各智慧型手機1進行資料的發送接收。
遊戲伺服器3係具備透過網際網路2進行資料通訊的通訊介面31、認證利用者及利用者資訊的權限的認證部33、管理來自各利用者終端的存取的存取管理部32、執行遊戲整體的遊戲進行處理、及各使用者的遊戲進行處理的遊戲進行處理部36、進行各使用者之發聲學習的管理的發聲學習管理部37、對於個使用者遞送遊戲資料的遊戲資料遞送部34、及各種資料庫群35(35a~35c)。
作為資料庫群35，包含記憶遊戲中所執行之學習遊戲、故事影片中執行之聲音辨識所使用的聲音辭典檔案的聲音辭典資料庫35a、積存利用者相關的資訊的使用者資料庫35b、及作為遊戲整體的遊戲進行處理及各使用者的遊戲進行處理相關之資訊，積存劇本資料、其他資料的遊戲用資料庫35c。作為該等各資料庫，作為單一資料庫亦可，也可作為分割成複數資料庫，利用相互設定關聯將各資料彼此建立關聯的關聯式資料庫。
聲音辭典資料庫35a係記憶遊戲中所執行之學習遊戲、故事影片中執行之聲音辨識所使用的聲音辭典檔案的記憶裝置，除了學習對象的外語(在此為英語)之外，記憶母語(在此為日語)的辭典。再者，在本實施形態中，英語與日語的雙向英譯、日譯也作為聲音辨識對象問題出題，故將聲音辭典檔案設為外語‧母語的兩種類，但是，因應出題的形式等省略任一聲音辭典檔案亦可，進而，對應多種語言，安裝3種以上的聲音辭典檔案亦可。
作為積存於使用者資料庫35b的資訊，包含將特定利用者或利用者所使用之行動終端裝置的識別子(使用者ID、終端ID)，與密碼等建立關聯的認證資訊，也包含與使用者ID建立關聯之利用者的個人資訊、終端裝置的機種等。又，於使用者資料庫35b，也積存有對應各利用者或各利用者終端的認證履歷(存取履歷)、根據與遊戲用資料庫35c的關聯，各使用者的遊戲進行相關之學習等級、遊戲中之狀態、分數、利用履歷等、遊戲中相關的結算資訊等。
作為積存於遊戲用資料庫35c的資訊，作為遊戲用資料，包含用於遊戲進行的劇本、角色及物件的特性、事件處理相關的資訊、圖形資訊等。
認證部33係透過通訊介面31，與各智慧型手機1確立通訊對話，對應其確立之各通訊對話進行認證處理的模組。作為該認證處理，從存取者即利用者的智慧型手機1取得認證資訊，參照使用者資料庫35b，特定利用者等，並認證該等權限。該認證部33所致之認證結果(使用者ID、認證時刻、對話ID等)係送出至遊戲進行處理部36，並且透過存取管理部32，作為認證履歷而積存於使用者資料庫35b。
遊戲進行處理部36係遵照劇本資料，應展開遊戲模式及故事模式，使各種事件處理發生以進行遊戲的模組，執行包含一定規則、邏輯、運算法的遊戲程式，因應角色及物件的位置關係(接近‧接觸等)，使對決戰鬥及迷你遊戲、影片的再生等的事件處理發生。再者，遊戲伺服器3側的遊戲進行處理部36係在本實施形態中，與智慧型手機1側的遊戲進行處理部141協力動作，在遊戲伺服器3側進行遊戲進行處理的一部分，以智慧型手機1側的遊戲進行處理部141執行圖形處理及事件處理的一部分。例如在遊戲伺服器3側，除了劇本的進行、使用者的學習達成等級之外，依據使用者的角色的位置、位置的位置等，預測可能發生的事件處理，在遊戲伺服器3側使其發生條件發生，並將其條件發送至智慧型手機1側，實際的事件處理的發生及用於其的圖形處理係依據從遊戲伺服器3接收的發生條件，在智慧型手機1側執行。
發聲學習管理部37係遵照遊戲進行處理部36所致之遊戲進行，對使用者出題發聲用問題，並因應其發聲的正確性，更新對於使用者的評估的模組。該發聲用問題係有在遊戲伺服器3側生成的狀況、在智慧型手機1側生成的狀況、遊戲伺服器3與智慧型手機1兩者協力動作生成的狀況，發聲學習管理部37係管理在遊戲伺服器3側生成，或積存的聲音學習用的辭典檔案，與在智慧型手機1側生成、積存的辭典檔案，並比較兩者的辭典檔案，因應需要將辭典檔案的全部或一部分遞送至智慧型手機1側，謀求兩者的同步。
遊戲資料遞送部34係依據使用者的學習等級，遵照發聲學習管理部37所致之控制，為了讓發聲學習管理部37所生成之發生用問題及聲音辨識用的辭典檔案同步，將該等檔案透過通訊介面31，遞送給各使用者的模組。
(2)智慧型手機1 接下來，針對智慧型手機1的內部構造進行說明。如圖3所示，智慧型手機1係具備通訊介面11、輸入介面12、輸出介面13、應用程式執行部14、記憶體15。
通訊介面11係用以進行資料通訊的通訊介面，具備無線等所致之非接觸通訊、及藉由纜線、轉接器手段等進行接觸(有線)通訊的功能。輸入介面12係滑鼠、鍵盤、操作按鍵及觸控面板12a等，輸入使用者操作的裝置。又，輸出介面13係顯示器或揚聲器等，輸出映像及音響的裝置。尤其，於該輸出介面13，包含液晶顯示器等的顯示部13a，該顯示部重疊於輸入介面即觸控面板12a。
記憶體15係記憶OS(Operating System)及韌體、各種應用程式用的程式、其他資料等的記憶裝置，於該記憶體15內，除了識別使用者的使用者ID之外，積存從遊戲伺服器3下載的遊戲應用程式資料，並且積存以應用程式執行部14處理的遊戲資料等。尤其，在本實施形態中，於記憶體15，儲存從遊戲伺服器3取得之劇本資料、及故事模式中所用之影片資料、聲音學習用問題、辨識用的辭典檔案等。
應用程式執行部14係執行一般的OS及遊戲應用程式、瀏覽器軟體等的應用程式的模組，通常藉由CPU等實現。在該應用程式執行部14中，利用執行本發明的遊戲程式，虛擬構築遊戲進行處理部141、劇本控制部142、事件控制部143、聲音辨識處理部144、顯示控制部145、顯示資料生成部146、及後期錄音資料控制部147。
遊戲進行處理部141係作為事件處理之一，執行遵照劇本控制部142所致之控制，依據藉由聲音辨識處理部144所生成之控制訊號，評估遊藝者U所致之發音的正確性的遊戲模式的遊戲模式執行部。於本實施形態中，遊戲進行處理部141係具有藉由與遊戲伺服器3中所執行的遊戲程式相同的規則‧邏輯‧運算法，依序展開故事模式與遊戲模式，使各種事件處理發生以進行遊戲的功能，一邊透過劇本控制部142，與遊戲伺服器3側的遊戲進行處理部36同步，一邊因應使用者的學習等級、角色及物件的位置關係(接近‧接觸等)，使戰鬥遊戲及影片的再生等的事件處理發生。
遊戲進行處理部141係在本實施形態中，與遊戲伺服器3側的遊戲進行處理部141協力動作，在遊戲伺服器3側進行遊戲進行處理的一部分，以智慧型手機1a側的遊戲進行處理部141執行圖形處理及事件處理的一部分。例如，在遊戲伺服器3側使事件發生的條件等發生，將其條件發送至智慧型手機1側，實際的事件處理的發生及用於其的圖形處理係在智慧型手機1側執行。
遊戲進行處理部141係具備劇本控制部142與事件控制部143。該事件控制部143係具備遊戲模式執行部143a、故事模式執行部143b、後期錄音模式執行部143c。
故事模式執行部143b係遵照劇本控制部142所致之控制，作為事件處理之一，執行角色的行動相關的故事模式的模組，遊戲模式執行部143a係檢測出相對於出題的發音問題(聲音辨識對象問題)之發音的正確性，根據因應所檢測出之點數或等級提升來進行評估的模組。在故事模式執行部143b中，與因應遊藝者U所致之聲音訊號的輸入所發生之事件處理因應的角色的反應動作，因應該反應動作之事件處理的顯示資料係以反應動作處理部146a生成。
又，後期錄音模式執行部143c係執行從針對以故事模式執行部143b進行的故事所再生之故事模式用動畫取得之後期錄音用動畫，與該取得之後期錄音用動畫的動畫再生同步輸入聲音，以生成後期錄音資料的後期錄音模式的模組。具體來說，後期錄音資料生成部144b係藉由後期錄音模式執行部143c執行後期錄音模式時，將輸入聲音資料D3錄音並且分析其聲音波形，因應需要藉由變聲功能等進行加工處理，藉由對嘴處理，以符合輸入聲音資料D3的聲音波形，調整動畫中的角色的動作。又，後期錄音資料生成部144b係將如此施加聲音加工及對嘴處理的輸入聲音資料D3與後期錄音用資料D2合成，生成已後期錄音動畫D5。
劇本控制部142係操作輸入所致之輸入訊號及藉由聲音辨識處理部144所生成之控制訊號，使劇本進行的模組，在本實施形態中，具有遵照記述了遊戲模式及故事模式的展開的劇本資料，使智慧型手機1側的遊戲進行處理，與遊戲伺服器3側的遊戲進行處理同步的功能。具體來說，在遊戲伺服器3側，依據劇本資料之遊戲進行程度、及其他使用者的角色的位置、物件的位置等，預測可能發生的事件處理，在使其發生條件在遊戲伺服器3側發生，並將其條件發送至智慧型手機1a側。遊戲進行處理部141係以劇本控制部142接收從該伺服器側發送來的發生條件，依據從遊戲伺服器3接收的發生條件，以智慧型手機1側的遊戲進行處理部141執行實際的事件處理的發生及用於其的圖形處理。
以該智慧型手機1側的遊戲進行處理部141執行之事件處理的結果(故事的進行、戰鬥及迷你遊戲的勝敗及分數等)透過劇本控制部142通知遊戲伺服器3側的遊戲進行處理部141，反映至之後的遊戲進行處理。
聲音辨識處理部144係藉由比較透過輸入介 面12所輸入之聲音訊號與預先訂定之聲音辨識用辭典資料以辨識遊戲者U的聲音，並依據聲音的辨識結果，生成遊戲相關的控制訊號的模組，在本實施形態中，具備評估部144a及後期錄音資料生成部144b。評估部144a係遵照劇本控制部142所致之控制，依據藉由聲音辨識處理部144所生成之控制訊號，評估遊藝者U所致之發音的正確性的模組。該評估部所致之評估結果係送出至遊戲進行處理部141。又，後期錄音資料生成部144b係取得針對以故事模式執行部143b進行的故事所再生之後期錄音用動畫的動畫再生同步輸入的聲音，以生成後期錄音資料的模組。
顯示資料生成部146係生成用以顯示於顯示部13a的顯示資料的模組。顯示資料係除了圖形資料之外，組合畫像資料、及文字資料、動畫資料、聲音其他資料所生成的資料。該顯示資料生成部146係具備反應動作處理部146a，該反應動作處理部146a係遵照遊戲進行處理部141所致之遊戲進行，生成表示使用者的角色之動作的動畫的模組。本實施形態之顯示控制部145係具備顯示模式切換部145a。該顯示模式切換部145a係顯示因應顯示模式的圖形。
後期錄音資料控制部147係管理‧控制後期錄音模式中所用之各種資料的模組。具體來說，後期錄音資料控制部147係管理‧控制已後期錄音動畫D5，後期錄音模式中除了作為後期錄音模式的執行結果而再生已後期錄音動畫D5之外，例如，故事的回想場面等，於故事動畫 再生處理中也再生已後期錄音動畫D5，或將已後期錄音動畫D5轉換成遊戲模式之出題用動畫D41及出題用的聲音，在遊戲模式之出題處理中再生。
(遊戲用畫像處理的動作)
可藉由使以上所說明的系統動作，實施本發明的遊戲系統的控制方法。圖4係揭示系統之動作的序列圖。再者，以下所說明的處理步驟僅為一例，各處理盡可能變更亦可。又，針對以下所說明的處理步驟，可因應實施形態，適當進行步驟的省略、置換及追加。
如圖4所示，首先，在智慧型手機1上啟動遊戲應用程式，開始學習遊戲(S201)。此時，在應用程式上參照劇本資料，讀取出使用者的現在的學習等級及遊戲的進行程度，從上次結束時間點的後續開始。開始遊戲時，伴隨遊戲的進行而參照劇本資料，監視事件的發生條件(S202)，到滿足事件的發生條件為止重複進行(S203之「N」)。
滿足事件發生條件時(S203之「Y」)，參照劇本資料，選擇應發生的事件處理是遊戲模式或故事模式，又或後期錄音模式(S204)。該等模式係依據劇本資料判斷，在故事模式的狀況中，接觸地圖上的敵人及怪物等的物件而開始戰鬥，或到達劇本資料上之所定故事分歧點時等適當選擇。
於選擇遊戲模式時(S204之「遊戲模式」)， 切換成如圖6(a)及(b)所示之戰鬥場面畫面，於該戰鬥場面畫面中，為了打倒敵方角色Ob1，使用顯示於圖形使用者介面G1上的道具I1或道具I2，執行攻擊。該攻擊係如同圖(b)所示，藉由使用者操作選擇攻擊所用的道具，可因應該選擇，以對應此時的使用者的等級(體力、魔法力、語文能力等)之種別及強度執行。此時，遵照劇本控制部142所致之控制，依據藉由聲音辨識處理部144所生成之控制訊號，評估遊藝者U所致之發音的正確性，執行因應該評估程度的攻擊力。詳細說明的話，遊戲模式執行部143a係如同圖(c)所示，顯示出題應發生的單字及成語的視窗G3，檢測出相對於該出題之發音問題的遊藝者所致之發音的正確性，進行因應檢測出之正確性的種別‧強度的攻擊，根據藉由該攻擊所給予敵人的傷害的點數或等級提升來進行評估。
另一方面，於步驟S204中，選擇故事模式時(S204之「故事模式」)，藉由故事模式執行部143b執行故事模式(S205)，因應對應遊藝者所致之聲音訊號的輸入所發生的事件處理，使角色動作(S206)。詳細說明的話，在本實施形態之故事模式中，採用所謂「劇中劇」的形式，如圖5(a)及(b)所示，劇場St1成為故事模式的虛擬空間，在其劇場St1內的舞台St2上，以虛擬的角色Ca1~3進行話劇的方式展開故事。再者，作為播出該劇場St1的映像，可使用所謂VR(虛擬實境：Virtual Reality)及AR(擴增實境：Augmented Reality)技術進行3維顯示。
遊戲的遊藝者可作為坐在劇場St1內的觀眾席St10的觀眾之一來參加遊戲，遊藝者係透過智慧型手機1的麥克風等，對顯示於顯示部13a的舞台St2上的角色Ca1~3等進行搭話。
例如，如圖7(a)及(b)所示，成為在舞台St2上少女的角色Ca1為了故事展開而進行表演，並且遊藝者係作為坐在觀眾席St10的觀眾之一參加遊戲的設定。此種設定的狀況下，無關於遊戲的故事，遊藝者透過智慧型手機1的麥克風，對舞台St2上的角色Ca1進行搭話時，會以採取因應其聲音的反應之方式發生事件。
例如，遊藝者朝向麥克風進行加油及嘲諷、注意等的所謂「搭話」時，讓角色採取因應其聲音的不規則動作。作為該不規則動作，例如除了角色朝向照出角色之虛擬相機的方向「相機視線」、從虛擬空間中的關卡，朝向對應遊藝者的角色坐下之觀眾席的方向(從角色來看為聲音發生方向)等之外，可舉出危險逼近關卡上的角色時等，叫出角色的名字，或發出「後面!後面!」的注意等。
再者，作為該遊藝者所致之搭話的時機，例如於畫面上顯示以圖形表示麥克風的標記，或如圖7(a)所示，從觀眾席(對應遊藝者的角色坐下側)，與其發生一起顯示像搭話之一例的「Watch Out!」的文字列亦可。再者，作為該製造時機的其他方法，使其他觀眾的角色所致之搭話的聲音自動發生，遊藝者容易模仿進行搭話亦可。又，與該搭話的製造時機同步使麥克風ON‧OFF亦可，又，在其他角色講話之間不讓該搭話的製造時機的事件處理發生亦可。
此時，在進行之遊戲中的劇中劇中，例如，像英語與日語般使用兩種以上的語言，在上述之遊戲模式中，出題該兩種以上的語言相關之聲音辨識對象即英語及日語的發音問題。例如日語的成語以文字列顯示，發生對應其文字列的英語，相反地顯示英語的文字列，發生對應其英語的日語等，提出雙向的翻譯問題等。
然後，以包含在該遊戲模式中所出題之發音問題的單字或成語，即使在故事模式的劇中劇中也在角色Ca1~3等所致之會話中使用之方式構成劇本。遊藝者係在對舞台St2上的角色搭話時，以前述已出題且成為評估對象的發音問題的聲音進行發聲亦可，又，也可以未出題之字彙及成語進行發聲。評估部144a係因應該遊藝者講出之字彙及成語是被出題者，或前述兩種以上語言中對於遊藝者來說是外語或母語，進行其搭話相關的評估，角色Ca1係具備因應其評估結果，變更反應的種類的功能。
進而，於該故事模式中，以因應遊藝者的聲音訊號的輸入所致之對舞台St2上的角色Ca1~3的搭話所發生的事件處理中，遵照故事的展開、關卡、地圖上的位置、遊戲模式中所取得之點數及等級提升，角色Ca1~3的反應不同之方式動作。又，該故事模式之搭話所致之遊戲上的效果，係除了角色的反應之外，作為點數及道具、等級提升等的遊戲進行相關的價值資訊亦可，該價值資訊的內容(例如獲得點數等)係與和故事模式連結進行之遊戲模式的等級、關卡、分數同步亦可。又，將遊戲模式中進行訓練的成語使用於故事模式中的搭話時，也使點數及道具等的價值資訊或遊戲上的效果、角色的反應的變動等變化亦可。
另一方面，於步驟S204中，選擇後期錄音模式時(S204之「後期錄音模式」)，藉由後期錄音執行部143c執行後期錄音(S212)，取得並評估與後期錄音用動畫的動畫再生同步輸入的聲音(S213)，生成並積存後期錄音資料(S214)。
針對該後期錄音模式詳細說明的話，首先，後期錄音資料生成部144b從記憶體15等讀取出故事模式用動畫D1(S301)，取得後期錄音用資料D2(S302)。該後期錄音用動畫D2的取得係作為切出故事模式用動畫D1中的所定場面者亦可，作為預先對應後期錄音用資料D2的所定場面的動畫亦可。作為該後期錄音用資料D2，在本實施形態中，除了表示背景及角色動作的動畫資料之外，將對嘴用的嘴巴部分的圖形資料、效果音或背景音、範本聲音等的聲音資料、發生導引或字幕用的正文資料等，設為將各個資料分解成不同層或檔案的專案檔形式。該後期錄音用資料D2係送出至聲音辨識處理部144的後期錄音資料生成部144b，並且以於藉由遊戲模式執行部143a執行的遊戲中也可利用之方式積存於記憶體15。
以該後期錄音資料生成部144b生成的後期錄音用資料D2係藉由後期錄音模式執行部143c執行後期錄音模式時再生(S303)，顯示於顯示部13a等(S304)。該後期錄音用資料D2係例如圖9所示般，於表示背景及角色Ca4的動作的動畫資料，將發聲導引用的正文資料Txt1或字幕用的正文資料Txt2分別描繪於不同層上，重疊各層顯示。又，於該後期錄音用資料D2，也包含開始或停止同步錄音之操作用的GUI(Graphical User Interface)Ob21、及用以顯示表示錄音中的圖形Ob22的資料。
然後，與該後期錄音用資料D2的再生處理同步，使遊藝者U輸入聲音，對輸入的聲音進行錄音(S402)。在該步驟S401所輸入的聲音，係遵照劇本控制部142所致之控制，依據藉由聲音辨識處理部144所生成之控制訊號，藉由評估部144評估發音的正確性。該正確性的評估係依據表示與後期錄音用資料D2之範本聲音的波形之符合度的數值等來進行，確保充分的正確性時(超過所定閾值等)結束同步錄音，正確性不夠充分時(低於所定閾值等)則執行督促再錄音等的處理。
該同步錄音的輸入聲音資料D3係藉由後期錄音資料生成部144b，分析該聲音波形(S403)，因應需要，藉由變聲功能等進行加工處理(S404)。該被加工的輸入聲音資料D3係交給對嘴處理S405，並且作為出題用聲音D42積存於記憶體15。在步驟S405的對嘴處理中，為了將配合後期錄音用資料D2所輸入的聲音資料D3，更加提升與後期錄音用資料D2的同步精度，以符合輸入聲音資料D3的聲音波形之方式，調整動畫中的角色的動作。如此施加聲音加工及對嘴處理的輸入聲音資料D3係與後期錄音用資料D2合成，構成已後期錄音動畫D5。
該已後期錄音動畫D5係藉由後期錄音資料控制部147管理‧控制，後期錄音模式中除了在已後期錄音動畫再生處理(S407)中再生之外，例如也利用於故事的回想場面等，故事動畫再生處理(S406)中。又，已後期錄音動畫D5係轉換成遊戲模式之出題用動畫D41，也利用於遊戲模式之出題處理(S408)中。
然後，因應遊戲模式執行中的聲音評估(S208)及故事模式執行中之事件處理(S206)，更新學習等級(S209)，進行劇本(S210)。上述之各處理S202~S210係到遊戲結束(S211之「Y」)為止重複進行(S211之「N」)。
(作用‧效果) 如以上所說明般，依據本實施形態，藉由將評估遊藝者所致之外語的發生的構造，採用於可利用智慧型手機1等的終端裝置執行的遊戲應用程式，可一邊提升娛樂性一邊容易進行言語的學習，並且藉由採用對舞台St2上的角色搭話等的設定，可充實在實際生活中之自然氣氛及時機發生的訓練。
G1‧‧‧圖形使用者介面 G3‧‧‧視窗 I1，I2‧‧‧道具 U(Ua，Ub)‧‧‧遊藝者 1(1a，1b)‧‧‧智慧型手機 2‧‧‧網際網路 3‧‧‧遊戲伺服器 11‧‧‧通訊介面 12‧‧‧輸入介面 12a‧‧‧觸控面板 13‧‧‧輸出介面 13a‧‧‧顯示器 14‧‧‧應用程式執行部 15‧‧‧記憶體 22‧‧‧無線基地台 31‧‧‧通訊介面 32‧‧‧存取管理部 33‧‧‧認證部 34‧‧‧遊戲資料遞送部 35‧‧‧資料庫群 35a‧‧‧聲音辭典資料庫 35b‧‧‧使用者資料庫 35c‧‧‧遊戲用資料庫 36‧‧‧遊戲進行處理部 37‧‧‧發聲學習管理部 141‧‧‧遊戲進行處理部 142‧‧‧劇本控制部 143‧‧‧事件控制部 143a‧‧‧遊戲模式執行部 143b‧‧‧故事模式執行部 143c‧‧‧後期錄音模式執行部 144‧‧‧聲音辨識處理部 144a‧‧‧評估部 144b‧‧‧後期錄音資料生成部 145‧‧‧顯示控制部 145a‧‧‧顯示模式切換部 146‧‧‧顯示資料生成部 146a‧‧‧反應動作處理部 147‧‧‧後期錄音資料控制部
[圖1] 揭示實施形態相關的遊戲系統之整體構造的功能區塊圖。 [圖2] 揭示實施形態相關的遊戲伺服器之內部構造的區塊圖。 [圖3] 揭示實施形態相關的使用者終端之內部構造的區塊圖。 [圖4] 揭示實施形態相關的遊戲系統之動作的序列圖。 [圖5] 揭示實施形態相關的遊戲系統之劇場空間的畫面構造的說明圖。 [圖6] 揭示實施形態相關的遊戲系統之遊戲模式的畫面構造的說明圖。 [圖7] 揭示實施形態相關的遊戲系統之故事模式的畫面構造的說明圖。 [圖8] 揭示實施形態相關的後期錄音模式時之動作的流程圖。 [圖9] 揭示實施形態相關的遊戲系統之後期錄音模式的畫面構造的說明圖。
1‧‧‧智慧型手機
11‧‧‧通訊介面
12‧‧‧輸入介面
12a‧‧‧觸控面板
13‧‧‧輸出介面
13a‧‧‧顯示器
14‧‧‧應用程式執行部
15‧‧‧記憶體
141‧‧‧遊戲進行處理部
142‧‧‧劇本控制部
143‧‧‧事件控制部
143a‧‧‧遊戲模式執行部
143b‧‧‧故事模式執行部
143c‧‧‧後期錄音模式執行部
144‧‧‧聲音辨識處理部
144a‧‧‧評估部
144b‧‧‧後期錄音資料生成部
145‧‧‧顯示控制部
145a‧‧‧顯示模式切換部
146‧‧‧顯示資料生成部
146a‧‧‧反應動作處理部
147‧‧‧後期錄音資料控制部

Claims (12)

  1. 一種遊戲系統，係因應遊藝者所致之操作輸入及聲音輸入來使遊戲進行的遊戲系統，其特徵為具備：聲音輸入部，係輸入聲音訊號；聲音辨識部，係藉由比較輸入之聲音訊號與預先訂定之聲音辨識用辭典資料以辨識遊戲者的聲音，並依據該聲音的辨識結果，生成遊戲相關的控制訊號；劇本控制部，係遵照記述使故事進行之事件處理的劇本，使遊戲依序進行；遊戲控制部，係依據前述操作輸入所致之輸入訊號及藉由前述聲音辨識部所生成之前述控制訊號，使前述劇本進行；遊戲模式執行部，係作為前述事件處理之一，執行遵照前述劇本控制部所致之控制，依據藉由前述聲音辨識部所生成之控制訊號，評估前述遊藝者所致之發音的正確性的遊戲模式；及故事模式執行部，係作為前述事件處理之一，執行遵照前述劇本控制部所致之控制，使角色的行動相關之故事進行的故事模式；前述遊戲模式執行部，係檢測出相對於前述遊戲模式的訓練中所出題之包含成語的聲音辨識對象問題的遊藝者所致之發音的正確性，根據因應所檢測出之正確性的點數或等級提升來進行前述評估； 前述故事模式執行部，係具有因應藉由前述遊戲模式執行部所評估之包含前述成語的聲音訊號於前述故事模式中被遊藝者輸入的狀況，執行前述角色的動作相關之反應事件處理的功能。
  2. 一種遊戲系統，係因應遊藝者所致之操作輸入及聲音輸入來使遊戲進行的遊戲系統，其特徵為具備：聲音輸入部，係輸入聲音訊號；聲音辨識部，係藉由比較輸入之聲音訊號與預先訂定之聲音辨識用辭典資料以辨識遊戲者的聲音，並依據該聲音的辨識結果，生成遊戲相關的控制訊號；劇本控制部，係遵照記述使故事進行之事件處理的劇本，使遊戲依序進行；遊戲控制部，係依據前述操作輸入所致之輸入訊號及藉由前述聲音辨識部所生成之前述控制訊號，使前述劇本進行；遊戲模式執行部，係作為前述事件處理之一，執行遵照前述劇本控制部所致之控制，依據藉由前述聲音辨識部所生成之控制訊號，評估前述遊藝者所致之發音的正確性的遊戲模式；故事模式執行部，係作為前述事件處理之一，執行遵照前述劇本控制部所致之控制，使角色的行動相關之故事進行的故事模式；及後期錄音資料生成部，係取得與從針對以前述故事模 式執行部進行的故事所再生之故事模式用動畫取得之後期錄音用動畫的動畫再生同步輸入的聲音，以生成後期錄音資料；前述遊戲模式執行部，係具有檢測出相對於使用包含與前述後期錄音用動畫同步輸入之聲音的前述後期錄音資料所出題之聲音辨識對象問題的遊藝者所致之發音的正確性，根據因應所檢測出之正確性的點數或等級提升來進行前述評估的功能。
  3. 如申請專利範圍第1項或第2項所記載之遊戲系統，其中，在前述故事模式中使用兩種以上的語言，並且在前述遊戲模式中評估相對於前述兩種以上的語言相關之聲音辨識對象問題的正確性。
  4. 如申請專利範圍第1項或第2項所記載之遊戲系統，其中，於前述故事模式中在因應前述遊藝者所致之聲音訊號的輸入所發生的事件處理中，遵照前述遊戲模式中所取得之前述點數或等級提升，讓前述角色進行動作。
  5. 一種遊戲系統的控制方法，係因應遊藝者所致之操作輸入及聲音輸入來使遊戲進行之遊戲系統的控制方法，其特徵為包含： 聲音辨識步驟，係聲音輸入部受理聲音訊號的輸入，聲音辨識部藉由比較輸入之聲音訊號與預先訂定之聲音辨識用辭典資料以辨識遊戲者的聲音，並依據該聲音的辨識結果，生成遊戲相關的控制訊號；遊戲控制步驟，係依據前述操作輸入所致之輸入訊號及藉由前述聲音辨識部所生成之前述控制訊號，劇本控制部遵照記述使故事進行之事件處理的劇本，使遊戲依序進行；遊戲模式執行步驟，係遊戲模式執行部作為前述事件處理之一，執行遵照前述劇本控制部所致之控制，依據藉由前述聲音辨識部所生成之控制訊號，評估前述遊藝者所致之發音的正確性的遊戲模式；及故事模式執行步驟，係故事模式執行部作為前述事件處理之一，執行遵照前述劇本控制部所致之控制，使角色的行動相關之故事進行的故事模式；在前述遊戲模式執行步驟中，檢測出相對於前述遊戲模式的訓練中所出題之包含成語的聲音辨識對象問題的遊藝者所致之發音的正確性，根據因應所檢測出之正確性的點數或等級提升來進行前述評估；在前述故事模式中，因應藉由前述遊戲模式執行部所評估之包含前述成語的聲音訊號於前述故事模式中被遊藝者輸入的狀況，執行前述角色的動作相關之反應事件處理。
  6. 一種遊戲系統的控制方法，係因應遊藝者所致之操作輸入及聲音輸入來使遊戲進行之遊戲系統的控制方法，其特徵為包含：聲音辨識步驟，係聲音輸入部受理聲音訊號的輸入，聲音辨識部藉由比較輸入之聲音訊號與預先訂定之聲音辨識用辭典資料以辨識遊戲者的聲音，並依據該聲音的辨識結果，生成遊戲相關的控制訊號；遊戲控制步驟，係依據前述操作輸入所致之輸入訊號及藉由前述聲音辨識部所生成之前述控制訊號，劇本控制部遵照記述使故事進行之事件處理的劇本，使遊戲依序進行；遊戲模式執行步驟，係遊戲模式執行部作為前述事件處理之一，執行遵照前述劇本控制部所致之控制，依據藉由前述聲音辨識部所生成之控制訊號，評估前述遊藝者所致之發音的正確性的遊戲模式；故事模式執行步驟，係故事模式執行部作為前述事件處理之一，執行遵照前述劇本控制部所致之控制，使角色的行動相關之故事進行的故事模式；及後期錄音資料生成步驟，係後期錄音資料產生部取得與從針對以前述故事模式執行部進行的故事所再生之故事模式用動畫取得之後期錄音用動畫的動畫再生同步輸入的聲音，以生成後期錄音資料；在前述遊戲模式執行步驟中，檢測出相對於使用包含與前述後期錄音用動畫同步輸入之聲音的前述後期錄音資 料所出題之聲音辨識對象問題的遊藝者所致之發音的正確性，根據因應所檢測出之正確性的點數或等級提升來進行前述評估。
  7. 如申請專利範圍第5項或第6項所記載之遊戲系統的控制方法，其中，在前述故事模式中使用兩種以上的語言，並且在前述遊戲模式中評估相對於前述兩種以上的語言相關之聲音辨識對象問題的正確性。
  8. 如申請專利範圍第5項或第6項所記載之遊戲系統的控制方法，其中，於前述故事模式中在因應前述遊藝者所致之聲音訊號的輸入所發生的事件處理中，遵照前述遊戲模式中所取得之前述點數或等級提升，讓前述角色進行動作。
  9. 一種遊戲程式，係因應遊藝者所致之操作輸入及聲音輸入來使遊戲進行的遊戲程式，其特徵為使電腦具有作為以下構件的功能：聲音輸入部，係輸入聲音訊號；聲音辨識部，係藉由比較輸入之聲音訊號與預先訂定之聲音辨識用辭典資料以辨識遊戲者的聲音，並依據該聲音的辨識結果，生成遊戲相關的控制訊號；劇本控制部，係遵照記述使故事進行之事件處理的劇 本，使遊戲依序進行；遊戲控制部，係依據前述操作輸入所致之輸入訊號及藉由前述聲音辨識部所生成之前述控制訊號，使前述劇本進行；遊戲模式執行部，係作為前述事件處理之一，執行遵照前述劇本控制部所致之控制，依據藉由前述聲音辨識部所生成之控制訊號，評估前述遊藝者所致之發音的正確性的遊戲模式；及故事模式執行部，係作為前述事件處理之一，執行遵照前述劇本控制部所致之控制，使角色的行動相關之故事進行的故事模式；前述遊戲模式執行部，係檢測出相對於前述遊戲模式的訓練中所出題之包含成語的聲音辨識對象問題的遊藝者所致之發音的正確性，根據因應所檢測出之正確性的點數或等級提升來進行前述評估；前述故事模式執行部，係具有因應藉由前述遊戲模式執行部所評估之包含前述成語的聲音訊號於前述故事模式中被遊藝者輸入的狀況，執行前述角色的動作相關之反應事件處理的功能。
  10. 一種遊戲程式，係因應遊藝者所致之操作輸入及聲音輸入來使遊戲進行的遊戲程式，其特徵為使電腦具有作為以下構件的功能：聲音輸入部，係輸入聲音訊號； 聲音辨識部，係藉由比較輸入之聲音訊號與預先訂定之聲音辨識用辭典資料以辨識遊戲者的聲音，並依據該聲音的辨識結果，生成遊戲相關的控制訊號；劇本控制部，係遵照記述使故事進行之事件處理的劇本，使遊戲依序進行；遊戲控制部，係依據前述操作輸入所致之輸入訊號及藉由前述聲音辨識部所生成之前述控制訊號，使前述劇本進行；遊戲模式執行部，係作為前述事件處理之一，執行遵照前述劇本控制部所致之控制，依據藉由前述聲音辨識部所生成之控制訊號，評估前述遊藝者所致之發音的正確性的遊戲模式；故事模式執行部，係作為前述事件處理之一，執行遵照前述劇本控制部所致之控制，使角色的行動相關之故事進行的故事模式；及後期錄音資料生成部，係取得與從針對以前述故事模式執行部進行的故事所再生之故事模式用動畫取得之後期錄音用動畫的動畫再生同步輸入的聲音，以生成後期錄音資料；前述遊戲模式執行部，係具有檢測出相對於使用包含與前述後期錄音用動畫同步輸入之聲音的前述後期錄音資料所出題之聲音辨識對象問題的遊藝者所致之發音的正確性，根據因應所檢測出之正確性的點數或等級提升來進行前述評估的功能。
  11. 如申請專利範圍第9項或第10項所記載之遊戲程式，其中，在前述故事模式中使用兩種以上的語言，並且在前述遊戲模式中評估相對於前述兩種以上的語言相關之聲音辨識對象問題的正確性。
  12. 如申請專利範圍第9項或第10項所記載之遊戲程式，其中，於前述故事模式中在因應前述遊藝者所致之聲音訊號的輸入所發生的事件處理中，遵照前述遊戲模式中所取得之前述點數或等級提升，讓前述角色進行動作。
TW108121673A 2018-06-22 2019-06-21 遊戲系統、遊戲系統的控制方法及遊戲程式 TWI825111B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018118808 2018-06-22
JP2018-118808 2018-06-22

Publications (2)

Publication Number Publication Date
TW202005688A TW202005688A (zh) 2020-02-01
TWI825111B true TWI825111B (zh) 2023-12-11

Family

ID=68983701

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108121673A TWI825111B (zh) 2018-06-22 2019-06-21 遊戲系統、遊戲系統的控制方法及遊戲程式

Country Status (3)

Country Link
JP (1) JP7330518B2 (zh)
TW (1) TWI825111B (zh)
WO (1) WO2019245003A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7452867B2 (ja) * 2021-02-17 2024-03-19 ゲシピ株式会社 言語学習装置及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200935916A (en) * 2007-12-05 2009-08-16 Onlive Inc System and method for compressing video by adjusting tile size based on detected intraframe motion or scene complexity
JP2012050791A (ja) * 2010-09-03 2012-03-15 Konami Digital Entertainment Co Ltd キャラクター表示装置、キャラクター表示方法、ならびに、プログラム
JP2012100798A (ja) * 2010-11-09 2012-05-31 Tomohiro Maki 携帯型ゲーム機

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3491833B2 (ja) 2001-02-16 2004-01-26 株式会社ナムコ プログラム、情報記憶媒体及び遊戯装置
US20160307453A1 (en) * 2015-04-16 2016-10-20 Kadho Inc. System and method for auditory capacity development for language processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200935916A (en) * 2007-12-05 2009-08-16 Onlive Inc System and method for compressing video by adjusting tile size based on detected intraframe motion or scene complexity
JP2012050791A (ja) * 2010-09-03 2012-03-15 Konami Digital Entertainment Co Ltd キャラクター表示装置、キャラクター表示方法、ならびに、プログラム
JP2012100798A (ja) * 2010-11-09 2012-05-31 Tomohiro Maki 携帯型ゲーム機

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
網路文獻 薄荷旗有限公司 "全新智能手機英語學習應用『麥格納與神秘少女』" PRTIMES 2017-07-25 URL:https://prtimes.jp/main/html/rd/p/000000001.000027398.html *

Also Published As

Publication number Publication date
TW202005688A (zh) 2020-02-01
WO2019245003A1 (ja) 2019-12-26
JP7330518B2 (ja) 2023-08-22
JPWO2019245003A1 (ja) 2021-07-15

Similar Documents

Publication Publication Date Title
EP4165499B1 (en) Audio associations for interactive media event triggering
JP6655552B2 (ja) ロボットとの対話を取り扱う方法とシステム
KR101743230B1 (ko) 가상현실 및 음성인식 기반의 실감 어학학습 콘텐츠 제공 장치 및 방법
CN106774845B (zh) 一种智能交互方法、装置及终端设备
CN115497448B (zh) 语音动画的合成方法、装置、电子设备及存储介质
CN111359209B (zh) 视频播放方法、装置和终端
WO2023096275A1 (ko) 텍스트 기반 아바타 생성 방법 및 시스템
WO2020159073A1 (ko) 단말기의 음성인식 기능과 tts 기능을 이용한 상호 음성전달에 의한 대화형 외국어 학습방법
JP2024509710A (ja) データ処理方法、装置、機器、及びコンピュータプログラム
KR102659886B1 (ko) 가상 현실 및 ai 인식 영어 학습 시스템
TWI825111B (zh) 遊戲系統、遊戲系統的控制方法及遊戲程式
EP4559192A1 (en) Contextual scene enhancement
US11765435B2 (en) Text tagging and graphical enhancement
US20240203435A1 (en) Information processing method, apparatus and computer program
CN116883561B (zh) 动画生成方法、动作控制器的训练方法、装置及设备
US20250041733A1 (en) Modifying gameplay experiences
JP2017146402A (ja) 学習支援装置及びプログラム
CN116212362A (zh) 历史与民族文化互动式体验游戏系统、控制方法及介质
KR20240012911A (ko) 언어 학습 콘텐츠 제공 방법 및 장치
CN115565518A (zh) 互动游戏中玩家配音的处理方法及相关装置
CN117372588A (zh) 口型图像生成方法及装置
JP2010263951A (ja) プログラム、情報記憶媒体及び電子機器
JP3740149B2 (ja) ゲーム装置及びプログラム
JP6535999B2 (ja) 言語学習装置、言語学習方法及びプログラム
US20240304174A1 (en) Ambient Noise Capture for Speech Synthesis of In-Game Character Voices