JP2000250575A - 双方向性テレビ受像機を自動的に選局するための音声理解装置およびその方法 - Google Patents
双方向性テレビ受像機を自動的に選局するための音声理解装置およびその方法Info
- Publication number
- JP2000250575A JP2000250575A JP2000055787A JP2000055787A JP2000250575A JP 2000250575 A JP2000250575 A JP 2000250575A JP 2000055787 A JP2000055787 A JP 2000055787A JP 2000055787 A JP2000055787 A JP 2000055787A JP 2000250575 A JP2000250575 A JP 2000250575A
- Authority
- JP
- Japan
- Prior art keywords
- program
- request
- keyword
- information
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/482—End-user interface for programme selection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
クエストをプログラム情報に関する知識ベースに対して
処理して、テレビ番組を自動的に選局する音声理解シス
テムを提供する。 【解決手段】 本発明の音声理解システムは、EPG情
報を受信・処理して、番組データベースを形成する知識
抽出部と、口述リクエストから一連のテキスト情報に翻
訳する音声認識部と、一連のテキスト情報を受け口述リ
クエストの語義内容を解釈する自然言語プロセッサと、
キーワードスロットが十分に入力されたことを判断し、
空のスロットがあればユーザに対してさらに質問する会
話制御部とを有する。これにより、タスクフレーム内に
配置されたキーワードを用いて番組データベースを検索
して番組を選択し、テレビ番組に関連するテレビチャン
ネルを選局する。
Description
像機において、チャンネル選局処理を自動的に行うため
の音声理解装置および音声理解方法に関する。とりわ
け、本発明は、口頭によるチャンネル選局のリクエスト
(要求)を受け、チャンネルを自動的に選局するために
番組検索放送(電子番組ガイド:EPG,Electronic P
rogram Guide)から抽出された情報に対してこのリクエ
ストを処理するための自然言語処理技術を用いたシステ
ムに関する。
ュニケーションが可能となるように設計されている。つ
まり、従来式の一方向性テレビ受像機(以下、単に「T
V」という。)やラジオ放送受信機とは異なり、通常の
双方向性TVを用いるとき、視聴者は電話回線を介して
応答することができる。また、デジタル式テレビ放送に
よれば、現在のところ1つのアナログチャンネルしか送
信できない空間にいくつかのテレビ放送チャンネルを送
信することかでき、これは新規でより効率的なテレビ放
送の手法である。これにより、より多くの新しいチャン
ネルやテレビ番組を提供する機会が与えられる。
タル式に放送されることが予想される。デジタル技術を
用いることにより、およそ200もの、あるいはより以
上のチャンネルを利用できるようになる。デジタル放送
により、この他にも例えば、高品位またはワイドスクリ
ーンの画像、CD並に良質な音声、異なるチャンネルで
別々の時間に始まる映画を視聴者が都合のよい時に鑑賞
できる「ビデオ・オン・デマンド」など、視聴者に多く
の利便が得られることが期待される。例えば、ホームバ
ンキング、ホームショッピング、およびインターネット
への接続といった双方向性サービスも同様に、テレビ受
像機を介して、デジタル式に提供されるようになるだろ
う。
デジタル放送を受信するように選局するとき、特別のデ
ジタル受信機、またはテレビ用受信端末(据置型筐体:
set-top box)のデコーダを購入するか賃借する必要が
あり、このデコーダによりデジタル放送画像をスクリー
ン上に再形成することができる。このデコーダが組み込
まれたテレビ受像機も市販されるであろう。テレビ用受
信端末には、音声認識および音声理解などの追加的サー
ビスを提供するために用いることができるプロセッサが
設けられている。
ど、視聴者にとってチャンネル選局が難しくなる。本発
明によれば、リストにあるチャンネルすべてを1つずつ
選局して所望のチャンネルを探すのではなく、口述され
たリクエストの内容を分析して、視聴者が見たい番組の
語義内容を理解することにより、チャンネルを選局する
ことができる。視聴者は、自然な言語および会話を用い
てリクエストを声に出し、所望する番組およびテレビ放
送チャンネルを選局することができる。
として放送される、番組検索放送(電子番組ガイド:E
PG,Electronic Programming Guide、以下、単に「E
PG」という。)の情報に関する知識表現(Knowledge
Representation)を形成し、この情報をTVまたはテレ
ビ用受信端末に記憶させることが好ましい。ユーザの口
頭による番組選局リクエストの意味を抽出し、EPGの
知識データベースに対してこのリクエストを照合し、所
望の番組を検索し、テレビを対応するチャンネルに選局
できるシステムも同様に備えておくことが好ましい。最
後に、ユーザのリクエストを明確にし、曖昧さを取り除
くための対話処理(ダイアログフェーズ:dialog phas
e)を行い、ユーザと情報交換するシステムも同様に備
えておくことが好ましい。
は、放送内容および番組検索放送(EPG)を検索した
後、テレビ受像機またはビデオ録画装置のチャンネルを
自動的に選局するために音声理解技術を用いる。この技
術によれば、自然な言語および会話による口述リクエス
トに基づいて、希望するTV番組を選局する。映画など
のいくつかの内容の要約とともにTV番組情報を含むE
PGの内容を用いて、動的な認識語彙集が形成される。
この語彙集は、システムが認識し理解できるキーワード
とフレーズを有している。この語彙集は、その他に、ユ
ーザがチャンネルを選局するときによく用いられる非キ
ーワード(例えば、「I」、「would」または「pleas
e」)を有している。
語義内容を理解するために、例えば「スポーツ(spor
t)」および「映画(movie)」といったキーワードの意
味に関する仮説知識(a priori knowledge)を含む文法
データ構造からなるデータベースを用いる。さらに、会
話制御部は、チャンネル選局タスクの意味に関する表現
集(Representation)を用いて、ユーザにリクエストを
完成させるよう支援する。自然言語プロセッサは、ロー
カル構文解釈モジュールおよびグローバル構文解釈モジ
ュールを用いて、口述リクエストの意味論上の関連する
部分を特定し、会話制御部にこの特定情報を送る。ま
た、この自然言語プロセッサは、一旦理解された単語お
よびフレーズを、口述リクエストの意味表現集として組
織化する。
選局すべき番組、時間、おそらくチャンネルまたはネッ
トワークなどの情報を備えている。視聴者は、チャンネ
ルを選局することができるが、同様に、特定の日時に視
聴できる番組に関する情報を質問することができる。こ
の情報は、音声を用いて応答するか、またはテレビ画面
を用いて表示することができる。自然言語プロセッサを
用いるので、視聴者は、音声理解装置と対話する際に用
いる言葉のスタイルを気遣うことなく、自らの目的を達
成することに専念することができる。曖昧なところがあ
るとき、ユーザがさらにリクエストを洗練できるよう
に、分割画面モードを用いるようにしてもよい。
が、会話制御部により自動的に構築される。履歴データ
ベースは、過去の口述リクエストまたは会話を含んでい
てもよい。この過去の口述リクエストまたは会話を用い
て、会話制御部は、認識処理中にいくつかの単語を優先
(favor)するように、音声理解装置の言語モデルを動
的に変更することができる。この履歴データベースは、
同様に、対話処理中に、ユーザの好みに関して質問する
ときの質問のランク付けを行うために用いることができ
る。
局をビデオ録画装置の録画コマンドに接続することによ
り、ビデオ録画装置をプログラムすることができる。頻
繁に録画する番組のために、ユーザに対する追加的機能
としてマクロ命令を確立するようにしてもよい。同様
に、例えば、「バスケットの試合は明日放送される」な
どと、視聴者に対してリマインダを出して周知させるこ
とができる。
徴が、以下の明細書および添付されたクレームに添付す
る図面を参照すると明らかとなる。
音声理解システムは、ユーザが口述するリクエストを受
け、このリクエストをプログラム情報に関する知識ベー
スに対して処理して、テレビ番組を自動的に選局する音
声理解システムであって、電子番組ガイド(EPG)の
情報を受信し、EPG情報を処理して、番組データベー
スを形成する知識抽出部と、口述リクエストを受け、口
述リクエストを複数の単語からなる一連のテキスト情報
に翻訳する音声認識部と、一連のテキスト情報を受け、
口述リクエストの語義内容を解釈するように単語を処理
する自然言語プロセッサと、十分な数のキーワードスロ
ットが入力されたかどうかを判断するためにタスクフレ
ームを分析し、空のスロットに入力するためにユーザに
対して追加的情報を質問するための会話制御部であっ
て、タスクフレーム内に配置されたキーワードを用いて
番組データベースを検索して番組を選択し、テレビ番組
に関連するテレビチャンネルを選局するための信号を形
成する会話制御部と、を備える。
において、自然言語プロセッサは、一連のテキスト情報
内に含まれる単語を分析し、キーワードを特定するため
のローカルパーサを有し、このローカルパーサが、LR
文法データベースを用いて、単語の意味を解釈する。
において、ローカルパーサが、各キーワードに対してタ
グ付きデータ構造を形成し、このタグ付きデータ構造が
キーワードの意味を表現する。
において、自然言語プロセッサは、各キーワードに対す
るタグ付きデータ構造を受けるとともに、口述リクエス
トの意味に付随するタスクフレームを選択するためのグ
ローバルパーサを有する。
において、グローバルパーサが、口述リクエストの意味
に付随するタスクフレームを決定するために複数の決定
樹木と相互通信する。
において、グローバルパーサが、各キーワードに対する
タグ付きデータ構造を受け、キーワードスロットにキー
ワードの意味を配置する。
において、会話制御部は、タスクフレームが番組データ
ベースを検索する上で十分な情報を有していることを判
断するルールベースと、相互通信する。
において、会話制御部は、追加的情報を得るために、音
声合成部を介してユーザに質問する。
において、会話制御部は、追加的情報を得るために、表
示システムを介してユーザに質問する。
ムにおいて、会話制御部から指令を受け、リモート受信
器を操作するための信号を形成するための信号形成部を
有する。
ムにおいて、番組データベースは、ユーザが選択できる
番組とチャンネルの組み合わせに関する複数の番組レコ
ードを有する。
ムは、ユーザが口述するリクエストを受け、このリクエ
ストをプログラム情報に関する知識ベースに対して処理
して、テレビ番組を自動的に選局する音声理解システム
であって、電子番組ガイド(EPG)の情報を受信し、
EPG情報を処理して、番組データベースを形成する知
識抽出部と、口述リクエストを受け、口述リクエストを
複数の単語からなる一連のテキスト情報に翻訳する音声
認識部と、一連のテキスト情報を受け、複数のキーワー
ドからなるタスクフレームにより表現される口述リクエ
ストの語義内容を解釈するように単語を処理する自然言
語プロセッサであって、文法構造に関するデータベース
を用いて単語を分析し、単語の意味を表現するタグ付き
データ構造を形成するためのローカルパーサを有し、タ
スクフレームを選択し、タグ付きデータ構造に含まれる
単語の意味をタスクフレーム内のキーワードスロットに
配置するためのグローバルパーサを有する自然言語プロ
セッサと、十分な数のキーワードスロットが入力された
かどうかを判断するためにタスクフレームを分析し、所
定の組み合わせのスロットが入力されるまでユーザに追
加的情報を質問するための会話制御部であって、タスク
フレーム内に配置されたキーワードを用いて番組データ
ベースを検索して番組を選択し、テレビ番組に関連する
テレビチャンネルを選局するための信号を形成する会話
制御部と、を備える。
ムにおいて、グローバルパーサが、各キーワードに対す
るタグ付きデータ構造を受け、口述リクエストの意味に
付随するタスクフレームを選択する。
ムにおいて、グローバルパーサが、口述リクエストの意
味に付随するタスクフレームを決定するために複数の決
定樹木と相互通信する。
ムにおいて、各タグ付けされた単語に対する各タグ付き
データ構造が、どのタスクフレームが単語に付随するか
を示すフレームタグと、どのキーワードスロットが単語
の意味に付随するかを示すスロットタグと、を有する。
ムにおいて、会話制御部は、タスクフレームが所定の組
み合わせの入力スロットを有していることを判断するル
ールベースと、相互通信する。
ムにおいて、テレビ信号、ケーブル信号、衛星放送テレ
ビ信号および電話回線による信号のいずれか1つからE
PG情報を受信する。
ルを自動的に選局する方法は、口述リクエストを理解
し、口述リクエストに基づいてテレビチャンネルを選局
する方法であって、電子番組ガイド(EPG)の情報を
受信するステップと、番組データベースを形成するため
にEPG情報を処理するステップと、ユーザから口述リ
クエストを受け、ユーザが要求するタスクの意味表現集
を抽出するために、自然言語プロセッサを用いて口述リ
クエストを処理するステップと、自然言語プロセッサに
より特定されたキーワードの検索リクエストを構築する
ステップと、キーワードを用いて番組データベースを検
索するステップと、所望する番組に関連するテレビチャ
ンネルを選局するための信号を形成するステップと、を
有する。
ルを自動的に選局する方法において、さらに、ユーザに
対して追加的に質問するために、会話制御部を用いて対
話処理を行うステップを有する。
ルを自動的に選局する方法において、さらに、文法構造
に関するデータベースを用いてユーザのリクエストを分
析し、口述リクエストの意味を表現する1つまたはそれ
以上のタグ付きデータ構造を形成するステップを有す
る。
技術を用いて、テレビチャンネルを自動的に選局するシ
ステムおよび方法が開示されている。図1は、本発明の
好適な実施例による音声理解・チャンネル選局システム
を示す。チャンネル選局システム10は、テレビ用受信
端末デコーダ52に内蔵されていることが好ましい。し
かし、このシステム10は、テレビ50や衛星放送チュ
ーナ、あるいはビデオ再録装置に内蔵することもでき
る。
テレビ放送信号12は、チャンネル選局システム10に
対する番組検索放送(電子番組ガイド:EPG,Electr
onicProgramming Guide)の情報を含む。またEPG情
報は、電話通信回線を介してインターネット系サービス
プロバイダ、または専用のダイヤル呼出式EPGサービ
スプロバイダからダウンロードすることもできる。テレ
ビ信号12は、再生して見ることもできるし、そして/
または記録することもできる。EPGデコーダ14は、
EPG情報を受信して、必要ならば表示する。EPGデ
コーダ14は、EPG情報をテキスト情報に変換および
フォーマットし、このテキスト情報が、知識抽出部16
に通信される。知識抽出部16は、このEPG情報を番
組データベース18内に格納し検索できるフォーマット
に再構成する機能を有する。
れた一連の項目に関する検索可能な番組レコードを数多
く保有していて、この番組レコードは、例えば、これに
限るわけではないが、番組名の項目22、番組の説明ま
たは主題の項目24、チャンネルの項目26、日付の項
目28、時間項目29などに関する。番組データベース
18の番組レコード20は、EPGの情報内容が変わる
と、新しいものに随時更新される。したがって、番組デ
ータベース18が更新されるのを待たずに、いつでも、
口述リクエストを処理することができる。加えて、番組
データベース18に記録された、時間経過して意味のな
くなった番組レコード20は、周期的に取り除かれるの
で、限られた制御できる数の番組レコード20だけを、
チャンネル選局システム10を用いて、ユーザの口述リ
クエストを満足するように検索すればよい。
処理に関し、符号30でユーザの音声として示した口述
リクエストおよび口述情報が、音声認識部32に入力さ
れる。口述された単語は、音声認識部32により処理さ
れ、テキスト情報に変換される。適当な音声認識装置
が、リー・Kによる「語彙話者不特定連続音声認識(Th
e Sphinx Systems, Ph.D. Thesis, Carnegie Mellon Un
iversity, 1988)」に教示されている。音声認識部32
から出力された一連のテキスト情報は自然言語プロセッ
サ34に供給され、この自然言語プロセッサ34は、主
に、一連のテキスト情報を分析して、語義内容および口
述リクエストの意図を理解する機能を有する。自然言語
プロセッサ34による音声理解分析は、ローカルパーサ
(ローカル構文解釈プログラム)モジュール36とグロ
ーバルパーサ(グローバル構文解釈プログラム)モジュ
ール38により実行される。自然言語プロセッサ34と
その構成部品については、後により詳しく説明する。
自然言語プロセッサ34を含むチャンネル選局システム
10の種々のモジュールと相互通信する。会話制御部4
0は、要求のあったタスク(課題)に関する意味表現集
を有するタスクデータベース58と情報交換する。タス
クデータベース58は、あらかじめ決められた複数のタ
スクフレーム60を有し、このタスクフレーム60は、
ユーザの口述リクエストに関連したタスク(課題)の意
味表現集を有する。図示するように、このタスクフレー
ム60は、映画タスクフレーム62、スポーツタスクフ
レーム64、ニュースタスクフレーム66を有する。こ
こでは、タスクフレーム60を3つしか図示しないが、
本発明においては、その他数多くのタスクフレームを設
けることができると理解すべきである。各タスクフレー
ム60は、ユーザの口述リクエストから構文解釈された
キーワードの理解された意味を記憶するために、複数の
キーワードスロット70を備えている。後により詳しく
説明するが、自然言語プロセッサ34内に設けたグロー
バルパーサモジュール38により、これらのフレームお
よびスロットにデータが格納される。
ーム60に含まれる検索基準を用いて、番組データベー
ス18から番組レコード20を呼び出す。会話制御部4
0が実行する検索機能は、後により詳しく説明するルー
ルベース42により支援される。リクエスト履歴データ
ベース54は、例えば、鑑賞および/または記録したい
好みのスポーツや映画のタイプなど、ユーザの好みに関
する履歴を記憶するために、会話制御部40により維持
管理される。
することができ、この音声合成部44は、ユーザに対し
て音声で質問することができる。会話制御部40は、画
面上で設定可能なディスプレイ(オンスクリーンディス
プレイ:OSD,On ScreenDisplay)モジュール46に
出力して、接続されたテレビ画面50を介してユーザに
対して質問を表示することができる。さらに、会話制御
部40は、信号形成部48に出力信号を送ることがで
き、信号形成部48は、この出力信号を、テレビ受像機
50またはテレビ用受信端末52をチャンネル変更させ
るような適当な信号に変換することができる。本発明の
一部をなすと考えるべきことであるが、信号形成部48
は、通常のテレビ受像機、ケーブル受信端末、衛星放送
受信機、ビデオ録画装置で用いられるリモート指令受信
器と互換性のある、広く用いられた赤外線信号を形成す
ることができる。このようにして、会話制御部40は、
自動的にテレビチャンネルを変更したり、特定の日時に
所望のチャンネルから番組を録画するように、ビデオ録
画装置をプログラムすることもできる。
示す。上述のとおり、自然言語プロセッサ34は、音声
認識部32により提供されるデジタル化した単語の語義
内容をさらに分析して理解するために、ローカルパーサ
36とグローバルパーサ38を備える。ローカルパーサ
36は、単語、フレーズ、段落文章、およびその他すべ
てのタイプの口述された文法的表現を分析する機能を有
する。自然言語プロセッサ34を簡単に説明するため
に、以下、認識され理解される文法的表現とは、すべて
単語に関するものとする。したがって、単語に関して説
明されたことは、フレーズ、段落文章、その他すべての
タイプの口述された文法的表現に関するものと理解され
たい。
ル86を用いて単語を吟味し、その単語がキーワードか
そうでないかを判断する。単語がキーワードであると認
識されたとき、その単語(またはフレーズなど)に、単
語の理解される意味を表現するデータ構造を「タグ付
け」する。こういった吟味は、システム語彙集で構成さ
れる文法データ構造のデータベースを用いてなされる。
つまり、理解可能な単語またはフレーズには、その単語
に対するタグを表現する、文法データ構造が付随する。
ローカルパーサ36を用いて、正しい文法データ構造を
特定すると、その単語に対して、例えば、タグ付けデー
タ構造82または84などのタグ付けデータ構造を形成
して、その単語の意味を定義する。ローカルパーサ36
は、口述され、キーワードであると特定された単語のす
べてについて、適当なタグ付けデータ構造を付与する機
能を有する。グローバルパーサ38は、選択されたタス
クフレーム60のキーワードスロット70にタグ付けさ
れた単語すべてを配置する機能を有する。
36が各単語を受け取り、LR文法モジュール86を用
いて、その単語に付随する文法データ構造を検索する。
その単語に対する文法データ構造により、ローカルパー
サ36は、その単語がキーワードかどうかを判断し、適
当なタグ付けデータ構造82、84をどのように形成す
べきか了解する。その単語がキーワードでなかった場
合、グローバルパーサ38によりさらに分析する必要が
ある場合に備えて、この単語はバッファ内に格納され
る。その単語がキーワードであった場合、その文法デー
タ構造が、タグ付けデータ構造の形成方法に関する情報
を含んでいる。その単語がキーワードでなかった場合、
フレームタグおよびスロットタグの項目は空の状態であ
り、キーワードでない単語がバッファに格納される。グ
ローバルパーサ38は、このフレームおよびスロットに
関するタグ情報を用いて、適当なタスクフレーム60の
適当なスロット70にキーワードを配置することができ
る。この処理は、フレーム選択・スロット入力モジュー
ル56により支援される。あるキーワードを複数のフレ
ームに配置できる場合、2つの異なるタスクフレーム6
0の同じスロット70に同じキーワードを入力する必要
があることを、タグ付けデータ構造82、84が指示す
る。正しいタスクフレーム60は、グローバルパーサ3
8による後の反復処理の間に選択することができる。
は、今夜、映画を見たい。(I wouldlike to watch a m
ovie.)」であったとする。この例示したリクエスト
は、いくつかのキーワード、すなわち、「見る(watc
h)」、「映画(movie)」、および「今夜(tonigh
t)」を有している。残りの単語は、キーワードでない
と仮定する。しかし、ユーザはどんな映画を見たいの
か、そしてユーザは何時から鑑賞(記録)し始めたいの
かについて、具体的に知るためには、この例示的なリク
エストに関して対話処理(ダイアログフェーズ)を行う
必要がなる。この分析技術の一部であるが、ローカルパ
ーサ36は、単語「私(I)」、「would」、「like」、
および「to」を個別に処理し、これらの単語がキーワー
ドでないことを確認すると、これらの非キーワードの単
語をバッファ(図示せず)に格納する。そこで、ローカ
ルパーサ36が、単語「鑑賞する(watch)」に関する
文法データ構造を呼び出して、タグ付きデータ構造を形
成し、この単語にタグ付きデータ構造を付与する。タグ
が付与された単語は、その後、グローバルパーサ38に
伝えられ、このグローバルパーサ38は、ユーザの希望
する動作が、番組を録画することではなくて、鑑賞する
ことであることを確認し、あるいは、鑑賞したい将来の
日時について質問する。
データ構造(データ構造82として示す)は、映画タス
クフレーム62を選択する必要があることを指示する。
しかし、このキーワードはタスクフレーム60に相当強
く付随しているので、キーワードスロット70に「映画
(movie)」が指定されない。単語「今夜(tonight)」
に関するタグ付きデータ構造は、このキーワードに関す
る意味表現集が、すべてのタスクフレーム60の日付ス
ロット78内に配置されなければならないことを指示す
る。しかし、グローバルパーサ38は、映画タスクフレ
ーム62の日付スロット78に、この単語「今夜」の理
解される意味を入力する。さらに、タグ付きデータ構造
は、映画タスクフレーム62の時間スロット80に、午
後5:00以降の時間を入力する必要があることを指示
するようにしてもよい。こうして、会話制御部40は、
ユーザが今日の日の夕方に番組をサ検索したいことを認
識する。
リクエスト内のすべての単語についてタグ付けを行い、
グローバルパーサ38は、フレーム選択・スロット入力
モジュール56と協働して、サーチリクエストを構築す
るために適当なタスクフレーム60を選択し、適当なス
ロット70に単語の理解される意味を入力した。次に、
会話制御部40は、より具体的な情報について質問する
ことができる。会話制御部40は、映画タスクフレーム
62内の入力しなければならないキーワードスロット7
0から、ユーザに対して質問すべきことを了解してい
る。例えば、時間スロット80が空の状態ならば、会話
制御部40は、「何時から、あなたは映画を見たいので
すか。(at what time would you like to watch a mov
ie?)」と、ユーザに尋ねる。ユーザが口頭で時刻や時
間範囲を応えた場合、ローカルパーサ36は、上述の技
術を用いて時間に関するキーワードをタグ付けし、グロ
ーバルパーサ38は、これらのキーワードを映画タスク
フレーム62の時間スロット80内に配置する。
パーサ36により形成されたタグ付きデータ構造を分析
して、口述されたリクエストの文脈におけるその単語の
意味を特定し、適当なスロット70に単語の意味を配置
する機能を有する。グローバルパーサ38は、数多くの
決定樹木構造88からなる。口述された要請の文脈が決
定されると、特定の決定樹木88が用いられる。決定樹
木88は、開始点を有し、特定の処理をもって終了す
る。決定樹木88の終了点における処理は、単語をどこ
に配置すべきか、あるいは特定の曖昧さをどのように解
決すべきかについて、グローバルパーサに指示すること
である。本発明の場合、この終了点における処理とは、
一般に、どのタスクフレーム60を選択すべきか、どの
キーワードスロット70に特定のタグ付き単語を配置す
べきかについて、グローバルパーサ38に指示すること
である。
組み合わせを用いれば、番組データベース18内をサー
チするための十分な情報が提供されるかについて、会話
制御部40が決定する際に、ルールベース42がこれを
支援する。例えば、映画タスクフレーム62の時間キー
ワードスロット80が入力されると、会話制御部40
は、リクエストのあった時間または時間帯に始まるすべ
ての映画を検索することができる。しかし、検索の結
果、リクエストのあった時間に予定した数以上の映画が
確認された場合、会話制御部40は、「どんなタイプの
映画を見たいですか。(what type of movie would you
like to watch?)」と、ユーザに尋ねるようにしても
よい。このとき、会話制御部40は、映画タスクフレー
ム62内の主題キーワードスロット74またはジャンル
キーワードスロット76に入力しようとしている。ユー
ザが、口頭により、主題またはジャンルを応えた場合、
ローカルパーサ36は、上述の技術を用いて、主題また
はジャンルに関するキーワードをタグ付けする。これら
の新たにタグ付けされた単語は、その後、グローバルパ
ーサ38に伝えられ、映画タスクフレーム62内の適当
なスロット70に配置される。
tion movie)」と応えた場合、グローバルパーサ38
は、単語「アクション(action)」をジャンルスロット
76に配置し、会話制御部40は、再び絞込み検索を行
う。希望する時間にアクション映画が1つしかなかった
場合、会話制御部40は、テレビ受像機50またはテレ
ビ用受信端末52を番組レコード20内のチャンネルに
自動的に切り換えるように信号形成部48に指示する。
希望する時間にいくつかのアクション映画が鑑賞できる
場合、会話制御部40は、オンスクリーンディスプレイ
モジュール46を介して、鑑賞可能なすべての映画を列
挙するようにしてもよい。このとき、ユーザは、番号か
チャンネルを用いて希望する映画を選択するようにして
もよい。本発明の別の特徴として、会話制御部40は、
チャンネルを切り換える前にユーザに対してユーザリク
エストをフィードバックして、確認を取るようにしても
よい。
ド・ウィングズのホッケーの試合を見たい(I would li
ke to watch the Detroit Red Wings hockey game toni
ght.)。」とか、「私は、今週の火曜日に、PBSで放
送されるノバという番組を録画したい(I would like t
o record the program Nova on PBS this Tuesda
y.)。」などと、1つの口述リクエストによって十分な
一連の情報を会話制御部40に提供することに、ユーザ
が慣れてくると、自然言語プロセッサ34により、十分
なキーワードスロット70を入力して、検索を実行する
ことができ、会話制御部40にとって、口述リクエスト
は十分満足できるものとなる。リクエストがホッケーの
試合を鑑賞することである場合、会話制御部40は、検
索を完了して、番組レコード20のチャンネル項目26
内に含まれる情報に基づいて、テレビ用受信端末52ま
たはテレビ受像機50のチャンネルを変えるための適当
な信号を形成することができる。リクエストが、PBS
から希望する番組を記録することである場合、会話制御
部40は、検索を完了して、番組レコード20から日
付、時間、およびチャンネルの情報を呼び出して、信号
形成部を介して適当なビデオ録画装置をプログラムする
ための信号を形成する。
画するようにすでにプログラムされている場合、または
ビデオ録画装置に空のテープを挿入する必要がある場
合、本発明の一部として、会話制御部は、ビデオ録画装
置からフィードバック信号を受信するように構成され
る。こうして、ユーザがいる場合に、さまざまな利害衝
突を解決することができる。
に関してなされたものである。このような説明、および
添付した図面やクレームから当業者には容易に理解され
るところであるが、次のクレームで定義される本発明の
精神および範疇から逸脱することなく、多様な変化、変
更、および変形を実施することができる。
解およびチャンネル選局システムを示す概略図である。
よび会話制御部による音声理解技術を示す概略図であ
る。
ダ、16 知識抽出部、18 番組データベース、32
音声認識部、34 自然言語プロセッサ、36ローカ
ルパーサ、38 グローバルパーサ、40 会話制御
部、42 ルールベース、44 音声合成部、46 デ
ィスプレイジュール、48 信号形成部、50 テレビ
受像機、52 テレビ用受信端末、58 タスクに関す
る意味表現集、60 タスクフレーム、70 フレーム
スロット、86 LR文法データ構造、88 決定樹木
構造。
Claims (20)
- 【請求項1】 ユーザが口述するリクエストを受け、こ
のリクエストをプログラム情報に関する知識ベースに対
して処理して、テレビ番組を自動的に選局する音声理解
システムであって、 電子番組ガイド(EPG)の情報を受信し、EPG情報
を処理して、番組データベースを形成する知識抽出部
と、 口述リクエストを受け、口述リクエストを複数の単語か
らなる一連のテキスト情報に翻訳する音声認識部と、 一連のテキスト情報を受け、口述リクエストの語義内容
を解釈するように単語を処理する自然言語プロセッサ
と、 十分な数のキーワードスロットが入力されたかどうかを
判断するためにタスクフレームを分析し、空のスロット
に入力するためにユーザに対して追加的情報を質問する
ための会話制御部であって、 タスクフレーム内に配置されたキーワードを用いて番組
データベースを検索して番組を選択し、テレビ番組に関
連するテレビチャンネルを選局するための信号を形成す
る会話制御部と、を備えることを特徴とする音声理解シ
ステム。 - 【請求項2】 自然言語プロセッサは、一連のテキスト
情報内に含まれる単語を分析し、キーワードを特定する
ためのローカルパーサを有し、このローカルパーサが、
LR文法データベースを用いて、単語の意味を解釈する
ことを特徴とする請求項1の音声理解システム。 - 【請求項3】 ローカルパーサが、各キーワードに対し
てタグ付きデータ構造を形成し、このタグ付きデータ構
造がキーワードの意味を表現することを特徴とする請求
項2の音声理解システム。 - 【請求項4】 自然言語プロセッサは、各キーワードに
対するタグ付きデータ構造を受けるとともに、口述リク
エストの意味に付随するタスクフレームを選択するため
のグローバルパーサを有することを特徴とする請求項3
の音声理解システム。 - 【請求項5】 グローバルパーサが、口述リクエストの
意味に付随するタスクフレームを決定するために複数の
決定樹木と相互通信することを特徴とする請求項4の音
声理解システム。 - 【請求項6】 グローバルパーサが、各キーワードに対
するタグ付きデータ構造を受け、キーワードスロットに
キーワードの意味を配置することを特徴とする請求項4
の音声理解システム。 - 【請求項7】 会話制御部は、タスクフレームが番組デ
ータベースを検索する上で十分な情報を有していること
を判断するルールベースと、相互通信することを特徴と
する請求項1の音声理解システム。 - 【請求項8】 会話制御部は、追加的情報を得るため
に、音声合成部を介してユーザに質問することを特徴と
する請求項1の音声理解システム。 - 【請求項9】 会話制御部は、追加的情報を得るため
に、表示システムを介してユーザに質問することを特徴
とする請求項1の音声理解システム。 - 【請求項10】 会話制御部から指令を受け、リモート
受信器を操作するための信号を形成するための信号形成
部を有することを特徴とする請求項1の音声理解システ
ム。 - 【請求項11】 番組データベースは、ユーザが選択で
きる番組とチャンネルの組み合わせに関する複数の番組
レコードを有することを特徴とする請求項1の音声理解
システム。 - 【請求項12】 ユーザが口述するリクエストを受け、
このリクエストをプログラム情報に関する知識ベースに
対して処理して、テレビ番組を自動的に選局する音声理
解システムであって、 電子番組ガイド(EPG)の情報を受信し、EPG情報
を処理して、番組データベースを形成する知識抽出部
と、 口述リクエストを受け、口述リクエストを複数の単語か
らなる一連のテキスト情報に翻訳する音声認識部と、 一連のテキスト情報を受け、複数のキーワードからなる
タスクフレームにより表現される口述リクエストの語義
内容を解釈するように単語を処理する自然言語プロセッ
サであって、 文法構造に関するデータベースを用いて単語を分析し、
単語の意味を表現するタグ付きデータ構造を形成するた
めのローカルパーサを有し、 タスクフレームを選択し、タグ付きデータ構造に含まれ
る単語の意味をタスクフレーム内のキーワードスロット
に配置するためのグローバルパーサを有する自然言語プ
ロセッサと、 十分な数のキーワードスロットが入力されたかどうかを
判断するためにタスクフレームを分析し、所定の組み合
わせのスロットが入力されるまでユーザに追加的情報を
質問するための会話制御部であって、 タスクフレーム内に配置されたキーワードを用いて番組
データベースを検索して番組を選択し、テレビ番組に関
連するテレビチャンネルを選局するための信号を形成す
る会話制御部と、を備えることを特徴とする音声理解シ
ステム。 - 【請求項13】 グローバルパーサが、各キーワードに
対するタグ付きデータ構造を受け、口述リクエストの意
味に付随するタスクフレームを選択することを特徴とす
る請求項12の音声理解システム。 - 【請求項14】 グローバルパーサが、口述リクエスト
の意味に付随するタスクフレームを決定するために複数
の決定樹木と相互通信することを特徴とする請求項12
の音声理解システム。 - 【請求項15】 各タグ付けされた単語に対する各タグ
付きデータ構造が、どのタスクフレームが単語に付随す
るかを示すフレームタグと、どのキーワードスロットが
単語の意味に付随するかを示すスロットタグと、を有す
ることを特徴とする請求項12の音声理解システム。 - 【請求項16】 会話制御部は、タスクフレームが所定
の組み合わせの入力スロットを有していることを判断す
るルールベースと、相互通信することを特徴とする請求
項12の音声理解システム。 - 【請求項17】 テレビ信号、ケーブル信号、衛星放送
テレビ信号および電話回線による信号のいずれか1つか
らEPG情報を受信することを特徴とする請求項12の
音声理解システム。 - 【請求項18】 口述リクエストを理解し、口述リクエ
ストに基づいてテレビチャンネルを選局する方法であっ
て、 電子番組ガイド(EPG)の情報を受信するステップ
と、 番組データベースを形成するためにEPG情報を処理す
るステップと、 ユーザから口述リクエストを受け、ユーザが要求するタ
スクの意味表現集を抽出するために、自然言語プロセッ
サを用いて口述リクエストを処理するステップと、 自然言語プロセッサにより特定されたキーワードの検索
リクエストを構築するステップと、 キーワードを用いて番組データベースを検索するステッ
プと、 所望する番組に関連するテレビチャンネルを選局するた
めの信号を形成するステップと、を有することを特徴と
する方法。 - 【請求項19】 さらに、ユーザに対して追加的に質問
するために、会話制御部を用いて対話処理を行うステッ
プを有することを特徴とする請求項18の方法。 - 【請求項20】 さらに、文法構造に関するデータベー
スを用いてユーザのリクエストを分析し、口述リクエス
トの意味を表現する1つまたはそれ以上のタグ付きデー
タ構造を形成するステップを有することを特徴とする請
求項19の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/260,156 US6314398B1 (en) | 1999-03-01 | 1999-03-01 | Apparatus and method using speech understanding for automatic channel selection in interactive television |
| US09/260156 | 1999-03-01 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000250575A true JP2000250575A (ja) | 2000-09-14 |
| JP3645145B2 JP3645145B2 (ja) | 2005-05-11 |
Family
ID=22988005
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000055787A Expired - Lifetime JP3645145B2 (ja) | 1999-03-01 | 2000-03-01 | 双方向性テレビ受像機を自動的に選局するための音声理解装置およびその方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6314398B1 (ja) |
| EP (1) | EP1033701B1 (ja) |
| JP (1) | JP3645145B2 (ja) |
| DE (1) | DE60012065T2 (ja) |
| ES (1) | ES2225023T3 (ja) |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002297639A (ja) * | 2001-03-29 | 2002-10-11 | Kddi Corp | 音声文書変換装置 |
| JP2002366166A (ja) * | 2001-06-11 | 2002-12-20 | Pioneer Electronic Corp | コンテンツ提供システム及び方法、並びにそのためのコンピュータプログラム |
| JP2004005481A (ja) * | 2002-03-15 | 2004-01-08 | Samsung Electronics Co Ltd | ホームネットワークに連結された電化製品を制御する方法及び装置 |
| JP2004029268A (ja) * | 2002-06-25 | 2004-01-29 | Matsushita Electric Ind Co Ltd | 音声対話装置及び音声対話方法 |
| JP2004513445A (ja) * | 2000-10-30 | 2004-04-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 個人のインタラクションをシミュレートし、ユーザの情緒状態及び/又は性格に反応するユーザインタフェース/エンタテインメントデバイス |
| JP2004513444A (ja) * | 2000-10-30 | 2004-04-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 個人のインタラクションをシミュレートし、関連するデータによって外部データベースを拡充するユーザインタフェース/エンタテインメントデバイス |
| JP2004144993A (ja) * | 2002-10-24 | 2004-05-20 | P To Pa:Kk | 家電制御装置、家電制御方法及びプログラム |
| JP2005004604A (ja) * | 2003-06-13 | 2005-01-06 | Sanyo Electric Co Ltd | コンテンツ受信装置およびコンテンツ配信方法 |
| JP2005086473A (ja) * | 2003-09-09 | 2005-03-31 | Sanyo Electric Co Ltd | コントローラ、プログラムおよび記憶媒体 |
| JP2005333209A (ja) * | 2004-05-18 | 2005-12-02 | Sony Ericsson Mobilecommunications Japan Inc | 放送楽曲自動録音システム、端末装置、サーバ、および録音予約プログラム |
| JP2006085179A (ja) * | 2003-01-15 | 2006-03-30 | Matsushita Electric Ind Co Ltd | 放送受信方法、放送受信システム、記録媒体、及びプログラム |
| WO2006035850A1 (ja) * | 2004-09-28 | 2006-04-06 | Kabushiki Kaisha Power To The People | デジタル記録再生装置、コンピュータプログラムおよびサーバ |
| JP2006276867A (ja) * | 2001-04-24 | 2006-10-12 | Microsoft Corp | 入力モードバイアスを適用するための方法およびシステム |
| KR100669906B1 (ko) | 2003-12-26 | 2007-01-16 | 한국전자통신연구원 | 음성 전자 프로그램 안내 저작 시스템 및 그 방법 |
| JP2007503022A (ja) * | 2003-08-21 | 2007-02-15 | ゼネラル・モーターズ・コーポレーション | 車両用無線システムにおける音声認識 |
| JP2009205169A (ja) * | 2009-06-09 | 2009-09-10 | P To Pa:Kk | 家電制御装置、家電制御方法及びプログラム |
| US7698138B2 (en) | 2003-01-15 | 2010-04-13 | Panasonic Corporation | Broadcast receiving method, broadcast receiving system, recording medium, and program |
| WO2014107102A1 (en) * | 2013-01-07 | 2014-07-10 | Samsung Electronics Co., Ltd. | Display apparatus and method of controlling display apparatus |
| WO2014107101A1 (en) * | 2013-01-07 | 2014-07-10 | Samsung Electronics Co., Ltd. | Display apparatus and method for controlling the same |
| JP2014132342A (ja) * | 2013-01-07 | 2014-07-17 | Samsung Electronics Co Ltd | 対話型サーバ、ディスプレイ装置及びその制御方法 |
| US8983847B2 (en) | 2011-09-22 | 2015-03-17 | Kabushiki Kaisha Toshiba | Voice recognition apparatus, method, and computer program product |
| CN104506906A (zh) * | 2014-11-12 | 2015-04-08 | 科大讯飞股份有限公司 | 基于电视场景元素及语音助手的语音交互辅助方法及系统 |
| CN107564519A (zh) * | 2013-01-07 | 2018-01-09 | 三星电子株式会社 | 交互服务器及其控制方法和交互系统 |
| US9959866B2 (en) | 2015-04-02 | 2018-05-01 | Panasonic Intellectual Property Management Co., Ltd. | Computer-implemented method for generating a response sentence by using a weight value of node |
| JP2022034708A (ja) * | 2020-08-19 | 2022-03-04 | Tvs Regza株式会社 | 受信装置、および、受信装置のプログラム |
| JP2024505988A (ja) * | 2021-02-08 | 2024-02-08 | ソニーグループ株式会社 | シーン説明の再生制御 |
Families Citing this family (89)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6377913B1 (en) * | 1999-08-13 | 2002-04-23 | International Business Machines Corporation | Method and system for multi-client access to a dialog system |
| US6513006B2 (en) * | 1999-08-26 | 2003-01-28 | Matsushita Electronic Industrial Co., Ltd. | Automatic control of household activity using speech recognition and natural language |
| US6553345B1 (en) | 1999-08-26 | 2003-04-22 | Matsushita Electric Industrial Co., Ltd. | Universal remote control allowing natural language modality for television and multimedia searches and requests |
| JP2001100781A (ja) * | 1999-09-30 | 2001-04-13 | Sony Corp | 音声処理装置および音声処理方法、並びに記録媒体 |
| US9076448B2 (en) | 1999-11-12 | 2015-07-07 | Nuance Communications, Inc. | Distributed real time speech recognition system |
| US7725307B2 (en) | 1999-11-12 | 2010-05-25 | Phoenix Solutions, Inc. | Query engine for processing voice based queries including semantic decoding |
| US7392185B2 (en) | 1999-11-12 | 2008-06-24 | Phoenix Solutions, Inc. | Speech based learning/training system using semantic decoding |
| US7050977B1 (en) | 1999-11-12 | 2006-05-23 | Phoenix Solutions, Inc. | Speech-enabled server for internet website and method |
| US7013283B1 (en) * | 1999-11-17 | 2006-03-14 | Sarnoff Corporation | System and method for providing programming content in response to an audio signal |
| GB9929284D0 (en) * | 1999-12-11 | 2000-02-02 | Ibm | Voice processing apparatus |
| US6598018B1 (en) * | 1999-12-15 | 2003-07-22 | Matsushita Electric Industrial Co., Ltd. | Method for natural dialog interface to car devices |
| US7006973B1 (en) * | 2000-01-31 | 2006-02-28 | Intel Corporation | Providing information in response to spoken requests |
| US6456978B1 (en) * | 2000-01-31 | 2002-09-24 | Intel Corporation | Recording information in response to spoken requests |
| US8374875B2 (en) | 2000-01-31 | 2013-02-12 | Intel Corporation | Providing programming information in response to spoken requests |
| KR20020032621A (ko) * | 2000-07-28 | 2002-05-03 | 요트.게.아. 롤페즈 | 음성 명령으로 장치를 제어하는 시스템 |
| US6999932B1 (en) * | 2000-10-10 | 2006-02-14 | Intel Corporation | Language independent voice-based search system |
| US7277765B1 (en) | 2000-10-12 | 2007-10-02 | Bose Corporation | Interactive sound reproducing |
| US7027987B1 (en) * | 2001-02-07 | 2006-04-11 | Google Inc. | Voice interface for a search engine |
| US20020169597A1 (en) * | 2001-03-12 | 2002-11-14 | Fain Systems, Inc. | Method and apparatus providing computer understanding and instructions from natural language |
| US8479238B2 (en) * | 2001-05-14 | 2013-07-02 | At&T Intellectual Property Ii, L.P. | Method for content-based non-linear control of multimedia playback |
| FR2824944B1 (fr) * | 2001-05-16 | 2008-09-19 | Mic 2 | Procede de commande vocale et systeme parametrable a commande vocale |
| US7483834B2 (en) * | 2001-07-18 | 2009-01-27 | Panasonic Corporation | Method and apparatus for audio navigation of an information appliance |
| WO2003030150A1 (en) * | 2001-09-27 | 2003-04-10 | Matsushita Electric Industrial Co., Ltd. | Dialogue apparatus, dialogue parent apparatus, dialogue child apparatus, dialogue control method, and dialogue control program |
| US7324947B2 (en) | 2001-10-03 | 2008-01-29 | Promptu Systems Corporation | Global speech user interface |
| EP1315147A1 (en) * | 2001-11-27 | 2003-05-28 | Sony International (Europe) GmbH | Method for processing user requests with respect to a network of electronic devices |
| US20030163456A1 (en) * | 2002-02-28 | 2003-08-28 | Hua Shiyan S. | Searching digital cable channels based on spoken keywords using a telephone system |
| KR100474252B1 (ko) | 2002-10-11 | 2005-03-10 | 한국전자통신연구원 | 전자 프로그램 가이드 제공 시스템 및 그 방법 |
| AU2003289589A1 (en) * | 2003-07-11 | 2005-01-28 | Electronics And Telecommunications Research Institute | Apparatus and method for transmitting/receiving voice electrics program guide information |
| KR20050023941A (ko) * | 2003-09-03 | 2005-03-10 | 삼성전자주식회사 | 음성 인식 및 화자 인식을 통한 개별화된 서비스를제공하는 a/v 장치 및 그 방법 |
| EP1661124A4 (en) * | 2003-09-05 | 2008-08-13 | Stephen D Grody | PROCESSES AND DEVICES FOR PROVIDING SERVICES THROUGH THE USE OF LANGUAGE IDENTIFICATION |
| GB2409087A (en) * | 2003-12-12 | 2005-06-15 | Ibm | Computer generated prompting |
| KR100629434B1 (ko) * | 2004-04-24 | 2006-09-27 | 한국전자통신연구원 | 음성/그래픽 입출력이 가능한 멀티모달 웹기반 데이터방송처리 장치 및 그 방법과 그를 이용한 멀티모달 웹기반데이터방송 수신 시스템 및 그 방법 |
| JP3824168B2 (ja) * | 2004-11-08 | 2006-09-20 | 松下電器産業株式会社 | ディジタル映像再生装置 |
| US7460996B2 (en) * | 2005-06-23 | 2008-12-02 | Microsoft Corporation | Using strong data types to express speech recognition grammars in software programs |
| DE102005037621A1 (de) * | 2005-08-09 | 2007-02-22 | Siemens Ag | Verfahren und Sprachdialogsystem zur Ermittlung zumindest einer Transaktion zur Bedienung einer Hintergrundapplikation |
| US7647228B2 (en) * | 2005-11-03 | 2010-01-12 | Apptera, Inc. | Method and apparatus for speech processing incorporating user intent |
| US7627466B2 (en) * | 2005-11-09 | 2009-12-01 | Microsoft Corporation | Natural language interface for driving adaptive scenarios |
| US7606700B2 (en) * | 2005-11-09 | 2009-10-20 | Microsoft Corporation | Adaptive task framework |
| US20070106496A1 (en) * | 2005-11-09 | 2007-05-10 | Microsoft Corporation | Adaptive task framework |
| US7822699B2 (en) * | 2005-11-30 | 2010-10-26 | Microsoft Corporation | Adaptive semantic reasoning engine |
| US7933914B2 (en) * | 2005-12-05 | 2011-04-26 | Microsoft Corporation | Automatic task creation and execution using browser helper objects |
| US7831585B2 (en) * | 2005-12-05 | 2010-11-09 | Microsoft Corporation | Employment of task framework for advertising |
| US20070130134A1 (en) * | 2005-12-05 | 2007-06-07 | Microsoft Corporation | Natural-language enabling arbitrary web forms |
| JP2007178927A (ja) * | 2005-12-28 | 2007-07-12 | Canon Inc | 情報検索装置および方法 |
| US7996783B2 (en) * | 2006-03-02 | 2011-08-09 | Microsoft Corporation | Widget searching utilizing task framework |
| KR100764174B1 (ko) * | 2006-03-03 | 2007-10-08 | 삼성전자주식회사 | 음성 대화 서비스 장치 및 방법 |
| US8200688B2 (en) * | 2006-03-07 | 2012-06-12 | Samsung Electronics Co., Ltd. | Method and system for facilitating information searching on electronic devices |
| US7756708B2 (en) * | 2006-04-03 | 2010-07-13 | Google Inc. | Automatic language model update |
| US20080134038A1 (en) * | 2006-12-05 | 2008-06-05 | Electronics And Telecommunications Research | Interactive information providing service method and apparatus |
| US9286385B2 (en) | 2007-04-25 | 2016-03-15 | Samsung Electronics Co., Ltd. | Method and system for providing access to information of potential interest to a user |
| US8175885B2 (en) | 2007-07-23 | 2012-05-08 | Verizon Patent And Licensing Inc. | Controlling a set-top box via remote speech recognition |
| US8000972B2 (en) * | 2007-10-26 | 2011-08-16 | Sony Corporation | Remote controller with speech recognition |
| US20090187950A1 (en) * | 2008-01-18 | 2009-07-23 | At&T Knowledge Ventures, L.P. | Audible menu system |
| CN101516005A (zh) * | 2008-02-23 | 2009-08-26 | 华为技术有限公司 | 一种语音识别频道选择系统、方法及频道转换装置 |
| US8831950B2 (en) * | 2008-04-07 | 2014-09-09 | Nuance Communications, Inc. | Automated voice enablement of a web page |
| US8543404B2 (en) * | 2008-04-07 | 2013-09-24 | Nuance Communications, Inc. | Proactive completion of input fields for automated voice enablement of a web page |
| US9047869B2 (en) * | 2008-04-07 | 2015-06-02 | Nuance Communications, Inc. | Free form input field support for automated voice enablement of a web page |
| EP2341450A1 (en) | 2009-08-21 | 2011-07-06 | Mikko Kalervo Väänänen | Method and means for data searching and language translation |
| US8442835B2 (en) * | 2010-06-17 | 2013-05-14 | At&T Intellectual Property I, L.P. | Methods, systems, and products for measuring health |
| US8666768B2 (en) | 2010-07-27 | 2014-03-04 | At&T Intellectual Property I, L. P. | Methods, systems, and products for measuring health |
| EP2707808A4 (en) * | 2011-05-13 | 2015-10-21 | Microsoft Technology Licensing Llc | OPERATING CLICKS OF INTERROGATION CLICKS FOR DOMAIN DETECTION IN THE UNDERSTANDING OF A SPOKEN LANGUAGE |
| WO2013012107A1 (ko) | 2011-07-19 | 2013-01-24 | 엘지전자 주식회사 | 전자 기기 및 그 제어 방법 |
| US9292603B2 (en) | 2011-09-30 | 2016-03-22 | Nuance Communications, Inc. | Receipt and processing of user-specified queries |
| WO2013048729A1 (en) * | 2011-09-30 | 2013-04-04 | Nuance Communications, Inc. | Techniques for receiving and processing one or more user-specified queries |
| US8607276B2 (en) * | 2011-12-02 | 2013-12-10 | At&T Intellectual Property, I, L.P. | Systems and methods to select a keyword of a voice search request of an electronic program guide |
| JP5878987B2 (ja) * | 2011-12-13 | 2016-03-08 | インテル・コーポレーション | キーワードの選択による、接続されたメディア機器におけるチャンネルナビゲーション |
| US8682925B1 (en) * | 2013-01-31 | 2014-03-25 | Splunk Inc. | Distributed high performance analytics store |
| CN102789176B (zh) * | 2012-07-04 | 2015-08-05 | 北京捷通华声语音技术有限公司 | 一种家电终端控制方法和系统 |
| US9026448B2 (en) | 2012-08-16 | 2015-05-05 | Nuance Communications, Inc. | User interface for entertainment systems |
| US9497515B2 (en) | 2012-08-16 | 2016-11-15 | Nuance Communications, Inc. | User interface for entertainment systems |
| US9031848B2 (en) * | 2012-08-16 | 2015-05-12 | Nuance Communications, Inc. | User interface for searching a bundled service content data source |
| US9106957B2 (en) | 2012-08-16 | 2015-08-11 | Nuance Communications, Inc. | Method and apparatus for searching data sources for entertainment systems |
| US8799959B2 (en) | 2012-08-16 | 2014-08-05 | Hoi L. Young | User interface for entertainment systems |
| FR2996399B3 (fr) | 2012-09-28 | 2015-05-15 | Samsung Electronics Co Ltd | Appareil de traitement d'image et procede de commande de celui-ci et systeme de traitement d'image |
| KR102072826B1 (ko) * | 2013-01-31 | 2020-02-03 | 삼성전자주식회사 | 음성 인식 장치 및 응답 정보 제공 방법 |
| US9749710B2 (en) * | 2013-03-01 | 2017-08-29 | Excalibur Ip, Llc | Video analysis system |
| KR102053820B1 (ko) * | 2013-07-02 | 2019-12-09 | 삼성전자주식회사 | 서버 및 그 제어방법과, 영상처리장치 및 그 제어방법 |
| US9558176B2 (en) | 2013-12-06 | 2017-01-31 | Microsoft Technology Licensing, Llc | Discriminating between natural language and keyword language items |
| CN105392035A (zh) * | 2014-09-03 | 2016-03-09 | 深圳市同方多媒体科技有限公司 | 一种智能电视机播放节目切换系统及方法 |
| US10114676B2 (en) * | 2015-05-05 | 2018-10-30 | Microsoft Technology Licensing, Llc | Building multimodal collaborative dialogs with task frames |
| US10616311B2 (en) * | 2016-06-03 | 2020-04-07 | At&T Intellectual Property I, L.P. | Facilitating management of communications systems |
| JP6655835B2 (ja) * | 2016-06-16 | 2020-02-26 | パナソニックIpマネジメント株式会社 | 対話処理方法、対話処理システム、及びプログラム |
| CN106992001B (zh) * | 2017-03-29 | 2020-05-22 | 百度在线网络技术(北京)有限公司 | 语音指令的处理方法、装置和系统 |
| CN107369443B (zh) * | 2017-06-29 | 2020-09-25 | 北京百度网讯科技有限公司 | 基于人工智能的对话管理方法及装置 |
| US10783879B2 (en) | 2018-02-22 | 2020-09-22 | Oath Inc. | System and method for rule based modifications to variable slots based on context |
| US11030400B2 (en) * | 2018-02-22 | 2021-06-08 | Verizon Media Inc. | System and method for identifying and replacing slots with variable slots |
| US10685655B2 (en) * | 2018-03-07 | 2020-06-16 | International Business Machines Corporation | Leveraging natural language processing |
| US11489603B2 (en) * | 2019-09-23 | 2022-11-01 | Nbcuniversal Media, Llc | Media essence library |
| CN111966803B (zh) * | 2020-08-03 | 2024-04-12 | 深圳市欢太科技有限公司 | 对话模拟方法、装置、存储介质及电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07297796A (ja) * | 1994-04-21 | 1995-11-10 | Matsushita Electric Ind Co Ltd | テレビ選局支援装置 |
| JPH1098655A (ja) * | 1996-09-25 | 1998-04-14 | Sharp Corp | 番組検索装置 |
| JPH10126750A (ja) * | 1996-10-23 | 1998-05-15 | Matsushita Electric Ind Co Ltd | 番組情報放送システム、放送装置、及び受信端末装置 |
| JPH10162025A (ja) * | 1996-11-29 | 1998-06-19 | Sony Corp | キーワード生成方法及びその装置 |
| JPH10207914A (ja) * | 1997-01-03 | 1998-08-07 | Texas Instr Inc <Ti> | 電子プログラムガイドおよび計算プラットフォーム上で実行されるプログラムガイド方法 |
| JPH118810A (ja) * | 1997-03-31 | 1999-01-12 | Microsoft Corp | 質問ベースの電子式プログラム・ガイド |
| WO1999007142A1 (en) * | 1997-07-30 | 1999-02-11 | Index Systems, Inc. | Systems and methods for audience monitoring |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4305131A (en) | 1979-02-05 | 1981-12-08 | Best Robert M | Dialog between TV movies and human viewers |
| US5663757A (en) | 1989-07-14 | 1997-09-02 | Morales; Fernando | Software controlled multi-mode interactive TV systems |
| US5774859A (en) * | 1995-01-03 | 1998-06-30 | Scientific-Atlanta, Inc. | Information system having a speech interface |
| US5801753A (en) * | 1995-08-11 | 1998-09-01 | General Instrument Corporation Of Delaware | Method and apparatus for providing an interactive guide to events available on an information network |
| US5832439A (en) * | 1995-12-14 | 1998-11-03 | U S West, Inc. | Method and system for linguistic command processing in a video server network |
| US5809471A (en) | 1996-03-07 | 1998-09-15 | Ibm Corporation | Retrieval of additional information not found in interactive TV or telephony signal by application using dynamically extracted vocabulary |
| US5900905A (en) * | 1996-06-05 | 1999-05-04 | Microsoft Corporation | System and method for linking video, services and applications in an interactive television system |
| AU3294997A (en) * | 1996-06-13 | 1998-01-07 | Starsight Telecast Incorporated | Method and apparatus for searching a guide using program characteristics |
-
1999
- 1999-03-01 US US09/260,156 patent/US6314398B1/en not_active Expired - Lifetime
-
2000
- 2000-02-24 ES ES00301441T patent/ES2225023T3/es not_active Expired - Lifetime
- 2000-02-24 DE DE2000612065 patent/DE60012065T2/de not_active Expired - Fee Related
- 2000-02-24 EP EP00301441A patent/EP1033701B1/en not_active Expired - Lifetime
- 2000-03-01 JP JP2000055787A patent/JP3645145B2/ja not_active Expired - Lifetime
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07297796A (ja) * | 1994-04-21 | 1995-11-10 | Matsushita Electric Ind Co Ltd | テレビ選局支援装置 |
| JPH1098655A (ja) * | 1996-09-25 | 1998-04-14 | Sharp Corp | 番組検索装置 |
| JPH10126750A (ja) * | 1996-10-23 | 1998-05-15 | Matsushita Electric Ind Co Ltd | 番組情報放送システム、放送装置、及び受信端末装置 |
| JPH10162025A (ja) * | 1996-11-29 | 1998-06-19 | Sony Corp | キーワード生成方法及びその装置 |
| JPH10207914A (ja) * | 1997-01-03 | 1998-08-07 | Texas Instr Inc <Ti> | 電子プログラムガイドおよび計算プラットフォーム上で実行されるプログラムガイド方法 |
| JPH118810A (ja) * | 1997-03-31 | 1999-01-12 | Microsoft Corp | 質問ベースの電子式プログラム・ガイド |
| WO1999007142A1 (en) * | 1997-07-30 | 1999-02-11 | Index Systems, Inc. | Systems and methods for audience monitoring |
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004513445A (ja) * | 2000-10-30 | 2004-04-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 個人のインタラクションをシミュレートし、ユーザの情緒状態及び/又は性格に反応するユーザインタフェース/エンタテインメントデバイス |
| JP2004513444A (ja) * | 2000-10-30 | 2004-04-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 個人のインタラクションをシミュレートし、関連するデータによって外部データベースを拡充するユーザインタフェース/エンタテインメントデバイス |
| JP2002297639A (ja) * | 2001-03-29 | 2002-10-11 | Kddi Corp | 音声文書変換装置 |
| JP2006276867A (ja) * | 2001-04-24 | 2006-10-12 | Microsoft Corp | 入力モードバイアスを適用するための方法およびシステム |
| JP2002366166A (ja) * | 2001-06-11 | 2002-12-20 | Pioneer Electronic Corp | コンテンツ提供システム及び方法、並びにそのためのコンピュータプログラム |
| JP2004005481A (ja) * | 2002-03-15 | 2004-01-08 | Samsung Electronics Co Ltd | ホームネットワークに連結された電化製品を制御する方法及び装置 |
| US7957974B2 (en) | 2002-03-15 | 2011-06-07 | Samsung Electronics Co., Ltd. | Method and apparatus for controlling devices connected to home network |
| JP2004029268A (ja) * | 2002-06-25 | 2004-01-29 | Matsushita Electric Ind Co Ltd | 音声対話装置及び音声対話方法 |
| JP2004144993A (ja) * | 2002-10-24 | 2004-05-20 | P To Pa:Kk | 家電制御装置、家電制御方法及びプログラム |
| JP2006085179A (ja) * | 2003-01-15 | 2006-03-30 | Matsushita Electric Ind Co Ltd | 放送受信方法、放送受信システム、記録媒体、及びプログラム |
| US7698138B2 (en) | 2003-01-15 | 2010-04-13 | Panasonic Corporation | Broadcast receiving method, broadcast receiving system, recording medium, and program |
| JP2005004604A (ja) * | 2003-06-13 | 2005-01-06 | Sanyo Electric Co Ltd | コンテンツ受信装置およびコンテンツ配信方法 |
| JP2007503022A (ja) * | 2003-08-21 | 2007-02-15 | ゼネラル・モーターズ・コーポレーション | 車両用無線システムにおける音声認識 |
| JP2005086473A (ja) * | 2003-09-09 | 2005-03-31 | Sanyo Electric Co Ltd | コントローラ、プログラムおよび記憶媒体 |
| KR100669906B1 (ko) | 2003-12-26 | 2007-01-16 | 한국전자통신연구원 | 음성 전자 프로그램 안내 저작 시스템 및 그 방법 |
| JP2005333209A (ja) * | 2004-05-18 | 2005-12-02 | Sony Ericsson Mobilecommunications Japan Inc | 放送楽曲自動録音システム、端末装置、サーバ、および録音予約プログラム |
| WO2006035850A1 (ja) * | 2004-09-28 | 2006-04-06 | Kabushiki Kaisha Power To The People | デジタル記録再生装置、コンピュータプログラムおよびサーバ |
| JP2009205169A (ja) * | 2009-06-09 | 2009-09-10 | P To Pa:Kk | 家電制御装置、家電制御方法及びプログラム |
| US8983847B2 (en) | 2011-09-22 | 2015-03-17 | Kabushiki Kaisha Toshiba | Voice recognition apparatus, method, and computer program product |
| JP2014132342A (ja) * | 2013-01-07 | 2014-07-17 | Samsung Electronics Co Ltd | 対話型サーバ、ディスプレイ装置及びその制御方法 |
| US11854570B2 (en) | 2013-01-07 | 2023-12-26 | Samsung Electronics Co., Ltd. | Electronic device providing response to voice input, and method and computer readable medium thereof |
| WO2014107101A1 (en) * | 2013-01-07 | 2014-07-10 | Samsung Electronics Co., Ltd. | Display apparatus and method for controlling the same |
| CN107564519A (zh) * | 2013-01-07 | 2018-01-09 | 三星电子株式会社 | 交互服务器及其控制方法和交互系统 |
| WO2014107102A1 (en) * | 2013-01-07 | 2014-07-10 | Samsung Electronics Co., Ltd. | Display apparatus and method of controlling display apparatus |
| JP2019133165A (ja) * | 2013-01-07 | 2019-08-08 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 対話型サーバ、ディスプレイ装置及びその制御方法 |
| US10891968B2 (en) | 2013-01-07 | 2021-01-12 | Samsung Electronics Co., Ltd. | Interactive server, control method thereof, and interactive system |
| US12475908B2 (en) | 2013-01-07 | 2025-11-18 | Samsung Electronics Co., Ltd. | Electronic device providing varying response based on contents included in input, and method and computer readable medium thereof |
| CN104506906A (zh) * | 2014-11-12 | 2015-04-08 | 科大讯飞股份有限公司 | 基于电视场景元素及语音助手的语音交互辅助方法及系统 |
| CN104506906B (zh) * | 2014-11-12 | 2019-01-18 | 科大讯飞股份有限公司 | 基于电视场景元素及语音助手的语音交互辅助方法及系统 |
| US9959866B2 (en) | 2015-04-02 | 2018-05-01 | Panasonic Intellectual Property Management Co., Ltd. | Computer-implemented method for generating a response sentence by using a weight value of node |
| JP7316983B2 (ja) | 2020-08-19 | 2023-07-28 | Tvs Regza株式会社 | 受信装置、および、受信装置のプログラム |
| JP2022034708A (ja) * | 2020-08-19 | 2022-03-04 | Tvs Regza株式会社 | 受信装置、および、受信装置のプログラム |
| JP2024505988A (ja) * | 2021-02-08 | 2024-02-08 | ソニーグループ株式会社 | シーン説明の再生制御 |
| JP7621607B2 (ja) | 2021-02-08 | 2025-01-27 | ソニーグループ株式会社 | シーン説明の再生制御 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6314398B1 (en) | 2001-11-06 |
| DE60012065T2 (de) | 2004-11-18 |
| EP1033701A3 (en) | 2001-04-11 |
| EP1033701B1 (en) | 2004-07-14 |
| JP3645145B2 (ja) | 2005-05-11 |
| DE60012065D1 (de) | 2004-08-19 |
| ES2225023T3 (es) | 2005-03-16 |
| EP1033701A2 (en) | 2000-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3645145B2 (ja) | 双方向性テレビ受像機を自動的に選局するための音声理解装置およびその方法 | |
| US12132965B2 (en) | Television related searching | |
| US6553345B1 (en) | Universal remote control allowing natural language modality for television and multimedia searches and requests | |
| EP0794670B1 (en) | Context-based recognition system for interactive tv and telephony | |
| US6513006B2 (en) | Automatic control of household activity using speech recognition and natural language | |
| US6480819B1 (en) | Automatic search of audio channels by matching viewer-spoken words against closed-caption/audio content for interactive television | |
| US7519534B2 (en) | Speech controlled access to content on a presentation medium | |
| US6324512B1 (en) | System and method for allowing family members to access TV contents and program media recorder over telephone or internet | |
| CN107613353B (zh) | 在电子设备上呈现搜索结果的方法、电子设备及计算机存储介质 | |
| US20020059180A1 (en) | Agent interface device | |
| US9026448B2 (en) | User interface for entertainment systems | |
| CN102075797A (zh) | 一种语音浏览频道或节目的方法及数字电视接收终端 | |
| EP1160664A2 (en) | Agent display apparatus displaying personified agent for selectively executing process | |
| JP2001103402A (ja) | 記録されたテレビジョン放送についての情報を記憶するための機構 | |
| KR20100067174A (ko) | 음성 인식을 이용한 메타데이터 검색기, 검색 방법, iptv 수신 장치 | |
| JP7280328B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
| JPH11252477A (ja) | 受信機 | |
| US20100169930A1 (en) | Broadcasting receiver and method of searching for keyword of broadcasting receiver | |
| Wittenburg et al. | The prospects for unrestricted speech input for TV content search | |
| CA2633183A1 (en) | Personalized electronic programming guide | |
| EP3625794B1 (en) | Recommending results in multiple languages for search queries based on user profile | |
| JP2003219332A (ja) | 番組予約装置及びその方法、プログラム | |
| JP2004029268A (ja) | 音声対話装置及び音声対話方法 | |
| KR20020066013A (ko) | 키워드 기반 프로그램 검색 장치 및 방법 | |
| JP2000092405A (ja) | マン−マシンインターフェースシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041026 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041203 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050104 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050202 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3645145 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080210 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140210 Year of fee payment: 9 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |