JP6897451B2 - 端末、プログラム、通信方法及び通信システム - Google Patents
端末、プログラム、通信方法及び通信システム Download PDFInfo
- Publication number
- JP6897451B2 JP6897451B2 JP2017182211A JP2017182211A JP6897451B2 JP 6897451 B2 JP6897451 B2 JP 6897451B2 JP 2017182211 A JP2017182211 A JP 2017182211A JP 2017182211 A JP2017182211 A JP 2017182211A JP 6897451 B2 JP6897451 B2 JP 6897451B2
- Authority
- JP
- Japan
- Prior art keywords
- terminal
- connection
- command
- voice
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 title claims description 53
- 238000000034 method Methods 0.000 title claims description 19
- 238000001514 detection method Methods 0.000 claims description 93
- 238000012790 confirmation Methods 0.000 claims description 40
- 238000003384 imaging method Methods 0.000 claims description 27
- 230000005540 biological transmission Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 description 35
- 240000004050 Pentaglottis sempervirens Species 0.000 description 27
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 27
- 230000007613 environmental effect Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 17
- 238000007726 management method Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 11
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
Description
本発明の実施形態は、遠隔する拠点間でのコミュニケーションを実現する遠隔コミュニケーションシステムに関する。以下、図1及び図2を参照し、遠隔コミュニケーションシステムの概要を説明する。
撮像装置10は、拠点の俯瞰映像を撮像する機能と、拠点の環境音を収音する機能と、かかる俯瞰映像と環境音とを送信する機能を有する。図3は、撮像装置10の構成の一例を示す説明図である。撮像装置10は、俯瞰映像入力部102と、環境音入力部103と、通信部104を有することができる。俯瞰映像入力部102は、拠点の映像を撮影する機能を有する。環境音入力部103は、拠点の音声を収音する機能を有する。通信部104は、俯瞰映像入力部102により撮影された俯瞰映像と、環境音入力部103で集音された環境音とを、ネットワーク12を介して他の拠点に送信する機能を有する。かかる撮像装置10により、拠点Aに設けられる撮像装置10Aは、拠点Aの俯瞰映像及び環境音を、ネットワーク12を介して拠点Bに送信し、同様に、拠点Bに設けられる撮像装置10Bは、拠点Bの俯瞰映像及び環境音を、ネットワーク12を介して拠点Aに送信することができる。ここで、撮像装置10は、俯瞰映像入力部102と環境音入力部103の双方を必ずしも備えなくてもよく、俯瞰映像入力部102を備えなくてもよいし、環境音入力部103を備えなくてもよい。また、一方の拠点で撮影した俯瞰映像と、集音した環境音とは、他方の拠点に必ずしも送信されなくてもよい。さらに、環境音入力部103は、オフィスの中央等に設置して必要な音声を収音できるように、俯瞰映像入力部102と分離されてもよい。
端末管理サーバ11は、利用者の名称等の情報と端末情報とが紐づけられた情報を管理する機能を有する。端末情報は、端末20の識別子および俯瞰映像内における端末20の座標データを含む。また、端末20が複数人による共同利用のために設置される場合、端末情報は、俯瞰映像内における利用者の座席の座標を含む。図4に示したように、端末管理サーバ11は、端末情報記憶部112と、端末情報検索部113と、通信部114とを備えることができる。
ネットワーク12は、複数の拠点と、端末管理サーバ11とを接続する。ネットワーク12は、電話回線網、インターネット、衛星通信網などの公衆回線網や、LAN(Local Aera Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク12は、IP−VPN(Internet Protocol−Virtual Private Network)などの専用回線網を含んでもよい。
端末20は、複数の拠点間でのコミュニケーションを支援するための装置であり、例えば、端末20は、拠点Aに居る対話要求送信側のメンバーが発する音声から、拠点Bに居る対話要求受信側のメンバーに関する名称等の音声情報を認識すると、対話要求送信側のメンバーと、対話要求受信側のメンバーとが対話できるような状態を確立する。
撮像部220は、端末20を利用するメンバーを撮像する機能を有する。例えば、対話要求送信側メンバーの端末20Aの撮像部220は、当該メンバーの映像を撮像により取得する。拠点Aの端末20Aと拠点Bの端末20Bとの接続が確立された場合、端末20Aは、撮像部220により取得された映像を、ネットワーク12を介して拠点Bの端末20Bに送信することができる。同様に、拠点Aの端末20Aと拠点Bの端末20Bとの接続が確立された場合、端末20Bは、撮像部220により取得された映像を、ネットワーク12を介して拠点Aの端末20Aに送信することができる。
音声入力部230は、音声の入力機能を有し、利用者の発話等の音声が取得される。例えば、拠点Aに居る対話要求送信側メンバーの端末20Aの音声入力部230は、当該メンバーの音声を収音する。音声入力部230により収音された音声は、ネットワーク12を介して、対話要求受信側メンバーが利用する端末20Bに送信される。同様に、拠点Bに居る対話要求受信側メンバーの端末20Bの音声入力部230は、当該メンバーの音声を収音する。音声入力部230により収音された音声は、ネットワーク12を介して、対話要求送信側端末20Aに送信されてもよい。
表示部240は、映像を表示する機能を有する。例えば、対話要求送信側の拠点Aに配置される端末20Aの表示部240Aは、図2に示したように、対話要求受信側の拠点Bの撮像装置10Bから送信された拠点Bの俯瞰映像を表示することができる。また、表示部240Aは、対話要求受信側メンバーが利用する端末20Bの撮像部220Bで撮影された映像を表示することができる。さらに、表示部240Aは対話要求送信側の俯瞰映像を表示することもできるし、対話要求送信側端末20Aの撮像部220Aで取得された映像を表示することもできる。
音声出力部250は、音声を出力する機能を有し、スピーカーで構成され得る。例えば、拠点Aに位置する端末20Aの音声出力部250は、拠点Bの撮像装置10Bから送信された拠点Bの環境音を出力する。
音声バッファ231は、音声入力部230で取得された入力音声を記憶する機能を有する。さらに音声バッファ231は、対話要求送信側の端末20である第1の端末20と、対話要求受信側の端末20である第2の端末20とが接続されたときに、記憶したデータを、通信部260を介して第2の端末20に対して送信する。
音声認識部232は、音声入力部230で取得された入力音声を受信し、認識する機能を有する。入力音声の認識は、単語及びまとまりを有するフレーズのような、後述するコマンド検出に使用する辞書に登録した言葉の単位ですることができる。また、音声認識部232は、認識した入力音声を接続コマンド検出部234、及び切断コマンド検出部235に送信する。
接続コマンド検出部234は、接続コマンドC1を検出し接続判定する機能を有する。接続コマンド検出部234は、接続コマンドC1を検出するための辞書を備えることができる。ここで、図6を参照しながら接続コマンドC1の検出方法について説明する。図6は、接続コマンドC1の検出に用いられる辞書の一例を示す説明図である。具体的には、接続コマンド検出部234は、第1の端末20が接続状態でない場合に、受信した入力音声の中から接続コマンドC1を検出し、検出結果に基づいて、他の端末20から接続すべき第2の端末20を判定する。かかる接続コマンドC1は、名称C12と、敬称C14と、呼出確認C16とを含む。
切断コマンド検出部235は、第1の端末20と、第2の端末20とが接続状態である場合に、切断判定を行う機能を有し、入力音声から切断コマンドを検出する機能を有する。具体的には、入力音声の中から切断コマンドが検出された場合は、第1の端末20と第2の端末20との間の接続が切断され、切断コマンドが検出されない場合は、上記接続は維持される。
接続制御部236は、制御内容を通信部260に送信する機能を有する。具体的には、接続コマンド検出部234及び切断コマンド検出部235で判定された結果に基づき、制御内容を通信部260に送信する。
端末情報保持部239は、端末20の識別子や利用者の情報を保持する機能を有する。端末情報保持部239が保持する情報は、端末管理サーバ11で管理されており、通信接続の際の接続すべき端末20の検索に使用される。
通信部260は、映像及び音声を通信する機能を有する。例えば、通信部260は、対話要求受信側の拠点に設けられた撮像装置10により取得された俯瞰映像及び環境音を受信する受信部としての機能を有する。また、通信部260は、対話状態において、第2の端末20の撮像部220により取得された映像と、音声入力部230により取得された音声とを受信することができる。また、通信部260は、対話状態において、第1の端末20の撮像部220により取得された映像と、音声入力部230により取得された音声を、第2の端末20に送信する送信部として機能を有する。さらに、通信部260は、接続制御部236から送信された制御内容に基づいて、第2の端末20に対話要求を送信することも可能であるし、他の拠点の端末20から対話要求を受信し、出力制御部237へ制御指示を送信する機能を有する。
出力制御部237は、通信部260から送信された制御指示に基づき、表示部240及び音声出力部250を制御する機能を有する。例えば、出力制御部237は、対話要求受信側の拠点に設けられた撮像装置10により取得された俯瞰映像、及び第2の端末20の撮像部220により取得された映像を、表示部240で表示するように制御することができる。また、出力制御部237は、対話要求受信側の拠点に設けられた撮像装置10により取得された環境音、もしくは第2の端末20の音声入力部230により取得された音声を、音声出力部250で出力するように制御することができる。さらに、出力制御部237は、接続コマンド検出部234において検出された呼び名や接続コマンドC1のフレーズ候補を、表示部240で表示するように制御する表示制御部としての機能を備えることも可能である。
続いて、図10を参照し、端末20の動作について説明する。図10は、端末20の動作の流れを示すフローチャートである。ここでは、動作の特徴を明確にするため、端末20の動作を中心に説明し、接続コマンド検出部234における呼出フレーズ候補の表示、異常発生時及びエラー発生時の処理フローは省略する。
図11は、対話要求送信側メンバーの操作と端末20の動作の流れの一例を示すシーケンス図である。図11は、対話要求送信側メンバーM10(単に「メンバーM10」と記載する)、音声バッファ231、音声認識部232、並びに接続制御部236、表示部240及び通信部260のオブジェクトから構成されており、図11の上から下に延びる実線は各オブジェクトのライフラインを示している。
次に、上記の例において、音声認識部232で入力音声が誤認識された場合の例について説明する。図12は、対話要求送信側メンバーM10の操作と端末20の動作の流れの一例を示すシーケンス図であり、音声認識部232にて誤認識が発生した場合を例示する。図12は、メンバーM10、音声バッファ231、音声認識部232、並びに接続制御部236、表示部240及び通信部260のオブジェクトから構成されており、上から下に延びる実線は各オブジェクトのライフラインを示している。
ここで、第2の端末20に入力音声を出力する際の、音声バッファ231の参照方法について説明する。音声バッファ231を参照する時間は、固定された長さでもよいし、図13に示すように、名称C12、敬称C14、呼出確認C16のそれぞれのフレーズに対して、必要な時間を割り当てておき、認識結果に基づいて、参照する時間を定めてもよい。図13は、音声バッファ長をフレーズごとに割り当てた一例を示す説明図である。図13では、例えば、「佐藤」、「鈴木」、「高橋」等の名称C12にそれぞれ1.5秒の音声バッファ長が割り当てられている。「さん」、「くん」の敬称C14に対しては音声バッファ長は0.5秒割り当てられ、「部長」、「課長」という敬称C14に対しては0.7秒が割り当てられている。同様に、呼出確認C16について、例えば、「ちょっといい?」というフレーズに対しては2秒の音声バッファ長が割り当てられ、「ちょっといいですか?」というフレーズに対しては3秒の音声バッファ長が割り当てられている。そして、これらの割り当てられた音声バッファ長を基に、音声バッファ231に記憶された入力音声のフレーズに対応する音声バッファ長の合計を、音声バッファ231を参照する時間として定めることができる。例えば、音声バッファ231に記憶された入力音声が「佐藤さん ちょっといいですか?」である場合、音声バッファ231の参照時間は5秒となり、音声バッファ231に記憶された入力音声の末尾から5秒遡った箇所を参照起点として、音声バッファ231を参照する。その結果、第2の端末20に「佐藤さん ちょっといいですか?」という入力音声が出力される。かかるバッファ長の割り当て情報は、音声認識部232に記憶されていてもよい。なお、音声バッファ231のサイズは、入力音声を記憶するのに十分な長さを確保しておく必要がある。
以上、本発明の実施形態を説明した。以下では、本発明の実施形態の変形例を説明する。なお、以下に説明する変形例は、また、変形例は、本発明の実施形態で説明した構成に代えて適用されてもよいし、本発明の実施形態で説明した構成に対して追加的に適用されてもよい。
本発明の実施形態では、2つの拠点間で、対話を開始できるような構成について説明したが、拠点数は2つに限られない。このとき、俯瞰映像及び環境音は、取得するデバイスを複数備えて切り替えられるようにすることで、相手の様子を伺うことができるようになる。また、俯瞰映像及び環境音は、いずれか一つのみ、あるいは両方がなくても構わない。
本発明の実施形態では、対話要求送信側のメンバーと、対話要求受信側メンバーが、それぞれ一人のとき、つまり、第1の端末20と第2の端末20がそれぞれ1台の場合について説明した。しかし、接続する第1の端末20及び第2の端末20は、それぞれ一台だけでなく、複数の端末20とすることができる。そのときの接続コマンド検出に利用される名称C12は、必要なグループ名等を登録しておき、その名称C12が認識された場合に、そのグループに属する端末情報が取得され、複数の端末20が接続されるようにすることができる。
本発明の実施形態では、対話相手に直接話しかけることができるような構成としたが、対話要求受信側のメンバーが目上の人等であり、直接話しかけることが適切でないような場合は、エージェントを介する構成にし、対話要求送信側メンバーと、対話要求受信側メンバーとを自動判別して動作するように構成することも可能である。
以上、本発明の実施形態について説明した。上述した映像処理及び音声処理などの情報処理は、ソフトウェアと、以下に説明する端末20のハードウェアとの協働により実現される。
以上説明したように、本発明の実施形態によれば、複数のユーザが同一空間に存在するかのような感覚でユーザ間の会話が開始されることを支援することが可能である。
11 端末管理サーバ
12 ネットワーク
20 端末
220 撮像部
230 音声入力部
231 音声バッファ
232 音声認識部
234 接続コマンド検出部
235 切断コマンド検出部
236 接続制御部
237 出力制御部
239 端末情報保持部
240 表示部
250 音声出力部
260 通信部
Claims (10)
- 入力音声を記憶する音声バッファと、
前記入力音声から、対象の呼び名と前記対象への呼出確認とを含む接続コマンドを検出し、前記呼び名を検出する呼び名検出部、及び前記呼出確認を検出する呼出検出部を含む接続コマンド検出部と、
前記呼出検出部により前記呼出確認が検出される前に、前記呼び名検出部により検出された呼び名の表示を制御する表示制御部と、
前記接続コマンドに含まれる呼び名に対応する他の端末との接続を制御する接続制御部と、
前記他の端末が接続された後に、前記音声バッファに記憶された前記接続コマンドを含む入力音声を前記他の端末に送信する送信部と、
を備える、端末。 - 前記接続コマンド検出部は、タイマーを含み、
前記表示制御部は、
前記呼出検出部により前記呼出確認が検出される前に、呼出確認が検出可能なフレーズの候補の表示を制御する、請求項1に記載の端末。 - 前記送信部は、前記音声バッファに記憶された入力音声の末尾から遡った箇所を起点にして前記入力音声の送信を開始する、請求項1又は2に記載の端末。
- 前記送信部は、前記音声バッファに記憶された入力音声の末尾から、前記接続コマンド検出部により検出された前記接続コマンドに応じた時間分遡った箇所を起点にして、前記入力音声の送信を開始する、請求項3に記載の端末。
- 前記端末は、前記入力音声から切断コマンドを検出する切断コマンド検出部をさらに備え、
前記接続制御部は、前記切断コマンド検出部により前記切断コマンドが検出されたことに基づいて、前記他の端末との接続を切断する、請求項1〜4のいずれか一項に記載の端末。 - 前記切断コマンド検出部は、事前に設定された第1の切断コマンド辞書または第2の切断コマンド辞書に含まれるコマンドを前記切断コマンドとして検出し、
前記他の端末との接続から所定時間が経過する以前は前記第1の切断コマンド辞書を用いて、前記他の端末との接続から前記所定時間が経過した後は前記第2の切断コマンド辞書を用いて前記切断コマンドを検出する、請求項5に記載の端末。 - 前記端末は撮像部をさらに備え、
前記送信部は、前記他の端末が接続された後に、前記撮像部により得られた撮像画像を前記他の端末に送信する、請求項1〜6のいずれか一項に記載の端末。 - コンピュータを、
入力音声から、対象の呼び名と前記対象への呼出確認とを含む接続コマンドを検出し、前記呼び名を検出する呼び名検出部、及び前記呼出確認を検出する呼出検出部を含む接続コマンド検出部と、
前記呼出検出部により前記呼出確認が検出される前に、前記呼び名検出部により検出された呼び名の表示を制御する表示制御部と、
前記接続コマンドに含まれる呼び名に対応する他の端末との接続を制御する接続制御部と、
前記他の端末が接続された後に、音声バッファに記憶された前記接続コマンドを含む入力音声を前記他の端末に送信する送信部と、
として機能させるための、プログラム。 - 入力音声を記憶する音声バッファに記憶することと、
前記入力音声から、対象の呼び名と前記対象への呼出確認とを含む接続コマンドを検出することと、
前記呼出確認が検出される前に、検出された前記呼び名の表示を制御することと、
前記接続コマンドに含まれる呼び名に対応する他の端末との接続を制御することと、
前記他の端末が接続された後に、前記音声バッファに記憶された前記接続コマンドを含む入力音声を前記他の端末に送信することと、
を含む、通信方法。 - 複数の端末を有する通信システムであって、
前記複数の端末のうちの第1の端末は、
入力音声を記憶する音声バッファ、
前記入力音声から、対象の呼び名と前記対象への呼出確認とを含む接続コマンドを検出し、前記呼び名を検出する呼び名検出部、及び前記呼出確認を検出する呼出検出部を含む接続コマンド検出部、
前記呼出検出部により前記呼出確認が検出される前に、前記呼び名検出部により検出された呼び名の表示を制御する表示制御部、
前記接続コマンドに含まれる呼び名に対応する第2の端末との接続を制御する接続制御部、及び
前記第2の端末が接続された後に、前記音声バッファに記憶された前記接続コマンドを含む前記入力音声を前記第2の端末に送信する送信部、
を有し、
前記第2の端末は、前記第1の端末から送信される前記入力音声を出力する、通信システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017182211A JP6897451B2 (ja) | 2017-09-22 | 2017-09-22 | 端末、プログラム、通信方法及び通信システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017182211A JP6897451B2 (ja) | 2017-09-22 | 2017-09-22 | 端末、プログラム、通信方法及び通信システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019057876A JP2019057876A (ja) | 2019-04-11 |
| JP6897451B2 true JP6897451B2 (ja) | 2021-06-30 |
Family
ID=66107796
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017182211A Active JP6897451B2 (ja) | 2017-09-22 | 2017-09-22 | 端末、プログラム、通信方法及び通信システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6897451B2 (ja) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL87377A (en) * | 1987-10-02 | 1992-01-15 | Motorola Inc | Device and method for terminating a telephone call by voice command |
| KR100617711B1 (ko) * | 2004-06-25 | 2006-08-28 | 삼성전자주식회사 | 휴대단말기에서 음성인식구동 방법 |
| JP2009021923A (ja) * | 2007-07-13 | 2009-01-29 | Yamaha Corp | 音声通信装置 |
| JP2010183205A (ja) * | 2009-02-03 | 2010-08-19 | Panasonic Electric Works Co Ltd | 通話システム |
| JP2012029066A (ja) * | 2010-07-23 | 2012-02-09 | Advanced Telecommunication Research Institute International | 携帯電話機 |
| KR101664080B1 (ko) * | 2015-07-28 | 2016-10-10 | 현대자동차 주식회사 | 음성 다이얼링 시스템 및 방법 |
-
2017
- 2017-09-22 JP JP2017182211A patent/JP6897451B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019057876A (ja) | 2019-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7668309B2 (ja) | 共有された音声対応デバイスにおける電話の処理 | |
| EP2210214B1 (en) | Automatic identifying | |
| US9106447B2 (en) | Systems, methods and apparatus for providing unread message alerts | |
| WO2018147687A1 (en) | Method and apparatus for managing voice-based interaction in internet of things network system | |
| CN109274831B (zh) | 一种语音通话方法、装置、设备及可读存储介质 | |
| US10403272B1 (en) | Facilitating participation in a virtual meeting using an intelligent assistant | |
| US20100178903A1 (en) | Systems and Methods to Provide Personal Information Assistance | |
| CN113380275B (zh) | 语音处理方法、装置、智能设备及存储介质 | |
| CN107464557A (zh) | 通话录音方法、装置、移动终端及存储介质 | |
| US11700325B1 (en) | Telephone system for the hearing impaired | |
| CN102655544A (zh) | 一种发起通信的方法及通信终端 | |
| JP6842227B1 (ja) | グループ通話システム、グループ通話方法及びプログラム | |
| CN109257498B (zh) | 一种声音处理方法及移动终端 | |
| WO2023029299A1 (zh) | 耳机通信方法、耳机设备及计算机可读存储介质 | |
| JP5005103B1 (ja) | 通話システム | |
| JP2009239466A (ja) | 電話受付システム、電話受付方法、プログラム、及び記録媒体 | |
| JP2008242837A (ja) | コミュニケーションの状況を管理する装置、方法およびプログラム | |
| JP7553645B2 (ja) | 音声処理装置、会議システム、及び音声処理方法 | |
| JP6897451B2 (ja) | 端末、プログラム、通信方法及び通信システム | |
| JP2020113938A (ja) | 情報処理装置、情報処理方法、情報処理システムおよびプログラム | |
| JP6933163B2 (ja) | 通信装置、通信システム、通信方法およびプログラム | |
| JP3916387B2 (ja) | 電話応答コンピュータシステム,該システムの機能を実現するためのボード及び記録媒体 | |
| CN102984360B (zh) | 一种移动终端的通话方法及系统 | |
| JP4230982B2 (ja) | 通話補助装置、通話補助方法、通話補助プログラムおよび通話補助システム | |
| CN113194021B (zh) | 电子装置、消息播放控制系统以及消息播放控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190327 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190328 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200513 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210302 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210420 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210511 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210524 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6897451 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |