JP2017194546A - 電子機器、その制御方法および制御プログラム - Google Patents

電子機器、その制御方法および制御プログラム Download PDF

Info

Publication number
JP2017194546A
JP2017194546A JP2016084249A JP2016084249A JP2017194546A JP 2017194546 A JP2017194546 A JP 2017194546A JP 2016084249 A JP2016084249 A JP 2016084249A JP 2016084249 A JP2016084249 A JP 2016084249A JP 2017194546 A JP2017194546 A JP 2017194546A
Authority
JP
Japan
Prior art keywords
word
speed
sentence
output
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016084249A
Other languages
English (en)
Other versions
JP6752046B2 (ja
Inventor
靖弘 宮野
Yasuhiro Miyano
靖弘 宮野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2016084249A priority Critical patent/JP6752046B2/ja
Publication of JP2017194546A publication Critical patent/JP2017194546A/ja
Application granted granted Critical
Publication of JP6752046B2 publication Critical patent/JP6752046B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Electrically Operated Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザの操作の煩雑さを軽減するとともに、効率良くリスニング学習を行なうことが可能な電子機器、その制御方法および制御プログラムを提供する。【解決手段】電子機器は、テキストを表示するための表示部と、テキストに対応する音声を順次出力するための音声出力部と、ユーザからの操作を受け付ける入力部と、表示部における表示を制御するとともに、音声出力部から出力される音声を制御する制御部とを備える。制御部は、テキストにおける第1の位置の単語が第1の速度で音声出力されているときに、入力部を介して、テキストにおいて第1の位置よりも前の第2の位置を選択する操作を受け付けた場合、第1の速度とは異なる第2の速度で第2の位置の単語を音声出力させる。【選択図】図5

Description

本開示は、テキストの読み上げ機能を有する電子機器、その制御方法および制御プログラムに関する。
従来、辞書機能を有する電子機器においては、発音音声を出力する機能を有するものがある。この音声出力機能により、辞書検索されて選択表示させた単語や例文などの発音音声データを再生し、目と耳で学習することができる。例えば、テキストに同期した音声出力機能を利用して、学習効率の向上を目的とした以下のような技術が提案されている。
特開2010−85727号公報(特許文献1)は、辞書機能を備えた電子装置を開示している。この電子装置においては、表示画面上の例文をタッチすると、タッチされた文字が含まれる単語を始点として発音音声の再生が開始されると共に、発音された文字列を囲んだ表示および単語毎の発音回数に応じた背景着色表示が行われる。そして、当該例文の単語の発音回数が所定回数になると、該当の単語を単語帳データとして登録する。
特開2010−85727号公報
上述のようなテキストに同期した音声出力機能を有する電子機器においては、例えば、比較的長い英文のリスニング学習を行なうような場合、ある文中に聞き取れなかった単語があったときに、再度すぐにその文をリスニングしたいというニーズがある。
特許文献1によると、発音音声が再生されている文字列に対するドラッグ操作の速度に応じて、読み上げ速度を変更することが開示されている。しかし、ドラッグ操作はリスニング学習中には煩雑な操作である。また、ユーザが、聞き取れなかった単語を含む文を、再度すぐにリスニングするための技術については何ら教示ないし示唆していない。
本開示は、上記に鑑みてなされたものであって、その目的は、ユーザの操作の煩雑さを軽減するとともに、効率良くリスニング学習を行なうことが可能な電子機器、その制御方法および制御プログラムを提供することである。
ある実施の形態に従う電子機器は、テキストを表示するための表示部と、テキストに対応する音声を順次出力するための音声出力部と、ユーザからの操作を受け付ける入力部と、表示部における表示を制御するとともに、音声出力部から出力される音声を制御する制御部とを備える。制御部は、テキストにおける第1の位置の単語が第1の速度で音声出力されているときに、入力部を介して、テキストにおいて第1の位置よりも前の第2の位置を選択する操作を受け付けた場合、第1の速度とは異なる第2の速度で第2の位置の単語を音声出力させる。
他の実施の形態に従うと、電子機器の制御方法が提供される。電子機器は、テキストを表示するための表示部と、テキストに対応する音声を順次出力するための音声出力部とを備える。制御方法は、テキストにおける第1の位置の単語が第1の速度で音声出力されているときに、テキストにおいて第1の位置よりも前の第2の位置を選択する操作を受け付けるステップと、受け付けるステップにより当該操作が受け付けられた場合、第1の速度とは異なる第2の速度で第2の位置の単語を音声出力するステップとを含む。
さらに、他の実施の形態に従うと、電子機器のコンピュータに実行させる制御プログラムが提供される。電子機器は、テキストを表示するための表示部と、テキストに対応する音声を順次出力するための音声出力部とを備える。制御プログラムは、コンピュータに、テキストにおける第1の位置の単語が第1の速度で音声出力されているときに、テキストにおいて第1の位置よりも前の第2の位置を選択する操作を受け付けるステップと、受け付けるステップにより当該操作が受け付けられた場合、第1の速度とは異なる第2の速度で第2の位置の単語を音声出力するステップとを実行させる。
本開示によると、ユーザの操作の煩雑さを軽減するとともに、効率良くリスニング学習を行なうことが可能となる。
実施の形態1に従う電子機器のハードウェア構成の一例を表わすブロック図である。 実施の形態1に従う第1の局面におけるテキスト表示画面を示す図である。 実施の形態1に従う第1の局面の後の第2の局面におけるテキスト表示画面を示す図である。 実施の形態1に従う第3の局面におけるテキスト表示画面を示す図である。 実施の形態1に従う電子機器の処理手順の一例を示すフローチャートである。 実施の形態2に従う単語の説明情報の表示方式(その1)を説明するための図である。 実施の形態2に従う単語の説明情報の表示方式(その2)を説明するための図である。 実施の形態2に従う単語の説明情報の表示方式(その3)を説明するための図である。
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
なお、以下では、電子機器がスマートフォンであるとして説明するが、これに限定されるものではない。電子機器は、例えば、電子辞書、タブレット端末、パソコン、デジタルカメラ、PDA(Personal Digital Assistant)、ゲーム機なども含み得る。
[実施の形態1]
<概要>
まず、実施の形態1に従う電子機器におけるテキスト読み上げ機能の概要を説明する。
例えば、ユーザが、電子機器の内部メモリに格納されている英文テキスト(データ)を読み出すと、その英文テキストがディスプレイに表示される。ユーザは、リスニング学習のため、この英文テキストを最初の文から順に再生する。そして、再生中のある文において、ユーザが未知の単語あるいは聞き取れなかった単語や文があったとき、もう一度すぐにその文を再生することを望む場合がある。
このような場合、従来は、まず英文テキストの読み上げ再生を停止し、再生したい文を選択し、必要に応じて再生速度を再設定し、そして読み上げ再生を実行するという操作が必要である。
また、未知の単語を検索する場合には、英文テキストの読み上げ再生を停止し、未知の単語を選択し、辞書で検索するという操作が必要である。あるいは、英文テキストの読み上げ再生を停止し、辞書検索画面に切り替え、未知の単語を入力して辞書で検索するという操作が必要である。これらの操作は、リスニング学習を効率よく行ないたいユーザにとっては非常に煩雑なものであった。
そこで、本実施の形態に従う電子機器では、ある速度Vでテキストが読み上げ再生されているときに、現在読み上げ再生中の文よりも前の文がユーザにより選択する操作が行われると、当該前の文の読み上げ再生がユーザの所望速度Vxで自動的に開始される。これにより、ユーザは、煩雑な操作を行なくことなく、聞き取れなかった文を再度リスニングすることが可能となるため、効率の良いリスニング学習を行なうことができる。
以下、上記のような電子機器およびその制御方式について詳細に説明する。
<ハードウェア構成>
図1は、実施の形態1に従う電子機器10のハードウェア構成の一例を表わすブロック図である。図1を参照して、電子機器10は、主たる構成要素として、プロセッサ152と、メモリ154と、入力装置156と、ディスプレイ158と、無線通信インターフェイス(I/F)160と、メモリインターフェイス(I/F)164と、マイク166と、スピーカ168と、バッテリ170とを含む。
プロセッサ152は、典型的には、CPU(Central Processing Unit)やMPU(Multi Processing Unit)といった演算処理部である。プロセッサ152は、メモリ154に記憶されたプログラムを読み出して実行することで、電子機器10の各部の動作を制御する制御部として機能する。プロセッサ152は、当該プログラムを実行することによって、後述する電子機器10の処理(ステップ)の各々を実現する。本実施の形態では、プロセッサ152は、ディスプレイ158の表示制御およびスピーカ168から出力される音声制御を実行する。
メモリ154は、RAM(Random Access Memory)、ROM(Read-Only Memory)、フラッシュメモリなどによって実現される。メモリ154は、プロセッサ152によって実行されるプログラム、またはプロセッサ152によって用いられる各種データなどを記憶する。例えば、メモリ154は、ディスプレイ158に表示されるテキストデータ、スピーカ168から出力される音声データ、単語帳データ、複数の辞書コンテンツ(英和辞典、和英辞典、国語辞典等)を含む辞書データベース等を格納している。
入力装置156は、電子機器10に対するユーザからの操作入力を受け付ける。典型的には、入力装置156は、タッチパネルによって実現されており、スタイラスペンや指などによる操作入力を受付ける。タッチパネルは、表示部としての機能を有するディスプレイ158上に設けられており、例えば、静電容量方式タイプである。タッチパネルは、所定時間毎に外部物体によるタッチパネルへのタッチ操作を検知し、タッチ座標をプロセッサ152に入力する。ただし、入力装置156は、ボタンなどを含んでいてもよい。
無線通信インターフェイス160は、通信アンテナ162を介して無線通信網に接続し無線通信のための信号を送受信する。これにより、電子機器10は、例えば、LTE(Long Term Evolution)等の移動体通信網を介して他の通信装置との通信が可能となる。
メモリインターフェイス164は、外部の記憶媒体165からデータを読み出す。プロセッサ152は、メモリ154からデータを読み出して、メモリインターフェイス164を介して当該データを外部の記憶媒体165に格納する。なお、記憶媒体165としては、CD(Compact Disc)、DVD(Digital Versatile Disk)、BD(Blu-ray(登録商標) Disc)、USB(Universal Serial Bus)メモリ、SD(Secure Digital)メモリカードなどの不揮発的にプログラムを格納する媒体が挙げられる。
マイク166は、電子機器10に対する音声入力を受け付けて、当該音声入力に対応する音声信号をプロセッサ152に与える。スピーカ168は、プロセッサ152から与えられる音声信号を音声に変換して電子機器10の外部へ出力する音声出力部として機能する。バッテリ170は、充放電可能な電力貯蔵要素であり、代表的にはリチウムイオン電池やニッケル水素電池などの二次電池で構成される。
<動作例>
次に、図2および図3を参照して、電子機器10の動作例について説明する。
図2は、実施の形態1に従う第1の局面におけるテキスト表示画面を示す図である。図3は、実施の形態1に従う第1の局面の後の第2の局面におけるテキスト表示画面を示す図である。
図2(a)を参照して、ユーザが、リスニング学習用の英文として、電子機器10のメモリ154に格納された英文テキストデータを読み出すと、ディスプレイ158に画面500が表示される。画面500は、テキストの表示領域502と、表示領域502に表示される英文テキスト504とを含む。英文テキスト504は、複数の文から構成される文章である。
そして、ユーザが、英文テキスト504の読み上げ再生の開始操作を行なうと、英文テキスト504の最初の文506(網掛け部分)から順に(再生)速度V1で読み上げ再生が開始される。典型的には、速度V1は、ユーザが事前に標準速度として設定している速度である。本実施の形態では、読み上げ再生中の文は、強調表示(例えば、網掛け表示)される。なお、強調表示は、表示色の変更、太字、下線表示等であってもよい。
次に、図2(b)を参照して、図2(a)の状態から読み上げ再生が進み、文508(網掛け部分)の読み上げ再生中に、ユーザがスタイラスペン300で文508よりも1つ前の文(具体的には、単語「resolution」)をタッチしたとする。
そうすると、図3(a)に示すように、画面500において、当該前の文510(網掛け部分)の読み上げ再生が速度V2で開始される。典型的には、速度V2は、速度V1よりも遅い速度である。なぜなら、スタイラスペン300でタッチ操作した箇所が、読み上げ再生中の文よりも前の文である(図2(b)参照)ということは、再生速度が速すぎて単語等を聞き取れなかった場合が想定されるためである。
また、上記の読み上げ再生が開始されると同時に、画面500において、単語の説明情報を表示するための表示領域512が表示領域502に重畳表示される。具体的には、表示領域512には、現在読み上げ再生中の単語の説明情報が表示される。このことから、図3(a)の状態においては、文510中の単語「current」が読み上げ再生中であることを示している。説明情報は、電子機器10に内蔵された辞書コンテンツに含まれる見出し語、訳語、意味内容、用例などを含む。なお、図3(a)の例では、表示領域512が画面500の下側で重畳表示されているが、画面500の右側あるいは左側で重畳表示されるように構成されていてもよい。また、表示領域512は、表示領域502への重畳表示ではなく、専用の画面で表示されるように構成されていてもよい。
次に、図3(a)の状態から読み上げ再生が進んで、文510中の単語「digital」の読み上げ再生中には、表示領域512に単語「digital」に対応する説明情報が表示される(図3(b)参照)。
ここで、プロセッサ152は、文510が読み上げ再生されているときに、表示領域512へのタッチ操作を受け付けた場合、読み上げ再生を停止する。すなわち、プロセッサ152は、表示領域512の説明情報の切替も停止する。あるいは、プロセッサ152は、表示領域512へのタッチ操作を受け付けた場合、読み上げ再生を停止するとともに、表示領域512に表示されている単語の説明情報を再生するように構成されていてもよい。これにより、ユーザは単語の意味や発音をより注意深く確認することができる。
プロセッサ152は、表示領域512以外の箇所(例えば、表示領域502等)へのタッチ操作を受け付けた場合、読み上げ再生を再開する。なお、電子機器10は、読み上げ再生を再開するための再開ボタン(図示しない)等への選択操作を受け付けることにより、読み上げ再生を再開してもよい。
そして、文510の読み上げ再生がすべて終了したら、再度、速度V1で文508の読み上げ再生が開始される(図3(c)参照)。このとき、単語情報の表示領域512は自動的に消去される。
上記のように、本実施の形態に従う電子機器10(プロセッサ152)は、英文テキスト504における任意の文(例えば、文508)が速度V1で音声出力(読み上げ再生)されているときに、入力装置156を介して、文508よりも前の文510を選択する操作を受け付けた場合(図2(b)参照)、速度V1よりも遅い速度V2で文510を読み上げ再生する(図3(a)参照)。プロセッサ152は、速度V2で文510が読み上げ再生されている場合、当該読み上げ再生に同期するように文510に含まれる単語の説明情報を表示する(図3(a)、(b)参照)。
そして、プロセッサ152は、速度V2での文510の読み上げ再生が終了したと判断した場合、再生速度を自動的に速度V2から速度V1に戻して文508の読み上げ再生を開始する(図3(c)参照)。なお、電子機器10は、自動的に速度V2から速度V1に戻すのではなく、ユーザから予め定められた操作に基づいて速度V1に戻すように構成されていてもよい。当該操作は、例えば、速度V1に戻すためのボタンの選択操作や、画面500の空白部分(文字等が表示されていない部分)へのタッチ操作等が考えられる。
次に、画面500において、文510の読み上げ再生が速度V2で行われているときに(図3(a)参照)、当該読み上げ再生中の文510をタッチした場合には、電子機器10は図4に示すように動作する。
図4は、実施の形態1に従う第3の局面におけるテキスト表示画面を示す図である。
図4(a)を参照して、ユーザは、画面500において、速度V2で文510が読み上げ再生(より詳細には、単語「current」が読み上げ再生)されているときに、スタイラスペン300を用いて文510中の単語「resolution」をタッチする。そうすると、図4(b)を参照して、画面500において、文510の読み上げ再生が停止されるとともに、表示領域512に単語「resolution」の説明情報が表示される。
すなわち、プロセッサ152は、速度V2で文510が読み上げ再生されているときに、文510中の単語を選択する操作を受け付けた場合、当該読み上げ再生を停止させるとともに当該選択された単語の説明情報を表示させる。そして、プロセッサ152は、表示領域512以外の箇所へのタッチ操作を受け付けた場合、あるいは、再開ボタン(図示しない)等への選択操作を受け付けた場合に、読み上げ再生を再開する。
上記の図2〜図4で説明したように動作する電子機器10によると、ユーザは、再度聞き直したい文を選択(タッチ)するだけで、予め設定した所望の速度でその文を聞き直すことができる。また、この際、その文に含まれる単語の説明情報が読み上げ再生に同期して表示されるため、耳でしっかり発音を聞くと同時に、目で単語の意味を確認することができる。さらに、単語の説明情報の表示領域を選択することにより、読み上げ再生を一時的に中止して当該単語についてより詳細に確認することもできる。したがって、リスニングの学習効率を高めることができる。
なお、上記では、ユーザが、既に再生された文を再度聞き直すために、読み上げ再生中の文よりも前の文をタッチ操作する場合の電子機器10の動作について説明した。ここで、例えば、ユーザが、読み上げ再生中の文を省略(スキップ)したい場合等には、当該再生中の文よりも後の文をタッチ操作すればよい。
具体的には、図2を参照して、電子機器10は、英文テキスト504において、文508よりも後の文(例えば、「8k is four ・・・」を含む文)を選択する操作を受け付けた場合、速度V1で当該後の文の読み上げ再生を開始する。すなわち、電子機器10は、再生速度を変更することなく当該後の文の読み上げ再生を開始し、単語の説明情報を表示することもない。
<処理手順>
図5は、実施の形態1に従う電子機器10の処理手順の一例を示すフローチャートである。図5に示す各ステップは、プロセッサ152がメモリ154に格納されたプログラムを実行することで実現される。以下では、説明の容易化のため、上記の速度V1が「標準速度」であり、速度V2が「低速度」であるとして説明する。
図5を参照して、プロセッサ152は、入力装置156を介して、画面500に表示された英文テキスト504に対応する音声を順次出力(再生)する読み上げ再生の開始操作を受け付けると、スピーカ168を介して、標準速度で英文テキスト504の読み上げ再生を開始する(ステップS12)。
プロセッサ152は、入力装置156を介して、英文テキスト504に含まれる文へのタッチ操作を受け付けたか否かを判断する(ステップS14)。当該タッチ操作を受け付けていない場合には(ステップS14においてNO)、後述するステップS34の処理を実行する。当該タッチ操作を受け付けた場合には(ステップS14においてYES)、プロセッサ152は、当該タッチ操作により選択された文(以下「選択文」と称する。)が現在読み上げ再生中の文よりも前の文か否かを判断する(ステップS16)。例えば、プロセッサ152は、画面500上において、選択文の位置情報(例えば、タッチ座標)と、現在読み上げ再生中の文の位置情報とを比較して、当該判断を行なう。なお、プロセッサ152は、上記以外の公知の手法により当該判断を実行してもよい。
選択文が前の文ではない場合には(ステップS16においてNO)、プロセッサ152は、標準速度で選択文の読み上げ再生を開始して(ステップS17)、ステップS14の処理を実行する。一方、選択文が前の文である場合には(ステップS16においてYES)、プロセッサ152は、標準速度から低速度に再生速度を変更して、選択文の読み上げ再生を開始するとともに、当該読み上げ再生に同期するように選択文に含まれる単語の説明情報をディスプレイ158に表示する(ステップS18)。具体的には、プロセッサ152は、英文テキスト504の表示領域502に、単語の説明情報の表示領域512を重畳表示する。
プロセッサ152は、低速度で読み上げ再生中の選択文へのタッチ操作を受け付けたか否かを判断する(ステップS20)。選択文へのタッチ操作を受け付けた場合には(ステップS20においてYES)、プロセッサ152は、選択文の読み上げ再生を一時停止する(ステップS22)。続いて、プロセッサ152は、選択文の読み上げ再生を開始する操作を受け付けたか否かを判断する(ステップS24)。当該操作を受け付けていない場合には(ステップS24においてNO)、プロセッサ152はステップS24の処理を繰り返す。一方、当該操作を受け付けた場合には(ステップS24においてYES)、プロセッサ152は、選択文の読み上げ再生を開始(再開)して(ステップS25)、ステップS20の処理を実行する。
再び、ステップS20に戻って、選択文へのタッチ操作を受け付けていない場合には(ステップS20においてNO)、プロセッサ152は、単語の説明情報の表示領域512へのタッチ操作を受け付けたか否かを判断する(ステップS26)。
当該タッチ操作を受け付けていない場合には(ステップS26においてNO)、プロセッサ152は後述するステップS32の処理を実行する。一方、当該タッチ操作を受け付けた場合には(ステップS26においてYES)、プロセッサ152は、選択文の読み上げ再生を一時停止する(ステップS28)。続いて、プロセッサ152は、選択文の読み上げ再生を開始する操作を受け付けたか否かを判断する(ステップS30)。
当該操作を受け付けていない場合には(ステップS30においてNO)、プロセッサ152はステップS30の処理を繰り返す。当該操作を受け付けた場合には(ステップS30においてYES)、プロセッサ152は、選択文の読み上げ再生を開始する(ステップS31)。続いて、プロセッサ152は、選択文の読み上げ再生が終了したか(選択文がすべて読み上げ再生されたか)否かを判断する(ステップS32)。
選択文の読み上げ再生が終了していない場合には(ステップS32においてNO)、プロセッサ152はステップS20の処理を実行する。選択文の読み上げ再生が終了した場合には(ステップS32においてYES)、プロセッサ152は、英文テキスト504の全文の読み上げ再生が終了したか否かを判断する(ステップS34)。
全文の読み上げ再生が終了していない場合には(ステップS34においてNO)、プロセッサ152は、選択文の次の文の読み上げ再生を標準速度で開始して(ステップS36)、ステップS14の処理を実行する。一方、全文の読み上げ再生が終了した場合には(ステップS34においてYES)、プロセッサ152は処理を終了する。
<利点>
本実施の形態によると、ユーザは、再度聞き直したい文を選択するだけで、所望の速度でその文を聞き直すことができるとともに、その文に含まれる単語の説明情報を同時に確認することができる。これにより、耳で発音を聞くと同時に、目で単語の意味を確認できるため、効率の良いリスニング学習が可能となる。
[実施の形態2]
実施の形態2では、上述した表示領域512に表示される単語の説明情報の表示方式の変形例について説明する。
(その1)
図6は、実施の形態2に従う単語の説明情報の表示方式(その1)を説明するための図である。ここで、図6(a)に示す画面500は、図3(a)に示すように、文510の読み上げ再生が速度V2(低速度)で順次開始されて、文510中の単語「resolution」を読み上げ再生している画面である。このとき、画面500の表示領域512Aには、チェックボックス520が表示される。図6(a)に示すように、ユーザは、チェックボックスをスタイラスペン300でチェックを入れることにより、単語「resolution」を図6(b)に示す既知単語リストに追加することができる。
図6(b)は、既知単語リスト画面530の一例を示す図である。例えば、既知単語リスト画面530は、単語リスト情報532と、削除ボタン534と、キャンセルボタン536とを含む。図6(b)を参照すると、単語「resolution」が単語リスト情報532に追加されていることがわかる。
このように、ユーザによって既知単語として設定された単語は、次回の読み上げ再生時には当該単語の説明情報は表示されない。具体的には、プロセッサ152は、ある文が速度V2で音声出力(再生)されている場合、当該文に含まれる各単語のうち、既知の単語として設定されている単語以外の残りの単語の説明情報を表示する。例えば、プロセッサ152は、文510が速度V2で読み出し再生されている場合、文510に含まれる単語「resolution」、「a」、「about」等の説明情報を表示しない。
なお、ユーザは、単語リスト情報532に含まれる単語の左側に設けられたチェックボックスにチェックを入れて、削除ボタン534を選択することにより、当該単語を既知単語リストから削除することができる。なお、ユーザがキャンセルボタン536を選択すると、既知単語リスト画面530が終了する。
上記によると、ユーザの既知単語については表示されないため、ユーザは習得しようとする単語を集中的に学習することができる。
(その2)
図7は、実施の形態2に従う単語の説明情報の表示方式(その2)を説明するための図である。ここで、図7(a)に示す画面500は、文510の読み上げ再生が速度V2(低速度)で順次開始されて、文510中の単語「resolution」を読み上げ再生している画面である。ここで、図7(a)に示す表示領域512には、図7(b)に示す品詞設定画面により設定された品詞の単語の説明情報のみが表示される。
図7(b)は、品詞設定画面540の一例を示す図である。品詞設定画面540は、品詞リスト情報542と、OKボタン544と、キャンセルボタン546とを含む。図7(b)を参照すると、品詞リスト情報542に含まれる品詞のうちの名詞および副詞のみにチェックが入っていることがわかる。そのため、例えば、単語「resolution」は名詞であるため、図7(a)に示すように、表示領域512に当該単語の説明情報が表示される。しかし、単語「resolution」の次の単語「of」は、前置詞であるため当該単語の説明情報は表示されない。
すなわち、プロセッサ152は、ある文(例えば、文510)が速度V2で音声出力(読み出し再生)されている場合、当該文に含まれる各単語の品詞のうち、品詞設定画面540において予め設定された品詞に対応する単語の説明情報を表示させる。
上記によると、ユーザが設定した品詞の単語についてのみ表示されるため、ユーザは所望の品詞の単語学習を効率的に行なうことができる。
(その3)
図8は、実施の形態2に従う単語の説明情報の表示方式(その3)を説明するための図である。ここで、図8に示す画面500は、文510の読み上げ再生が速度V2(低速度)で開始されて、文510中の最初の単語「current」を読み上げ再生している画面である。ここで、図8に示す画面500には、単語の説明情報を表示するための表示領域552,554が表示領域502に対して重畳表示される。具体的には、表示領域552には、現在読み上げ再生中の単語「current」の説明情報が表示され、表示領域554には当該再生中の単語の次の単語「digital」の説明情報が表示される。
すなわち、プロセッサ152は、速度V2で文510が音声出力されている場合、文510に含まれる、音声出力中の単語の説明情報と、当該音声出力中の単語よりも後の単語の説明情報とを表示させるように構成される。
典型的には、現在再生中の単語の説明情報が常に表示領域552に表示され、次の単語の説明情報が常に表示領域554に表示される。あるいは、表示領域552、表示領域554の順に説明情報の表示が更新される構成であってもよい。例えば、図8の状態から読み上げ再生が進んで、単語「digital」が現在読み上げ再生中である場合には、単語「digital」の次の単語「full」の説明情報が表示領域552に表示される。
なお、現在再生中の単語を常に表示領域554に表示し、当該次の単語を常に表示領域552に表示する構成であってもよい。また、3つ以上の表示領域を用意しておき、現在再生中の単語を含む3つ以上の単語の各説明情報を各表示領域に表示する構成であってもよい。また、1つの表示領域に現在再生中の単語を含む複数の単語の説明情報を表示する構成であってもよい。
上記によると、ユーザは複数の単語を同時に確認することができるため、単語学習を効率的に行なうことができる。
実施の形態2において上述した表示方式(その1)〜(その3)は、任意に組み合わせることが可能である。具体的には、電子機器10は、表示方式(その1)〜(その3)のすべてを組み合わせた表示方式を採用してもよいし、これらのうちの2つを組み合わせた表示方式を採用してもよい。
[実施の形態3]
上述した実施の形態1では、速度V1で文508を読み上げ再生しているときに、ユーザが文508よりも1つ前の文を単にタッチした場合に(図2(b)参照)、当該前の文510の読み上げ再生が速度V2で開始され、単語の説明情報が同期して表示される処理について説明した。実施の形態3では、ユーザが当該前の文をより意図的にタッチ操作した場合に、上記の特定処理が実行される構成について説明する。
具体的には、図2(b)を参照して、電子機器10(プロセッサ152)は、文508の前の文を選択する操作として、タッチされている時間が基準時間(例えば、1秒間)以上のタッチ操作を受け付けた場合に、速度V2で当該前の文の読み上げ再生を開始するとともに、当該読み上げ再生に同期するように単語の説明情報を表示する処理(以下、「特定処理」とも称する。)を実行する。
なお、電子機器10は、当該前の文を選択する操作が基準時間未満のタッチ操作であった場合には、速度V1で当該前の文の読み上げ再生を開始する。すなわち、電子機器10は、再生速度を変更することも、説明情報を表示することもない(上記特定処理を実行しない)。
また、他の手法として、電子機器10は、現在再生中の文よりも前の文をタッチした場合に特定処理を実行しない第1モードと、特定処理を実行する第2モードとを設定可能に構成されていてもよい。
具体的には、電子機器10が第2モードに設定されている場合には、プロセッサ152は、文508の前の文を選択する操作を受け付けると、特定処理を実行する。一方、電子機器10が第1モードに設定されている場合には、プロセッサ152は、文508の前の文を選択する操作を受け付けると、速度V1で当該前の文の読み上げ再生を開始する。なお、第1モードおよび第2モードの設定は、例えば、モード選択画面等において設定ボタン等を用意しておき、当該設定ボタンを選択する操作を受け付けることにより行われる。
上記によると、ユーザは、特定処理を開始するためには意図的にタッチ時間を長くしたり、モード設定を変更したりする必要があるため、ユーザの誤操作による意図しない動作を防止することができる。
[その他の実施の形態]
1)上述した実施の形態では、図4において、電子機器10は、速度V2で再生中の文510中の単語へのタッチ操作を受け付けた場合には、当該単語の説明情報を表示する構成について説明したが、当該構成に限られない。例えば、電子機器10は、当該タッチ操作を受け付けた場合に、再生速度を切り替えるように構成されていてもよい。具体的には、電子機器10(プロセッサ152)は、速度V2で文510が音声出力されているときに、当該文510を選択する操作を受け付けた場合、速度V3で文510を音声出力させるように構成されていてもよい。例えば、速度V3は、速度V2よりもさらに遅い速度である。
なお、プロセッサ152は、当該文510を選択する操作を受け付けるごとに、速度V1,V2,V3を順次切り替えてもよい。あるいは、プロセッサ152は、当該文510を選択する操作を受け付けた場合に、再生速度を設定するための設定画面を表示してもよい。この場合、ユーザは、当該設定画面において、速度V1(標準速度)、速度V2(低速度)、速度V3(超低速度)等を選択することにより、再生速度を設定することができる。電子機器10は、ユーザからの指示に従う再生速度で文510を音声出力させる。
2)上述した実施の形態では、速度V2が速度V1よりも遅い速度である場合について説明したが、当該構成に限られず、速度V2が速度V1よりも速い速度であってもよい。すなわち、プロセッサ152は、英文テキスト504における文508が速度V1で音声出力されているときに、文508よりも前の文510を選択する操作を受け付けた場合、速度V1とは異なる速度V2で文510を音声出力すればよい。当該構成によると、ユーザの様々な学習の仕方に対応することが可能となる。
3)上述した実施の形態では、図4において、文510の読み上げ再生が速度V2で行われているときに、当該文510の単語をタッチした場合、表示領域512に当該単語の説明情報が表示される構成について説明したが、当該構成に限られない。例えば、電子機器10は、英文テキスト504中の単語へのダブルタッチ操作(所定時間以内の連続的な2回のタッチ操作)を受け付けた場合に、表示領域512に当該単語の説明情報を表示する構成であってもよい。
4)上述した実施の形態において、電子機器10は、再生中の文については、当該再生が終了するまで全文を強調表示(網掛け表示)する構成について説明したが、当該構成に限られない。例えば、電子機器10は、読み上げ再生が終了した単語については、強調表示を消去するように構成されていてもよい。
5)上述した実施の形態では、テキストが英語である場合について説明したが、公知の形態素解析等によりテキストに単語区切り処理を施すことにより、日本語等の他の言語にも適用することができる。
6)上述した実施の形態では、電子機器10は、英文テキスト504における任意の文が速度V1で音声出力されているときに、当該任意の文よりも後の文を選択する操作を受け付けた場合、再生速度を変更することなく当該後の文の読み上げ再生を開始する構成について説明した。しかし、例えば、実施の形態3で説明したように、上記の特定処理を実行するためにタッチ時間が長いタッチ操作や、モード設定が必要な場合には、電子機器10は、当該任意の文よりも後の文を選択する操作を受け付けた場合であっても、速度V1とは異なる速度V2で当該後の文を音声出力させてもよい。
具体的には、プロセッサ152は、当該任意の文よりも後の文を選択する操作として、タッチ時間が基準時間以上のタッチ操作を受け付けた場合には、速度V2で当該後の文を音声出力させる。あるいは、プロセッサ152は、第2モードに設定されているときに、当該任意の文よりも後の文を選択する操作を受け付けた場合には、速度V2で当該後の文を音声出力させる。
7)上述した実施の形態では、プロセッサ152は、英文テキスト504における文508が速度V1で再生されているときに、入力装置156を介して、文508よりも前の文510を選択する操作を受け付けた場合、速度V1よりも遅い速度V2で文510を読み上げ再生する構成について説明したが、当該構成に限られない。例えば、文508中における第1の単語(例えば、単語「total」)が速度V1で再生されているときに、入力装置156を介して、第1の単語よりも前の第2の単語(例えば、単語「about」)を選択する操作を受け付けた場合、速度V1よりも遅い速度V2で第2の単語の音声出力が開始されてもよい。
具体的には、電子機器10の制御部(プロセッサ152)は、以下のA)〜H)に示すように構成されていてもよい。
A)プロセッサ152は、英文テキスト504における第1の位置の単語(例えば、単語「total」)が速度V1で音声出力されているときに、入力装置156を介して、英文テキスト504において第1の位置(例えば、文508中の単語「total」の表示位置)よりも前の第2の位置(例えば、文508中の単語「about」の表示位置)を選択する操作を受け付けた場合、速度V1とは異なる速度V2で第2の位置の単語(例えば、単語「about」)を音声出力させる。
B)プロセッサ152は、速度V2で第2の位置の単語「about」が音声出力されている場合、当該音声出力に同期するように第2の位置の単語「about」の説明情報を表示させる。
C)プロセッサ152は、入力装置156を介して、第2の位置を選択する操作として、タッチされている時間が基準時間以上のタッチ操作を受け付けた場合に、速度V2で第2の位置の単語「about」を音声出力させる。
D)プロセッサ152は、速度V2で第2の位置の単語「about」が音声出力されているときに、第2の位置の単語「about」を含む文508中の単語を選択する操作を受け付けた場合、当該音声出力を停止させるとともに当該選択された単語の説明情報を表示させる。
E)プロセッサ152は、速度V2で第2の位置の単語「about」が音声出力されているときに、第2の位置を選択する操作を受け付けた場合、速度V1または速度V3で第2の位置の単語「about」を音声出力させる。
F)プロセッサ152は、速度V2で第2の位置の単語「about」が音声出力されている場合、第2の位置の単語「about」を含む文508中の各単語のうち、既知の単語として設定されている単語以外の残りの単語の説明情報を表示させる。
G)プロセッサ152は、速度V2で第2の位置の単語「about」が音声出力されている場合、第2の位置の単語「about」を含む文508中の各単語の品詞のうち、予め設定された品詞に対応する単語の説明情報を表示させる。
H)プロセッサ152は、速度V2で第2の位置の単語「about」が音声出力されている場合、第2の位置の単語「about」の説明情報と、第2の位置よりも後の位置の単語(例えば、単語「is」)の説明情報とを表示させる。
なお、上記A)〜H)では、第1の位置の単語(例えば、単語「total」)および第2の位置の単語(例えば、単語「about」)が同じ文508に含まれる構成について説明したが、当該構成に限られず、第1の位置の単語および第2の位置の単語がそれぞれ異なる文に含まれる構成であってもよい。例えば、第1の位置の単語が文508中の「total」であり、第2の位置の単語が文506中の「imagine」などであってもよい。
8)また、コンピュータを機能させて、上述のフローチャートで説明したような制御を実行させるプログラムを提供することもできる。このようなプログラムは、コンピュータに付属するフレキシブルディスク、CD−ROM(Compact Disk Read Only Memory)、ROM、RAMおよびメモリカードなどの一時的でないコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。
プログラムは、コンピュータのオペレーティングシステム(OS)の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずOSと協働して処理が実行される。このようなモジュールを含まないプログラムも、本実施の形態にかかるプログラムに含まれ得る。
また、本実施の形態にかかるプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。このような他のプログラムに組込まれたプログラムも、本実施の形態にかかるプログラムに含まれ得る。
9)上述の実施の形態として例示した構成は、本発明の構成の一例であり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、一部を省略する等、変更して構成することも可能である。また、上述した実施の形態において、他の実施の形態で説明した処理や構成および変形例で説明した処理や構成を適宜採用して実施する場合であってもよい。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
10 電子機器、152 プロセッサ、154 メモリ、156 入力装置、158 ディスプレイ、160 無線通信インターフェイス、162 通信アンテナ、164 メモリインターフェイス、165 記憶媒体、166 マイク、168 スピーカ、170 バッテリ、300 スタイラスペン、500 画面、502,512,512A,552,554 表示領域、504 英文テキスト、506,508,510 文、520 チェックボックス、530 既知単語リスト画面、532 単語リスト情報、534 削除ボタン、536,546 キャンセルボタン、540 品詞設定画面、542 品詞リスト情報、544 OKボタン。

Claims (11)

  1. テキストを表示するための表示部と、
    前記テキストに対応する音声を順次出力するための音声出力部と、
    ユーザからの操作を受け付ける入力部と、
    前記表示部における表示を制御するとともに、前記音声出力部から出力される音声を制御する制御部とを備え、
    前記制御部は、前記テキストにおける第1の位置の単語が第1の速度で音声出力されているときに、前記入力部を介して、前記テキストにおいて前記第1の位置よりも前の第2の位置を選択する操作を受け付けた場合、前記第1の速度とは異なる第2の速度で前記第2の位置の単語を音声出力させる、電子機器。
  2. 前記制御部は、前記第2の速度で前記第2の位置の単語が音声出力されている場合、当該音声出力に同期するように前記第2の位置の単語の説明情報を表示させる、請求項1に記載の電子機器。
  3. 前記第2の速度は、前記第1の速度よりも遅い、請求項1または2に記載の電子機器。
  4. 前記入力部は、ユーザからのタッチ操作を受け付け可能であり、
    前記制御部は、前記入力部を介して、前記第2の位置を選択する操作として、タッチされている時間が基準時間以上のタッチ操作を受け付けた場合に、前記第2の速度で前記第2の位置の単語を音声出力させる、請求項1〜3のいずれか1項に記載の電子機器。
  5. 前記制御部は、前記第2の速度で前記第2の位置の単語が音声出力されているときに、前記第2の位置の単語を含む文中の単語を選択する操作を受け付けた場合、当該音声出力を停止させるとともに当該選択された単語の説明情報を表示させる、請求項1〜4のいずれか1項に記載の電子機器。
  6. 前記制御部は、前記第2の速度で前記第2の位置の単語が音声出力されているときに、前記第2の位置を選択する操作を受け付けた場合、前記第1の速度または第3の速度で前記第2の位置の単語を音声出力させる、請求項1〜4のいずれか1項に記載の電子機器。
  7. 前記制御部は、前記第2の速度で前記第2の位置の単語が音声出力されている場合、前記第2の位置の単語を含む文中の各単語のうち、既知の単語として設定されている単語以外の残りの単語の説明情報を表示させる、請求項2に記載の電子機器。
  8. 前記制御部は、前記第2の速度で前記第2の位置の単語が音声出力されている場合、前記第2の位置の単語を含む文中の各単語の品詞のうち、予め設定された品詞に対応する単語の説明情報を表示させる、請求項2に記載の電子機器。
  9. 前記制御部は、前記第2の速度で前記第2の位置の単語が音声出力されている場合、前記第2の位置の単語の説明情報と、前記第2の位置よりも後の位置の単語の説明情報とを表示させる、請求項2に記載の電子機器。
  10. テキストを表示するための表示部と、前記テキストに対応する音声を順次出力するための音声出力部とを備える電子機器の制御方法であって、
    前記テキストにおける第1の位置の単語が第1の速度で音声出力されているときに、前記テキストにおいて前記第1の位置よりも前の第2の位置を選択する操作を受け付けるステップと、
    前記受け付けるステップにより当該操作が受け付けられた場合、前記第1の速度とは異なる第2の速度で前記第2の位置の単語を音声出力するステップとを含む、電子機器の制御方法。
  11. テキストを表示するための表示部と、前記テキストに対応する音声を順次出力するための音声出力部とを備える電子機器のコンピュータに実行させる制御プログラムであって、
    前記制御プログラムは、前記コンピュータに、
    前記テキストにおける第1の位置の単語が第1の速度で音声出力されているときに、前記テキストにおいて前記第1の位置よりも前の第2の位置を選択する操作を受け付けるステップと、
    前記受け付けるステップにより当該操作が受け付けられた場合、前記第1の速度とは異なる第2の速度で前記第2の位置の単語を音声出力するステップとを実行させる、電子機器の制御プログラム。
JP2016084249A 2016-04-20 2016-04-20 電子機器、その制御方法および制御プログラム Active JP6752046B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016084249A JP6752046B2 (ja) 2016-04-20 2016-04-20 電子機器、その制御方法および制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016084249A JP6752046B2 (ja) 2016-04-20 2016-04-20 電子機器、その制御方法および制御プログラム

Publications (2)

Publication Number Publication Date
JP2017194546A true JP2017194546A (ja) 2017-10-26
JP6752046B2 JP6752046B2 (ja) 2020-09-09

Family

ID=60156071

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016084249A Active JP6752046B2 (ja) 2016-04-20 2016-04-20 電子機器、その制御方法および制御プログラム

Country Status (1)

Country Link
JP (1) JP6752046B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021091692A1 (en) * 2019-11-07 2021-05-14 Square Panda Inc. Speech synthesizer with multimodal blending
JP2023112799A (ja) * 2022-02-02 2023-08-15 日本放送協会 情報処理装置及びプログラム
JP7743663B1 (ja) * 2025-05-07 2025-09-24 株式会社ビジョナリスト 第2言語学習システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10105370A (ja) * 1996-09-25 1998-04-24 Canon Inc 文書読み上げ装置,文書読み上げ方法および記憶媒体
JP2004233459A (ja) * 2003-01-28 2004-08-19 Sony Corp 電子機器システム及び電子機器
JP2010085727A (ja) * 2008-09-30 2010-04-15 Casio Computer Co Ltd 辞書機能を備えた電子装置およびプログラム
JP2010175258A (ja) * 2009-01-27 2010-08-12 Clarion Co Ltd 経路情報案内装置及び方法並びにプログラム
JP2013161040A (ja) * 2012-02-08 2013-08-19 Ricoh Co Ltd 譜面作成装置、譜面作成方法、プログラムおよび記録媒体
JP2015153437A (ja) * 2014-02-14 2015-08-24 船井電機株式会社 デジタルメディア再生装置およびデジタルメディア再生方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10105370A (ja) * 1996-09-25 1998-04-24 Canon Inc 文書読み上げ装置,文書読み上げ方法および記憶媒体
JP2004233459A (ja) * 2003-01-28 2004-08-19 Sony Corp 電子機器システム及び電子機器
JP2010085727A (ja) * 2008-09-30 2010-04-15 Casio Computer Co Ltd 辞書機能を備えた電子装置およびプログラム
JP2010175258A (ja) * 2009-01-27 2010-08-12 Clarion Co Ltd 経路情報案内装置及び方法並びにプログラム
JP2013161040A (ja) * 2012-02-08 2013-08-19 Ricoh Co Ltd 譜面作成装置、譜面作成方法、プログラムおよび記録媒体
JP2015153437A (ja) * 2014-02-14 2015-08-24 船井電機株式会社 デジタルメディア再生装置およびデジタルメディア再生方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021091692A1 (en) * 2019-11-07 2021-05-14 Square Panda Inc. Speech synthesizer with multimodal blending
JP2023501404A (ja) * 2019-11-07 2023-01-18 ラーニング スクエアード インコーポレイテッド マルチモーダル混合を用いた音声合成装置
JP7686217B2 (ja) 2019-11-07 2025-06-02 ラーニング スクエアード インコーポレイテッド マルチモーダル混合を用いた音声合成装置
JP2023112799A (ja) * 2022-02-02 2023-08-15 日本放送協会 情報処理装置及びプログラム
JP7831926B2 (ja) 2022-02-02 2026-03-17 日本放送協会 情報処理装置及びプログラム
JP7743663B1 (ja) * 2025-05-07 2025-09-24 株式会社ビジョナリスト 第2言語学習システム

Also Published As

Publication number Publication date
JP6752046B2 (ja) 2020-09-09

Similar Documents

Publication Publication Date Title
JP6613560B2 (ja) 電子機器、学習支援方法およびプログラム
KR101108003B1 (ko) 사용자 단어검색 이력을 통한 학습컨텐츠 제공 시스템
KR101567449B1 (ko) 음성인식에 기반한 애니메이션 재생이 가능한 전자책 단말기 및 그 방법
JP2013161205A (ja) 情報処理装置、情報処理方法、及びプログラム
JP6752046B2 (ja) 電子機器、その制御方法および制御プログラム
CN119629295A (zh) 一种视频翻译方法及相关装置
KR102645880B1 (ko) 자기주도 영어 학습 콘텐츠 제공 방법 및 장치
JPH09325796A (ja) 文書朗読装置
CN104699745B (zh) 语音输出装置和语音输出方法
JP2010002788A (ja) 学習端末、学習プログラム
JP6724880B2 (ja) 学習支援装置、学習支援方法及びプログラム
KR102346668B1 (ko) 회의 통역 장치
JP6841309B2 (ja) 電子機器およびプログラム
JP2010002787A (ja) 学習システム、学習端末、学習プログラム
JP2018146961A (ja) 音声再生装置及び音楽再生プログラム
JP7229296B2 (ja) 関連情報提供方法及びシステム
JP6625089B2 (ja) 音声生成プログラムおよびゲーム装置
JP2024008773A (ja) 情報処理方法、プログラム及び情報処理装置
KR102453876B1 (ko) 외국어 스피킹 훈련 방법, 장치 및 프로그램
JP2004258231A (ja) 語学学習支援装置及び語学学習支援方法
KR20010076136A (ko) 휴대용 독서기
KR20160121217A (ko) 이미지 기반의 팝업영상을 이용한 외국어학습시스템
KR102656262B1 (ko) 이미지를 이용한 중국어 연상학습 콘텐츠 제공 방법 및 장치
JP2005106844A (ja) 音声出力装置、サーバ及びプログラム
JP2016212374A (ja) 音声出力装置、音声出力方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190320

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200721

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200818

R150 Certificate of patent or registration of utility model

Ref document number: 6752046

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150