JP6519401B2 - 情報処理装置及び情報処理プログラム - Google Patents
情報処理装置及び情報処理プログラム Download PDFInfo
- Publication number
- JP6519401B2 JP6519401B2 JP2015163302A JP2015163302A JP6519401B2 JP 6519401 B2 JP6519401 B2 JP 6519401B2 JP 2015163302 A JP2015163302 A JP 2015163302A JP 2015163302 A JP2015163302 A JP 2015163302A JP 6519401 B2 JP6519401 B2 JP 6519401B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- editing
- video
- module
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、編集前の動画と編集後の動画の両方を再生し、比較して、編集箇所における編集内容を把握する手間を省く情報処理装置及び情報処理プログラムを提供することを目的としている。
請求項2の発明は、前記編集は、さらに削除を含み、前記表示制御手段は、前記差し替え、前記移動、前記追加、前記削除のうち、2種類以上の編集が行われた場合、前記編集後の動画において、前記2種類以上の編集が行われた旨を、種類ごとに異ならせて表示制御する、請求項1に記載の情報処理装置である。
請求項8の発明は、編集前の動画と編集後の動画の比較によって得られる差分に応じて、前記編集後の動画の再生前又は再生中に、前記編集後の動画における編集箇所及び編集内容を表示制御する表示制御手段、を備え、前記表示制御手段は、前記編集前の動画が複数ある場合、編集前のどの動画に対しての編集箇所及び編集内容であるかを示すように表示制御する、情報処理装置である。
請求項9の発明は、前記編集内容は、削除、差し替え、移動、追加のうち少なくともいずれかである、請求項8に記載の情報処理装置である。
請求項11の発明は、コンピュータを、編集前の動画と編集後の動画の比較によって得られる差分に応じて、前記編集後の動画の再生前又は再生中に、前記編集後の動画における編集箇所及び編集内容を表示制御する表示制御手段、として機能させ、前記表示制御手段は、前記編集前の動画が複数ある場合、編集前のどの動画に対しての編集箇所及び編集内容であるかを示すように表示制御する、情報処理プログラムである。
請求項2の情報処理装置によれば、2種類以上の編集が行われた場合、編集後の動画において、2種類以上の編集が行われたことを、ユーザーは、種類ごとに把握することができる。
請求項8の情報処理装置によれば、編集前の動画と編集後の動画の両方を再生して、比較し、編集箇所における編集内容を把握する手間を省くことができる。また、編集前の動画は複数ある場合、編集前のどの動画に対しての編集箇所及び編集内容であるかを把握することができる。
請求項9の情報処理装置によれば、編集内容として、削除、差し替え、移動、追加のうち少なくともいずれかを表示することができる。
請求項11の情報処理プログラムによれば、編集前の動画と編集後の動画の両方を再生して、比較し、編集箇所における編集内容を把握する手間を省くことができる。また、編集前の動画は複数ある場合、編集前のどの動画に対しての編集箇所及び編集内容であるかを把握することができる。
<<第1の実施の形態>>
図1は、第1の実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(もちろんのことながら、全ての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という意味を有する記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
ここで、再生する動画として、例えば、機械の操作マニュアルとして用いることができるもの等がある。その機械に新しい機能が加わった場合、操作方法が変更になった場合のように、古い動画では対応できない場合が生じる。その場合、古い動画に対して、新しい機能等にあわせて編集が行われる場合がある。その古い動画を視聴したことがあるユーザーにとっては、新しい動画(編集後の動画)のうち、どの部分が変更された部分であるのかを知りたい場合がある。なお、動画は、機械の操作マニュアルに限定されるわけではなく、編集が行われたものであれば(編集前の動画と編集後の動画の両方があれば)、どのような内容の動画であってもよい。
動画要求受付モジュール105は、動画取得モジュール110、ユーザー端末160の動画要求送信モジュール170と接続されている。動画要求受付モジュール105は、ユーザー端末160からの動画の送信要求を受け付ける。
動画取得モジュール110は、動画要求受付モジュール105、動画送信モジュール115と接続されている。動画取得モジュール110は、ユーザー端末160から要求された動画を取得する。その動画を取得する先は、情報処理装置100内の記憶装置であってもよいし、その動画を管理している動画管理装置からであってもよい。
動画送信モジュール115は、動画取得モジュール110、ユーザー端末160の動画受信モジュール175と接続されている。動画送信モジュール115は、動画取得モジュール110が取得した動画をユーザー端末160に送信する。
動画差分取得モジュール125は、動画差分要求受付モジュール120、動画差分計算モジュール140と接続されている。動画差分取得モジュール125は、動画差分要求送信モジュール180から要求を受け取り、2つの動画間の差分を取得するために、動画情報取得モジュール130、動画情報分析モジュール135、動画差分計算モジュール140による処理を行わせる。
動画情報分析モジュール135は、動画差分計算モジュール140と接続されている。動画情報分析モジュール135は、動画差分取得モジュール125で取得した2つの動画情報をもとにして、その間の差分を分析する。
動画差分計算モジュール140は、動画差分取得モジュール125、動画情報取得モジュール130、動画情報分析モジュール135、動画差分送信モジュール145と接続されている。動画差分計算モジュール140は、動画情報分析モジュール135で分析した結果をもとに差分を抽出する。ここでの差分には、編集箇所及び編集内容を含む。動画情報分析モジュール135、動画差分計算モジュール140による処理については、図13から図16の例を用いて後述する。
動画差分送信モジュール145は、動画差分計算モジュール140、ユーザー端末160の動画差分受信モジュール185と接続されている。動画差分送信モジュール145は、動画差分計算モジュール140で抽出した差分を、ユーザー端末160の動画差分受信モジュール185へ送信する。
動画要求送信モジュール170は、動画再生モジュール165、情報処理装置100の動画要求受付モジュール105と接続されている。動画要求送信モジュール170は、情報処理装置100に対し動画を送信するように要求する。要求の契機は、ユーザーの操作(例えば、再生指示等)に応じてであってもよいし、予め定められたタイミング(例えば、スケジュールされた日時等)等であってもよい。
動画受信モジュール175は、動画再生モジュール165、情報処理装置100の動画送信モジュール115と接続されている。動画受信モジュール175は、情報処理装置100の動画送信モジュール115から動画データを受信する。動画の少なくとも一部のデータを受信するようにしてもよい。
動画再生モジュール165は、動画要求送信モジュール170、動画受信モジュール175、動画差分要求送信モジュール180、動画差分表現モジュール190と接続されている。動画再生モジュール165は、動画受信モジュール165が受信したデータを順々に再生する。
動画差分受信モジュール185は、動画差分表現モジュール190、情報処理装置100の動画差分送信モジュール145と接続されている。動画差分受信モジュール185は、動画差分要求送信モジュール180による要求に応じて情報処理装置100から送信されてきた「対象となっている動画と他の動画の差分」を取得する。ここでの差分には、編集箇所及び編集内容を含む。
動画差分表現モジュール190は、動画のフレーム毎に、動画における編集箇所及び編集内容を表示制御するようにしてもよい。また、そのフレームは、動画のシーンの変わり目又は映像が変化した箇所を区切りとして構成されているものであってもよい。なお、「映像が変化した箇所」は、「大きく映像が変化した箇所」としてもよい。
また、動画差分表現モジュール190は、編集前のフレームと複数の編集後のフレームをそれぞれ比較し、フレーム間に差異があった場合、編集が行われた旨を表示制御するようにしてもよい。
また、編集内容としては、削除、差し替え、移動、追加のうち少なくともいずれかとしてもよい。
情報処理装置100A、情報処理装置100B、ユーザー端末160A、ユーザー端末160B、ユーザー端末160C、ユーザー端末160D、ユーザー端末160Eは、通信回線290を介してそれぞれ接続されている。通信回線290は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。また、情報処理装置100による機能は、クラウドサービスとして実現してもよい。ユーザー端末160のユーザーの操作に応じて、情報処理装置100から動画が送信され、そのユーザー端末160で再生される。その際、再生する動画と編集前の動画間における差異として編集箇所及び編集内容を表示するように制御される。
そして、動画再生画面300Aには一方の動画(例えば、編集前の動画)を再生し、動画再生画面300Bには他方の動画(例えば、編集後の動画)を再生する。つまり、2つの動画の間で、削除、差し替え、移動、追加の編集が行われた箇所を把握するために、その2つの動画を視聴しながら差を見つけることが行われる。
なお、動画再生画面300には、検索指示領域305、ダウンロードボタン310、ログインボタン315、動画再生領域320、再生量表示バー330を表示する。検索指示領域305には、再生する動画に関するキーワードが入力され、動画の特定に用いられる。ダウンロードボタン310が、ユーザーの操作によって選択された場合は、検索された動画をユーザー端末160にダウンロードし、再生が開始される。ログインボタン315が、ユーザーの操作によって選択された場合は、そのユーザーによってログイン操作が行われ、動画の再生指示を行っているユーザーを特定することができるようにする。ユーザーによってキーボード等が操作され、利用者ID(IDentification)、パスワード等を受け付けて、予め登録されたものと照合するようにしてもよいし、ICカードリーダー等を用いて利用者が所持しているICカードを読み取り、ICカード内に記憶されている情報を照合するようにしてもよいし、その他、指紋等の生体認証を用いるようにしてもよい。なお、ログイン操作でなく、ユーザー端末160の識別情報からユーザーを特定するようにしてもよい。
再生量表示バー330は、シークバーともいわれており、動画全体の中で、動画再生領域320に表示されている動画の位置を示すものである。一般的に、再生量表示バー330の左端がその動画の最初(始まり)であり、再生量表示バー330の右端がその動画の最後(終わり)である。そして、現在位置表示図形340の位置が、現在再生されている位置を示すものである。したがって、現在位置表示図形340の左側は視聴済部分335を示すものであり、一般的に現在位置表示図形340の右側は未視聴部分を示すものである。そして、先読みの量を示すものとして、先読み部分345がある。したがって、先読み部分345の右側は未転送部分350を示すものである。先読み部分345は現在位置表示図形340の直右から始まっており、その量(表示上は先読み部分345の長さ)は一定である。
ステップS400では、動画の再生を開始する。
ステップS402では、通常の動画再生フローを行う。詳細は、図5の例に示すフローチャートを用いて後述する。ただし、必ずしも、このステップS402を行う必要はない。
ステップS404では、動画差分要求送信モジュール180は、動画の差分表示の要求を行う。つまり、動画を再生中又は動画再生が開始される前(ステップS402を行わなかった場合)に、動画の差分を要求する。
そして、それに応じて、動画差分要求受付モジュール120は、動画の差分表示の要求を受け付ける。動画差分取得モジュール125は、動画情報取得モジュール130、動画情報分析モジュール135、動画差分計算モジュール140、動画差分送信モジュール145を制御して、以下の処理(ステップS406〜ステップS412)を行わせる。
ステップS410では、動画差分計算モジュール140は、動画差分を計算する。
ステップS412では、動画差分送信モジュール145は、動画差分情報をユーザー端末160に送信する。
ステップS414では、動画差分受信モジュール185は、動画差分を受信する。
ステップS416では、動画差分表現モジュール190は、動画差分を表示する。詳細は、図12の例を用いて後述する。
ステップS418では、通常の動画再生フローを動画長まで繰り返す。詳細は、図5の例に示すフローチャートを用いて後述する。
ステップS499では、動画の再生を終了する。
ステップS502では、動画要求送信モジュール170は、ユーザー端末160のユーザーの要求に応じて、情報処理装置100に対して、動画を送信するように要求する。
ステップS504では、動画要求受付モジュール105は、ステップS502の要求を受け付ける。
ステップS506では、動画取得モジュール110は、ステップS504で受け付けた要求にしたがって、動画を取得する。
ステップS508では、動画送信モジュール115は、ステップS506で取得した動画を要求のあったユーザー端末160へ送信する。
ステップS510では、動画受信モジュール175は、ステップS508で送信された動画を受信する。
ステップS512では、動画再生モジュール165は、ステップS510で受信した動画を再生する。
図7は、編集処理(削除処理)の例を示す説明図である。図7(A1)の例に示す動画700は、編集前の動画であり、図7(A2)の例に示す動画750は、編集後の動画である。
ユーザーの操作によって、削除対象715の始点と終点の位置が指定される。したがって、動画700の全体長705は、前部分710、削除対象715、後部分720に分割される。削除対象715が削除され、図7(A2)の例に示す動画750のようになる。つまり、動画750は削除位置770の前後が前部分710と後部分720によって構成され、動画750の全体長755は、動画700の全体長705から削除長760を減算した値となる。
ここでの差し替えは、動画800の差し替え対象815を動画830の差し替え対象840に差し替えるものである。
ユーザーの操作によって、差し替え対象815の始点と終点の位置が指定される。したがって、動画800の全体長805は、前部分810、差し替え対象815、後部分820に分割される。差し替え対象815が差し替えの対象(削除の対象)とされる。そして、他方の差し替えの対象(埋め込みの対象)として、動画830内の差し替え対象840の始点と終点の位置が指定される。差し替え処理が行われ、図8(A2)の例に示す動画860のようになる。つまり、動画860は、前部分810、差し替え対象840、後部分820によって構成される。
なお、図8の例では、差し替え対象840の長さが差し替え対象815の長さと同じであるため差し替え対象815が差し替え対象840に差し替えられたと判断される。ここで、特徴点が元の動画にないもので、差し替えられた対象同士が同一長さだった場合、「差し替え」と判断する。
ユーザーの操作によって、移動対象1015の始点と終点の位置、移動先1025の位置が指定される。したがって、動画1000の全体長1005は、前部分1010、移動対象1015、後部分1020に分割される。移動対象1015が移動の対象とされる。移動処理が行われ、図10(A2)の例に示す動画1050のようになる。つまり、動画1050は、前部分1055、移動対象1015、後部分1060によって構成される。後部分1060内の移動元1065より前の部分は、前部分1010内の移動先1025よりも後の部分と同じであり、移動元1065の後の部分は後部分1020と同じである。
なお、図10では、動画1000の全体長1005と動画1050の前部分1055は同じである。
ユーザーの操作によって、移動対象915と移動対象925の始点と終点の位置が指定される。したがって、動画900の全体長905は、部分910、移動対象915、部分920、移動対象925、部分930に分割される。移動対象915、移動対象925が移動の対象とされる。移動処理が行われ、図9(A2)の例に示す動画950のようになる。つまり、動画950は、部分910、移動対象925、部分920、移動対象915、部分930によって構成される。
なお、図9では、動画900の全体長905と動画950の全体長955は同じである。
ユーザーの操作によって、動画1100の追加先1115、動画1130の追加対象1140の始点と終点の位置が指定される。したがって、動画1100の全体長1105は、前部分1110、後部分1120に分割される。追加対象1140が追加の対象とされる。移動処理が行われ、図11(A2)の例に示す動画1160のようになる。つまり、動画1160は、前部分1110、追加対象1140、後部分1120によって構成され、動画1160の全体長1165は、動画1100の全体長1105より追加対象1140の分だけ長くなる。
再生量表示バー1230には、図3の例と同様に現在位置表示図形1240を表示する。そして、再生量表示バー1230の視聴済部分1235上に、削除部分1255、内容の差し替え部分1260、内容の差し替え部分1265、移動部分1270を表示し、先読み部分1245、未転送部分1250上に、追加部分1280、追加部分1285を表示している。
なお、削除部分1255を再生する場合は、その部分がなかったかのように再生を行う。また、内容の差し替え部分1260と内容の差し替え部分1265は両者を差し替えられたものである。なお、編集内容の種別(削除、差し替え、移動、追加)は、それぞれ異なる形態(色彩、模様、形状、文字の付加又はこれらの組み合わせ)で表示すればよい。このように再生量表示バー1230上に、動画に対して編集が行われた旨を、動画の編集内容の種別(削除、差し替え、移動、追加)に応じて表示するため、動画の再生前、もしくは再生中に該動画に対してどのような編集が行われたかを把握することができる。
動画Y1310と動画Z1350を分割する。例えば、動画のシーンの変わり目又は映像が変化した箇所を区切りとしてもよいし、予め定められた期間(例えば、1分等)毎等に分割してもよい。そして、その分割された部分毎に、動画の特徴点を抽出する。動画の特徴点抽出については、既存の技術を利用すればよい。例えば、顔画像認識等に用いる特徴抽出技術を用いてもよい。その結果、動画Y1310について、分割された部分毎に動画特徴点1315、動画特徴点1325、動画特徴点1335等を生成し、動画Z1350について、分割された部分毎に動画特徴点1355、動画特徴点1365、動画特徴点1375等を生成する。
そして、各特徴点間の動画情報をコード化して、コード化結果1320等を生成する。例えば、特徴抽出の結果を連結してもよいし、ハッシュコードを生成するようにしてもよい。
次に、動画Y1310におけるコード化結果1320等と動画Z1350におけるコード化結果1360等を比較して、一致する組み合わせ等を抽出する。ここでは、動画Y1310における各コード化結果(コード化結果1320等)と動画Z1350における各コード化結果(コード化結果1360)のあらゆる組み合わせを生成して、それぞれを比較することを行う。ただし、一致したものを発見した後は、比較処理を省略する等の既存の高速化処理を施すようにしてもよい。なお、ここで一致とは、完全一致の場合だけでなく、2つの間の差分を示す距離が予め定められた閾値以内にある場合を含む。差分を示す距離とは、特徴空間における、比較対象である2つの間の距離である。
なお、特徴をさらに多く抽出するか、特徴をより細かいレベルでコード化することで動画比較の単位を詳細化(短い時間に)するようにしてもよい。
判断結果テーブル1400は、ID欄1410、動画Y欄1420、動画Z欄1430、動画Zに対して欄1440を有している。ID欄1410は、動画内の部分を、本実施の形態において一意に識別するための識別情報を記憶している。動画Y欄1420は、その動画の部分が動画Y内にあるか否かを示す情報を記憶している。動画Z欄1430は、その動画の部分が動画Z内にあるか否かを示す情報を記憶している。動画Zに対して欄1440は、動画Zに対して行われた処理を記憶している。「変化なし」とは、比較の結果、両者が一致しており、同じ時間帯にあると判断されたものである。つまり、この部分では編集は行われていない。「追加されている」とは、比較の結果、動画Yにはあるが、動画Zには無い場合(動画Zでは前後がつながっている場合)である(図11の例、参照)。この場合、動画Z以外の動画から「追加されている」ことを示している。「差し替えられている」とは、比較の結果、動画Yにはあるが、動画Zには無い場合(動画Yの部分と同じ時間帯、動画Zでは別の動画部分になっている場合)である(図8の例、参照)。「削除されている」とは、比較の結果、動画Yには無いが、動画Zにはある場合である(図7の例、参照)。「移動されている」とは、比較の結果、動画Yにあり、それと一致する動画部分が動画Zには別の時間帯にある場合である(図10の例、図9の例、参照)。なお、図10に示す例は、1つの動画内で1箇所の移動の場合を示しており、図9に示す例は、1つの動画内で移動対象が2箇所である場合を示している。
差分情報テーブル1500は、Time欄1510、状態欄1520を有している。Time欄1510は、時間帯を記憶している。状態欄1520は、その時間帯における動画部分の状態(編集内容の種別、ただし、変更なしを含む)を示す情報を記憶している。
ステップS1602では、動画A2のコード化部分がある間、ステップS1618までの動画A1のコードとの比較処理を行う。つまり、動画A2の一部分と動画A1の全体とを比較する。
ステップS1604では、動画A1の特徴点の全ての中で、動画A2の特徴点と一致するものがあるか否かを判断し、一致するものがある場合はステップS1606へ進み、それ以外の場合はステップS1612へ進む。
ステップS1606では、動画A2の特徴点に一致した動画A1の特徴点が、動画A2において特徴点が位置していた場所に対して、動画A1においても同じ場所に位置しているか否かを判断し、同じ場所(時間帯)である場合はステップS1608へ進み、それ以外の場合はステップS1610へ進む。
ステップS1608では、「変更なし」とする。
ステップS1610では、「移動されている」とする。なお、前述したように、図9の例に示すように、動画A1内での差し替えが行われた場合も、ステップS1606でNOと判断されるが、移動元と移動先で同じ時間長の動画部分が交換されている場合は、差し替えと判断すればよい。
ステップS1614では、「差し替えられている」とする。
ステップS1616では、「追加されている」とする。
ステップS1618では、動画A2のコード化部分の比較処理を終了する。
ステップS1622では、動画A2の特徴点の全ての中で、動画A1の特徴点と一致するものがあるか否かを判断し、一致するものがある場合はステップS1626へ進み、それ以外の場合はステップS1624へ進む。
ステップS1624では、「削除されている」とする。
ステップS1626では、動画A1のコード化部分の比較を終了する。
図17は、第2の実施の形態の構成例についての概念的なモジュール構成図である。
第2の実施の形態である情報処理装置1700(以下、サーバともいう)、ユーザー端末1760(以下、クライアントともいう)は、動画像の送信、再生を行うものであって、図17の例に示すように、動画像の送信を行う画像送信装置としての機能を有する情報処理装置1700は、動画要求受付モジュール105、動画取得モジュール110、動画送信モジュール115、動画差分要求受付モジュール120、動画差分取得モジュール125、動画情報取得モジュール130、動画情報分析モジュール135、動画差分計算モジュール140、動画差分送信モジュール145、動画履歴差分計算モジュール1750を有しており、その動画像を受信して、再生を行うユーザー端末1760は、動画再生モジュール165、動画要求送信モジュール170、動画受信モジュール175、動画差分要求送信モジュール180、動画差分受信モジュール185、動画差分表現モジュール190、動画視聴履歴保存モジュール1793、動画視聴履歴情報取得モジュール1796を有している。つまり、情報処理装置1700は、情報処理装置100に動画履歴差分計算モジュール1750を加え、ユーザー端末1760はユーザー端末160に動画視聴履歴保存モジュール1793、動画視聴履歴情報取得モジュール1796を加えたものである。なお、第1の実施の形態と同種の部位には同一符号を付し重複した説明を省略する。
第2の実施の形態では、編集前の動画が複数ある場合、又は、視聴履歴を用いて、動画における編集箇所及び編集内容を表示制御するようにしたものである。
動画要求受付モジュール105は、動画取得モジュール110、ユーザー端末1760の動画要求送信モジュール170と接続されている。
動画取得モジュール110は、動画要求受付モジュール105、動画送信モジュール115と接続されている。
動画送信モジュール115は、動画取得モジュール110、ユーザー端末1760の動画受信モジュール175と接続されている。
動画差分要求受付モジュール120は、動画差分取得モジュール125、ユーザー端末1760の動画差分要求送信モジュール180と接続されている。
動画差分取得モジュール125は、動画差分要求受付モジュール120、動画差分計算モジュール140と接続されている。
動画情報取得モジュール130は、動画履歴差分計算モジュール1750と接続されている。
動画情報分析モジュール135は、動画履歴差分計算モジュール1750と接続されている。
動画差分計算モジュール140は、動画差分取得モジュール125、動画履歴差分計算モジュール1750、動画差分送信モジュール145と接続されている。
動画差分送信モジュール145は、動画差分計算モジュール140、ユーザー端末1760の動画差分受信モジュール185と接続されている。
動画履歴差分計算モジュール1750は、動画情報取得モジュール130、動画情報分析モジュール135、動画差分計算モジュール140と接続されている。動画履歴差分計算モジュール1750は、動画の視聴済み箇所を算出する。
動画再生モジュール165は、動画要求送信モジュール170、動画視聴履歴保存モジュール1793、動画視聴履歴情報取得モジュール1796、動画差分表現モジュール190と接続されている。
動画要求送信モジュール170は、動画再生モジュール165、情報処理装置1700の動画要求受付モジュール105と接続されている。
動画受信モジュール175は、動画視聴履歴保存モジュール1793、情報処理装置1700の動画送信モジュール115と接続されている。
動画差分要求送信モジュール180は、動画視聴履歴情報取得モジュール1796、情報処理装置1700の動画差分要求受付モジュール120と接続されている。
動画差分受信モジュール185は、動画差分表現モジュール190、情報処理装置1700の動画差分送信モジュール145と接続されている。
動画差分表現モジュール190は、動画再生モジュール165、動画差分受信モジュール185と接続されている。動画差分表現モジュール190は、第1の実施の形態の動画差分表現モジュール190による処理に加えて、編集前の動画が複数ある場合、編集前のどの動画に対しての編集箇所及び編集内容であるかを示すように表示制御する。
また、動画差分表現モジュール190は、対象としているユーザーによる視聴履歴がある編集前の動画を、編集後の動画との比較対象とするようにしてもよい。
動画視聴履歴保存モジュール1793は、動画再生モジュール165、動画受信モジュール175と接続されている。動画視聴履歴保存モジュール1793は、視聴した動画の再生箇所を含む履歴を保存する。
動画視聴履歴情報取得モジュール1796は、動画再生モジュール165、動画差分要求送信モジュール180と接続されている。動画視聴履歴情報取得モジュール1796は、ユーザー端末1760で視聴した動画の履歴情報を取得する。
なお、動画視聴履歴保存モジュール1793、動画視聴履歴情報取得モジュール1796で保存、又は取得している動画視聴履歴は、ユーザー情報と関連付けて(紐付けて)、情報処理装置1700側に持たせるようにしてもよい。ユーザー端末1760側に持たせた場合は、動画配信サイトである情報処理装置1700を特定せずに、履歴情報を利用できるようになる。情報処理装置1700側に持たせた場合は、ユーザーと関連付けられているため、ユーザー端末1760が変わっても同じユーザーIDであれば履歴情報を利用できるようになる。
ステップS1800では、動画を開始する。
ステップS1802では、通常の動画再生フローを行う。詳細は、図5の例に示すフローチャートを用いて説明した。ただし、必ずしも、このステップS1802を行う必要はない。
ステップS1804では、動画視聴履歴保存モジュール1793は、動画視聴履歴を保存する。
ステップS1806では、動画視聴履歴情報取得モジュール1796は、動画視聴履歴を取得する。
ステップS1808では、動画差分要求送信モジュール180は、動画差分要求を行う。つまり、動画を再生中又は動画再生が開始される前(ステップS1802を行わなかった場合)に、動画の差分を要求する。その際に、ステップS1806で取得した動画視聴履歴を送信する。
そして、それに応じて、動画差分要求受付モジュール120は、動画差分要求を受け付ける。動画差分取得モジュール125は、動画情報取得モジュール130、動画情報分析モジュール135、動画履歴差分計算モジュール1750、動画差分計算モジュール140、動画差分送信モジュール145を制御して、以下の処理(ステップS1810〜ステップS1818)を行わせる。
ステップS1812では、動画情報分析モジュール135は、動画情報を分析する。
ステップS1814では、動画履歴差分計算モジュール1750は、動画履歴差分を計算する。
ステップS1816では、動画差分計算モジュール140は、動画差分を計算する。
ステップS1818では、動画差分送信モジュール145は、動画差分情報を送信する。
ステップS1820では、動画差分受信モジュール185は、動画差分を受信する。
ステップS1822では、動画差分表現モジュール190は、動画差分を表示する。
ステップS1824では、通常の動画再生フローを動画長まで繰り返す。詳細は、図5の例に示すフローチャートを用いて説明した。この後、ステップS1804と同様に、動画視聴履歴保存モジュール1793は、動画視聴履歴を保存するようにしてもよい。
ステップS1899では、動画の再生を終了する。
動画X:1910Xは、再生対象の動画である。動画X:1910Xに対する比較対象の動画として、編集前の動画(動画A:1910A、動画B:1910B、動画C:1910C、動画D:1910D)が複数ある。
動画X:1910Xと比較対象である各動画とを比較して、それぞれの差分情報を、第1の実施の形態と同様に作成する。したがって、差分情報テーブル1500が複数作成されることとなる。図19の例の場合、比較対象の動画は4つあるので、差分情報テーブル1500は4つ作成されることになる。
また、動画履歴差分計算モジュール1750は、動画視聴履歴保存モジュール1793、動画視聴履歴情報取得モジュール1796を介して、比較対象である各動画における視聴履歴テーブル1920を取得する。視聴履歴テーブル1920は、ユーザー毎に生成されており、対象欄1922、視聴範囲欄1924を有している。対象欄1922は、対象の動画IDを記憶している。視聴範囲欄1924は、その動画の履歴における視聴範囲(時間帯)を記憶している。また、視聴履歴テーブル1920を用いて、比較対象の動画を選択するようにしてもよい。なお、対象欄1922内にある動画は、全て(最初から最後まで)視聴されているとは限らず、飛ばし視聴等によって、視聴されている部分と視聴が行われていない部分がある。
再生量表示バー2030には、図3の例と同様に現在位置表示図形2040を表示する。そして、再生量表示バー2030の視聴済部分2035上に、削除部分2055「動画Aからの削除2090」、内容の差し替え部分2060「動画Cからの差し替え2092」、内容の差し替え部分2065「動画Cからの差し替えで視聴済み2094」、移動部分2070「動画Aからの移動で視聴済み2096」を表示し、先読み部分2045、未転送部分2050上に、追加部分2080「動画Bからの追加2098」、追加部分2085「動画Bからの追加2099」を表示している。
なお、削除部分2055の部分を再生する場合は、その部分がなかったかのように再生を行う。また、内容の差し替え部分2060と内容の差し替え部分2065は両者を差し替えられたものである。なお、編集内容の種別(削除、差し替え、移動、追加)、動画(図20では動画A〜Cの3つの動画)、視聴済みであるか否かは、それぞれ異なる形態(色彩、模様、形状、文字の付加又はこれらの組み合わせ)で表示すればよい。例えば、図20の例に示すように、各動画部分に説明用の文字を付加して表示するようにしてもよい。また、同じ動画である場合は、同じ色系統を用いて、編集内容の種別については濃度を異ならせるようにして表示してもよい。
各再生量表示バー2130には、図3の例と同様に現在位置表示図形2140を表示する。そして、再生量表示バー2130Aの視聴済部分2135上に、「削除部分2155」、「移動部分2170」を表示し、再生量表示バー2130Bの先読み部分2145、未転送部分2150上に、追加部分2180、追加部分2185を表示し、再生量表示バー2130Cの視聴済部分2135上に内容の差し替え部分2160、内容の差し替え部分2165を表示している。
なお、削除部分2155の部分を再生する場合は、その部分がなかったかのように再生を行う。また、内容の差し替え部分2160と内容の差し替え部分2165は両者を差し替えられたものである。なお、編集内容の種別(削除、差し替え、移動、追加)、視聴済みであるか否かは、それぞれ異なる形態(色彩、模様、形状、文字の付加又はこれらの組み合わせ)で表示すればよい。
また、再生量表示バー2130が予め定められた本数よりも多い又は以上になる場合は、図20の表示形態と組み合わせるようにしてもよい。例えば、2つ以上の動画との比較内容を示す再生量表示バー2130については、図20の例に示す再生量表示バー2030のような表示形態としてもよい。
このように、複数の編集前の動画と比較して、編集後の動画に対しどのような編集が行われたかを表示することによって、編集後の動画の再生前もしくは再生中に、編集前と編集後の動画の関係及び編集後の動画に対する編集内容を把握することができる。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray(登録商標) Disc)、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digital)メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
105…動画要求受付モジュール
110…動画取得モジュール
115…動画送信モジュール
120…動画差分要求受付モジュール
125…動画差分取得モジュール
130…動画情報取得モジュール
135…動画情報分析モジュール
140…動画差分計算モジュール
145…動画差分送信モジュール
160…ユーザー端末
165…動画再生モジュール
170…動画要求送信モジュール
175…動画受信モジュール
180…動画差分要求送信モジュール
185…動画差分受信モジュール
190…動画差分表現モジュール
290…通信回線
1700…情報処理装置
1750…動画履歴差分計算モジュール
1760…ユーザー端末
1793…動画視聴履歴保存モジュール
1796…動画視聴履歴情報取得モジュール
Claims (11)
- 差し替え、移動、追加のうち1以上の編集が行われた編集後の動画の再生前又は再生中に、編集前の動画と前記編集後の動画の比較によって得られる差分に応じて、前記編集後の動画における編集箇所及び編集内容を表示制御する表示制御手段、
を備えた情報処理装置。 - 前記編集は、さらに削除を含み、
前記表示制御手段は、前記差し替え、前記移動、前記追加、前記削除のうち、2種類以上の編集が行われた場合、前記編集後の動画において、前記2種類以上の編集が行われた旨を、種類ごとに異ならせて表示制御する、
請求項1に記載の情報処理装置。 - 前記表示制御手段は、前記動画のフレーム毎に、前記動画における編集箇所及び編集内容を表示制御する、
請求項1に記載の情報処理装置。 - 前記フレームは、前記動画のシーンの変わり目又は映像が変化した箇所を区切りとして構成されている、
請求項3に記載の情報処理装置。 - 前記表示制御手段は、編集前のフレームと複数の編集後のフレームをそれぞれ比較し、前記フレーム間に差異があった場合、編集が行われた旨を表示制御する、
請求項1に記載の情報処理装置。 - 前記表示制御手段は、前記編集前の動画が複数ある場合、編集前のどの動画に対しての編集箇所及び編集内容であるかを示すように表示制御する、
請求項1から5のいずれか一項に記載の情報処理装置。 - 前記表示制御手段は、対象としているユーザーによる視聴履歴がある編集前の動画を、編集後の動画に対する比較対象とする、
請求項6に記載の情報処理装置。 - 編集前の動画と編集後の動画の比較によって得られる差分に応じて、前記編集後の動画の再生前又は再生中に、前記編集後の動画における編集箇所及び編集内容を表示制御する表示制御手段、
を備え、
前記表示制御手段は、前記編集前の動画が複数ある場合、編集前のどの動画に対しての編集箇所及び編集内容であるかを示すように表示制御する、
情報処理装置。 - 前記編集内容は、削除、差し替え、移動、追加のうち少なくともいずれかである、
請求項8に記載の情報処理装置。 - コンピュータを、
差し替え、移動、追加のうち1以上の編集が行われた編集後の動画の再生前又は再生中に、編集前の動画と前記編集後の動画の比較によって得られる差分に応じて、前記編集後の動画における編集箇所及び編集内容を表示制御する表示制御手段、
として機能させるための情報処理プログラム。 - コンピュータを、
編集前の動画と編集後の動画の比較によって得られる差分に応じて、前記編集後の動画の再生前又は再生中に、前記編集後の動画における編集箇所及び編集内容を表示制御する表示制御手段、
として機能させ、
前記表示制御手段は、前記編集前の動画が複数ある場合、編集前のどの動画に対しての編集箇所及び編集内容であるかを示すように表示制御する、
情報処理プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015163302A JP6519401B2 (ja) | 2015-08-21 | 2015-08-21 | 情報処理装置及び情報処理プログラム |
| US15/055,939 US20170053677A1 (en) | 2015-08-21 | 2016-02-29 | Information processing apparatus, information processing method, and non-transitory computer readable medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015163302A JP6519401B2 (ja) | 2015-08-21 | 2015-08-21 | 情報処理装置及び情報処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017041811A JP2017041811A (ja) | 2017-02-23 |
| JP6519401B2 true JP6519401B2 (ja) | 2019-05-29 |
Family
ID=58157601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015163302A Active JP6519401B2 (ja) | 2015-08-21 | 2015-08-21 | 情報処理装置及び情報処理プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20170053677A1 (ja) |
| JP (1) | JP6519401B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019009558A (ja) * | 2017-06-22 | 2019-01-17 | 株式会社東芝 | 画像処理装置、画像編集システム及び画像処理方法 |
| JP7299767B2 (ja) * | 2019-06-20 | 2023-06-28 | 日本放送協会 | ストリーム比較装置及びプログラム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7362946B1 (en) * | 1999-04-12 | 2008-04-22 | Canon Kabushiki Kaisha | Automated visual image editing system |
| JP3583970B2 (ja) * | 2000-02-23 | 2004-11-04 | 株式会社リコー | 映像構造編集装置、構造要素再構成装置およびその装置の各手段としてコンピュータを実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP2004015748A (ja) * | 2002-06-11 | 2004-01-15 | Ntt Comware Corp | 動画像編集装置 |
| JP5381297B2 (ja) * | 2009-04-30 | 2014-01-08 | ソニー株式会社 | 情報処理装置及び編集方法 |
| JP5768317B2 (ja) * | 2009-11-17 | 2015-08-26 | キヤノンマーケティングジャパン株式会社 | 動画編集システム、制御方法およびプログラム |
| US9569697B1 (en) * | 2015-02-19 | 2017-02-14 | Google Inc. | Object oriented image editing |
-
2015
- 2015-08-21 JP JP2015163302A patent/JP6519401B2/ja active Active
-
2016
- 2016-02-29 US US15/055,939 patent/US20170053677A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20170053677A1 (en) | 2017-02-23 |
| JP2017041811A (ja) | 2017-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101965466B1 (ko) | 비디오 관리 시스템 | |
| US10032479B2 (en) | Fingerprint-defined segment-based content delivery | |
| CN1825461B (zh) | 文件管理设备和方法 | |
| JP5371489B2 (ja) | 画像管理装置およびその制御方法、ならびに、プログラムおよび記憶媒体 | |
| JP6004283B2 (ja) | マルチメディアコンテンツ編集サーバ、マルチメディアコンテンツ編集方法、プログラム及び集積回路 | |
| US20150220636A1 (en) | Fingerprint-defined segment-based content delivery | |
| JP7589683B2 (ja) | ファイル処理装置、ファイル処理方法、及び、プログラム | |
| KR101117915B1 (ko) | 이종 기기간 동일 영상 재생 시스템 및 방법 | |
| CN101243686A (zh) | 加密内容及提供解密密钥的系统 | |
| JP7600988B2 (ja) | ファイル処理装置、ファイル処理方法、及び、プログラム | |
| US10965731B2 (en) | Transfer device, client apparatus, server apparatus, reproduction apparatus and transfer method | |
| JP7563378B2 (ja) | ファイル生成装置、ファイル生成方法、ファイル再生装置、ファイル再生方法、及び、プログラム | |
| KR101950997B1 (ko) | 컨텐츠 태그를 이용한 컨텐츠 관리 방법 및 그 장치 | |
| KR20110087587A (ko) | 영상 검색 방법 및 장치 | |
| JP6519401B2 (ja) | 情報処理装置及び情報処理プログラム | |
| CN106664460A (zh) | 信息处理设备和信息处理方法 | |
| KR20140134100A (ko) | 사용자 영상 생성 방법 및 이를 위한 장치 | |
| KR100888593B1 (ko) | 컨텐츠 관리 방법 및 장치 | |
| JP4405860B2 (ja) | 画像処理装置を制御する制御装置 | |
| JP2007013896A (ja) | 編集内容共有システム、編集内容共有用サーバ装置、編集内容共有機能付き記録装置及び編集内容共有方法 | |
| EP3975544A1 (en) | File processing device, file processing method, and program | |
| US20150254210A1 (en) | Information processing apparatus, document processing apparatus, information processing system, information processing method, and document processing method | |
| JP2002156980A (ja) | データ配信サーバ、データ受信端末、データ配信システム、データ処理システム及びその方法並びに記憶媒体 | |
| KR20190091215A (ko) | 메타 데이터를 이용한 인코딩 없는 편집 동영상을 제공하는 방법 및 장치 | |
| JP5901364B2 (ja) | 再生制御装置および再生制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180622 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190111 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190129 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190311 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190326 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190408 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6519401 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |