WO2024252494A1 - 映像処理装置、方法およびプログラム - Google Patents

映像処理装置、方法およびプログラム Download PDF

Info

Publication number
WO2024252494A1
WO2024252494A1 PCT/JP2023/020873 JP2023020873W WO2024252494A1 WO 2024252494 A1 WO2024252494 A1 WO 2024252494A1 JP 2023020873 W JP2023020873 W JP 2023020873W WO 2024252494 A1 WO2024252494 A1 WO 2024252494A1
Authority
WO
WIPO (PCT)
Prior art keywords
behavior
video
composite
label
basic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/020873
Other languages
English (en)
French (fr)
Inventor
香織 熊谷
基宏 高木
仁志 瀬下
裕司 青野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2025525468A priority Critical patent/JPWO2024252494A1/ja
Priority to PCT/JP2023/020873 priority patent/WO2024252494A1/ja
Publication of WO2024252494A1 publication Critical patent/WO2024252494A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Definitions

  • Embodiments of the present invention relate to a video processing device, method, and program.
  • Non-Patent Document 1 prepares a video dataset annotated with the action labels of the recognition target as training data in advance, and acquires a model trained to recognize actions shown in the input video.
  • the action labels defined in the video dataset are the recognition target, and these action labels are basic action labels as generic action labels such as actions that may commonly occur in the business of various industries, for example, "walking", "holding” or "putting”.
  • an action label specific to a certain industry for example, "displaying a product”
  • a composite action label which is a combination of the basic action labels "holding a product” and "placing a product.”
  • This invention was made in light of the above circumstances, and its purpose is to provide a video processing device, method, and program that can appropriately estimate the combination of units of the actions of a person shown in a video.
  • An image processing device includes an image feature extraction unit that extracts feature information indicative of features of an image, and an estimation unit that estimates a composite behavior, which is a combination of basic behaviors indicative of a general-purpose behavior of a subject, based on features based on the relationship between linguistic information related to the behavior of a subject appearing in the image and the feature information extracted by the image feature extraction unit.
  • the image processing method is a method performed by an image processing device, and includes: extracting feature information indicating features of an image by an image feature extraction unit of the image processing device; and estimating, by an estimation unit of the image processing device, a composite behavior that is a combination of basic behaviors indicating general-purpose behavior of the subject, based on features based on the relationship of linguistic information related to the behavior of the subject appearing in the image and the feature information extracted by the image feature extraction unit.
  • the present invention makes it possible to appropriately estimate the combination of units of a person's actions shown in a video.
  • FIG. 1 is a diagram showing an application example of a video processing device according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing an example of the concept of each function of the video processing device according to one embodiment of the present invention.
  • FIG. 3 is a diagram showing an example of an action dictionary in the medical and nursing industry.
  • Figure 4 is a flow chart showing a first example of a learning processing routine executed by the video processing device.
  • FIG. 5 is a flowchart showing a second example of a learning process routine executed by the video processing device.
  • FIG. 6 is a flowchart showing a first example of an inference processing routine executed by the video processing device.
  • FIG. 7 is a flowchart showing a second example of an inference processing routine executed by the video processing device.
  • Figure 8 is a block diagram showing an example of the hardware configuration of an image processing device according to one embodiment of the present invention.
  • FIG. 1 is a diagram showing an application example of a video processing device according to an embodiment of the present invention.
  • the video processing device 100 shown in FIG. 1 is configured as a computer having a CPU (Central Processing Unit), a RAM (Random Access Memory), and a ROM (Read Only Memory) in which a program for executing a video processing routine described below is stored, and is functionally configured as follows.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the video processing device 100 includes a memory unit 1, a video feature extraction unit 2, a label feature creation unit 3, a basic behavior inference unit 4, a composite behavior inference unit 5, a parameter update unit 6, an output unit 7, and a correct composite behavior label creation unit 8.
  • the storage unit 1 stores a video x, an action dictionary D, a correct basic action label j, a pseudo correct composite action label l, a video feature extraction model a, a label feature creation model b, a basic action inference model c, a composite action inference model d, and a correct composite action label estimator e.
  • FIG. 2 is a diagram showing an example of the concept of each function of the video processing device according to one embodiment of the present invention.
  • FIG. 2 an example of a concept showing the configuration of an image x, an action dictionary D, a correct basic action label j, a pseudo correct composite action label l, an image feature extraction model a, a label feature creation model b, a basic action inference model c, a composite action inference model d, and a correct composite action label estimator e is shown.
  • Image x may be any data that constitutes certain video data, for example a collection of images of multiple frames.
  • image x may be provided with depth information for each frame and optical flow information that indicates changes in appearance between frames.
  • the behavior dictionary D is a dictionary in which nodes are linguistic information that represents a person's behavior, edges are relational labels y that indicate the relationship between the linguistic information of each node, and the relationships between the basic behavior labels and composite behavior labels below, as well as the relationships between the composite behavior labels, are structured.
  • the data in the behavior dictionary D can be any data that is composed of these nodes and edges.
  • Figure 3 shows an example of the behavior dictionary D in the medical and nursing industry.
  • thermometer holding a thermometer
  • placing a thermometer placing a thermometer
  • holding a compress basic action labels in the medical and nursing industry.
  • taking body temperature is one of the composite action labels that combines the basic action labels "holding a thermometer” and “placing a thermometer.”
  • the correct basic action label j can be any label that indicates the basic action of the person appearing in the video x, i.e., any correct information about linguistic information related to the basic action.
  • basic actions are generic actions that can occur in a variety of industries. For example, “walking,” “touching,” or “holding.”
  • video x is a collection of images with N frames
  • basic actions are a set of N labels that indicate the basic actions of people in each frame.
  • the pseudo-correct composite action label l is a label indicating the composite action of a person appearing in the video x, i.e., correct information of linguistic information related to basic actions, and can be any correct information of the composite action label output by the correct composite action label estimator e by inputting the action dictionary D and the correct basic action label j.
  • a composite action label is a label that indicates an action that may occur in a particular industry, for example, "take temperature” or “cool down” in the medical and nursing industry.
  • video x is a set of images with N frames
  • a composite action label is M composite action labels output from action dictionary D, which is obtained by inputting a set of N labels that indicate the basic actions of people in each frame into action dictionary D.
  • the image feature extraction model a may be any neural network that inputs an image x and outputs a tensor indicating the features of the image x.
  • the image feature extraction model a is MViT (Multiscale Vision Transformers) disclosed in Non-Patent Document 1.
  • the image feature x′ may be any tensor that indicates the features of the image x, and is, for example, the output tensor when the image x is input to MViT disclosed in Non-Patent Document 1.
  • the label feature creation model b can be any neural network that inputs a relational label y indicating the relationship between each node in the behavior dictionary D and outputs a vector indicating the features of the relational label y, for example a neural network with one fully connected layer.
  • the relational label feature y' can be any vector that indicates the features of the relational label y, for example the output tensor when the relational label y is input to a neural network with one fully connected layer.
  • the basic behavior inference model c may be any neural network that inputs the video feature x' and outputs a basic behavior label.
  • the composite behavior inference model d may be any neural network that receives an image feature x' and a relational label feature y' and outputs a composite behavior label.
  • the correct composite behavior label estimator e may be any system that has the function of inputting the behavior dictionary D and the correct basic behavior label j and outputting the pseudo correct composite behavior label l.
  • the correct composite behavior label estimator e may be a program that searches the behavior dictionary D for a node that contains the correct basic behavior label j, and outputs multiple nodes linked to that node by the relationship label y as a composite behavior label.
  • the image feature extraction unit 2 receives the image x and the image feature extraction model a from the storage unit 1, inputs the image x to the image feature extraction model a, and outputs the image feature x'.
  • the label feature creation unit 3 receives the relational label y and the label feature creation model b from the storage unit 1, inputs the relational label y to this label feature creation model b, and outputs the relational label feature y'.
  • the basic behavior inference unit 4 receives the basic behavior inference model c from the memory unit 1 and receives the video feature x' from the video feature extraction unit 2, inputs this video feature x' to the basic behavior inference model c, and outputs the estimated basic behavior label i.
  • the composite behavior inference unit 5 receives the composite behavior inference model d from the memory unit 1, receives the video feature x' from the video feature extraction unit 2, and receives the relational label feature y' from the label feature creation unit 3, inputs the video feature x' and the relational label feature y' to the composite behavior inference model d, and outputs the estimated composite behavior label k.
  • the parameter update unit 6 receives the video feature extraction model a, the label feature creation model b, the basic behavior inference model c, the composite behavior inference model d, the correct basic behavior label j, and the pseudo-correct composite behavior label l from the memory unit 1, receives the estimated basic behavior label i from the basic behavior inference unit 4, and receives the estimated composite behavior label k from the composite behavior inference unit 5, and updates the parameters of each neural network so as to satisfy the following two constraints.
  • the first constraint is to update the parameters of each neural network so that the estimated basic action label i and the correct basic action label j approach or become the same, and any learning method that is set to satisfy this constraint is acceptable.
  • the difference between the estimated basic action label i and the correct basic action label j is also called loss.
  • each neural network may be a video feature extraction model a, a label feature creation model b, a basic behavior inference model c, and a composite behavior inference model d, or a video feature extraction model a, a label feature creation model b, and a basic behavior inference model c, or a label feature creation model b and a basic behavior inference model c, or a video feature extraction model a and a basic behavior inference model c, or just a basic behavior inference model c.
  • the parameter update unit 6 calculates the cross-entropy error between the estimated basic behavior label i and the correct basic behavior label j as shown in the following formula (1), and updates the parameters of the video feature extraction model a, the label feature creation model b, the basic behavior inference model c, and the composite behavior inference model d so as to reduce this error or set it to zero.
  • m in formula (1) is an index of the estimated basic behavior label i and the correct basic behavior label j
  • ym is a value in the estimated basic behavior label i
  • tm is a value in the correct basic behavior label j.
  • the index value of the correct class is "1"
  • the other index values are "0".
  • the second constraint is to update the parameters of each neural network so that the estimated composite action label k and the pseudo-ground truth composite action label l approach or become the same, and any learning method that is configured to satisfy this constraint is acceptable.
  • each neural network may be composed of a video feature extraction model a, a label feature creation model b, a basic behavior inference model c, and a composite behavior inference model d, or may be composed of a video feature extraction model a, a label feature creation model b, and a composite behavior inference model d, or may be composed of a label feature creation model b and a composite behavior inference model d, or may be composed of a video feature extraction model a and a composite behavior inference model d, or may be composed of only a composite behavior inference model d.
  • the parameter update unit 6 calculates the cross-entropy error for the estimated composite behavior label k and the pseudo-ground-truth composite behavior label l as in the above formula (1), and updates the parameters of the video feature extraction model a, the label feature creation model b, the basic behavior inference model c, and the composite behavior inference model d so as to reduce this error or make it zero.
  • m in formula (1) is an index of the estimated composite behavior label k and the pseudo correct composite behavior label l
  • ym is a value in the estimated composite behavior label k
  • tm is a value in the pseudo correct composite behavior label l. In this tm, only the index value of the correct class is "1", and the other index values are "0".
  • the output unit 7 receives the estimated basic behavior label i from the basic behavior inference unit 4 and receives the estimated composite behavior label k from the composite behavior inference unit 5, and outputs the inference result.
  • the estimation result may be only the estimated composite behavior label k, or may include the estimated basic behavior label i in addition to the estimated composite behavior label k.
  • the correct composite behavior label creation unit 8 receives the correct composite behavior label estimator e, the behavior dictionary D, and the correct basic behavior label j from the memory unit 1, inputs the behavior dictionary D and the correct basic behavior label j to the correct composite behavior label estimator e, and outputs the pseudo-correct composite behavior label l.
  • the video processing device 100 executes a learning processing routine and an inference processing routine, which will be described below.
  • step S101 the correct composite behavior label creation unit 8 receives the correct composite behavior label estimator e, the behavior dictionary D, and the correct basic behavior label j from the storage unit 1.
  • the correct composite behavior label creation unit 8 inputs the behavior dictionary D and the correct basic behavior label j to the correct composite behavior label estimator e, and transmits the pseudo correct composite behavior label l output from the correct composite behavior label estimator e to the storage unit 1.
  • step S102 the video feature extraction unit 2 receives the video x and the video feature extraction model a from the memory unit 1.
  • the video feature extraction unit 2 inputs the video x to this video feature extraction model a, and transmits the video feature x' output from this video feature extraction model a to the basic behavior inference unit 4 and the composite behavior inference unit 5.
  • step S103 the label feature creation unit 3 receives the relational label y and the label feature creation model b from the memory unit 1, inputs the relational label y to the label feature creation model b, and transmits the relational label feature y' output from the label feature creation model b to the composite behavior inference unit 5.
  • step S104 the basic behavior inference unit 4 receives the basic behavior inference model c from the memory unit 1, and receives the video feature x' from the video feature extraction unit 2.
  • the basic behavior inference unit 4 inputs this video feature x' to the basic behavior inference model c, and transmits the estimated basic behavior label i output from this basic behavior inference model c to the parameter update unit 6.
  • step S105 the composite behavior inference unit 5 receives the composite behavior inference model d from the memory unit 1, receives the video feature x' from the video feature extraction unit 2, and receives the relational label feature y' from the label feature creation unit 3.
  • the composite behavior inference unit 5 inputs the video feature x' and the relational label feature y' to the composite behavior inference model d, and transmits the estimated composite behavior label k output from this composite behavior inference model d to the parameter update unit 6.
  • the parameter update unit 6 receives the video feature extraction model a, the label feature creation model b, the basic behavior inference model c, the composite behavior inference model d, the correct basic behavior label j, and the pseudo-correct composite behavior label l from the memory unit 1, receives the estimated basic behavior label i from the basic behavior inference unit 4, and receives the estimated composite behavior label k from the composite behavior inference unit 5.
  • the parameter update unit 6 updates the parameters of each neural network so as to satisfy the above two constraints.
  • the parameter update unit 6 receives the video feature extraction model a, the label feature creation model b, the composite behavior inference model d, and the pseudo-ground-truth composite behavior label l from the memory unit 1, receives the estimated composite behavior label k from the composite behavior inference unit 5, and updates the parameters of each neural network to satisfy the constraint that the estimated composite behavior label k and the pseudo-ground-truth composite behavior label l approach or become the same.
  • step S206 the output unit 7 receives the estimated basic behavior label i from the basic behavior inference unit 4 and receives the estimated composite behavior label k from the composite behavior inference unit 5, and outputs the received estimated composite behavior label k and estimated basic behavior label i.
  • step S207 the output unit 7 receives the estimated composite action label k from the composite action inference unit 5, and outputs the received estimated composite action label k.
  • an action dictionary is constructed that structures the relationships between basic action labels and composite action labels and the relationships between the composite action labels, and pseudo-correct composite action labels are estimated from correct basic action labels, thereby creating learning data annotated with correct basic action labels and pseudo-correct composite action labels, and a model is learned that infers composite action labels simultaneously with basic action labels by utilizing the created learning data.
  • FIG. 8 is a block diagram showing an example of a hardware configuration of a video processing device according to an embodiment of the present invention.
  • the video processing device 100 according to the embodiment is configured, for example, by a server computer or a personal computer, and has a hardware processor 111A such as a CPU.
  • a program memory 111B, a data memory 112, an input/output interface 113, and a communication interface 114 are connected to the hardware processor 111A via a bus 115.
  • the communication interface 114 includes, for example, one or more wireless communication interface units, and enables the transmission and reception of information to and from the communication network NW.
  • a wireless interface for example, an interface that adopts a low-power wireless data communication standard such as a wireless LAN (Local Area Network) is used.
  • the input/output interface 113 is connected to an input device 200 and an output device 300 that are attached to the video processing device 100 and are used by users, etc.
  • the input/output interface 113 takes in operation data input by a user or the like through an input device 200 such as a keyboard, touch panel, touchpad, mouse, etc., and outputs the output data to an output device 300 including a display device using liquid crystal or organic EL (Electro Luminescence), etc., for display.
  • the input device 200 and the output device 300 may be devices built into the video processing device 100, or may be input devices and output devices of other computers or information terminals that can communicate with the video processing device 100 via the network NW.
  • the program memory 111B is a non-transient tangible storage medium that combines a non-volatile memory such as a hard disk drive (HDD) or solid state drive (SSD) that can be written to and read from at any time, with a non-volatile memory such as a ROM, and stores the programs necessary to execute various control processes, etc. according to one embodiment.
  • a non-volatile memory such as a hard disk drive (HDD) or solid state drive (SSD) that can be written to and read from at any time
  • SSD solid state drive
  • the data memory 112 is a tangible storage medium that is, for example, a combination of the non-volatile memory described above and a volatile memory such as RAM, and is used to store various data acquired and created during various processing steps.
  • the video processing device 100 can be configured as an information processing device having a software-based processing function unit.
  • This processing function unit corresponds to each unit of the video processing device 100 in FIG. 1.
  • the storage device used as a work memory or the like by the video processing device 100 can be configured by using the data memory 112 shown in FIG. 11.
  • these configured storage areas are not essential components within the video processing device 100, and may be areas provided in a storage device such as an external storage medium such as a USB (Universal Serial Bus) memory, or a database server located in the cloud.
  • an external storage medium such as a USB (Universal Serial Bus) memory, or a database server located in the cloud.
  • processing function units in the above-mentioned components can be realized by having the hardware processor 111A read and execute a program stored in the program memory 111B. Note that some or all of these processing function units may be realized in a variety of other forms, including integrated circuits such as application specific integrated circuits (ASICs (Application Specific Integrated Circuits)) or field-programmable gate arrays (FPGAs).
  • ASICs Application Specific Integrated Circuits
  • FPGAs field-programmable gate arrays
  • the methods described in each embodiment can be stored as a program (software means) that can be executed by a computer on a recording medium such as a magnetic disk (floppy disk, hard disk, etc.), optical disk (CD-ROM, DVD, MO, etc.), semiconductor memory (ROM, RAM, flash memory, etc.), and can be distributed by transmitting it via a communication medium.
  • the programs stored on the medium also include a setting program that configures the software means (including not only execution programs but also tables and data structures) that the computer executes.
  • the computer that realizes this device reads the program recorded on the recording medium, and in some cases configures the software means using the setting program, and executes the above-mentioned processing by having the operation controlled by this software means.
  • the recording medium referred to in this specification is not limited to a recording medium for distribution, but also includes storage media such as a magnetic disk or semiconductor memory installed inside the computer or in a device connected via a network.
  • the present invention is not limited to the above-described embodiments, and can be modified in various ways during implementation without departing from the gist of the invention.
  • the embodiments may also be implemented in appropriate combination, in which case the combined effects can be obtained.
  • the above-described embodiments include various inventions, and various inventions can be extracted by combinations selected from the multiple constituent elements disclosed. For example, if the problem can be solved and an effect can be obtained even if some constituent elements are deleted from all the constituent elements shown in the embodiments, the configuration from which these constituent elements are deleted can be extracted as an invention.
  • REFERENCE SIGNS LIST 100 video processing device 1: memory unit 2: video feature extraction unit 3: label feature creation unit 4: basic behavior inference unit 5: composite behavior inference unit 6: parameter update unit 7: output unit 8: correct composite behavior label creation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一実施形態に係る映像処理装置は、映像の特徴を示す特徴情報を抽出する映像特徴抽出部と、前記映像に写り込む対象者の行動に関係する言語情報の関係に基づく特徴および前記映像特徴抽出部により抽出された前記特徴情報に基づいて、前記対象者の汎用的な行動を示す基本行動の組み合わせである複合行動を推定する推定部と、を有する。

Description

映像処理装置、方法およびプログラム
　本発明の実施形態は、映像処理装置、方法およびプログラムに関する。
　映像に映る人物の行動を認識する技術は、小売店舗での業務または医療現場での業務など、人の身体行動を伴う業務を自動的に認識して記録することで業務分析に活用することが期待され、多くの研究が為されている。　
　例えば、非特許文献１に開示された手法は、認識対象の行動ラベルがアノテーション（annotation）された映像データセットを学習データとして事前に用意し、入力映像に映る行動を認識するように学習したモデルを獲得する。非特許文献１に開示される行動認識技術は、映像データセットで定義された行動ラベルが認識対象であり、これらの行動ラベルは、様々な業界の業務で共通して起こりうる行動、例えば「歩く」、「持つ」または「置く」などの汎用的な行動ラベルとしての基本行動ラベルである。
Yanghao Li, Chao-Yuan Wu, Haoqi Fan, Karttikeya Mangalam, Bo Xiong, Jitendra Malik, Christoph Feichtenhofer, "MViTv2: Improved Multiscale Vision Transformers for Classification and Detection." In proc. of CVPR 2022.
　ここで、ある業界に特化した行動ラベル、例えば「商品陳列する」は、基本行動ラベルである「商品を持つ」および「商品を置く」の組み合わせとしての複合行動ラベルと呼ぶことができる
　上記の非特許文献１に開示された手法を用いて上記の複合行動ラベルを推定するためには、業界ごとに起こりうる複合行動ラベルがアノテーションされた映像データセットを用意する必要があり、多大なコストがかかる。
　この発明は、上記事情に着目してなされたもので、その目的とするところは、映像に映る人物の行動の単位の組み合わせを適切に推定することができるようにした映像処理装置、方法およびプログラムを提供することにある。
　本発明の一態様に係る映像処理装置は、映像の特徴を示す特徴情報を抽出する映像特徴抽出部と、前記映像に写り込む対象者の行動に関係する言語情報の関係に基づく特徴および前記映像特徴抽出部により抽出された前記特徴情報に基づいて、前記対象者の汎用的な行動を示す基本行動の組み合わせである複合行動を推定する推定部と、を備える。
　本発明の一態様に係る映像処理方法は、映像処理装置により行なわれる方法であって、前記映像処理装置の映像特徴抽出部により、映像の特徴を示す特徴情報を抽出することと、前記映像処理装置の推定部により、前記映像に写り込む対象者の行動に関係する言語情報の関係に基づく特徴および前記映像特徴抽出部により抽出された前記特徴情報に基づいて、前記対象者の汎用的な行動を示す基本行動の組み合わせである複合行動を推定することと、を備える。
　本発明によれば、映像に映る人物の行動の単位の組み合わせを適切に推定することができる。
図１は、本発明の一実施形態に係る映像処理装置の適用例を示す図である。 図２は、本発明の一実施形態に係る映像処理装置の各機能の概念の一例を示す図である。 図３は、医療看護業界における行動辞書の一例を示す図である。 図４は、映像処理装置により実行される学習処理ルーチンの第１の例を示すフローチャート（flow chart）である。 図５は、映像処理装置により実行される学習処理ルーチンの第２の例を示すフローチャートである。 図６は、映像処理装置により実行される推論処理ルーチンの第１の例を示すフローチャートである。 図７は、映像処理装置により実行される推論処理ルーチンの第２の例を示すフローチャートである。 図８は、本発明の一実施形態に係る映像処理装置のハードウエア（hardware）構成の一例を示すブロック図（block diagram）である。
　以下、図面を参照しながら、この発明に係わる一実施形態を説明する。　
　＜構成＞
　まず、本発明の一実施形態に係る映像処理装置の構成について説明する。図１は、本発明の一実施形態に係る映像処理装置の適用例を示す図である。
　図１に示される映像処理装置１００は、ＣＰＵ（Central Processing Unit）とＲＡＭ（Random Access Memory）と、後述する映像処理ルーチンを実行するためのプログラム（program）が記憶されたＲＯＭ（Read Only Memory）とを備えたコンピュータ（computer）で構成され、機能的には以下の様に構成されている。
　図１に示される様に、本実施形態に係る映像処理装置１００は、記憶部１と、映像特徴抽出部２と、ラベル特徴作成部３と、基本行動推論部４と、複合行動推論部５と、パラメータ更新部６と、出力部７と、正解複合行動ラベル作成部８とを備えて構成される。
　記憶部１には、映像ｘと、行動辞書Ｄと、正解基本行動ラベルｊと、擬似正解複合行動ラベルｌ、と映像特徴抽出モデルａと、ラベル特徴作成モデルｂと、基本行動推論モデルｃと、複合行動推論モデルｄと正解複合行動ラベル推定器ｅが格納される。
　図２は、本発明の一実施形態に係る映像処理装置の各機能の概念の一例を示す図である。　
　この図２では、映像ｘと、行動辞書Ｄと、正解基本行動ラベルｊと、擬似正解複合行動ラベルｌと、映像特徴抽出モデルａと、ラベル特徴作成モデルｂと、基本行動推論モデルｃと、複合行動推論モデルｄと、正解複合行動ラベル推定器ｅとの構成を示す概念の一例が示される。
　映像ｘは、ある映像データを構成するデータであれば何でも良く、例えば複数のフレーム（frame）の画像の集合である。また、映像ｘには、フレームごとの奥行情報およびフレーム間の見えの変化を示すオプティカルフロー（optical flow）情報が付与されていても良い。
　行動辞書Ｄは、ノード（node）が人物の行動を表す言語情報であり、エッジ（edge）が各ノードの言語情報の関係性を示す関係ラベルｙであり、下記の基本行動ラベルと複合行動ラベルの関係性と、複合行動ラベル間の関係性とが構造化された辞書である。行動辞書Ｄにおけるデータは、これらのノードとエッジから構成されるデータであれば何でも良い。図３は、医療看護業界における行動辞書Ｄの一例を示す図である。
　図３に示された例では、「体温計を持つ」、「体温計を置く」および「湿布を持つ」は医療看護業界における基本行動ラベルである。また、図３に示された例では、「体温測定する」は、上記基本行動ラベルである「体温計を持つ」および「体温計を置く」を組み合わせてなる複合行動ラベルの１つである。
　正解基本行動ラベルｊは、映像ｘに映り込む人物の基本行動を示すラベル、すなわち基本行動に関係する言語情報、の正解情報であれば何でも良い。
　ここで基本行動とは、様々な業界で起こりうる汎用的な行動である。例えば「歩く」、「触る」または「持つ」などである。映像ｘがフレーム数Ｎの画像集合であるとき、基本行動は、各フレームの人の基本行動を示すＮ個のラベルの集合である。
　擬似正解複合行動ラベルｌとは、映像ｘに映り込む人の複合行動を示すラベル、すなわち基本行動に関係する言語情報、の正解情報であり、行動辞書Ｄと正解基本行動ラベルｊを入力して正解複合行動ラベル推定器ｅによって出力された複合行動ラベルの正解情報であれば何でも良い。
　ここで複合行動ラベルとは、業界ごとに起こりうる行動を示すラベルであり、例えば医療看護業界において「体温測定する」または「クーリングする」などである。映像ｘがフレーム数Ｎの画像集合であるとき、複合行動ラベルは、各フレームの人の基本行動を示すＮ個のラベルの集合を行動辞書Ｄに入力し、この行動辞書Ｄから出力されたＭ個の複合行動ラベルである。
　映像特徴抽出モデルａは、映像ｘを入力し、この映像ｘの特徴を示すテンソル（tensor）を出力するニューラルネットワーク（neural network）であれば何でも良い。例えば、映像特徴抽出モデルａは、非特許文献１に開示されたMViT（Multiscale Vision Transformers）である。　
　映像特徴ｘ’は、映像ｘの特徴を示すテンソルであれば何でも良く、例えば、非特許文献１に開示されたMViTに映像ｘが入力されたときの出力テンソルである。
　ラベル特徴作成モデルｂは、行動辞書Ｄの各ノードの関係性を示す関係ラベルｙを入力し、関係ラベルｙの特徴を示すベクトルを出力するニューラルネットワークであれば何でも良く、例えば１層の全結合層のニューラルネットワークである。
　関係ラベル特徴ｙ’は、関係ラベルｙの特徴を示すベクトルであれば何でも良く、例えば１層の全結合層のニューラルネットワークに関係ラベルｙを入力した時の出力テンソルである。
　基本行動推論モデルｃは、映像特徴ｘ’を入力し、基本行動ラベルを出力するニューラルネットワークであれば何でも良い。　
　複合行動推論モデルｄとは、映像特徴ｘ’と関係ラベル特徴ｙ’とを入力し、複合行動ラベルを出力するニューラルネットワークであれば何でも良い。
　正解複合行動ラベル推定器ｅは、行動辞書Ｄと正解基本行動ラベルｊを入力として擬似正解複合行動ラベルｌを出力する機能を有するシステムであれば何でも良い。例えば、正解複合行動ラベル推定器ｅは、正解基本行動ラベルｊが含まれるノードを行動辞書Ｄから探索し、当該ノードと関係ラベルｙで紐づいた複数のノードを複合行動ラベルとして出力するプログラムであっても良い。
　映像特徴抽出部２は、記憶部１から映像ｘと映像特徴抽出モデルａとを受け付け、映像特徴抽出モデルａに映像ｘを入力して、映像特徴ｘ’を出力する。　
　ラベル特徴作成部３は、記憶部１から関係ラベルｙとラベル特徴作成モデルｂとを受け付け、このラベル特徴作成モデルｂに関係ラベルｙを入力し、関係ラベル特徴ｙ’を出力する。
　基本行動推論部４は、記憶部１から基本行動推論モデルｃを受け付け、映像特徴抽出部２から映像特徴ｘ’を受け付け、この映像特徴ｘ’を基本行動推論モデルｃに入力し、推定基本行動ラベルｉを出力する。
　複合行動推論部５は、記憶部１から複合行動推論モデルｄを受け付け、映像特徴抽出部２から映像特徴ｘ’を受け付け、ラベル特徴作成部３から関係ラベル特徴ｙ’を受け付け、映像特徴ｘ’と関係ラベル特徴ｙ’を複合行動推論モデルｄに入力し、推定複合行動ラベルｋを出力する。
　パラメータ更新部６は、記憶部１から映像特徴抽出モデルａと、ラベル特徴作成モデルｂと、基本行動推論モデルｃと、複合行動推論モデルｄと、正解基本行動ラベルｊと、擬似正解複合行動ラベルｌとを受け付け、基本行動推論部４から推定基本行動ラベルｉを受け付け、複合行動推論部５から推定複合行動ラベルｋを受け付け、下記の２つの制約を満たすように各ニューラルネットワークのパラメータを更新する。
　１つ目の制約は、推定基本行動ラベルｉと正解基本行動ラベルｊが近付く、または同じになるように，各ニューラルネットワークのパラメータを更新することであり、この制約を満たすように設定された学習方法であれば何でも良い。推定基本行動ラベルｉと正解基本行動ラベルｊの差分はロスとも称される。
　このとき、各ニューラルネットワークとは、映像特徴抽出モデルａと、ラベル特徴作成モデルｂと、基本行動推論モデルｃと、複合行動推論モデルｄでも良ければ、映像特徴抽出モデルａと、ラベル特徴作成モデルｂと、基本行動推論モデルｃでも良ければ、ラベル特徴作成モデルｂと基本行動推論モデルｃでも良ければ、映像特徴抽出モデルａと基本行動推論モデルｃでも良ければ、基本行動推論モデルｃだけでも良い。
　例えば、パラメータ更新部６は、推定基本行動ラベルｉと正解基本行動ラベルｊについて、下記の式（１）の様にクロスエントロピー誤差を算出し、この誤差を小さくする、またはゼロ（zero）とするように、映像特徴抽出モデルａと、ラベル特徴作成モデルｂと、基本行動推論モデルｃと、複合行動推論モデルｄのパラメータを更新する。
Figure JPOXMLDOC01-appb-M000001
　ここで、式（１）のｍは、推定基本行動ラベルｉと正解基本行動ラベルｊのインデックスであり、ｙｍは推定基本行動ラベルｉ中の値であり、ｔｍは正解基本行動ラベルｊ中の値である。このｔｍでは、正解クラスとなるインデックスの値だけが「１」で、その他のインデックスの値は「０」である。
　２つ目の制約は、推定複合行動ラベルｋと擬似正解複合行動ラベルｌが近付く、または同じになるように各ニューラルネットワークのパラメータを更新することであり、この制約を満たすように設定された学習方法であれば何でも良い。
　このとき各ニューラルネットワークは、映像特徴抽出モデルａと、ラベル特徴作成モデルｂと、基本行動推論モデルｃと、複合行動推論モデルｄでも良ければ、映像特徴抽出モデルａと、ラベル特徴作成モデルｂと、複合行動推論モデルｄでもよければ、ラベル特徴作成モデルｂと複合行動推論モデルｄでもよければ、映像特徴抽出モデルａと複合行動推論モデルｄでも良ければ、複合行動推論モデルｄだけでも良い。
　例えば、パラメータ更新部６は、推定複合行動ラベルｋと擬似正解複合行動ラベルｌについて、上記の式（１）の様にクロスエントロピー誤差を算出し、この誤差を小さくする、またはゼロとするように映像特徴抽出モデルａとラベル特徴作成モデルｂと基本行動推論モデルｃと複合行動推論モデルｄのパラメータを更新する。
　ここでは、式（１）のｍは推定複合行動ラベルｋと擬似正解複合行動ラベルｌのインデックスであり、ｙｍは推定複合行動ラベルｋ中の値であり、ｔｍは擬似正解複合行動ラベルｌ中の値である。このｔｍでは正解クラスとなるインデックスの値だけが「１」で、その他のインデックスの値は「０」である。
　出力部７は、基本行動推論部４から推定基本行動ラベルｉを受け付け、複合行動推論部５から推定複合行動ラベルｋを受け付け、推定結果を出力する。　
　推定結果は、推定複合行動ラベルｋのみでもよければ、この推定複合行動ラベルｋに加えて推定基本行動ラベルｉは含まれても良い。
　正解複合行動ラベル作成部８は、記憶部１から正解複合行動ラベル推定器ｅと行動辞書Ｄと正解基本行動ラベルｊを受け付け、行動辞書Ｄと正解基本行動ラベルｊを正解複合行動ラベル推定器ｅに入力し、擬似正解複合行動ラベルｌを出力する。
　＜映像処理装置の作用＞
　次に、本実施形態に係る映像処理装置１００の作用について説明する。　
　映像処理装置１００は、以下に説明する学習処理ルーチンと推論処理ルーチンを実行する。
　＜＜学習処理ルーチン＞＞
　まず、学習処理ルーチンの第１の例について説明する。図４は、映像処理装置により実行される学習処理ルーチンの第１の例を示すフローチャートである。　
　ステップ（step）Ｓ１０１では、正解複合行動ラベル作成部８は、記憶部１から正解複合行動ラベル推定器ｅと行動辞書Ｄと正解基本行動ラベルｊを受け付ける。正解複合行動ラベル作成部８は、行動辞書Ｄと正解基本行動ラベルｊを正解複合行動ラベル推定器ｅに入力し、この正解複合行動ラベル推定器ｅから出力される擬似正解複合行動ラベルｌを記憶部１に伝達する。
　ステップＳ１０２では、映像特徴抽出部２は、記憶部１から映像ｘと映像特徴抽出モデルａとを受け付ける。映像特徴抽出部２は、この映像特徴抽出モデルａに映像ｘを入力して、この映像特徴抽出モデルａから出力される映像特徴ｘ’を基本行動推論部４と複合行動推論部５に伝達する。
　ステップＳ１０３では、ラベル特徴作成部３は、記憶部１から関係ラベルｙとラベル特徴作成モデルｂとを受け付け、このラベル特徴作成モデルｂに関係ラベルｙを入力して、当該ラベル特徴作成モデルｂから出力される関係ラベル特徴ｙ’を複合行動推論部５に伝達する。
　ステップＳ１０４では、基本行動推論部４は、記憶部１から基本行動推論モデルｃを受け付け、映像特徴抽出部２から映像特徴ｘ’を受け付ける。基本行動推論部４は、この映像特徴ｘ’を基本行動推論モデルｃに入力して、この基本行動推論モデルｃから出力される推定基本行動ラベルｉをパラメータ更新部６に伝達する。
　ステップＳ１０５では、複合行動推論部５が、記憶部１から複合行動推論モデルｄを受け付け、映像特徴抽出部２から映像特徴ｘ’を受け付け、ラベル特徴作成部３から関係ラベル特徴ｙ’を受け付ける。複合行動推論部５は、映像特徴ｘ’と関係ラベル特徴ｙ’とを複合行動推論モデルｄに入力し、この複合行動推論モデルｄから出力される推定複合行動ラベルｋをパラメータ更新部６に伝達する。
　ステップＳ１０６では、パラメータ更新部６は、記憶部１から映像特徴抽出モデルａと、ラベル特徴作成モデルｂと、基本行動推論モデルｃと、複合行動推論モデルｄと、正解基本行動ラベルｊと、擬似正解複合行動ラベルｌとを受け付け、基本行動推論部４から推定基本行動ラベルｉを受け付け、複合行動推論部５から推定複合行動ラベルｋを受け付ける。パラメータ更新部６は、上記２つの制約を満たすように各ニューラルネットワークのパラメータを更新する。
　次に学習処理ルーチンの第２の例について説明する。図５は、映像処理装置により実行される学習処理ルーチンの第２の例を示すフローチャートである。　
　まず、上記学習処理ルーチンの第１の例で説明したステップＳ１０１、Ｓ１０２、Ｓ１０３およびＳ１０５の順に処理がなされる。
　次に、ステップＳ１０７では、パラメータ更新部６は、記憶部１から映像特徴抽出モデルａと、ラベル特徴作成モデルｂと、複合行動推論モデルｄと、擬似正解複合行動ラベルｌとを受け付け、複合行動推論部５から推定複合行動ラベルｋを受け付け、推定複合行動ラベルｋと擬似正解複合行動ラベルｌが近付く、または同じになるような制約を満たすように各ニューラルネットワークのパラメータを更新する。
　＜＜推論処理ルーチン＞＞
　次に、推論処理ルーチンの第１の例について説明する。図６は、映像処理装置により実行される推論処理ルーチンの第１の例を示すフローチャートである。　
　まず、上記学習処理ルーチンの第１の例で説明したステップＳ１０２、Ｓ１０３、Ｓ１０４およびＳ１０５の順に処理がなされる。
　次に、ステップＳ２０６では、出力部７は、基本行動推論部４から推定基本行動ラベルｉを受け付け、複合行動推論部５から推定複合行動ラベルｋを受け付け、これら受け付けた推定複合行動ラベルｋと推定基本行動ラベルｉを出力する。
　次に、推論処理ルーチンの第２の例について説明する。図７は、映像処理装置により実行される推論処理ルーチンの第２の例を示すフローチャートである。　
　まず、上記学習処理ルーチンの第２の例で説明したステップＳ１０２、Ｓ１０３およびＳ１０５の順に処理がなされる。　
　次に、ステップＳ２０７では、出力部７は、複合行動推論部５から推定複合行動ラベルｋを受け付け、この受け付けた推定複合行動ラベルｋを出力する。
　以上説明した本発明の一実施形態に係る映像処理装置によれば、基本行動ラベルと複合行動ラベルとの関係性および複合行動ラベル間の関係性を構造化した行動辞書を構築し、正解基本行動ラベルから擬似正解複合行動ラベルを推定することで、正解基本行動ラベルと擬似正解複合行動ラベルがアノテーションされた学習データを作成し、作成した学習データを活用し基本行動ラベルと同時に複合行動ラベルを推論するモデルを学習する。　
　これにより、業界に特化した映像データセット構築のコストを省きながら、業界に特化した複合行動ラベルを推定できる、という効果が得られる。
　図８は、本発明の一実施形態に係る映像処理装置のハードウエア構成の一例を示すブロック図である。　
　図８に示された例では、上記の実施形態に係る映像処理装置１００は、例えばサーバコンピュータ（server computer）またはパーソナルコンピュータ（personal computer）により構成され、ＣＰＵ等のハードウエアプロセッサ（hardware processor）１１１Ａを有する。そして、このハードウエアプロセッサ１１１Ａに対し、プログラムメモリ（program memory）１１１Ｂ、データメモリ（data memory）１１２、入出力インタフェース１１３及び通信インタフェース１１４が、バス（bus）１１５を介して接続される。
　通信インタフェース１１４は、例えば１つ以上の無線の通信インタフェースユニット（interface unit）を含んでおり、通信ネットワークＮＷとの間で情報の送受信を可能にする。無線インタフェースとしては、例えば無線ＬＡＮ（Local Area Network）などの小電力無線データ通信規格が採用されたインタフェースが使用される。
　入出力インタフェース１１３には、映像処理装置１００に付設される、利用者などにより用いられる入力デバイス（device）２００および出力デバイス３００が接続される。
　入出力インタフェース１１３は、キーボード（keyboard）、タッチパネル（touch panel）、タッチパッド（touchpad）、マウス（mouse）等の入力デバイス２００を通じて利用者などにより入力された操作データを取り込むとともに、出力データを液晶または有機ＥＬ（Electro Luminescence）等が用いられた表示デバイスを含む出力デバイス３００へ出力して表示させる処理を行なう。なお、入力デバイス２００および出力デバイス３００には、映像処理装置１００に内蔵されたデバイスが使用されてもよく、また、ネットワークＮＷを介して映像処理装置１００と通信可能である他のコンピュータまたは情報端末の入力デバイスおよび出力デバイスが使用されてもよい。
　プログラムメモリ１１１Ｂは、非一時的な有形の記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリ（non-volatile memory）と、ＲＯＭ等の不揮発性メモリとが組み合わせて使用されたもので、一実施形態に係る各種制御処理等を実行する為に必要なプログラムが格納されている。
　データメモリ１１２は、有形の記憶媒体として、例えば、上記の不揮発性メモリと、ＲＡＭ等の揮発性メモリ（volatile memory）とが組み合わせて使用されたもので、各種処理が行なわれる過程で取得および作成された各種データが記憶される為に用いられる。
　本発明の一実施形態に係る映像処理装置１００は、ソフトウエアによる処理機能部を有する情報処理装置として構成され得る。この処理機能部は、図１の映像処理装置１００の各部が対応する。
　映像処理装置１００によるワークメモリなどとして用いられる記憶装置は、図１１に示されたデータメモリ１１２が用いられることで構成され得る。ただし、これらの構成される記憶領域は映像処理装置１００内に必須の構成ではなく、例えば、ＵＳＢ（Universal Serial Bus）メモリなどの外付け記憶媒体、又はクラウド（cloud）に配置されたデータベースサーバ（database server）等の記憶装置に設けられた領域であってもよい。
　上記の各部における処理機能部は、いずれも、プログラムメモリ１１１Ｂに格納されたプログラムを上記ハードウエアプロセッサ１１１Ａにより読み出させて実行させることにより実現され得る。なお、これらの処理機能部の一部または全部は、特定用途向け集積回路（ＡＳＩＣ（Application Specific Integrated Circuit））またはＦＰＧＡ（Field-Programmable Gate Array）などの集積回路を含む、他の多様な形式によって実現されてもよい。
　また、各実施形態に記載された手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウエア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク（Floppy disk）、ハードディスク（hard disk）等）、光ディスク（optical disc）（ＣＤ－ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ（Flash memory）等）等の記録媒体に格納し、また通信媒体により伝送して頒布され得る。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウエア手段（実行プログラムのみならずテーブル（table）、データ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスク、半導体メモリ等の記憶媒体を含むものである。
　なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
　　１００…映像処理装置
　　１…記憶部
　　２…映像特徴抽出部
　　３…ラベル特徴作成部
　　４…基本行動推論部
　　５…複合行動推論部
　　６…パラメータ更新部
　　７…出力部
　　８…正解複合行動ラベル作成部

Claims (7)

  1. 　映像の特徴を示す特徴情報を抽出する映像特徴抽出部と、
    　前記映像に写り込む対象者の行動に関係する言語情報の関係に基づく特徴および前記映像特徴抽出部により抽出された前記特徴情報に基づいて、前記対象者の汎用的な行動を示す基本行動の組み合わせである複合行動を推定する推定部と、
    　を備える映像処理装置。
  2. 　前記推定部は、
    　　前記映像特徴抽出部により抽出された前記特徴情報に基づいて、前記映像に写り込む、前記対象者の前記基本行動をさらに推定する、
    　請求項１に記載の映像処理装置。
  3. 　前記推定部は、
    　　前記対象者の行動に関係する言語情報の関係に基づく特徴および前記映像特徴抽出部により抽出された前記特徴情報をニューラルネットワークに入力し、この入力の結果に基づいて、前記複合行動を推定し、
    　前記ニューラルネットワークを用いて推定された前記複合行動が、前記複合行動の正解情報に近づくように、前記ニューラルネットワークのパラメータを更新する更新部をさらに備える、
    　請求項１に記載の映像処理装置。
  4. 　前記推定部は、
    　　前記映像特徴抽出部により抽出された前記特徴情報をニューラルネットワークに入力し、この入力の結果に基づいて、前記基本行動を推定し、
    　　前記ニューラルネットワークを用いて推定された前記基本行動が、前記基本行動の正解情報に近づくように、前記ニューラルネットワークのパラメータを更新する更新部をさらに備える、
    　請求項２に記載の映像処理装置。
  5. 　前記推定部は、
    　　対象者の基本行動および複合情報の関係性と複数種類の複合行動の関係が構造化された行動辞書、および前記基本行動の正解情報に基づいて、前記複合行動の正解情報を推定する、
    　請求項３に記載の映像処理装置。
  6. 　映像処理装置により行なわれる方法であって、
    　前記映像処理装置の映像特徴抽出部により、映像の特徴を示す特徴情報を抽出することと、
    　前記映像処理装置の推定部により、前記映像に写り込む対象者の行動に関係する言語情報の関係に基づく特徴および前記映像特徴抽出部により抽出された前記特徴情報に基づいて、前記対象者の汎用的な行動を示す基本行動の組み合わせである複合行動を推定することと、
    　を備える映像処理方法。
  7. 　請求項１乃至５のいずれか１項に記載の映像処理装置の各部としてプロセッサを機能させる映像処理プログラム。
PCT/JP2023/020873 2023-06-05 2023-06-05 映像処理装置、方法およびプログラム Ceased WO2024252494A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2025525468A JPWO2024252494A1 (ja) 2023-06-05 2023-06-05
PCT/JP2023/020873 WO2024252494A1 (ja) 2023-06-05 2023-06-05 映像処理装置、方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/020873 WO2024252494A1 (ja) 2023-06-05 2023-06-05 映像処理装置、方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2024252494A1 true WO2024252494A1 (ja) 2024-12-12

Family

ID=93795311

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/020873 Ceased WO2024252494A1 (ja) 2023-06-05 2023-06-05 映像処理装置、方法およびプログラム

Country Status (2)

Country Link
JP (1) JPWO2024252494A1 (ja)
WO (1) WO2024252494A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012226597A (ja) * 2011-04-20 2012-11-15 Toshiba Corp 行動推定装置、行動推定方法およびプログラム
JP2022073882A (ja) * 2020-10-30 2022-05-17 株式会社Vaak 行動推定装置、行動推定方法、プログラム及び行動推定システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012226597A (ja) * 2011-04-20 2012-11-15 Toshiba Corp 行動推定装置、行動推定方法およびプログラム
JP2022073882A (ja) * 2020-10-30 2022-05-17 株式会社Vaak 行動推定装置、行動推定方法、プログラム及び行動推定システム

Also Published As

Publication number Publication date
JPWO2024252494A1 (ja) 2024-12-12

Similar Documents

Publication Publication Date Title
Dinov Methodological challenges and analytic opportunities for modeling and interpreting Big Healthcare Data
CN113661487A (zh) 使用机器训练词条频率加权因子的产生密集嵌入向量的编码器
CN111626319A (zh) 计算环境中可解释人工智能的误用指标
CN113656587B (zh) 文本分类方法、装置、电子设备及存储介质
CN112400165B (zh) 利用无监督学习来改进文本到内容建议的方法和系统
CN110622175A (zh) 神经网络分类
JP2012058972A (ja) 評価予測装置、評価予測方法、及びプログラム
CN113557535A (zh) 基于训练数据与性能趋势的相关性的计算机模型机器学习
US11037073B1 (en) Data analysis system using artificial intelligence
CN113924560B (zh) 利用半监督深度学习理解对医学人工智能系统的查询意图
JP2021500692A (ja) 系図エンティティ解決システムおよび方法
CN110020653A (zh) 图像语义分割方法、装置及计算机可读存储介质
WO2019085118A1 (zh) 基于主题模型的关联词分析方法、电子装置及存储介质
CN113722507A (zh) 基于知识图谱的住院费用预测方法、装置及计算机设备
EP3472760A1 (en) Building convolutional neural network
US20140149465A1 (en) Feature rich view of an entity subgraph
US12260301B2 (en) Data generation and annotation for machine learning
JP6770709B2 (ja) 機械学習用モデル生成装置及びプログラム。
CN114281990A (zh) 文档分类方法及装置、电子设备和介质
JP2020021343A (ja) 解析装置、解析方法及びプログラム
JP2019159918A (ja) クラスタリングプログラム、クラスタリング方法およびクラスタリング装置
CN107430600A (zh) 可扩展的web数据提取
US11829386B2 (en) Identifying anonymized resume corpus data pertaining to the same individual
WO2024252494A1 (ja) 映像処理装置、方法およびプログラム
WO2025120694A1 (ja) 認識装置、方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23940601

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025525468

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE