WO2020179200A1 - 情報処理方法及び情報処理システム - Google Patents

情報処理方法及び情報処理システム Download PDF

Info

Publication number
WO2020179200A1
WO2020179200A1 PCT/JP2019/050480 JP2019050480W WO2020179200A1 WO 2020179200 A1 WO2020179200 A1 WO 2020179200A1 JP 2019050480 W JP2019050480 W JP 2019050480W WO 2020179200 A1 WO2020179200 A1 WO 2020179200A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
weight
information processing
difference
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/050480
Other languages
English (en)
French (fr)
Inventor
育規 石井
亮太 藤村
宗太郎 築澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to EP19918433.4A priority Critical patent/EP3937094A4/en
Priority to JP2021503427A priority patent/JPWO2020179200A1/ja
Priority to CN201980060195.XA priority patent/CN112703513B/zh
Publication of WO2020179200A1 publication Critical patent/WO2020179200A1/ja
Priority to US17/194,657 priority patent/US20210192348A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning

Definitions

  • This disclosure relates to an information processing method executed by a computer and an information processing system that executes the information processing method.
  • the present disclosure provides an information processing method or the like that can more stably converge discriminator training in such a case.
  • the information processing method is an information processing method executed by a computer, which acquires the first data and the second data which is simulated data based on the first data and uses the classifier.
  • the first data is input to acquire the first identification result data
  • the first difference between the reference data in the identification process for the first data by the classifier and the first identification result data is calculated, and the first difference is obtained.
  • the second data is input to the discriminator to obtain second discrimination result data, and the discrimination is performed.
  • a certain second weight is calculated, the discriminator is trained based on the first squared error data and the second squared error data, and the first weight and the second weight, and the first discrimination result data and
  • the second identification result data is data of a tensor having a rank of 1 or more.
  • the information processing system inputs the first data to an acquisition unit that acquires first data and second data that is simulated data based on the first data, and a discriminator. And second identification result data obtained by calculating a first difference between the first identification result data obtained by the above-described method and reference data in the identification process for the first data, and inputting the second data into the identifier.
  • a second difference between the second data and reference data in the identification process is calculated, and based on the first difference, first square error data and a first weight that is a weight of the first square error data are calculated, A weight calculation unit that calculates the second weight, which is the weight of the second square error data and the second square error data, based on the second difference, the first square error data, and the second square error data.
  • An error calculation unit that calculates error data used for training the discriminator based on the first weight and the second weight; and a training unit that trains the discriminator using the error data.
  • the first identification result data and the second identification result data are tensor data of rank 1 or higher.
  • FIG. 1 is a functional block diagram in the learning phase of the information processing system according to the embodiment.
  • FIG. 2 is a functional block diagram in the inference phase of the information processing system according to the embodiment.
  • FIG. 3 schematically shows a graph of a function indicating the weight set in the learning phase.
  • FIG. 4 is a flowchart showing an operation procedure example of an information processing method executed for training a discriminator in the above information processing system.
  • normalization of the weight prevents the discriminator output value from becoming an outlier. More specifically, the singular value of the weight matrix having the weight of each layer of the discriminator as an element is calculated, and the weight matrix is normalized using the norm of this singular value. Then, the weight matrix after normalization is updated based on the output error of the classifier.
  • Cycle GAN is a GAN of Patch GAN system and LSGAN (Least Squares GAN) system.
  • the output from the PatchGAN classifier is not a scalar value that takes a value of 0 or 1, but a simulated image output by the generator for each of the multiple subregions (patches) that divide the entire input image. Is a matrix whose elements are values indicating the determination result of whether the image is an image that is not output from the generator.
  • the LSGAN discriminator is trained based on the squared error between this matrix output by the discriminator and the matrix indicating the correct answer in this discrimination (a matrix in which 0s or 1s are arranged).
  • the matrix indicating the correct answer in this discrimination a matrix in which 0s or 1s are arranged.
  • CYCLE GAN even a generator trained with a data set of an image that has not been registered shows a preferable conversion result (see Non-Patent Document 1). Therefore, for example, it is expected to have high practicability in applications where it is practically difficult to obtain an aligned data set in an amount necessary for training.
  • the image data that can be obtained as an unaligned dataset contains a larger amount of noise than the aligned data set.
  • the noise referred to here is, for example, due to variations in the image quality, the degree of focusing, or the tint of the image.
  • the data set is a person image, the posture of the person in the image, the range of the body appearing in the image that changes depending on occlusion or composition, or changes in objects other than the person, such as the person's possession or background, It can be cited as an example of the cause of noise.
  • Such noise affects the training of the above-mentioned PatchGAN and LSGAN discriminators. Specifically, it makes the discriminator training unstable and thus makes it difficult to obtain a generator that produces an image of the desired quality. Further, there is a problem that the above-mentioned conventional method cannot deal with the stabilization of the discriminator training due to such noise.
  • the information processing method devised in view of such a problem is an information processing method executed by a computer, and is a first data and simulated data based on the first data.
  • a certain second data is acquired, the first data is input to the classifier to acquire the first identification result data, and the reference data and the first identification result data in the identification process for the first data by the classifier are used.
  • the first difference is calculated, the first weight which is the weight of the first square error data and the first square error data is calculated based on the first difference, and the second data is input to the classifier.
  • the second identification result data is acquired, the second difference between the reference data and the second identification result data in the identification process for the second data by the classifier is calculated, and the second square error is calculated based on the second difference.
  • a second weight that is a weight of the data and the second squared error data is calculated, and the discriminator is based on the first squared error data and the second squared error data, and the first weight and the second weight.
  • the second weight may be further reduced to reduce the degree of influence of the second squared error data on the training of the discriminator.
  • the first weight when the absolute value of the first difference exceeds the threshold value, the first weight may be set to zero, and when the absolute value of the second difference exceeds the threshold value, the second weight may be set to zero.
  • the second data is generated and output from the first data by the generator, and is based on the first square error data, the second square error data, and the first weight and the second weight.
  • the generator may be trained.
  • the first data may be image data.
  • the information processing system inputs the first data to an acquisition unit that acquires first data and second data that is simulated data based on the first data, and a discriminator. And second identification result data obtained by calculating a first difference between the first identification result data obtained by the above-described method and reference data in the identification process for the first data, and inputting the second data into the identifier.
  • a second difference between the second data and reference data in the identification process is calculated, and based on the first difference, first square error data and a first weight that is a weight of the first square error data are calculated, A weight calculation unit that calculates the second weight, which is the weight of the second square error data and the second square error data, based on the second difference, the first square error data, and the second square error data.
  • An error calculation unit that calculates error data used for training the discriminator based on the first weight and the second weight; and a training unit that trains the discriminator using the error data.
  • the first identification result data and the second identification result data are tensor data of rank 1 or higher.
  • a recording medium such as a device, an integrated circuit, or a computer-readable CD-ROM. It may be realized by any combination of integrated circuits, methods, computer programs and recording media.
  • FIG. 1 and 2 are functional block diagrams showing a functional configuration example of the information processing system according to the embodiment.
  • Each of these information processing systems is configured by using one or more information processing devices (computers) each having a processor and a memory to execute a program, and implements CycleGAN.
  • the functional configuration for the learning phase of this information processing system is shown in FIG. 1, and the functional configuration for the inference phase is shown in FIG.
  • the components of these functional configurations indicated by each block are realized, for example, by executing one or more programs in which a part or all of the above-mentioned processor is stored in a part or all of memory.
  • an information processing system 10A includes a first conversion unit 11A, a determination unit 12, a weight calculation unit 13, a first error calculation unit 14, a training unit 15, a second conversion unit 16 and The second error calculator 17 is provided.
  • the first conversion unit 11A performs a predetermined conversion on the Real image acquired by the information processing system 10A to generate and output a Fake image.
  • the predetermined conversion is, for example, changing the image quality or the style (style) of the image.
  • Changing the style of an image means, for example, changing an input photographed image into an image that looks as if it is a painting of a predetermined painter or style, or vice versa. It is to make the image by (Graphics) into an image that looks as if it is a live image.
  • Another example of the predetermined conversion is to change the color included in the image according to a predetermined policy. For example, the input photographic image of the natural landscape looks like it was taken with the same composition in different seasons. Is to do so.
  • the first conversion unit 11A is one of the two generators included in the CYCLE GAN implemented by the information processing system 10A, and is a generation model of the neural network used for the above-described conversion use. Is.
  • the data of the Real image is an example of the first data in this embodiment
  • the data of the Fake image is an example of the second data in this embodiment.
  • the determination unit 12 performs an identification process for determining whether the input image is a Real image or a Fake image generated by the first conversion unit 11A, and outputs the result.
  • This identification process is performed by the above-mentioned PatchGAN method, and the result of the identification process is in the form of a matrix whose elements are values indicating the likelihood of whether the image is a Real image or a Fake image for each small area. It is output. For example, an element corresponding to a small area determined to be a Real image is 1, an element corresponding to a small area determined to be a Fake image is 0, and an element corresponding to a small area other than these is each small area.
  • a determination unit 12 is a discriminator in the CycleGAN implemented by the information processing system 10A, and is a discriminative model of a neural network used for the above-mentioned discriminative use.
  • the identification result data output by receiving the input of the Real image is also referred to as first identification result data.
  • the identification result data output after receiving the input of the Fake image is also referred to as the second identification result data.
  • the weight calculation unit 13 calculates the difference between the identification result data output by the determination unit 12 by executing the identification process and the data indicating the correct answer in the identification process of the identification process (hereinafter, also referred to as reference data). Further, the weight calculation unit 13 calculates the weight and square error of each element of the matrix, which is the identification result data output by the determination unit 12, based on this difference.
  • the reference data has the same size as the identification result data and is a matrix in which all elements are 1 or all elements are 0. According to the example used in the above description of the determination unit 12, it is a matrix having all elements 1 that indicates the correct answer of the matrix output by the determination unit 12 when the Real image is input.
  • the weight and square error calculated by the weight calculation unit 13 with respect to the identification result output by the determination unit 12 into which the Real image is input are also referred to as the first weight and the first square error, respectively.
  • the weight and the squared error calculated by the weight calculation unit 13 for the identification result output by the determination unit 12 to which the Fake image is input are also referred to as a second weight and a second squared error, respectively.
  • the first error calculation unit 14 calculates the error of the determination unit 12 based on the first weight, the first squared error, the second weight, and the second squared error.
  • the training unit 15 uses the error calculated by the first error calculation unit 14 to train the determination unit 12.
  • the second conversion unit 16 is the other generator that is the generation model of the neural network in CycleGAN implemented by the information processing system 10A.
  • the second conversion unit 16 receives an input of the Fake image generated and output by the first conversion unit 11A. Then, the Fake image is subjected to a conversion that restores the Real image before being converted into the Fake image, and the image generated by the conversion is output.
  • the difference between the image output by the second conversion unit 16 and the correct image corresponding to this image, that is, the real image before being converted into the Fake image output by the first conversion unit 11A Calculate the error based on. This error is input to the training unit 15 and used for training of the first conversion unit 11A.
  • each of these components is realized by one or more information processing devices that configure the information processing system 10A.
  • the Real image set is a set of images that have not been subjected to conversion processing for the above-mentioned simulation by the first conversion unit 11A, and is a moving image including a plurality of still images or a plurality of frames. Consists of.
  • the information processing system 10A may read and acquire the data of the Real image set recorded on a non-temporary recording medium such as a DVD (Digital Versatile Disc) or a semiconductor memory by using a reading device. Then, the image signal may be input from the camera and acquired.
  • the information processing system 10A may further include a communication device and acquire the data of the Real image set via a signal received by the communication device.
  • the information processing system 10B includes a conversion unit 11B which is a generation model obtained by machine learning.
  • the conversion unit 11B is the first conversion unit 11A in which the above-described training for the predetermined conversion is repeatedly performed in the information processing system 10A, and, for example, such an evaluation regarding the conversion performance is a desired criterion. When it reaches, it can be treated as the conversion unit 11B.
  • the conversion unit 11B performs a predetermined conversion on the unconverted image and outputs the converted image.
  • the conversion unit 11B when the conversion unit 11B receives an input of a live-action image as an unconverted image, the conversion unit 11B converts the live-action image to generate and output a converted image that looks as if it is a painting in a predetermined style.
  • the conversion unit 11B is realized by one or more information processing devices forming the information processing system 10B.
  • the information processing apparatus constituting the information processing system 10B may be common to those constituting the information processing system 10A, and the conversion unit 11B may be the first conversion unit 11A itself whose training has converged to some extent or more. Further, the information processing device forming the information processing system 10B may be different from that forming the information processing system 10A.
  • the first conversion unit 11A is on a plurality of stationary computers that form the information processing system 10A
  • the conversion unit 11B is a microcontroller provided in a mobile body such as an automobile, a portable information terminal, or a household electric device. May be on top.
  • the conversion unit 11B in this case may be obtained by reducing the weight (quantization) of the first conversion unit 11A.
  • the weight calculation unit 13 calculates the difference between the identification result data output by the determination unit 12 after executing the identification process and the reference data in the identification process. Further, the weight calculation unit 13 calculates the weight (first weight, second weight) and square error (first square error, second square error) of each element of the matrix output by the determination unit 12 based on this difference. Calculate as
  • the weight calculation unit 13 sets the magnitude of the first difference d 1 , that is, a threshold (hereinafter, referred to as an error allowable value) indicating a boundary of whether or not the absolute value is allowable, to T, and the first difference d 1 is calculated.
  • a threshold hereinafter, referred to as an error allowable value
  • the following function t (d 1 ) indicating the first weight corresponding to is calculated.
  • FIG. 3 schematically shows a graph of the function t (d 1 ) showing the first weight.
  • the first weight decreases from 1 and approaches 0 as the absolute value of the first difference d 1 increases from 0, and approaches the 0, and the absolute value of the first difference d 1 exceeds the error allowable value T. It is set to zero in the range.
  • the determination unit 12 outputs the Fake image G(z) output by the first conversion unit 11A, which is a generator that receives the input of the Real image z, when the determination unit 12 inputs the Fake image G(z) as an identification target.
  • the function t(d 2 ) indicating the second weight corresponding to the second difference d 2 is the same as the function t(d 1 ) It is calculated as follows.
  • the graph of the function t (d 2 ) showing the second weight is also schematically represented as shown in FIG. That is, the second weight decreases from 1 to approach 0 as the absolute value of the second difference d 2 increases from 0, and becomes zero in the range where the absolute value of the second difference d 2 exceeds the error allowable value T. Is set.
  • the weight calculation unit 13 further calculates the squared error of the identification result of the determination unit 12. Specifically, the first squared error (D 1 (x)-1) 2 is calculated based on the first difference D 1 (x)-1 obtained above for each element of the matrix that is the identification result data, The second square error (D 2 (G (z)) -0) 2 is calculated based on the second difference D 2 (G (z)) -0.
  • the first error calculator 14 calculates the error of the determiner 12 based on the first weight, the first squared error, the second weight, and the second squared error calculated as described above. Specifically, each element of the first square error, first weight according to the value of d 1 (t (d 1) ) is multiplied. Hereinafter, this result is also referred to as a real image error. Further, to each element of the second square error, the second weight according to the value of d 2 (t (d 2) ) is multiplied by. Hereinafter, this result is also referred to as a Fake image error. Then, the result of adding the Real image error and the Fake image error is obtained as the error of the determination unit 12. The error of the determination unit 12 is used by the training unit 15 for training the determination unit 12.
  • the meaning of applying the weights set as above to the squared error is as follows.
  • the magnitude (absolute value) of the first difference or the second difference indicates the magnitude of the deviation from the correct answer of the determination for each portion (small area in the above example of the image) of the identification target data.
  • each weight set as described above becomes smaller as the deviation from the correct answer of the judgment becomes larger.
  • the portion including the outlier of the data input to the determination unit 12 for training can be determined to be far from the correct answer. Therefore, it is possible to suppress the influence of the outlier included in the identification target data on the training of the discriminator. In addition, the greater the degree of deviation of outliers, the stronger the suppression. In the above example, since the weight is set to zero in the portion where the deviation from the correct answer exceeds the threshold, the degree of influence on the training of the discriminator is zero.
  • Tukey's biweight estimation method was used to suppress the effect of outliers, but the method of suppressing the effect of outliers is not limited to this.
  • Another M estimation method that is a robust estimation method capable of setting the square error as described above may be used.
  • FIG. 4 is a flow chart showing a procedure example of the operation of the information processing system 10A in which this information processing method is executed.
  • Step S10 The determination unit 12, which is a discriminator, receives an input of an image acquired by the information processing system 10A from a set of Real images.
  • Step S11 The determination unit 12 performs identification processing for determining whether the image is a Real image or a Fake image for each small area of the input image, and calculates and outputs a matrix based on the result.
  • the calculated matrix is referred to as a first output matrix for convenience.
  • Step S12 The weight calculator 13 calculates the first weight, which is the weight of each element, using the first output matrix calculated in step S11.
  • the first weight which is the weight of each element, using the first output matrix calculated in step S11.
  • For the method of calculating the first weight refer to the example given in “2. Suppressing the influence of outliers” above.
  • Step S13 The weight calculator 13 calculates a first squared error which is a squared error of each element of the first output matrix calculated in step S11. For the method of calculating the first squared error, see “2. Suppressing the influence of outliers” above.
  • Step S20 The determination unit 12 receives an input of the Fake image generated by converting the Real image by the first conversion unit 11A that is the generator.
  • Step S21 The determination unit 12 performs identification processing for determining whether the image is a Real image or a Fake image for each small area of the input image, and calculates and outputs a matrix based on the result.
  • the calculated matrix is referred to as a second output matrix for convenience.
  • Step S22 The weight calculator 13 calculates the second weight, which is the weight of each element, using the second output matrix calculated in step S21.
  • the method of calculating the second weight refer to the example given in “2. Suppressing the influence of outliers” above.
  • Step S23 The weight calculation unit 13 calculates the second square error, which is the square error of each element of the second output matrix calculated in step S21. For the method of calculating the second squared error, see “2. Suppressing the influence of outliers” above.
  • the first error calculation unit 14 calculates the Real image error by multiplying the first weight calculated in step S12 by the first squared error calculated in step S13.
  • the first error calculation unit 14 calculates the Fake image error by multiplying the second weight calculated in step S22 by the second square error calculated in step S23.
  • Step S32 The first error calculating unit 14 calculates the error of the determining unit 12 by adding the Real image error calculated in Step S30 and the Fake image error calculated in Step S31.
  • Step S33 The training unit 15 uses the error calculated in step S32 to perform training of the determination unit 12, which is a discriminator.
  • the content of the information processing method performed by the information processing system 10A is not limited to the above.
  • training of the first conversion unit 11A which is a generator, is also performed by the training unit 15. This training is performed using, for example, the above-mentioned error calculated by the second error calculation unit 17.
  • the first weight, the first square error data, the second weight, and the second square error data may be used for the training of the first conversion unit 11A.
  • the information processing system according to the above-described embodiment has been described by using, as an example, the one in which CycleGAN is mounted, but the information processing system is not limited to this.
  • the information processing system according to one aspect of the present disclosure is also applicable to other types of GANs of the Patch GAN system and the LS GAN system, such as Combo GAN.
  • processing target by the information processing system is not limited to image data.
  • processing targets include voice, distance point cloud, sensor data such as pressure, temperature, humidity, odor, and language data.
  • the information processing system according to the above embodiment has been described by using the example in which the identification result is in the matrix format, but is not limited to this.
  • the information processing system according to the present disclosure can be applied to information processing that handles identification result data that is tensor data of rank 1 or higher.
  • a system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip. Specifically, a microprocessor, a ROM (Read-Only Memory), and a RAM (Random Access Memory) are used. It is a computer system configured to include the above. A computer program is stored in the ROM. When the microprocessor operates according to this computer program, the system LSI achieves the function of each component.
  • the system LSI is used here, but it may also be called IC, LSI, super LSI, or ultra LSI depending on the degree of integration. Further, the method of making an integrated circuit is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. A field programmable gate array (FPGA) that can be programmed after the LSI is manufactured, or a reconfigurable processor capable of reconfiguring the connection and setting of circuit cells inside the LSI may be used.
  • FPGA field programmable gate array
  • One aspect of the present disclosure may be not only each of the above-described information processing systems, but also an information processing method having steps by processing by characteristic components included in the information processing system.
  • This information processing method is, for example, the information processing method described with reference to the flowchart of FIG.
  • one aspect of the present disclosure may be a computer program that causes a computer to execute the characteristic steps included in the information processing method.
  • one aspect of the present disclosure may be a computer-readable non-transitory recording medium in which such a computer program is recorded.
  • the present disclosure can be used for discriminator training in GAN.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

コンピュータにより実行される情報処理方法では、識別器に第１データを入力して第１識別結果データを取得し、第２データを入力して第２識別結果データを取得し、識別器による第１データに対する識別処理におけるリファレンスデータと第１識別結果データとの第１差分を算出し、第１差分に基づいて、第１二乗誤差データ及び第１二乗誤差データの重みである第１重みを算出し、識別器による第２データに対する識別処理におけるリファレンスデータと第２識別結果データとの第２差分を算出し、第２差分に基づいて、第２二乗誤差データ及び第２二乗誤差データの重みである第２重みを算出し、第１二乗誤差データ、第２二乗誤差データ、第１重み及び第２重みに基づいて識別器を訓練する。第１識別結果データ及び第２識別結果データは、階数１以上のテンソルのデータである。

Description

情報処理方法及び情報処理システム
　本開示はコンピュータによって実行される情報処理方法、及び当該情報処理方法を実行する情報処理システムに関する。
　敵対的生成ネットワーク（ＧＡＮ：Generative Adversarial Networks）におけるディスクリミネータ（Discriminator、以下では識別器ともいう）の訓練の安定化を図るために、重みの正規化を利用する方法が提案されている（特許文献１参照）。
国際公開第２０１９／００４３５０号
Jun-Yan Zhu, Taesung Park, Phillip Isola, and Alexei A. Efros. "Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks", in IEEE International Conference on Computer Vision (ICCV), 2017
　上記の方法では、訓練に用いられるデータによっては識別器の訓練（学習）の安定化が困難な場合がある。
　本開示は、このような場合において識別器の訓練をより安定的に収束させることが可能な情報処理方法等を提供する。
　本開示の一態様に係る情報処理方法は、コンピュータにより実行される情報処理方法であって、第１データ及び前記第１データに基づく模擬的なデータである第２データを取得し、識別器に前記第１データを入力して第１識別結果データを取得し、前記識別器による第１データに対する識別処理におけるリファレンスデータと前記第１識別結果データとの第１差分を算出し、前記第１差分に基づいて、第１二乗誤差データ及び前記第１二乗誤差データの重みである第１重みを算出し、前記識別器に前記第２データを入力して第２識別結果データを取得し、前記識別器による第２データに対する識別処理におけるリファレンスデータと前記第２識別結果データとの第２差分を算出し、前記第２差分に基づいて、第２二乗誤差データ及び前記第２二乗誤差データの重みである第２重みを算出し、前記第１二乗誤差データ及び前記第２二乗誤差データと、前記第１重み及び前記第２重みとに基づいて前記識別器を訓練し、前記第１識別結果データ及び前記第２識別結果データは、階数１以上のテンソルのデータである。
　また、本開示の一態様に係る情報処理システムは、第１データ及び前記第１データに基づく模擬的なデータである第２データを取得する取得部と、識別器に前記第１データを入力して取得される第１識別結果データと前記第１データに対する識別処理におけるリファレンスデータとの第１差分を算出し、前記識別器に前記第２データを入力して取得される第２識別結果データと前記第２データに対する識別処理におけるリファレンスデータとの第２差分を算出し、前記第１差分に基づいて、第１二乗誤差データ及び前記第１二乗誤差データの重みである第１重みを算出し、前記第２差分に基づいて、第２二乗誤差データ及び前記第２二乗誤差データの重みである第２重みを算出する重み算出部と、前記第１二乗誤差データ及び前記第２二乗誤差データと、前記第１重み及び前記第２重みとに基づいて前記識別器の訓練に用いられる誤差データを算出する誤差算出部と、前記誤差データを用いて前記識別器を訓練する訓練部とを備え、前記第１識別結果データ及び前記第２識別結果データは、階数１以上のテンソルのデータである。
　なお、包括的又は具体的なこれらの態様は、上記の方法及びシステムの他に、装置、集積回路、又はコンピュータが読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、装置、システム、集積回路、方法、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　本開示に係る情報処理方法等によって、従来は訓練を収束させることが困難なデータを用いても識別器の訓練をより安定的に収束させることができる。
図１は、実施の形態に係る情報処理システムの学習フェーズにおける機能ブロック図である。 図２は、実施の形態に係る情報処理システムの推論フェーズにおける機能ブロック図である。 図３は、上記の学習フェーズにおいて設定される重みを示す関数のグラフを模式的に表したものである。 図４は、上記の情報処理システムで識別器の訓練のために実行される情報処理方法の動作の手順例を示すフロー図である。
　（本開示の基礎となった知見）
　発明者らは、上述した提案されている従来の方法に関し、以下の問題が生じることを見出した。
　従来のこの方法では、識別器の重みが過大になることを避けるために、重みの正規化を行うことで識別器の出力の値が外れ値とならないようにする。より具体的には、識別器の各層の重みを要素とする重み行列の特異値を算出し、この特異値のノルムを用いて重み行列を正規化する。そして正規化後の重み行列を、当該識別器の出力の誤差に基づいて更新する。
　しかしながら、従来のこの方法では識別器の学習が収束しにくいケースもある。
　ＧＡＮには、例えば種類の異なる画像集合間の変換を目的として利用されるＣｙｃｌｅＧＡＮと呼ばれるものがある。ＣｙｃｌｅＧＡＮは、ＰａｔｃｈＧＡＮ方式かつＬＳＧＡＮ（Least Squares GAN）方式のＧＡＮである。ＰａｔｃｈＧＡＮ方式の識別器からの出力は、０又は１の値を取るスカラー値ではなく、入力画像全体を分割した複数の小領域（パッチ（ｐａｔｃｈ））各々について、生成器が出力する模擬的な画像と、生成器からの出力ではない画像とのいずれであるかの判定結果を示す値を要素とする行列である。そして、ＬＳＧＡＮ方式の当該識別器は、当該識別器が出力したこの行列と、この識別における正解を示す行列（０又は１が並ぶ行列）との二乗誤差に基づいて訓練される。このようなＣｙｃｌｅＧＡＮでは、位置合わせがなされていない画像のデータセットで訓練された生成器であっても好適な変換結果を示している（非特許文献１参照）。そのため、例えば訓練に必要な量の位置合わせ済みのデータセットの入手が現実的に難しい用途での高い実用性が期待されている。
　ところが、位置合わせがなされていないデータセットとして入手可能な画像のデータには、位置合わせ済みのものに比べて大きなノイズが含まれている可能性が高い。ここでいうノイズとは、例えば画像の画質、合焦の程度、又は色味に見られる変動によるものである。また、データセットが人物画像の場合には、写っている人物の姿勢、オクルージョン若しくは構図に応じて変わる画像に表れる身体の範囲、又は人物の持ち物若しくは背景といった、人物以外に写り込む物の変化もノイズの原因の例として挙げ得る。このようなノイズは、上記のＰａｔｃｈＧＡＮ方式かつＬＳＧＡＮ方式の識別器の訓練に影響を与える。具体的には、識別器の訓練を不安定にし、ひいては所望の質の画像を生成する生成器の取得を困難にする。そして、上述の従来の方法ではこのようなノイズに起因する識別器の訓練の安定化に対応できないという問題がある。
　このような問題に鑑みて案出された本開示の一態様に係る情報処理方法は、コンピュータにより実行される情報処理方法であって、第１データ及び前記第１データに基づく模擬的なデータである第２データを取得し、識別器に前記第１データを入力して第１識別結果データを取得し、前記識別器による第１データに対する識別処理におけるリファレンスデータと前記第１識別結果データとの第１差分を算出し、前記第１差分に基づいて、第１二乗誤差データ及び前記第１二乗誤差データの重みである第１重みを算出し、前記識別器に前記第２データを入力して第２識別結果データを取得し、前記識別器による第２データに対する識別処理におけるリファレンスデータと前記第２識別結果データとの第２差分を算出し、前記第２差分に基づいて、第２二乗誤差データ及び前記第２二乗誤差データの重みである第２重みを算出し、前記第１二乗誤差データ及び前記第２二乗誤差データと、前記第１重み及び前記第２重みとに基づいて前記識別器を訓練し、前記第１識別結果データ及び前記第２識別結果データは、階数１以上のテンソルのデータである。
　これにより、識別器の訓練データが含むノイズがある程度以上大きな場合には、その訓練の結果への影響が抑えられ、訓練をより安定的に収束させることができる。
　また、前記第１差分の絶対値が大きいほど前記第１重みをより小さくして前記第１二乗誤差データの前記識別器の訓練への影響度を下げ、前記第２差分の絶対値が大きいほど、前記第２重みをより小さくして、前記第２二乗誤差データの前記識別器の訓練への影響度を下げてもよい。
　また、前記第１差分の絶対値が閾値を超える場合、前記第１重みをゼロにし、前記第２差分の絶対値が閾値を超える場合、前記第２重みをゼロにしてもよい。
　また、前記第２データは、生成器によって前記第１データから生成されて出力され、前記第１二乗誤差データ及び前記第２二乗誤差データと、前記第１重み及び前記第２重みとに基づいて前記生成器を訓練してもよい。
　これにより、上記の識別器とＧＡＮにおいて敵対する生成器の訓練は、より安定的に収束する。
　また、前記第１データは画像データであってもよい。
　また、本開示の一態様に係る情報処理システムは、第１データ及び前記第１データに基づく模擬的なデータである第２データを取得する取得部と、識別器に前記第１データを入力して取得される第１識別結果データと前記第１データに対する識別処理におけるリファレンスデータとの第１差分を算出し、前記識別器に前記第２データを入力して取得される第２識別結果データと前記第２データに対する識別処理におけるリファレンスデータとの第２差分を算出し、前記第１差分に基づいて、第１二乗誤差データ及び前記第１二乗誤差データの重みである第１重みを算出し、前記第２差分に基づいて、第２二乗誤差データ及び前記第２二乗誤差データの重みである第２重みを算出する重み算出部と、前記第１二乗誤差データ及び前記第２二乗誤差データと、前記第１重み及び前記第２重みとに基づいて前記識別器の訓練に用いられる誤差データを算出する誤差算出部と、前記誤差データを用いて前記識別器を訓練する訓練部とを備え、前記第１識別結果データ及び前記第２識別結果データは、階数１以上のテンソルのデータである。
　これにより、識別器の訓練データが含むノイズがある程度以上大きな場合には、その訓練の結果への影響が抑えられ、訓練をより安定的に収束させることができる。
　なお、包括的又は具体的なこれらの態様は、上記の方法及びシステムの他に、装置、集積回路、又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、装置、システム、集積回路、方法、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　以下、本開示の一態様に係る情報処理方法及び情報処理システムの実施の形態について、図面を参照しながら説明する。ここで示す実施の形態は、本開示の一具体例を示すものである。したがって、以下の実施の形態で示される数値、形状、構成要素、構成要素の配置及び接続形態、並びにステップ（工程）及びステップの順序等は一例であって、本開示を限定するものではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素は任意に付加可能な構成要素である。また、各図は模式図であり、必ずしも厳密に図示されたものではない。
　（実施の形態）
　［１．構成］
　図１及び図２は、実施の形態に係る情報処理システムの機能構成例を示す機能ブロック図である。これらの情報処理システムは、それぞれプロセッサ及びメモリを備えてプログラムを実行する情報処理装置（コンピュータ）を一台以上用いて構成され、ＣｙｃｌｅＧＡＮを実装する。この情報処理システムの学習フェーズのための機能構成は図１に、推論フェーズのための機能構成は図２に分けて示している。各ブロックが示すこれらの機能構成の構成要素は、例えば、上記のプロセッサの一部又は全部がメモリの一部又は全部に記憶される１個又は複数個のプログラムを実行することで実現される。
　［１－１．訓練フェーズのための構成］
　図１に示すように、実施の形態に係る情報処理システム１０Ａは、第１変換部１１Ａ、判定部１２、重み算出部１３、第１誤差算出部１４、訓練部１５、第２変換部１６及び第２誤差算出部１７を備える。
　第１変換部１１Ａは、情報処理システム１０Ａが取得したＲｅａｌ画像に所定の変換を実施してＦａｋｅ画像を生成し出力する。所定の変換とは、例えば画質、又は画像のスタイル（作風）を変更することである。画像のスタイルの変更とは、例えば入力された実写画像を、所定の画家又は様式の絵画であるかのように見える画像にすること、またはその逆に、入力された油絵の画像又はＣＧ（Computer Graphics）による画像を、実写画像であるかのように見える画像にすることである。また、所定の変換の別の例として、画像に含まれる色を所定の方針で変更することであり、例えば入力された自然景観の写真画像を、異なる季節に同じ構図で撮られたものに見えるようにすることである。これに似たまた別の例としては、入力された画像に含まれる特定の被写体を、おもに色又は模様を変えることで別の被写体に見えるようにすることが挙げられる。より具体的には、画像に写る栗毛の馬がシマウマに、又はりんごがオレンジに見えるようにする変換である。第１変換部１１Ａによるこれらのような変換について別の表現をすると、入力された画像（Ｒｅａｌ画像）の基本的な構成は残しながら異なるスタイル、異なる季節の景観、又は異なる被写体の外観等を模擬した画像（Ｆａｋｅ画像）を生成して出力することであるとも言い得る。このような第１変換部１１Ａは、情報処理システム１０Ａによって実装されるＣｙｃｌｅＧＡＮに含まれる２つの生成器（Generator）のうちの一方であり、上記のような変換の用途に供するニューラルネットワークの生成モデルである。また、Ｒｅａｌ画像のデータは本実施の形態における第１データの例であり、Ｆａｋｅ画像のデータは本実施の形態における第２データの例である。
　判定部１２は、入力を受けた画像がＲｅａｌ画像であるか、第１変換部１１Ａが生成したＦａｋｅ画像であるかを判定する識別処理を行い、その結果を出力する。この識別処理は、上述したＰａｔｃｈＧＡＮの方式で行われ、識別処理の結果は、各小領域について、Ｒｅａｌ画像とＦａｋｅ画像とのいずれであるかの尤度を示す値を要素とする行列の形式で出力される。例えば、Ｒｅａｌ画像であると判定された小領域に対応する要素は１、Ｆａｋｅ画像であると判定された小領域に対応する要素は０、これら以外の小領域に対応する要素は、各小領域がＦａｋｅ画像であるか、Ｒｅａｌ画像であるかについての判定結果に応じた０より大きく１未満の値をとる行列である。このような判定部１２は、情報処理システム１０Ａによって実装されるＣｙｃｌｅＧＡＮにおける識別器であり、上記のような識別の用途に供するニューラルネットワークの識別モデルである。以下では、判定部１２が出力したこの識別処理の結果を示すデータ（以下、識別結果データともいう）のうち、Ｒｅａｌ画像の入力を受けて出力した識別結果データは、第１識別結果データともいい、Ｆａｋｅ画像の入力を受けて出力した識別結果データは、第２識別結果データともいう。
　重み算出部１３は、判定部１２が識別処理を実行して出力した識別結果データと、この識別処理の識別処理における正解を示すデータ（以下、リファレンスデータともいう）との差分を算出する。また、重み算出部１３は、この差分に基づいて、判定部１２が出力した識別結果データである行列の各要素の重み及び二乗誤差を算出する。リファレンスデータは、識別結果データと同サイズであって、全要素が１、又は全要素が０の行列である。上記の判定部１２の説明で用いた例に沿えば、Ｒｅａｌ画像が入力された場合に判定部１２が出力する行列の正解を示すのは、全要素が１の行列である。また、Ｆａｋｅ画像が入力された場合に判定部１２が出力する行列の正解を示すのは、全要素が０の行列である。なお、Ｒｅａｌ画像が入力された判定部１２が出力した識別結果に対して重み算出部１３が算出した重み及び二乗誤差を、以下ではそれぞれ第１重み、第１二乗誤差ともいう。また、Ｆａｋｅ画像が入力された判定部１２が出力した識別結果に対して重み算出部１３が算出した重み及び二乗誤差を、以下ではそれぞれ第２重み、第２二乗誤差ともいう。
　第１誤差算出部１４は、第１重み、第１二乗誤差、第２重み及び第２二乗誤差に基づいて、判定部１２の誤差を算出する。
　なお、重み算出部１３による上述の重みの算出、及び第１誤差算出部１４によるこの重みを用いた判定部１２の誤差の算出については、例を用いて後述する。
　訓練部１５は、第１誤差算出部１４が算出した誤差を用いて判定部１２の訓練を行う。
　第２変換部１６は、情報処理システム１０Ａによって実装されるＣｙｃｌｅＧＡＮにおける、ニューラルネットワークの生成モデルであるもう一方の生成器である。第２変換部１６は、第１変換部１１Ａが生成して出力したＦａｋｅ画像の入力を受ける。そして、このＦａｋｅ画像から、このＦａｋｅ画像に変換される前のＲｅａｌ画像を復元するような変換を実施し、変換によって生成した画像を出力する。
　第２誤差算出部１７は、第２変換部１６が出力した画像と、この画像に対応する正解の画像、つまり第１変換部１１Ａが出力したＦａｋｅ画像に変換される前のＲｅａｌ画像との差異に基づく誤差を算出する。この誤差は、訓練部１５に入力されて、第１変換部１１Ａの訓練に用いられる。
　情報処理システム１０Ａでは、これらの構成要素の各々が、情報処理システム１０Ａを構成する一台以上の情報処理装置によって実現される。
　なお、Ｒｅａｌ画像集合とは、第１変換部１１Ａによる上記のような何らかの模擬のための変換処理を受けていない画像の集合であって、複数の静止画像から、又は複数のフレームを含む動画像からなる。情報処理システム１０Ａは、Ｒｅａｌ画像集合のデータを、例えばＤＶＤ（Digital Versatile Disc）、半導体メモリなどの非一時的な記録媒体に記録されたものを、読取装置を用いて読み出して取得してもよいし、カメラから画像信号の入力を受けて取得してもよい。または情報処理システム１０Ａは、さらに通信装置を備えて、この通信装置が受信する信号を介してＲｅａｌ画像集合のデータを取得してもよい。
　［１－２．推論フェーズのための構成］
　図２に示すように、実施の形態に係る情報処理システム１０Ｂは、機械学習によって得られる生成モデルである変換部１１Ｂを備える。具体的には、変換部１１Ｂは、情報処理システム１０Ａにおいて上述の所定の変換のための訓練が繰返し実施された第１変換部１１Ａであり、例えばこのような変換性能に関する評価が所望の基準に達すると変換部１１Ｂとして扱われ得る。変換部１１Ｂは、未変換画像に所定の変換を実行して変換済画像を出力する。例えば変換部１１Ｂは、未変換画像として実写画像の入力を受けると、この実写画像を変換して所定の様式の絵画であるかのように見える変換済画像を生成して出力する。
　情報処理システム１０Ｂでは、変換部１１Ｂが、情報処理システム１０Ｂを構成する一台以上の情報処理装置によって実現される。情報処理システム１０Ｂを構成する情報処理装置は、情報処理システム１０Ａを構成するものと共通であってもよく、変換部１１Ｂは訓練がある程度以上収束した第１変換部１１Ａそのものであってもよい。また、情報処理システム１０Ｂを構成する情報処理装置は、情報処理システム１０Ａを構成するものと別のものであってもよい。例えば第１変換部１１Ａは、情報処理システム１０Ａを構成する複数台の据置型コンピュータ上にあり、変換部１１Ｂは、自動車等の移動体、携帯情報端末、又は家庭用電気機器等が備えるマイクロコントローラ上にあってもよい。この場合の変換部１１Ｂは、第１変換部１１Ａを軽量化（量子化）して取得されたものであってもよい。
　［２．外れ値の影響の抑制］
　従来のＧＡＮの訓練フェーズにおいては、識別器の出力と正解を示すリファレンスデータとの差分に基づいて算出される二乗誤差が識別器の訓練に用いられている。これに対して本実施の形態に係る情報処理システム１０Ａによる訓練フェーズでは、識別器である判定部１２の訓練における識別対象のデータに含まれる外れ値の影響を抑えるための処理がさらに実施される。この処理の具体例を以下に説明する。この例では、重みの設定にロバスト推定法のひとつであるＴｕｋｅｙのｂｉｗｅｉｇｈｔ推定法を利用している。
　情報処理システム１０Ａでは、上述のとおり、重み算出部１３によって、判定部１２が識別処理を実行して出力した識別結果データと、この識別処理におけるリファレンスデータとの差分が算出される。さらに重み算出部１３は、この差分に基づいて、判定部１２が出力した行列の各要素の重み（第１重み、第２重み）及び二乗誤差（第１二乗誤差、第２二乗誤差）を以下のように算出する。
　Ｒｅａｌ画像ｘが判定部１２に識別対象として入力された場合における、判定部１２が出力する第１識別結果データの各要素をＤ１（ｘ）、リファレンスデータの各要素をＲ１とすると、重み算出部１３は、第１識別結果データと当該リファレンスデータとの差分である第１差分ｄ１を、
　ｄ１＝Ｄ１（ｘ）－Ｒ１
　の式で表される演算によって得る。なお、この場合のリファレンスデータはすべての要素の値が１の行列であるため、Ｒ１＝１である。
　ここで重み算出部１３は、第１差分ｄ１の大きさ、すなわち絶対値が許容し得るか否かの境界を示す閾値（以下、誤差許容値という）をＴとすると、第１差分ｄ１に対応する第１重みを示す次のような関数ｔ（ｄ１）を算出する。
　ｄ１＜－Ｔの場合：ｔ（ｄ１）＝０
Figure JPOXMLDOC01-appb-M000001
　Ｔ＜ｄ１の場合：ｔ（ｄ１）＝０
　図３は、第１重みを示す関数ｔ（ｄ１）のグラフを模式的に表したものである。図３から分かるように、第１重みは、第１差分ｄ１の絶対値が０から大きくなるにつれて１から減少して０に近づき、第１差分ｄ１の絶対値が誤差許容値Ｔを超える範囲ではゼロになるよう設定される。
　同様に、Ｒｅａｌ画像ｚの入力を受けた生成器である第１変換部１１Ａによって出力されたＦａｋｅ画像Ｇ（ｚ）が判定部１２に識別対象として入力された場合における、判定部１２が出力する第２識別結果データの各要素をＤ２（Ｇ（ｚ））、リファレンスデータの各要素をＲ２とすると、重み算出部１３は、第２識別結果データと当該リファレンスデータとの差分である第２差分ｄ２を、
　ｄ２＝Ｄ２（Ｇ（ｚ））－Ｒ２
　の式で表される演算によって得る。なお、この場合のリファレンスデータはすべての要素の値が０の行列であるため、Ｒ２＝０である。
　また、第２差分ｄ２の絶対値の誤差許容値をＴとすると、第２差分ｄ２に対応する第２重みを示す関数ｔ（ｄ２）も、関数ｔ（ｄ１）と同様に以下のとおり算出される。
　ｄ２＜－Ｔの場合：ｔ（ｄ２）＝０
Figure JPOXMLDOC01-appb-M000002
　Ｔ＜ｄ２の場合：ｔ（ｄ２）＝０
　第２重みを示す関数ｔ（ｄ２）のグラフもまた、模式的には図３のように表される。つまり、第２重みは、第２差分ｄ２の絶対値が０から大きくなるにつれて１から減少して０に近づき、第２差分ｄ２の絶対値が誤差許容値Ｔを超える範囲ではゼロになるよう設定される。
　重み算出部１３はさらに、判定部１２の識別結果の二乗誤差を算出する。具体的には、識別結果データである行列の各要素について上記で得た第１差分Ｄ１（ｘ）－１に基づいて第１二乗誤差（Ｄ１（ｘ）－１）２を算出し、第２差分Ｄ２（Ｇ（ｚ））－０に基づいて第２二乗誤差（Ｄ２（Ｇ（ｚ））－０）２を算出する。
　次は第１誤差算出部１４が、上記のように算出された第１重み、第１二乗誤差、第２重み及び第２二乗誤差に基づいて判定部１２の誤差を算出する。具体的には、第１二乗誤差の各要素に、ｄ１の値に応じた第１重み（ｔ（ｄ１））が乗じられる。この結果を以下ではＲｅａｌ画像誤差ともいう。また、第２二乗誤差の各要素に、ｄ２の値に応じた第２重み（ｔ（ｄ２））が乗じられる。この結果を以下ではＦａｋｅ画像誤差ともいう。そして、Ｒｅａｌ画像誤差とＦａｋｅ画像誤差とが加算された結果が判定部１２の誤差として得られる。この判定部１２の誤差が、訓練部１５によって判定部１２の訓練に用いられる。
　上記のように設定された重みを二乗誤差に適用することの意味は次のとおりである。第１差分又は第２差分の大きさ（絶対値）は、識別対象のデータの各部分（上記の画像の例では小領域）についての判定の正解からの乖離の大きさを示す。そして上記のように設定される各重みは、判定の正解からの乖離がより大きいほど小さい。このような重みを識別器への訓練に用いる二乗誤差に適用すると、判定部１２に訓練のために入力されたデータの各部分について、判定の正解からの乖離がより大きいほど、この訓練における誤差への加算が少ない。言い換えると、判定の正解からの乖離が大きいほど、訓練への影響が抑制される。ここで、判定部１２に訓練のために入力されたデータの外れ値を含む部分は、正解からより大きく乖離した判定がなされ得る。したがって、識別対象のデータに含まれる外れ値の、識別器の訓練への影響を抑制することができる。また、外れ値の逸脱の程度が大きいほど、その抑制は強く働く。上記の例では、判定の正解からの乖離が閾値を超える部分については重みがゼロに設定されるため、識別器の訓練への影響度はゼロになる。
　なお、上述の例では外れ値の影響を抑制するためにＴｕｋｅｙのｂｉｗｅｉｇｈｔ推定法を利用したが、外れ値の影響の抑制をする手法はこれに限定されない。上記のような二乗誤差の設定が可能なロバスト推定法である他のＭ推定法が用いられてもよい。
　［３．情報処理システムの動作］
　情報処理システム１０Ａにおいて実行される、識別器である判定部１２の訓練のための情報処理方法の動作について、その手順例を用いて説明する。図４は、この情報処理方法が実行される情報処理システム１０Ａの動作の手順例を示すフロー図である。
　（ステップＳ１０）識別器である判定部１２は、Ｒｅａｌ画像の集合から情報処理システム１０Ａが取得した画像の入力を受ける。
　（ステップＳ１１）判定部１２は、入力を受けた画像の小領域ごとにＲｅａｌ画像であるか、Ｆａｋｅ画像であるかを判定する識別処理を行い、その結果に基づく行列を算出して出力する。ここでは、識別対象の画像がＲｅａｌ画像であると想定して、算出された行列を便宜的に第１出力行列と称する。
　（ステップＳ１２）重み算出部１３は、ステップＳ１１で算出された第１出力行列を用いて各要素の重みである第１重みを算出する。第１重みの算出方法については、上述の「２．外れ値の影響の抑制」に挙げた例を参照されたい。
　（ステップＳ１３）重み算出部１３は、ステップＳ１１で算出された第１出力行列の各要素の二乗誤差である第１二乗誤差を算出する。第１二乗誤差の算出方法については、上述の「２．外れ値の影響の抑制」を参照されたい。
　（ステップＳ２０）判定部１２は、生成器である第１変換部１１ＡがＲｅａｌ画像を変換して生成したＦａｋｅ画像の入力を受ける。
　（ステップＳ２１）判定部１２は、入力を受けた画像の小領域ごとにＲｅａｌ画像であるか、Ｆａｋｅ画像であるかを判定する識別処理を行い、その結果に基づく行列を算出して出力する。ここでは、識別対象の画像がＦａｋｅ画像と想定して、算出された行列を便宜的に第２出力行列と称する。
　（ステップＳ２２）重み算出部１３は、ステップＳ２１で算出された第２出力行列を用いて各要素の重みである第２重みを算出する。第２重みの算出方法については、上述の「２．外れ値の影響の抑制」に挙げた例を参照されたい。
　（ステップＳ２３）重み算出部１３は、ステップＳ２１で算出された第２出力行列の各要素の二乗誤差である第２二乗誤差を算出する。第２二乗誤差の算出方法については、上述の「２．外れ値の影響の抑制」を参照されたい。
　（ステップＳ３０）第１誤差算出部１４は、ステップＳ１２で算出された第１重みをステップＳ１３で算出された第１二乗誤差に乗じて、Ｒｅａｌ画像誤差を算出する。
　（ステップＳ３１）第１誤差算出部１４は、ステップＳ２２で算出された第２重みをステップＳ２３で算出された第２二乗誤差に乗じて、Ｆａｋｅ画像誤差を算出する。
　（ステップＳ３２）第１誤差算出部１４は、ステップＳ３０で算出されたＲｅａｌ画像誤差とステップＳ３１で算出されたＦａｋｅ画像誤差とを加算して判定部１２の誤差を算出する。
　（ステップＳ３３）訓練部１５は、ステップＳ３２で算出された誤差を用いて識別器である判定部１２の訓練を実施する。
　なお、情報処理システム１０Ａによって行われる情報処理方法の内容は上記に限定されない。例えば、生成器である第１変換部１１Ａの訓練も訓練部１５によって行われる。この訓練は、例えば第２誤差算出部１７が算出する上述の誤差を用いて行われる。また、第１変換部１１Ａの訓練に、第１重み、第１二乗誤差データ、第２重み及び第２二乗誤差データが用いられてもよい。
　［４．補足事項］
　本開示の一又は複数の態様に係る情報処理方法及び情報処理システムは、上記の実施の形態の説明に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が想到する各種の変形を上記の実施の形態に施したものも、本開示の態様に含まれてもよい。下記にそのような変形の例、及び実施の形態の説明へのその他の補足事項を挙げる。
　（１）上記の実施の形態に係る情報処理システムは、ＣｙｃｌｅＧＡＮを実装するものを例に用いて説明したが、これに限定されない。本開示の一態様に係る情報処理システムは、ＰａｔｃｈＧＡＮ方式かつＬＳＧＡＮ方式の他の種類のＧＡＮ、例えばＣｏｍｂｏＧＡＮにも適用可能である。
　（２）上記の実施の形態に係る情報処理システムは、画像の変換及び識別を行うものを例に用いて説明したが、情報処理システムによる処理対象は画像のデータに限定されない。処理対象の他の例としては、音声、距離点群、圧力、温度、湿度、におい等のセンサデータ、言語のデータが含まれる。
　（３）上記の実施の形態に係る情報処理システムは、識別結果が行列形式である例を用いて説明したがこれに限定されない。本開示における情報処理システムは、階数１以上のテンソルのデータである識別結果データを扱う情報処理に適用し得る。
　（４）上述の各情報処理システムが備える機能的な構成要素の一部又は全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）で構成されてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Read-Only Memory）、ＲＡＭ（Random Access Memory）などを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサがこのコンピュータプログラムに従って動作することにより、システムＬＳＩは各構成要素の機能を達成する。
　なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
　（５）本開示の一態様は、上述の各情報処理システムだけではなく、情報処理システムに含まれる特徴的な構成要素による処理をステップとする情報処理方法であってもよい。この情報処理方法は、例えば、図４のフロー図を用いて説明した情報処理方法である。また、本開示の一態様は、この情報処理方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本開示の一態様は、そのようなコンピュータプログラムが記録された、コンピュータが読み取り可能な非一時的な記録媒体であってもよい。
　本開示は、ＧＡＮでの識別器の訓練に利用可能である。
　１０Ａ、１０Ｂ　情報処理システム
　１１Ａ　第１変換部
　１１Ｂ　変換部
　１２　判定部
　１３　重み算出部
　１４　第１誤差算出部
　１５　訓練部
　１６　第２変換部
　１７　第２誤差算出部

Claims (6)

  1. 　コンピュータにより実行される情報処理方法であって、
    　第１データ及び前記第１データに基づく模擬的なデータである第２データを取得し、
    　識別器に前記第１データを入力して第１識別結果データを取得し、
    　前記識別器による第１データに対する識別処理におけるリファレンスデータと前記第１識別結果データとの第１差分を算出し、
    　前記第１差分に基づいて、第１二乗誤差データ及び前記第１二乗誤差データの重みである第１重みを算出し、
    　前記識別器に前記第２データを入力して第２識別結果データを取得し、
    　前記識別器による第２データに対する識別処理におけるリファレンスデータと前記第２識別結果データとの第２差分を算出し、
    　前記第２差分に基づいて、第２二乗誤差データ及び前記第２二乗誤差データの重みである第２重みを算出し、
    　前記第１二乗誤差データ及び前記第２二乗誤差データと、前記第１重み及び前記第２重みとに基づいて前記識別器を訓練し、
    　前記第１識別結果データ及び前記第２識別結果データは、階数１以上のテンソルのデータである
    　情報処理方法。
  2. 　前記第１差分の絶対値が大きいほど前記第１重みをより小さくして前記第１二乗誤差データの前記識別器の訓練への影響度を下げ、
    　前記第２差分の絶対値が大きいほど、前記第２重みをより小さくして、前記第２二乗誤差データの前記識別器の訓練への影響度を下げる
    　請求項１に記載の情報処理方法。
  3. 　前記第１差分の絶対値が閾値を超える場合、前記第１重みをゼロにし、
    　前記第２差分の絶対値が閾値を超える場合、前記第２重みをゼロにする
    　請求項２に記載の情報処理方法。
  4. 　前記第２データは、生成器によって前記第１データから生成されて出力され、
    　前記第１二乗誤差データ及び前記第２二乗誤差データと、前記第１重み及び前記第２重みとに基づいて前記生成器を訓練する
    　請求項１～３のいずれか１項に記載の情報処理方法。
  5. 　前記第１データは画像データである
    　請求項１～４のいずれか１項に記載の情報処理方法。
  6. 　第１データ及び前記第１データに基づく模擬的なデータである第２データを取得する取得部と、
    　識別器に前記第１データを入力して取得される第１識別結果データと前記第１データに対する識別処理におけるリファレンスデータとの第１差分を算出し、前記識別器に前記第２データを入力して取得される第２識別結果データと前記第２データに対する識別処理におけるリファレンスデータとの第２差分を算出し、前記第１差分に基づいて、第１二乗誤差データ及び前記第１二乗誤差データの重みである第１重みを算出し、前記第２差分に基づいて、第２二乗誤差データ及び前記第２二乗誤差データの重みである第２重みを算出する重み算出部と、
    　前記第１二乗誤差データ及び前記第２二乗誤差データと、前記第１重み及び前記第２重みとに基づいて前記識別器の訓練に用いられる誤差データを算出する誤差算出部と、
    　前記誤差データを用いて前記識別器を訓練する訓練部とを備え、
    　前記第１識別結果データ及び前記第２識別結果データは、階数１以上のテンソルのデータである
    　情報処理システム。
PCT/JP2019/050480 2019-03-04 2019-12-24 情報処理方法及び情報処理システム Ceased WO2020179200A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP19918433.4A EP3937094A4 (en) 2019-03-04 2019-12-24 Information processing method and information processing system
JP2021503427A JPWO2020179200A1 (ja) 2019-03-04 2019-12-24
CN201980060195.XA CN112703513B (zh) 2019-03-04 2019-12-24 信息处理方法及信息处理系统
US17/194,657 US20210192348A1 (en) 2019-03-04 2021-03-08 Information processing method and information processing system

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962813348P 2019-03-04 2019-03-04
US62/813,348 2019-03-04
JP2019168679 2019-09-17
JP2019-168679 2019-09-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/194,657 Continuation US20210192348A1 (en) 2019-03-04 2021-03-08 Information processing method and information processing system

Publications (1)

Publication Number Publication Date
WO2020179200A1 true WO2020179200A1 (ja) 2020-09-10

Family

ID=72338641

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/050480 Ceased WO2020179200A1 (ja) 2019-03-04 2019-12-24 情報処理方法及び情報処理システム

Country Status (5)

Country Link
US (1) US20210192348A1 (ja)
EP (1) EP3937094A4 (ja)
JP (1) JPWO2020179200A1 (ja)
CN (1) CN112703513B (ja)
WO (1) WO2020179200A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023131139A (ja) * 2022-03-08 2023-09-21 日本電気株式会社 データ処理方法及び電子機器
JP2024507766A (ja) * 2021-02-15 2024-02-21 コーニンクレッカ フィリップス エヌ ヴェ 機械学習によるコントラスト強調

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019004350A1 (ja) 2017-06-29 2019-01-03 株式会社 Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ データ識別器訓練方法、データ識別器訓練装置、プログラム及び訓練方法
JP7784239B2 (ja) * 2021-04-23 2025-12-11 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "PyTorch (15) CycleGAN (horse2zebra)-A breakthrough on artificial intelligence", 24 March 2018 (2018-03-24), pages 1 - 23, XP055736644, Retrieved from the Internet <URL:http://aidiary.hatenablog.com/entry/20180324/1521896184> [retrieved on 20201005] *
OSAMU HORI: "A video text extraction method for chracter recognition", RESEARCH REPORT OF INFORMATION PROCESSING SOCIETY OF JAPAN, vol. 99, no. 3(CVIM-114), 22 January 1999 (1999-01-22), pages 129 - 136, XP009523392, ISSN: 0919-6072 *
See also references of EP3937094A4 *
YUKI SAOTOME; SONOGASHIRA MOTOHARU; MASAAKI IIYAMA: "Simultaneous estimation of object region and depth in foggy scenes using ToF camera", IPSJ SIG TECHNICAL REPORTS, vol. 2018, no. 16 (2018-DCC-020), 31 October 2018 (2018-10-31), pages 1 - 8, XP009523851, ISSN: 2188-8868 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024507766A (ja) * 2021-02-15 2024-02-21 コーニンクレッカ フィリップス エヌ ヴェ 機械学習によるコントラスト強調
JP2023131139A (ja) * 2022-03-08 2023-09-21 日本電気株式会社 データ処理方法及び電子機器
JP7501703B2 (ja) 2022-03-08 2024-06-18 日本電気株式会社 データ処理方法及び電子機器

Also Published As

Publication number Publication date
EP3937094A1 (en) 2022-01-12
EP3937094A4 (en) 2022-04-27
JPWO2020179200A1 (ja) 2020-09-10
CN112703513A (zh) 2021-04-23
US20210192348A1 (en) 2021-06-24
CN112703513B (zh) 2025-05-13

Similar Documents

Publication Publication Date Title
CN110574077B (zh) 利用虚拟三维深层神经网络的影像分析装置及方法
CN111723813B (zh) 基于类内判别器的弱监督图像语义分割方法、系统、装置
CN109493350B (zh) 人像分割方法及装置
CN110147721B (zh) 一种三维人脸识别方法、模型训练方法和装置
JP6798183B2 (ja) 画像解析装置、画像解析方法およびプログラム
WO2020179200A1 (ja) 情報処理方法及び情報処理システム
JP6866889B2 (ja) 画像処理装置、画像処理方法およびプログラム
US9305359B2 (en) Image processing method, image processing apparatus, and computer program product
CN114913588B (zh) 一种应用于复杂场景下的人脸图像修复及识别方法
GB2606785A (en) Adaptive convolutions in neural networks
CN110023989B (zh) 一种素描图像的生成方法及装置
CN112132167B (zh) 图像生成和神经网络训练方法、装置、设备和介质
CN113658324A (zh) 图像处理方法及相关设备、迁移网络训练方法及相关设备
KR102306319B1 (ko) 포즈 추정 매핑 데이터를 생성하는 방법, 프로그램 및 컴퓨팅 장치
CN110856014A (zh) 动态图像生成方法、装置、电子设备及存储介质
Zeng et al. SAU-Net: Saliency-Based Adaptive Unfolding Network for Interpretable High Quality Image Compressed Sensing in Internet of Things
WO2024145343A1 (en) Avatar generation according to artistic styles
CN112884648A (zh) 多类模糊图像超分辨率重建的方法和系统
CN111368763A (zh) 基于头像的图像处理方法、装置及计算机可读存储介质
KR102488858B1 (ko) 손상된 유형물의 디지털 복원 방법, 장치 및 프로그램
CN114943878A (zh) 一种神经网络预训练方法、图像处理方法及装置
CN111414864B (zh) 一种人脸活体检测方法和相关装置
CN112614199A (zh) 语义分割图像转换方法、装置、计算机设备和存储介质
CN118570052A (zh) 图像风格迁移方法、装置、存储介质与电子设备
Kannan et al. Quality Assessment of Low-Light Restored Images: A Subjective Study and an Unsupervised Model

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19918433

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021503427

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019918433

Country of ref document: EP

Effective date: 20211004

WWG Wipo information: grant in national office

Ref document number: 201980060195.X

Country of ref document: CN