WO2024201980A1 - 検索システム、検索方法、および情報処理装置 - Google Patents

検索システム、検索方法、および情報処理装置 Download PDF

Info

Publication number
WO2024201980A1
WO2024201980A1 PCT/JP2023/013487 JP2023013487W WO2024201980A1 WO 2024201980 A1 WO2024201980 A1 WO 2024201980A1 JP 2023013487 W JP2023013487 W JP 2023013487W WO 2024201980 A1 WO2024201980 A1 WO 2024201980A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
query
images
search
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/013487
Other languages
English (en)
French (fr)
Inventor
ノエルヌオウェイ テイ
マハムード ダイフ
プラクルーティ ビーアット
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Group Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Group Inc filed Critical Rakuten Group Inc
Priority to EP23930615.2A priority Critical patent/EP4675459A4/en
Priority to PCT/JP2023/013487 priority patent/WO2024201980A1/ja
Priority to JP2025509571A priority patent/JPWO2024201980A1/ja
Publication of WO2024201980A1 publication Critical patent/WO2024201980A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Definitions

  • the present invention relates to a search system, a search method, and an information processing device, and in particular to a technique for searching for items according to an input query.
  • Patent Document 1 discloses a search system that performs a product search by searching for product data that contains a character string that matches text entered by the user (an example of a query).
  • this disclosure provides technology for flexibly accepting query input from a user and obtaining appropriate search results in response to the query.
  • a search system includes a query acquisition unit that acquires a query for searching for a desired item, an image generation unit that generates an image using the query and a trained machine learning model, and a search unit that searches for an item based on the image.
  • a search method includes a query acquisition step of acquiring a query for searching for a desired item, an image generation step of generating an image using the query and a trained machine learning model, and a search step of searching for an item based on the image.
  • An information processing device includes a query acquisition unit that acquires a query for searching for a desired item, an image generation unit that generates a plurality of images using the query and a trained diffusion model, and a feature vector acquisition unit that acquires a feature vector for searching for the item based on the plurality of images.
  • FIG. 1 shows an example of the configuration of an information processing system.
  • FIG. 2 shows an example of the functional configuration of the information processing device.
  • FIG. 3 shows an example of the functional configuration of the search device.
  • FIG. 4 is a diagram for explaining an image generation model in the learning stage.
  • FIG. 5 shows an example of the hardware configuration of the information processing device and the search device according to the embodiment.
  • FIG. 6A is a diagram for explaining the procedure for generating a first type of image.
  • FIG. 6B is a diagram for explaining the procedure for generating an image of the third type.
  • FIG. 7 is a sequence diagram showing the flow of processing executed in the information processing system.
  • FIG. 8A shows an example of an image generated by an information processing device.
  • FIG. 8B shows an example of a search result page generated by the search device.
  • FIG. 1 shows an example of the configuration of an information processing system 1 according to this embodiment.
  • the information processing system 1 includes a user device 10 and a search system 20.
  • the search system 20 includes an information processing device 21 and a search device 22.
  • the user device 10 transmits a search query for a desired item (hereinafter also simply referred to as a query) to the search system 20 in response to a user's operation, and the search system 20, having received the query, operates to transmit search results that match the query to the user device 10.
  • a desired item hereinafter also simply referred to as a query
  • the user device 10 is, for example, a device such as a smartphone or a tablet, and is configured to be able to communicate with the search system 20 (i.e., an information processing device 21 and a search device 22) via a public network such as LTE (Long Term Evolution) or a wireless communication network such as a wireless LAN (Local Area Network).
  • the user device 10 has a display unit (display surface) such as a liquid crystal display, and a user of the user device 10 can perform various operations using a GUI (Graphic User Interface) equipped on the liquid crystal display.
  • the operations include various operations on content such as images displayed on the screen, such as tapping, sliding, and scrolling using a finger or a stylus.
  • the user device 10 is not limited to the device shown in Fig. 1, but may be a device such as a desktop PC (Personal Computer) or a notebook PC. In this case, the user may operate the device using an input device such as a mouse or a keyboard.
  • the user device 10 may also
  • the search device 22 is a server device that provides an electronic commerce site (EC site).
  • the user of the user device 10 can access the EC site provided by the search device 22, input a query to search for a desired item in a search window (input field) on the site, and confirm the query.
  • the user device 10 transmits the query input by the user to the search system 20.
  • the information processing device 21 receives the query transmitted from the user device 10 and generates one or more images based on the query. Alternatively, the information processing device 21 may generate one or more images from information other than the query.
  • the information processing device 21 acquires a feature vector (hereinafter also referred to as an image feature) that represents the features of the one or more images, and outputs the image feature to the search device 22.
  • a feature vector hereinafter also referred to as an image feature
  • the search device 22 acquires the image feature acquired by the information processing device 21, and generates a web page (search result page) that displays the search results based on the image feature.
  • the search device 22 transmits (distributes) the generated search result page to the user device 10.
  • the information processing device 21 and the search device 22 are configured as separate devices, but they may be configured as a single information processing device.
  • the query input by the user of the user device 10 may be text (e.g., text information describing an item), tags indicating attributes (e.g., the item's color, brand, category, genre, size, target gender (female, male, unisex, etc.)) (hereinafter also referred to as attribute tags), or images (e.g., images representing the item).
  • the query may be a combination of two or more of text, attribute tags, and images.
  • the image serving as a query may be an incomplete image, such as an image with missing parts, a blurry image, or a portion of an image.
  • a query input by a user of the user device 10 is linked to information that identifies the user device 10 and information on the date and time of input. Furthermore, the query may be linked to characteristics of the user device 10 or the user (hereinafter also referred to as user characteristics).
  • the user characteristics may include demographic information. Demographic information is demographic user characteristics (attributes) such as gender, age, residential area, occupation, family structure, etc.
  • the items to be searched for can be tangible or intangible goods and services that can be provided in relation to various services.
  • digital content services there are items such as video content such as movies and animations, and still image content such as photographs and illustrations.
  • e-commerce services there are items such as intangible or tangible goods handled in online shopping.
  • travel services there are items such as information and reservations regarding hotels, package tours, and transportation.
  • mobile services there are items such as mobile devices, public network/Internet connections, and communication usage fees.
  • sports and cultural services there are items such as events such as sporting events and concerts, and goods sold at events.
  • [Functional configuration of information processing device 21] 2 shows an example of the functional configuration of the information processing device 21 according to the present embodiment.
  • the information processing device 21 includes a query acquisition unit 101, an image generation unit 102, a classifier selection unit 103, an image feature extraction unit 104, an output unit 105, and a learning model storage unit 110.
  • the learning model storage unit 110 stores an image generation model 111, a classifier group 112 including a plurality of classifiers (image recognition models), and an image feature extraction model 113, which are learned machine learning models.
  • the query acquisition unit 101 acquires a query sent from the user device 10 by user operation.
  • the query may be text, attribute tags, or an image (e.g., an image representing an item).
  • the query may be a combination of two or more of text, attribute tags, and images. Note that the query is not limited to these, and may be any information that the user device 10 can send to search for a desired item.
  • the image generation unit 102 generates one or more images based on the query acquired by the query acquisition unit 101.
  • the image generation unit 102 may generate one or more images based on a classifier described below without the query.
  • the image generation unit 102 generates an image using a trained image generation model 111 stored in the learning model storage unit 110.
  • FIG. 4 is a diagram for explaining the image generation model 111 in the learning stage.
  • the image generation model 111 corresponds to a diffusion model in the machine learning field.
  • the diffusion model is a model that generates an image by gradually removing noise from a noisy image, and for example, a stable diffusion model is known.
  • the image generation model 111 is configured to also reflect the query information, so it can be called a conditional diffusion model by the query.
  • GAN Geneerative Adversarial Network
  • GAN Geneative Adversarial Network
  • an image 41 (a reference image for learning) and a query 42 are used as input data.
  • the image 41 is input to an image encoder 401 in the image generation model 111.
  • a VAE Virtual Autoencoder
  • the image encoder 401 converts the image 41 (pixel image) into a latent representation (latent image embedding representation) in a latent space. This embeds a high-dimensional image into a low-dimensional latent space, reducing the load on computational processing.
  • the latent representation converted by the image encoder 401 is then repeatedly added with noise (e.g., Gaussian noise) at multiple time steps in a diffusion process 402 to generate a noise image 403.
  • noise e.g., Gaussian noise
  • a U-Net may be used for noise removal in the despreading process 404.
  • the U-Net is a type of FCN (Fully Convolution Network), and is configured to include multiple blocks including a convolution layer and multiple blocks including an attention layer.
  • the de-diffusion process 404 also uses information on the query 42 input to the image generation model 111. Specifically, a feature vector (embedding vector) embedded in a feature space is extracted from the query 42 by the query encoder 406.
  • the feature vector extracted by the query encoder 406 represents the features of the query 42, and is hereinafter also referred to as a query feature.
  • the query encoder 406 is a trained model (transformer) configured to extract query features from the query 42.
  • CLIP Content Language-Image Pre-training
  • the de-diffusion process 404 derives noise to be removed from the input noise image 403 based on the query feature obtained by the query encoder 406, and subtracts the derived noise from the noise image 403.
  • U-Net is used in the de-diffusion process 404, the query feature obtained by the query encoder 406 is input to each of a plurality of blocks including an attention layer, and noise is derived.
  • the output obtained by subtracting the derived noise from the noise image 403 is finally converted into an image in the image decoder 405, and the image 43 is generated. Thereafter, the error (difference) between the image 43 (generated image) and the image 41 (teacher image) is calculated, and the image generation model 111 is trained so that the error is reduced. For example, the mean absolute error (MAE) or the mean square error (MSE) is calculated from the pixel values of the image 43 and the image 41, and the image generation model 111 is trained so that the error is reduced.
  • MAE mean absolute error
  • MSE mean square error
  • the image 41 may be at least a part of all images representing items that can be handled on the EC site provided by the search device 22.
  • the image 41 is not limited to images representing items, and may be or may include images that are not directly related to items that can be handled on the EC site.
  • the learning process noise image generation and image generation process described above is performed on the at least a part of the images.
  • the learned image generation model 111 is stored in the learning model storage unit 110.
  • the image generation model 111 is further learned accordingly and stored in the learning model storage unit 110.
  • the image generation model 111 may be learned by a predetermined functional block of the information processing device 21 and stored in the learning model storage unit 110, or may be learned by an external device and stored in the learning model storage unit 110.
  • the image generation unit 102 generates one or more images using the image generation model 111 learned according to the above-mentioned flow.
  • the image generation procedure by the image generation unit 102 will be described later.
  • the classifier selection unit 103 selects a classifier to be used from a classifier group 112 that includes multiple classifiers stored in the learning model storage unit 110.
  • the multiple classifiers included in the classifier group 112 are prepared in advance, and each classifier is a trained classifier (image recognition model) configured to classify images.
  • the classifier group 112 and the selection of a classifier will be described later.
  • the image feature extraction unit 104 uses the trained image feature extraction model 113 stored in the learning model storage unit 110 to extract a feature vector (embedded vector) embedded in a feature space from each of one or more images generated by the image generation unit 102.
  • the feature vector extracted by the image feature extraction unit 104 corresponds to an image feature that represents the characteristics of each of the images.
  • the image feature extraction model 113 is a learning model that has been trained to extract and output image features of an input image.
  • the image feature extraction unit 104 inputs the image generated by the image generation unit 102 into the feature extraction model 221 and extracts and obtains the image features of the image.
  • the output unit 105 outputs the image features of each of the one or more images generated by the image generation unit 102, which are obtained by the image feature extraction unit 104, to the search device 22. Furthermore, the output unit 105 may output image data including one or more images generated by the image generation unit 102 to the search device 22. Furthermore, the output unit 105 may be configured to output (present) the image data including one or more images generated by the image generation unit 102 to the user device 10.
  • FIG. 3 shows an example of the functional configuration of the search device 22 according to the present embodiment.
  • the search device 22 is composed of an image feature acquisition unit 201, a search unit 202, an output unit 203, and a search database 210.
  • the learning model storage unit 210 stores a learned feature extraction model 211.
  • the search database 210 stores data related to items (hereinafter also referred to as item data) including images representing each item. Each item data is assigned identification information that identifies each item, and is linked to the image features of each image. Each item data may include attribute information (related information) such as the price and description of each item.
  • the item data stored in the search database 210 may be updated according to the addition and/or deletion of items in the EC site provided by the search device 22, or the addition and/or deletion of search conditions.
  • the image feature acquisition unit 201 acquires image features (feature vectors) generated by the information processing device 21. That is, the image feature acquisition unit 201 acquires image features representing the features of one or more images generated in the information processing device 21 based on a query transmitted from the user device 10. Alternatively, the image feature acquisition unit 201 may acquire image features representing the features of one or more images generated in the information processing device 21 based on a selected classifier. In addition to this, or instead of this, the image feature acquisition unit 201 may acquire image data including one or more images generated by the information processing device 21.
  • the search unit 202 performs an item search based on the image features acquired by the image feature acquisition unit 201. For example, the search unit 202 searches the search database 210 using the image features as search criteria, and acquires item data having the same or similar features as the image features as search results. Furthermore, the search unit 202 creates (constructs) a web page (search result page) that includes the acquired item data.
  • the search unit 202 may extract image features from the image acquired by the image feature acquisition unit 201, and search the search database 210 using the image features as search conditions to acquire item data.
  • the search device 22 has a trained image feature extraction model 113.
  • the search unit 202 may extract and acquire image features from the image acquired from the image feature acquisition unit 201 using the image feature extraction model 113, and may search the search database 210 using the image features as search conditions to acquire item data.
  • the search unit 202 may create (configure) a search result page including the acquired item data.
  • the output unit 203 transmits (distributes) the search result page created by the search unit 202 to the user device 10.
  • the search result page is response data to the query transmitted from the user device 10, and can be displayed on the display unit of the user device 10.
  • FIG. 5 is a block diagram showing an example of a hardware configuration of an information processing device 21 according to the present embodiment.
  • the information processing device 21 according to this embodiment can be implemented on any single or multiple computers, mobile devices, or any other processing platform. 5, the information processing device 21 is illustrated as being implemented in a single computer, but the information processing device 21 according to the present embodiment may be implemented in a computer system including multiple computers. The multiple computers may be connected to each other via a wired or wireless network so as to be able to communicate with each other.
  • the information processing device 21 may include a CPU (Central Processing Unit) 501, a ROM (Read Only Memory) 502, a RAM 503, a HDD (Hard Disk Drive) 504, an input unit 505, a display unit 506, a communication I/F 507, a GPU (Graphics Processing Unit) 508, and a system bus 509.
  • the information processing device 21 may also include an external memory.
  • the CPU 501 generally controls the operation of the information processing device 21, and controls each of the components (502 to 508) via a system bus 509 which is a data transmission path.
  • the ROM 502 is a non-volatile memory that stores a control program and the like necessary for the CPU 501 to execute processing.
  • the program may be stored in a non-volatile memory such as the HDD 504 or an SSD (Solid State Drive) or an external memory such as a removable storage medium (not shown).
  • the RAM (Random Access Memory) 503 is a volatile memory and functions as a main memory, a work area, etc. of the CPU 501. That is, when executing a process, the CPU 501 loads necessary programs, etc. from the ROM 502 into the RAM 503 and executes the programs, etc. to realize various functional operations.
  • the RAM 503 may include the learning model storage unit 110 shown in FIG. 1.
  • the HDD 504 stores, for example, various data and various information required when the CPU 501 performs processing using a program.
  • the HDD 504 also stores, for example, various data and various information obtained when the CPU 501 performs processing using a program.
  • the input unit 505 is composed of a keyboard and a pointing device such as a mouse.
  • the display unit 506 is configured with a monitor such as a liquid crystal display (LCD), etc.
  • the display unit 506 may be configured in combination with the input unit 505 to function as a GUI (Graphical User Interface).
  • the communication I/F 507 is an interface that controls communication between the information processing device 21 and an external device.
  • the communication I/F 507 provides an interface with a network and executes communication with an external device via the network.
  • Various data, various parameters, etc. are transmitted and received between the external device and the communication I/F 507.
  • the communication I/F 507 may execute communication via a wired LAN (Local Area Network) or a dedicated line that complies with a communication standard such as Ethernet (registered trademark).
  • the network that can be used in this embodiment is not limited to this, and may be configured as a wireless network.
  • This wireless network includes wireless PANs (Personal Area Networks) such as Bluetooth (registered trademark), ZigBee (registered trademark), and UWB (Ultra Wide Band). It also includes wireless LANs (Local Area Networks) such as Wi-Fi (Wireless Fidelity) (registered trademark) and wireless MANs (Metropolitan Area Networks) such as WiMAX (registered trademark). It also includes wireless WANs (Wide Area Networks) such as 4G and 5G. Note that the network only needs to be able to connect devices to each other and communicate with each other, and the communication standard, scale, and configuration are not limited to those described above.
  • the GPU 508 is a processor specialized for image processing. The GPU 508 performs, for example, image generation processing according to this embodiment in cooperation with the CPU 501. Note that the GPU 508 may perform processing other than image processing.
  • each element of the information processing device 21 shown in FIG. 2 can be realized by the CPU 501 executing a program. However, at least some of the functions of each element of the information processing device 21 shown in FIG. 2 may be operated as dedicated hardware. In this case, the dedicated hardware operates under the control of the CPU 501.
  • FIG. 6A is a diagram for explaining a procedure of the first type of image generation.
  • the image generation unit 102 uses a trained image generation model 111 to generate one or more images based on a query transmitted from the user device 10 and acquired by the query acquisition unit 101.
  • the image generation unit 102 inputs the query 61 acquired by the query acquisition unit 101 to the trained image generation model 111.
  • the query 61 is converted into a query feature by the query encoder 406 and input to the de-diffusion process 404.
  • the de-diffusion process 404 derives noise to be removed from the noise image 403 based on the query feature acquired by the query encoder 406, and subtracts the derived noise from the noise image 403.
  • the output obtained by subtracting the derived noise from the noise image 403 is finally converted into an image 62 in the image decoder 405 and output. By performing such processing on different noise images 403, multiple images including the image 62 are generated.
  • generating an image 62 may mean generating multiple images including the image 62 by the above-described procedure.
  • the image generation unit 102 acquires the query 61 input by the user of the user device 10 to search for a desired item, and generates one or more images based on the query 61 and the trained image generation model 111.
  • the image generation by using a query feature (feature vector) indicating the features of the query 61 generated by the query encoder 406, it becomes possible to generate one or more images based on the query 61.
  • the image serving as query 61 may be an incomplete image, such as an image with missing parts, an unclear image, or a portion of an image.
  • the missing parts are masked in the image, and noise is added to the areas other than the masked parts.
  • the generated noise image and the masked parts are then combined into an image, and noise is removed from the image by a de-diffusion process, thereby generating a more complete image in which the missing parts are predicted (inpainted).
  • the second type of image generation is image generation by sampling.
  • the de-diffusion process 404 generates a large amount of output from a single query feature obtained by the query encoder 406 by sampling.
  • the output is converted into a plurality of images including the image 62 in the image decoder 405 and output. This allows a large amount of images to be generated.
  • the large amount of images corresponds to images forming a distribution of the single query 61.
  • FIG. 6B is a diagram for explaining the procedure of the third type of image generation.
  • the image generation unit 102 generates one or more images using a trained image generation model 111 including a classifier. Specifically, the image generation unit 102 generates one or more images using the trained image generation model 111 and gradients from the classifier. This type of image generation corresponds to guided image generation by a classifier.
  • a classifier selected by the classifier selection unit 103 from the classifier group 112 stored in the learning model storage unit 110 is used.
  • Each classifier included in the classifier group 112 is a trained classifier (image recognition model) configured to classify images having a predetermined characteristic.
  • Each classifier is assigned with identification information that identifies the classifier.
  • each classifier is associated with one or more characteristics (keywords) related to the image to be classified.
  • this type of image generation differs from the first type of image generation described above (see FIG. 6A) in that the gradient output from the classifier 601 is input to the de-diffusion process 404.
  • the classifier 601 is selected from the classifier group 121 by the classifier selection unit 103.
  • the classifier selection unit 103 can select a classifier in the following procedure.
  • the classifier selection unit 103 may analyze the query 61, extract features included in the query 61, and select a classifier having the features.
  • the classifier selection unit 103 may extract (predict) features such as an item name or an item genre included in the text, and select a classifier associated with the features.
  • the classifier selection unit 103 may extract the features on a rule basis or by using machine learning (e.g., the query encoder 406).
  • the classifier selection unit 103 may select a classifier according to a user instruction 63.
  • the user may be a user of the user device 10.
  • the classifier selection unit 103 may select a classifier corresponding to the identification information.
  • the classifier selection unit 103 may select a classifier associated with the feature indicated by the text.
  • the classifier selection unit 103 may extract (predict) the feature indicated by the text and select a classifier associated with the feature.
  • the classifier selection unit 103 may extract the feature on a rule basis or by using machine learning.
  • User instructions 63 for selecting a classifier may be included in the query 61 or may be sent from the user device 10 separately from the query 61 .
  • the classifier selection unit 103 may select a classifier according to preset setting information 64.
  • the setting information 64 may be preset in the classifier selection unit 103, or may be set from an external device.
  • the classifier selection unit 103 may select a classifier according to the type of webpage.
  • the classifier selection unit 103 may select a classifier associated with characteristics related to food.
  • the selected classifier 601 outputs the gradient from the classifier 601 as a weight to the de-diffusion process 404 so that there is a high probability that an image that can be classified by the classifier 601 is generated.
  • the de-diffusion process 404 removes noise from the noise image 403 according to the query features output from the query encoder 406 and the gradient output from the classifier 601 to generate an image 62. This allows the image generation unit 102 to generate images limited to those that can be classified by the selected classifier 601.
  • the image generating unit 102 may remove noise from the noise image 403 according to the gradient from the classifier 601 without the query 61, to generate the image 62.
  • the classifier selecting unit 103 may select the classifier 601 according to a user instruction 63 transmitted from the user device 10, and the image generating unit 102 may remove noise from the noise image 403 according to the gradient of the classifier 601, to generate the image 62.
  • the classifier selecting unit 103 may select the classifier 601 based on the setting information 64 at a predetermined timing, and the image generating unit 102 may remove noise from the noise image 403 according to the gradient from the classifier 601, to generate the image 62.
  • the image generation unit 102 generates one or more images based on the query 61 input by the user of the user device 10 to search for a desired item, the gradient from the classifier 601, and the trained image generation model 111.
  • the classifier 601 can be selected by the classifier selection unit 103 based on the query 61, the user instruction 63, or the setting information 64. This allows the image generation unit 102 to generate an image that can be classified by the selected classifier 601, i.e., an image that is the target of the classifier 601. Also, in this type of image generation, the image generation unit 102 can generate an image according to the classifier selected based on the user instruction 63 or the setting information 64, even without the query 61.
  • FIG. 7 is a sequence diagram showing a process flow executed in the information processing system 1.
  • the information processing system 1 is composed of a user device 10, and a search system 20 including an information processing device 21 and a search device 22.
  • a process flow will be described when a query for searching for a desired item is transmitted from the user device 10 in response to an operation by a user.
  • the query acquisition unit 101 of the information processing device 21 receives and acquires the query (S701).
  • the query may be text (e.g., text information describing an item) or attribute tags indicating attributes (e.g., the color, brand, category, genre, size, and gender of the target (female, male, unisex, etc.) of the item).
  • the query may be a combination of two or more of text, attribute tags, and images.
  • the image generation unit 102 of the information processing device 21 generates a plurality of images based on the query and the trained image generation model 111 (S702). The image generation process is as described above.
  • the image feature extraction unit 104 of the information processing device 21 extracts and acquires image features (feature vectors) of each of the generated images using the trained image feature extraction model 113 (S703).
  • the output unit 105 of the information processing device 21 outputs the image features to the search device 22 (S704).
  • FIG. 8A shows an example of images generated in S702 for a query sent from the user device 10 in S701.
  • FIG. 8A shows an image group 81 generated by the image generation unit 102 of the information processing device 21 when the query 80 sent from the user device 10 in S701 is the text "black and white striped V-neck T-shirt.”
  • the image group 81 includes four images (images 811, 812, 813, and 814).
  • the query 80 is composed of a relatively long sentence (a long query without breaks), but in the image generation model 111, the query encoder 406 extracts the query features of the query 80 and then generates images reflecting the query features, making it possible to generate an image group 81 that takes into account the features of the query 80.
  • the image feature acquisition unit 201 of the search device 22 acquires the image feature (S704).
  • the search unit 202 of the search device 22 performs an item search using the search database 210 based on the image feature (S705).
  • the search unit 202 searches the search database 210 using the image feature as a search condition, and acquires item data having the same or similar features as the image feature as the search result.
  • the search unit 202 creates (constructs) a search result page including the acquired item data (S706).
  • the output unit transmits (distributes) the created search result page to the user device 10 (S707).
  • FIG. 8B shows an example of a search result page created in S706 for the query sent in S701.
  • FIG. 8B shows a search result page 82 including item data searched based on image features extracted from images 811-814 included in the image group 81 generated for the query 80 shown in FIG. 8A.
  • the item data 821 may include an image 822 representing an item and attribute information 823 such as the price and description of the item.
  • the search result page 82 includes item data searched based on image features extracted from each of the images 811-814 included in the image group 81, it is composed of item data reflecting features explicitly and/or implicitly included in the images 811-814.
  • the search result page 81 is sent to the user device 10 and displayed on the display unit of the user device 10. The user of the user device 10 can receive the search result page 81 as a search result for the query 80.
  • the search system 20 accepts a query for a desired item from a user, generates one or more images that reflect the characteristics of the query, and generates search results based on the characteristics of the images, and provides them to the user.
  • the query is not limited to text, but can be any form of query, such as attribute tags or images (including incomplete images). This enables the search system 20 to more flexibly accept query inputs from users and provide the user with appropriate search results in accordance with the query, which can improve customer satisfaction on EC sites and lead to increased purchasing motivation.
  • FIG. 7 describes the processing flow when a query is sent from the user device 10
  • the information processing device 21 may generate an image based on the query from the user device 10 and the gradient from the selected classifier, as described with reference to FIG. 6B (S702).
  • the classifier selection unit 103 of the information processing device 21 may select a classifier based on the query received in S701.
  • the classifier selection unit 103 may select a classifier based on a user instruction (user instruction 63 in FIG. 6B) or setting information (setting information 64).
  • the information processing device 21 may generate an image based on the gradient from the selected classifier without a query from the user device 10, as described with reference to FIG. 6B (S702).
  • the classifier selection unit 103 may select a classifier based on a user instruction (user instruction 63 in FIG. 6B) or setting information (setting information 64).
  • the information processing device 21 can generate an image regardless of the timing of receiving a query, and in response, the search device 22 can create a search result page based on the generated image (S705, S706) and transmit it to the user device 10 (S707).
  • the search result page transmitted to the user may include items that match the potential needs of the user, and therefore may be an effective push-type advertisement.
  • the information processing device 21 may be configured to transmit the generated image group 81 to the user device 10 in order to present it to the user.
  • the user who viewed the image group 81 may operate the user device 10 to delete unintended images from the image group 81 and transmit one or more remaining images to the information processing device 21, and the information processing device 21 may acquire image features of the remaining images and transmit them to the search device 22.
  • the user who viewed the image group 81 may operate the user device 10 to identify one image that matches the user's intention from the image group 81 and transmit it to the information processing device 21, and the information processing device 21 may acquire image features of the identified image and transmit it to the search device 22. This may result in the search results 22 being closer to the results intended by the user.
  • a search system comprising: a query acquisition unit that acquires a query for searching for a desired item; an image generation unit that generates an image using the query and a trained machine learning model; and a search unit that searches for an item based on the image.
  • the search system described in [5] further includes a selection unit that selects the classifier from a plurality of pre-prepared, trained classifiers configured to classify images.
  • a search system according to any one of [1] to [6], wherein the query includes any one of text, tags indicating attributes, and images, or a combination of two or more of text, tags indicating attributes, and images.
  • a search method including a query acquisition step of acquiring a query for searching for a desired item, an image generation step of generating an image using the query and a trained machine learning model, and a search step of searching for an item based on the image.
  • An information processing device comprising: a query acquisition unit that acquires a query for searching for a desired item; an image generation unit that generates a plurality of images using the query and a trained diffusion model; and a feature vector acquisition unit that acquires a feature vector for searching for an item based on the plurality of images.
  • An information processing method including: a query acquisition step of acquiring a query for searching for a desired item; an image generation step of generating a plurality of images using the query and a trained diffusion model; and a feature vector acquisition step of acquiring a feature vector for searching for the item based on the plurality of images.
  • An information processing program for causing a computer to execute information processing, the program causing the computer to execute processes including a query acquisition process for acquiring a query for searching for a desired item, an image generation process for generating an image using the query and a trained machine learning model, and a search process for searching for an item based on the image.
  • An information processing program for causing a computer to execute information processing, the program causing the computer to execute processes including a query acquisition process for acquiring a query for searching for a desired item, an image generation process for generating a plurality of images using the query and a trained diffusion model, and a feature vector acquisition process for acquiring a feature vector for searching for an item based on the plurality of images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

検索システムは、所望のアイテムを検索するためのクエリを取得し、該クエリと、学習済みの機械学習モデルとを用いて、画像を生成し、該画像に基づいて、アイテムを検索する。

Description

検索システム、検索方法、および情報処理装置
　本発明は、検索システム、検索方法、および情報処理装置に関し、特に、入力されたクエリに応じたアイテムを検索するための技術に関する。
　近年、電子商取引（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｍｍｅｒｃｅ：ＥＣ）が普及しており、それに伴い、ＥＣサイトがウェブ上に多く構築されている。ＥＣサイトでは、ユーザが所望するアイテムをユーザに提示するため、ユーザにより入力された検索クエリ（以下、単にクエリとも称する）に基づいた検索が行われている。例えば、特許文献１では、ユーザにより入力されたテキスト（クエリの一例）と一致する文字列を含む商品データを検索することにより商品検索を行う検索システムが開示されている。
特開２００１－２６５７８１号公報
　従来の検索システムでは、ユーザにより入力されたクエリによっては、適切な検索結果が得られない場合があった。例えば、特許文献１のように、クエリとして入力されたテキストと一致する文字列を含む商品データを検索するシステムでは、長文のテキストがクエリとして入力されると、商品データにおける文字列と当該クエリとの一致が難しくなる。そのため、このような場合には、適切な検索結果が得られない可能性があった。
　本開示では、上記課題に鑑みて、ユーザから柔軟にクエリの入力を受け付け、当該クエリに応じた適切な検索結果を得るための技術を提供する。
　本開示の一態様による検索システムは、所望のアイテムを検索するためのクエリを取得するクエリ取得部と、前記クエリと、学習済みの機械学習モデルとを用いて、画像を生成する画像生成部と、前記画像に基づいて、アイテムを検索する検索部と、を備える。
　本開示の一態様による検索方法は、所望のアイテムを検索するためのクエリを取得するクエリ取得工程と、前記クエリと、学習済みの機械学習モデルとを用いて、画像を生成する画像生成工程と、前記画像に基づいて、アイテムを検索する検索工程と、を含む。
　本開示の一態様による情報処理装置は、所望のアイテムを検索するためのクエリを取得するクエリ取得部と、前記クエリと、学習済みの拡散モデルとを用いて、複数の画像を生成する画像生成部と、前記複数の画像に基づいて、アイテムを検索するための特徴ベクトルを取得する特徴ベクトル取得部と、を備える。
　本発明によれば、ユーザから柔軟にクエリの入力を受け付け、当該クエリに応じた適切な検索結果を得ることが可能となる。
図１は、情報処理システムの構成例を示す。 図２は、情報処理装置の機能構成例を示す。 図３は、検索装置の機能構成例を示す。 図４は、学習段階における画像生成モデルを説明するための図である。 図５は、実施形態による情報処理装置と検索装置のハードウェア構成例を示す。 図６Ａは、第１のタイプの画像生成の手順を説明するための図である。 図６Ｂは、第３のタイプの画像生成の手順を説明するための図である。 図７は、情報処理システムにおいて実行される処理の流れを示すシーケンス図である。 図８Ａは、情報処理装置により生成された画像の例を示す。 図８Ｂは、検索装置により生成された検索結果ページの一例を示す。
　以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。以下に開示される構成要素のうち、同一機能を有するものには同一の符号を付し、その説明を省略する。なお、以下に開示される実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
　図１に、本実施形態による情報処理システム１の構成例を示す。情報処理システム１は、一例として、ユーザ装置１０と検索システム２０を含んで構成される。検索システム２０は、情報処理装置２１と検索装置２２を含んで構成される。情報処理システム１において、ユーザ装置１０は、ユーザの操作により、検索システム２０に対して所望のアイテムに対する検索クエリ（以下、単にクエリとも称する）を送信し、当該クエリを受信した検索システム２０が、当該クエリに適合する検索結果をユーザ装置１０に送信するように動作する。
　ユーザ装置１０は、例えば、スマートフォンやタブレットといったデバイスであり、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）等の公衆網や、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等の無線通信網を介して、検索システム２０（すなわち、情報処理装置２１と検索装置２２）と通信可能に構成されている。ユーザ装置１０は、液晶ディスプレイ等の表示部（表示面）を有し、ユーザ装置１０のユーザは、当該液晶ディスプレイに装備されたＧＵＩ（Ｇｒａｐｈｉｃ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）により各種操作を行うことができる。当該操作は、指やスタイラス等によりタップ操作、スライド操作、スクロール操作等、画面に表示された画像等のコンテンツに対する各種の操作を含む。
　なお、ユーザ装置１０は、図１に示すような形態のデバイスに限らず、デスクトップ型のＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）や、ノート型のＰＣといったデバイスであってもよい。その場合、ユーザによる操作は、マウスやキーボードといった入力装置を用いて行われうる。また、ユーザ装置１０は、表示部を別に備えてもよい。
　検索システム２０において、検索装置２２は、電子商取引サイト（ＥＣサイト）を提供するサーバ装置である。ユーザ装置１０のユーザは、検索装置２２により提供されるＥＣサイトにアクセスし、当該サイトにおける検索ウィンドウ（入力フィールド）に、所望のアイテムを検索するためのクエリを入力し、決定することができる。これに従って、ユーザ装置１０は、ユーザにより入力された当該クエリを検索システム２０へ送信する。情報処理装置２１は、ユーザ装置１０から送信されたクエリを受信し、当該クエリに基づく１つ以上の画像を生成する。あるいは、情報処理装置２１は、当該クエリ以外の情報から、１つ以上の画像を生成してもよい。さらに、情報処理装置２１は、当該１つ以上の画像の特徴を表す特徴ベクトル（以下、画像特徴とも称する）を取得し、当該画像特徴を検索装置２２に出力する。検索装置２２は、情報処理装置２１により取得された画像特徴を取得し、当該画像特徴に基づいて、検索結果を表示するウェブページ（検索結果ページ）を生成する。検索装置２２は、生成した検索結果ページをユーザ装置１０へ送信（配信）する。なお、図１では、情報処理装置２１と検索装置２２は、別個の装置として構成されているが、単一の情報処理装置として構成されてもよい。
　本実施形態において、ユーザ装置１０のユーザにより入力されるクエリは、テキスト（例えば、アイテムを説明するテキスト情報）、属性（例えば、アイテムの色、ブランド、カテゴリ、ジャンル、サイズ、対象の性別（女性、男性、ユニセックス等））を示すタグ（以下、属性タグとも称する）、または、画像（例えば、アイテムを表す画像）でありうる。あるいは、当該クエリは、テキスト、属性タグ、および画像の、２つ以上の組み合わせでありうる。なお、クエリとしての画像は、欠損部分を有する画像や、不鮮明な画像や、画像の一部といった、不完全な画像であってもよい。
　また、ユーザ装置１０のユーザにより入力されるクエリは、ユーザ装置１０を識別する情報や、入力された日時の情報が紐づけられる。さらに、当該クエリは、ユーザ装置１０やユーザの特徴（以下、ユーザ特徴とも称する）が紐づけられてもよい。当該ユーザ特徴は、デモグラフィック情報を含みうる。デモグラフィック情報は、性別、年齢、居住地域、職業、家族構成等の人口統計学的なユーザ特徴（属性）である。
　また、本実施形態において、検索対象のアイテムは、様々なサービスに関して提供可能な有形または無形の商品やサービスでありうる。例えば、デジタルコンテンツサービスに関しては、映画やアニメといった動画コンテンツや、写真やイラストといった静止画コンテンツ等のアイテムが存在する。また、Ｅコマースサービスに関しては、ネットショッピングで扱う無形または有形の商品等のアイテムが存在する。また、トラベルサービスに関しては、ホテルやパックツアーや交通機関に関する情報や予約等のアイテムが存在する。また、モバイルサービスに関しては、モバイル機器、公衆網／インターネット接続、通信利用料金等のアイテムが存在する。また、スポーツおよび文化サービスに関しては、スポーツイベントやコンサートといったイベントやイベントで販売される商品等のアイテムが存在する。
　［情報処理装置２１の機能構成］
　本実施形態による情報処理装置２１の機能構成の一例を図２に示す。情報処理装置２１は、その機能構成の一例として、クエリ取得部１０１、画像生成部１０２、分類器選択部１０３、画像特徴抽出部１０４、出力部１０５、および学習モデル記憶部１１０から構成される。学習モデル記憶部１１０には、学習済みの機械学習モデルである、画像生成モデル１１１、複数の分類器（画像認識モデル）を含む分類器群１１２、および画像特徴抽出モデル１１３が格納されている。
　クエリ取得部１０１は、ユーザの操作によりユーザ装置１０から送信されたクエリを取得する。前述したように、当該クエリは、テキスト、属性タグ、または、画像（例えば、アイテムを表す画像）でありうる。あるいは、当該クエリは、テキスト、属性タグ、および画像の、２つ以上の組み合わせでありうる。なお、当該クエリは、これらに限定されず、所望のアイテムを検索するためにユーザ装置１０が送信可能なあらゆる情報であってよい。
　画像生成部１０２は、クエリ取得部１０１により取得されたクエリに基づいて、１つ以上の画像を生成する。あるいは、画像生成部１０２は、当該クエリ無しで、後述する分類器に基づいて、１つ以上の画像を生成してもよい。本実施形態では、画像生成部１０２は、学習モデル記憶部１１０に格納されている学習済みの画像生成モデル１１１を用いて、画像を生成する。
　ここで、学習段階における画像生成モデル１１１について、図４を参照して説明する。図４は、学習段階における画像生成モデル１１１を説明するための図である。画像生成モデル１１１は、機械学習分野における拡散モデル（Ｄｉｆｆｕｓｉｏｎ　Ｍｏｄｅｌ）に対応する。拡散モデルは、画像を対象とする場合、ノイズ画像から、徐々にノイズを除去していくことにより、画像を生成するモデルであり、例えば、Ｓｔａｂｌｅ　Ｄｉｆｆｕｓｉｏｎのモデルが知られている。画像生成モデル１１１は、クエリの情報も反映して構成されることから、クエリによる条件付き拡散モデルと称することができる。なお、画像生成のための機械学習モデルとして、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋ）も知られているが、拡散モデルは、ＧＡＮよりも高精度かつ多様な複数の画像を生成することが可能である。
　図４において、学習段階では、入力データとして画像４１（学習用の参照画像）とクエリ４２が使用される。画像４１は、画像生成モデル１１１における画像エンコーダ４０１に入力される。画像エンコーダ４０１は、ＶＡＥ（Ｖａｒｉａｔｉｏｎａｌ　Ａｕｔｏｅｎｃｏｄｅｒ）が使用されうる。画像エンコーダ４０１は、画像４１（ピクセル画像）を、潜在空間における潜在表現（潜在的な画像埋め込み表現）に変換する。これにより、高次元の画像が、低次元の潜在空間へと埋め込まれ、計算処理に対する負荷が低減される。画像エンコーダ４０１によって変換された潜在表現は、その後、拡散プロセス４０２において、複数の時間ステップにおいて繰り返しノイズ（例えば、ガウシアンノイズ）が加えられ、ノイズ画像４０３が生成される。
　ノイズ画像４０３は、逆拡散プロセス４０４において、拡散プロセス４０２において加えられたノイズが少しずつ除去される。逆拡散プロセス４０４におけるノイズ除去には、Ｕ－Ｎｅｔが用いられうる。Ｕ－Ｎｅｔは、ＦＣＮ（Ｆｕｌｌｙ　Ｃｏｎｖｏｌｕｔｉｏｎ　Ｎｅｔｗｏｒｋ）の１つであり、畳み込み層を含む複数のブロックと、アテンション層を含む複数のブロックを含んで構成される。
　逆拡散プロセス４０４には、画像生成モデル１１１に入力されたクエリ４２の情報も用いられる。具体的には、クエリ４２から、クエリエンコーダ４０６によって、特徴空間に埋め込まれた特徴ベクトル（埋め込みベクトル）が抽出される。クエリエンコーダ４０６によって抽出された当該特徴ベクトルは、クエリ４２の特徴を表し、以下、クエリ特徴とも称する。クエリエンコーダ４０６は、クエリ４２からクエリ特徴を抽出するように構成された学習済みモデル（Ｔｒａｎｓｆｏｒｍｅｒ）である。クエリ４２がテキストの場合は、例えば、クエリエンコーダ４０６として、ＣＬＩＰ（Ｃｏｎｔｒａｓｔｉｖｅ　Ｌａｎｇｕａｇｅ－Ｉｍａｇｅ　Ｐｒｅ－ｔｒａｉｎｉｎｇ）を用いることができる。
　逆拡散プロセス４０４は、入力されたノイズ画像４０３から、クエリエンコーダ４０６により得られたクエリ特徴に基づいて除去すべきノイズを導出し、導出されたノイズをノイズ画像４０３から引き算する。逆拡散プロセス４０４にＵ－Ｎｅｔが用いられる場合、クエリエンコーダ４０６により得られたクエリ特徴は、アテンション層を含む複数のブロックそれぞれに入力され、ノイズが導出される。逆拡散プロセス４０４において、導出されたノイズをノイズ画像４０３から引き算することにより得られた出力は、最終的に画像デコーダ４０５において画像へ変換され、画像４３が生成される。その後、画像４３（生成画像）と画像４１（教師画像）との誤差（差分）が算出され、当該誤差が小さくなるように、画像生成モデル１１１が学習される。例えば、画像４３と画像４１の画素値から、平均絶対誤差（ＭＡＥ）や平均二乗誤差（ＭＳＥ）を算出し、当該誤差が小さくなるように、画像生成モデル１１１が学習される。
　画像４１は、検索装置２２が提供するＥＣサイトにおいて扱うことができるアイテムを表す全ての画像のうちの少なくとも一部の画像でありうる。なお、画像４１は、アイテムを表す画像に限定されず、ＥＣサイトで扱いうるアイテムと直接的に関係ない画像であってもよい、もしくは、含んでもよい。当該少なくとも一部の画像について、前述のような学習処理（ノイズ画像生成および画像生成処理）が行われる。学習済みの画像生成モデル１１１は、学習モデル記憶部１１０に格納される。ＥＣサイトにおいて扱うアイテムが更新され、当該アイテムを表す画像が変更された場合（すなわち、入力データに変化が生じた場合）は、それに従って画像生成モデル１１１はさらに学習され、学習モデル記憶部１１０に格納される。なお、画像生成モデル１１１は、情報処理装置２１の所定の機能ブロックにより学習されて学習モデル記憶部１１０に格納されてもよいし、外部の装置により学習されて学習モデル記憶部１１０に格納されてもよい。
　図２の説明に戻り、画像生成部１０２は、前述した流れにより学習された画像生成モデル１１１を用いて、１つ以上の画像を生成する。画像生成部１０２による画像生成手順については後述する。
　分類器選択部１０３は、画像生成部１０２による画像生成において分類器が使用される場合に、学習モデル記憶部１１０に格納されている、複数の分類器を含む分類器群１１２から、使用する分類器を選択する。分類器群１１２に含まれる複数の分類器は、予め用意されたものであり、それぞれの分類器は、画像を分類するように構成された学習済みの分類器（画像認識モデル）である。分類器群１１２および分類器の選択については後述する。
　画像特徴抽出部１０４は、学習モデル記憶部１１０に格納されている、学習済みの画像特徴抽出モデル１１３を用いて、画像生成部１０２により生成された１つ以上の画像それぞれの画像から、特徴空間に埋め込まれた特徴ベクトル（埋め込みベクトル）を抽出する。画像特徴抽出部１０４により抽出された当該特徴ベクトルは、当該それぞれの画像の特徴を表す画像特徴に対応する。画像特徴抽出モデル１１３は、入力された画像に対して、当該画像の画像特徴を抽出して出力するように学習された学習モデルである。画像特徴抽出部１０４は、画像生成部１０２により生成された画像を、特徴抽出モデル２２１に入力し、当該画像の画像特徴を抽出して取得する。
　出力部１０５は、画像特徴抽出部１０４により取得された、画像生成部１０２により生成された１つ以上の画像それぞれの画像特徴を、検索装置２２へ出力する。さらに、出力部１０５は、画像生成部１０２により生成された１つ以上の画像を含む画像データを、検索装置２２へ出力してもよい。さらに、出力部１０５は、画像生成部１０２により生成された１つ以上の画像を含む画像データを、ユーザ装置１０へ出力（提示）するように構成されてもよい。
　［検索装置２２の機能構成］
　本実施形態による検索装置２２の機能構成の一例を図３に示す。検索装置２２は、その機能構成の一例として、画像特徴取得部２０１、検索部２０２、出力部２０３、および検索データベース２１０から構成される。学習モデル記憶部２１０には、学習済みの特徴抽出モデル２１１が格納されている。検索データベース２１０には、各アイテムを表す画像を含む、アイテムに関するデータ（以下、アイテムデータとも称する）が格納されている。各アイテムデータは、各アイテムを識別する識別情報が付され、各画像の画像特徴が紐づけられている。各アイテムデータは、各アイテムの価格や説明といった属性情報（関連情報）を含みうる。検索データベース２１０に格納されるアイテムデータは、検索装置２２が提供するＥＣサイトにおけるアイテムの追加および／または削除、または、検索条件の追加および／または削除に従って、更新されうる。
　画像特徴取得部２０１は、情報処理装置２１により生成された画像特徴（特徴ベクトル）を取得する。すなわち、画像特徴取得部２０１は、ユーザ装置１０から送信されたクエリに基づいて情報処理装置２１において生成された１つ以上の画像の特徴を表す画像特徴を取得する。あるいは、画像特徴取得部２０１は、選択された分類器に基づいて情報処理装置２１において生成された１つ以上の画像の特徴を表す画像特徴を取得してもよい。これに加えて、あるいは、これに代えて、画像特徴取得部２０１は、情報処理装置２１により生成された１つ以上の画像を含む画像データを取得してもよい。
　検索部２０２は、画像特徴取得部２０１により取得された画像特徴に基づいてアイテム検索を行う。例えば、検索部２０２は、当該画像特徴を検索条件として、検索データベース２１０を検索し、当該画像特徴と同じまたは類似する特徴を有するアイテムデータを検索結果として取得する。さらに検索部２０２は、取得したアイテムデータを含むウェブページ（検索結果ページ）を作成（構成）する。
　これに加えて、あるいは、これに代えて、検索部２０２は、画像特徴取得部２０１により取得された画像から、画像特徴を抽出して、当該画像特徴を検索条件として、検索データベース２１０を検索し、アイテムデータを取得してもよい。この場合、検索装置２２は、学習済みの画像特徴抽出モデル１１３を有する。検索部２０２は、画像特徴取得部２０１から取得した画像から画像特徴抽出モデル１１３を用いて画像特徴を抽出して取得し、当該画像特徴を検索条件として、検索データベース２１０を検索し、アイテムデータを取得しうる。さらに検索部２０２は、取得したアイテムデータを含む検索結果ページを作成（構成）しうる。
　出力部２０３は、検索部２０２により作成された検索結果ページを、ユーザ装置１０へ送信（配信）する。当該検索結果ページは、ユーザ装置１０から送信されたクエリの応答データであり、ユーザ装置１０の表示部に表示されうる。
　［情報処理装置２１と検索装置２２のハードウェア構成］
　次に、情報処理装置２１と検索装置２２のハードウェア構成例について説明する。両装置は同様のハードウェア構成を有しうるため、ここでは情報処理装置２１について説明する。また、ユーザ装置１０も同様のハードウェア構成を有しうる。
　図５は、本実施形態による情報処理装置２１のハードウェア構成の一例を示すブロック図である。
　本実施形態による情報処理装置２１は、単一または複数の、あらゆるコンピュータ、モバイルデバイス、または他のいかなる処理プラットフォーム上にも実装することができる。
　図５を参照して、情報処理装置２１は、単一のコンピュータに実装される例が示されているが、本実施形態による情報処理装置２１は、複数のコンピュータを含むコンピュータシステムに実装されてよい。複数のコンピュータは、有線または無線のネットワークにより相互通信可能に接続されてよい。
　図５に示すように、情報処理装置２１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５０１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）５０２と、ＲＡＭ５０３と、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）５０４と、入力部５０５と、表示部５０６と、通信Ｉ／Ｆ５０７と、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５０８と、システムバス５０９とを備えてよい。情報処理装置２１はまた、外部メモリを備えてよい。
　ＣＰＵ５０１は、情報処理装置２１における動作を統括的に制御するものであり、データ伝送路であるシステムバス５０９を介して、各構成部（５０２～５０８）を制御する。
　ＲＯＭ５０２は、ＣＰＵ５０１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、ＨＤＤ５０４、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の不揮発性メモリや着脱可能な記憶媒体（不図示）等の外部メモリに記憶されていてもよい。
　ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）５０３は、揮発性メモリであり、ＣＰＵ５０１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ５０１は、処理の実行に際してＲＯＭ５０２から必要なプログラム等をＲＡＭ５０３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。情報処理装置２１の場合、ＲＡＭ５０３は、図１に示す学習モデル記憶部１１０を含みうる。
　ＨＤＤ５０４は、例えば、ＣＰＵ５０１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、ＨＤＤ５０４には、例えば、ＣＰＵ５０１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。
　入力部５０５は、キーボードやマウス等のポインティングデバイスにより構成される。
　表示部５０６は、液晶ディスプレイ（ＬＣＤ）等のモニターにより構成される。表示部５０６は、入力部５０５と組み合わせて構成されることにより、ＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）として機能してもよい。
　通信Ｉ／Ｆ５０７は、情報処理装置２１と外部装置との通信を制御するインタフェースである。
　通信Ｉ／Ｆ５０７は、ネットワークとのインタフェースを提供し、ネットワークを介して、外部装置との通信を実行する。通信Ｉ／Ｆ５０７を介して、外部装置との間で各種データや各種パラメータ等が送受信される。本実施形態では、通信Ｉ／Ｆ５０７は、イーサネット（登録商標）等の通信規格に準拠する有線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）や専用線を介した通信を実行してよい。ただし、本実施形態で利用可能なネットワークはこれに限定されず、無線ネットワークで構成されてもよい。この無線ネットワークは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＵＷＢ（Ｕｌｔｒａ　Ｗｉｄｅ　Ｂａｎｄ）等の無線ＰＡＮ（Ｐｅｒｓｏｎａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）を含む。また、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）（登録商標）等の無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）や、ＷｉＭＡＸ（登録商標）等の無線ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）を含む。さらに、４Ｇ、５Ｇ等の無線ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）を含む。なお、ネットワークは、各機器を相互に通信可能に接続し、通信が可能であればよく、通信の規格、規模、構成は上記に限定されない。
　ＧＰＵ５０８は、画像処理に特化したプロセッサである。ＧＰＵ５０８は、ＣＰＵ５０１と協働して、例えば本実施形態による画像生成処理を行う。なお、ＧＰＵ５０８は画像処理以外の処理を行ってもよい。
　図２に示す情報処理装置２１の各要素のうち少なくとも一部の機能は、ＣＰＵ５０１がプログラムを実行することで実現することができる。ただし、図２に示す情報処理装置２１の各要素のうち少なくとも一部の機能が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ５０１の制御に基づいて動作する。
　［画像生成の手順］
　次に、情報処理装置２１の画像生成部１０２により実行される画像生成の手順について説明する。本実施形態では、３つのタイプ（第１のタイプ、第２のタイプ、および第３のタイプ）の画像生成の手順について説明する。画像生成モデル１１１の構成については、図４を参照する。
　（１）クエリに基づく画像生成
　図６Ａは、第１のタイプの画像生成の手順を説明するための図である。第１のタイプの画像生成として、画像生成部１０２は、学習済みの画像生成モデル１１１を用いて、ユーザ装置１０から送信され、クエリ取得部１０１により取得されたクエリに基づく１つ以上の画像を生成する。
　図６Ａにおいて、画像生成部１０２は、クエリ取得部１０１により取得されたクエリ６１を、学習済みの画像生成モデル１１１に入力する。クエリ６１は、クエリエンコーダ４０６によってクエリ特徴に変換され、逆拡散プロセス４０４に入力される。逆拡散プロセス４０４は、ノイズ画像４０３から、クエリエンコーダ４０６により得られたクエリ特徴に基づいて除去すべきノイズを導出し、導出されたノイズをノイズ画像４０３から引き算する。逆拡散プロセス４０４において、導出されたノイズをノイズ画像４０３から引き算することにより得られた出力は、最終的に画像デコーダ４０５において画像６２へ変換され、出力される。異なるノイズ画像４０３に対して、このような処理が行われることにより、画像６２を含む複数の画像が生成される。あるいは、クエリ６１が複数のクエリ（例えば、複数のテキストや複数の画像）から構成される場合に、それぞれのクエリ特徴に対してこのような処理が行われることにより、複数の画像が生成されうる。あるいは、画像デコーダ４０５における構成やパラメータを変更することにより、複数の画像が生成されうる。あるいは、クエリエンコーダ４０６における構成やパラメータを変更することにより、複数の画像が生成されうる。なお、本開示において、画像６２を生成することは、前述の手順により画像６２を含む複数の画像を生成することを意味しうる。
　このように、第１のタイプの画像生成では、画像生成部１０２は、ユーザ装置１０のユーザが所望のアイテムを検索するために入力したクエリ６１を取得し、クエリ６１と、学習済みの画像生成モデル１１１に基づいて、１つ以上の画像を生成する。画像生成のために、クエリエンコーダ４０６により生成されたクエリ６１の特徴を示すクエリ特徴（特徴ベクトル）を用いることにより、クエリ６１に基づいた１つ以上の画像を生成することが可能となる。
　なお、前述のように、クエリ６１としての画像は、欠損部分を有する画像や、不鮮明な画像や、画像の一部といった、不完全な画像であってもよい。欠損部分を有する画像を例にすると、当該画像において当該欠損部分をマスクし、マスク部分以外の領域に対してノイズを加える。そして、生成されたノイズ画像とマスク部分（すなわち、当該欠損部分）とを結合した画像から逆拡散プロセスによりノイズを除去することにより、当該欠損部分が予測された（インペインティングされた）、より完全な画像を生成することができる。
　（２）サンプリングによる画像生成
　第２のタイプの画像生成は、サンプリングによる画像生成である。図６Ａを参照して説明すると、逆拡散プロセス４０４は、サンプリングにより、クエリエンコーダ４０６により得られた単一のクエリ特徴から、大量の出力を生成する。当該出力は、画像デコーダ４０５において画像６２を含む複数の画像へ変換され、出力される。これにより、大量の画像を生成することができる。当該大量の画像は、単一のクエリ６１の分布を形成する画像に対応する。
　（３）分類器を用いた画像生成
　図６Ｂは、第３のタイプの画像生成の手順を説明するための図である。第３のタイプの画像生成として、画像生成部１０２は、分類器を含む、学習済みの画像生成モデル１１１を用いて、１つ以上の画像を生成する。具体的には、画像生成部１０２は、学習済みの画像生成モデル１１１と、分類器からの勾配（ｇｒａｄｉｅｎｔｓ）を用いて、１つ以上の画像を生成する。本タイプの画像生成は、分類器によるガイド付き画像生成に対応する。本実施形態では、学習モデル記憶部１１０に記憶されている分類器群１１２から、分類器選択部１０３により選択された分類器が使用される。分類器群１１２に含まれるそれぞれの分類器は、所定の特徴を有する画像を分類するように構成された、学習済みの分類器（画像認識モデル）である。それぞれの分類器には、分類器を識別する識別情報が付されている。また、それぞれの分類器には、分類する画像に関する１つ以上の特徴（キーワード）が関連付けられているものとする。
　図６Ｂに示すように、本タイプの画像生成は、前述した第１のタイプの画像生成（図６Ａを参照）に対して、分類器６０１から出力された勾配が、逆拡散プロセス４０４に入力されている点で異なる。分類器６０１は、分類器群１２１から、分類器選択部１０３により選択される。
　本実施形態では、分類器選択部１０３は、以下のような手順で、分類器を選択することができる。
　例えば、分類器選択部１０３はクエリ６１を分析し、クエリ６１に含まれる特徴を抽出し、当該特徴を有する分類器を選択しうる。例えば、分類器選択部１０３は、クエリ６１がテキストである場合に、当該テキストに含まれるアイテム名やアイテムのジャンルといった特徴を抽出（予測）し、当該特徴に関連付けられた分類器を選択しうる。分類器選択部１０３は、ルールベースで、もしくは、機械学習（例えば、クエリエンコーダ４０６）を用いることにより、当該特徴を抽出することができる。
　あるいは、分類器選択部１０３は、ユーザによる指示６３に従って、分類器を選択してもよい。当該ユーザは、ユーザ装置１０のユーザでありうる。例えば、分類器選択部１０３が、当該ユーザから、ユーザ指示６３として、分類器の識別情報を取得した場合、当該識別情報に対応する分類器を選択しうる。また、例えば、分類器選択部１０３が、当該ユーザから、ユーザ指示６３として、分類したい画像の特徴、もしくは、排除したい画像の特徴を含むテキストを取得した場合、当該テキストが示す特徴に関連付けられた分類器を選択しうる。具体的には、分類器選択部１０３が、当該ユーザから、「８０年代のファッションスタイル」や、「シャツに言葉を含まないこと」といったテキストを取得した場合、当該テキストが示す特徴を抽出（予測）し、当該特徴に関連付けられた分類器を選択しうる。分類器選択部１０３は、ルールベースで、もしくは、機械学習を用いることにより、当該特徴を抽出することができる。
　分類器を選択するためのユーザ指示６３は、クエリ６１に含まれていてもよいし、クエリ６１とは別にユーザ装置１０から送信されてもよい。
　あるいは、分類器選択部１０３は、予め設定されている設定情報６４に従って、分類器を選択してもよい。設定情報６４は、予め分類器選択部１０３に設定されていてもよいし、外部装置から設定されてもよい。例えば、分類器選択部１０３は、設定情報６４にウェブページの種類が含まれる場合、当該ウェブページの種類に従って、分類器を選択してもよい。具体的には、設定情報６４が食品関連のウェブページの情報を含む場合、分類器選択部１０３は、食品に関する特徴に関連付けられた分類器を選択しうる。
　選択された分類器６０１は、分類器６０１が分類可能な画像が生成される確率が高くなるように、分類器６０１からの勾配を重みとして、逆拡散プロセス４０４へ出力する。逆拡散プロセス４０４は、クエリエンコーダ４０６から出力されたクエリ特徴と、分類器６０１から出力された勾配とに従って、ノイズ画像４０３からノイズを除去して、画像６２を生成する。これにより、画像生成部１０２は、選択された分類器６０１が分類可能な画像に限定して、画像を生成することができる。
　なお、分類器を用いる場合は、画像生成部１０２は、クエリ６１無しで、分類器６０１からの勾配に従って、ノイズ画像４０３からノイズを除去して、画像６２を生成してもよい。例えば、ユーザ装置１０から送信されたユーザ指示６３に従って、分類器選択部１０３が分類器６０１を選択し、画像生成部１０２が、分類器６０１の勾配に従って、ノイズ画像４０３からノイズを除去して、画像６２を生成してもよい。あるいは、分類器選択部１０３が、所定のタイミングで、設定情報６４に基づいて分類器６０１を選択し、画像生成部１０２が、分類器６０１からの勾配に従って、ノイズ画像４０３からノイズを除去して、画像６２を生成してもよい。
　このように、第３のタイプの画像生成では、画像生成部１０２は、ユーザ装置１０のユーザが所望のアイテムを検索するために入力したクエリ６１と、分類器６０１からの勾配と、学習済みの画像生成モデル１１１とに基づいて、１つ以上の画像を生成する。分類器６０１は、クエリ６１、ユーザ指示６３、あるいは設定情報６４に基づいて、分類器選択部１０３により選択されうる。これにより、画像生成部１０２は、選択された分類器６０１が分類可能な画像、すなわち、分類器６０１が対象とする画像を生成することができる。また、本タイプの画像生成では、クエリ６１無しでも、ユーザ指示６３または設定情報６４に基づいて選択された分類器に従って、画像生成部１０２は画像を生成することができる。
　［処理の流れ］
　本実施形態による情報処理システム１において実行される処理の流れを説明する。図７は、情報処理システム１において実行される処理の流れを示すシーケンス図である。情報処理システム１は、図１に示すように、ユーザ装置１０と、情報処理装置２１と検索装置２２とを含む検索システム２０から構成される。ここでは、ユーザによる操作により、ユーザ装置１０から所望のアイテムを検索するためのクエリが送信された場合の処理の流れについて説明する。
　ユーザ装置１０がクエリを送信すると、情報処理装置２１のクエリ取得部１０１は当該クエリを受信して取得する（Ｓ７０１）。当該クエリは、テキスト（例えば、アイテムを説明するテキスト情報）、属性（例えば、アイテムの色、ブランド、カテゴリ、ジャンル、サイズ、対象の性別（女性、男性、ユニセックス等））を示す属性タグでありうる。あるいは、当該クエリは、テキスト、属性タグ、および画像の、２つ以上の組み合わせでありうる。情報処理装置２１の画像生成部１０２は、当該クエリと、学習済みの画像生成モデル１１１に基づいて、複数の画像を生成する（Ｓ７０２）。画像生成処理は、上述した通りである。複数の画像が生成されると、情報処理装置２１の画像特徴抽出部１０４は、生成した複数の画像それぞれの画像特徴（特徴ベクトル）を、学習済みの画像特徴抽出モデル１１３を用いて抽出して取得する（Ｓ７０３）。画像特徴が取得されると、情報処理装置２１の出力部１０５は、検索装置２２へ画像特徴を出力する（Ｓ７０４）。
　図８Ａに、Ｓ７０１でユーザ装置１０から送信されたクエリに対する、Ｓ７０２で生成された画像の一例を示す。図８Ａは、Ｓ７０１でユーザ装置１０から送信されたクエリ８０が「黒白ストライプＶネックＴシャツ」というテキストである場合に、情報処理装置２１の画像生成部１０２により生成された画像群８１を示す。画像群８１は、４つの画像（画像８１１、８１２、８１３、および８１４）を含んでいる。クエリ８０は比較的長い一文（区切りのない長いクエリ）で構成されているが、画像生成モデル１１１において、クエリエンコーダ４０６においてクエリ８０のクエリ特徴が抽出され後、当該クエリ特徴が反映された画像が生成されるため、クエリ８０の特徴を考慮した画像群８１を生成することが可能となる。
　図７に戻り、情報処理装置２１の出力部１０５から画像特徴が出力されると、検索装置２２の画像特徴取得部２０１は、当該画像特徴を取得する（Ｓ７０４）。続いて、検索装置２２の検索部２０２は、画像特徴に基づいて、検索データベース２１０を用いてアイテム検索を行う（Ｓ７０５）。例えば、検索部２０２は、当該画像特徴を検索条件として、検索データベース２１０を検索し、当該画像特徴と同じまたは類似する特徴を有するアイテムデータを検索結果として取得する。さらに検索部２０２は、取得したアイテムデータを含む検索結果ページを作成（構成）する（Ｓ７０６）。出力部は、作成された検索結果ページを、ユーザ装置１０に送信（配信）する（Ｓ７０７）。
　図８Ｂに、Ｓ７０１で送信されたクエリに対する、Ｓ７０６で作成された検索結果ページの一例を示す。図８Ｂは、図８Ａに示すクエリ８０に対して生成された画像群８１に含まれる画像８１１～８１４から抽出された画像特徴に基づいて検索されたアイテムデータを含む検索結果ページ８２である。検索結果ページ８２におけるアイテムデータ８２１を例にすると、アイテムデータ８２１は、アイテムを表す画像８２２と、アイテムの価格や説明といった属性情報８２３を含みうる。検索結果ページ８２は、画像群８１に含まれる画像８１１～８１４それぞれから抽出された画像特徴に基づいて検索されたアイテムデータを含むため、画像８１１～８１４に明示的および／または暗示的に含まれる特徴を反映したアイテムデータにより構成される。検索結果ページ８１は、ユーザ装置１０に送信されて、ユーザ装置１０の表示部に表示される。ユーザ装置１０のユーザは、クエリ８０に対する検索結果として、検索結果ページ８１を受け取ることができる。
　このように、本実施形態による検索システム２０は、ユーザによる所望のアイテムに対するクエリを受け付け、当該クエリの特徴を反映した１つ以上の画像を生成し、当該画像の特徴に基づいた検索結果を生成して、ユーザに提供する。ここで、当該クエリはテキストに限定されず、属性タグや画像（不完全な画像を含む）といった、あらゆる形態のクエリでありうる。これにより、検索システム２０は、ユーザからより柔軟にクエリの入力を受け付け、当該クエリに応じた適切な検索結果をユーザに提供することが可能となり、ＥＣサイトにおける顧客満足度が向上し、購買意欲の向上に繋がりうる。
　なお、図７では、ユーザ装置１０からクエリが送信された場合の処理の流れを説明したが、情報処理装置２１は、図６Ｂを参照して説明したように、ユーザ装置１０からのクエリと、選択された分類器からの勾配に基づいて画像を生成してもよい（Ｓ７０２）。この場合、情報処理装置２１の分類器選択部１０３は、Ｓ７０１で受信したクエリに基づいて、分類器を選択しうる。あるいは、分類器選択部１０３は、ユーザ指示（図６Ｂのユーザ指示６３）や設定情報（設定情報６４）に基づいて、分類器を選択しうる。
　あるいは、情報処理装置２１は、図６Ｂを参照して説明したように、ユーザ装置１０からのクエリ無しで、選択された分類器からの勾配に基づいて画像を生成してもよい（Ｓ７０２）。この場合、分類器選択部１０３は、ユーザ指示（図６Ｂのユーザ指示６３）や設定情報（設定情報６４）に基づいて、分類器を選択しうる。クエリ無しで選択された分類器からの勾配を用いる場合、情報処理装置２１は、クエリを受信するタイミングに関係なく画像を生成することができ、これに応じて、検索装置２２は、生成された画像に基づいて検索結果ページを作成し（Ｓ７０５、Ｓ７０６）、ユーザ装置１０に送信することができる（Ｓ７０７）。当該ユーザ指示や設定情報が、ユーザ装置１０のユーザの過去のウェブサービス利用状況に基づく場合、当該ユーザに送信される検索結果ページは、当該ユーザの潜在的なニーズに適合するアイテムを含みうるため、効果的なプッシュ型の広告となりうる。
　なお、図８Ａに示す、テキスト８０から生成された画像群８１は、ユーザ提示されていないが、他の実施形態において、情報処理装置２１は、生成した画像群８１をユーザに提示するために、ユーザ装置１０に送信するように構成されてもよい。画像群８１を閲覧したユーザは、ユーザ装置１０を操作して、画像群８１から意図しない画像を削除し、残りの１つ以上の画像を情報処理装置２１に送信し、情報処理装置２１は、当該残りの画像の画像特徴を取得し、検索装置２２へ送信してもよい。あるいは、画像群８１を閲覧したユーザは、ユーザ装置１０を操作して、画像群８１からユーザの意図に合致する１つの画像を特定して情報処理装置２１へ送信し、情報処理装置２１は、当該特定された画像の画像特徴を取得し、検索装置２２へ送信してもよい。これにより、検索結果２２による検索結果が、ユーザの意図する結果により近いものになりうる。
　なお、上記において特定の実施形態が説明されているが、当該実施形態は単なる例示であり、本発明の範囲を限定する意図はない。本明細書に記載された装置及び方法は上記した以外の形態において具現化することができる。また、本発明の範囲から離れることなく、上記した実施形態に対して適宜、省略、置換及び変更をなすこともできる。かかる省略、置換及び変更をなした形態は、請求の範囲に記載されたもの及びこれらの均等物の範疇に含まれ、本発明の技術的範囲に属する。
　本実施形態の開示は以下の構成を含む。
［１］所望のアイテムを検索するためのクエリを取得するクエリ取得部と、前記クエリと、学習済みの機械学習モデルとを用いて、画像を生成する画像生成部と、前記画像に基づいて、アイテムを検索する検索部と、を備える、検索システム。
［２］前記学習済みの機械学習モデルは、学習用の画像に対してノイズが加えられたノイズ画像からノイズを除去することにより生成された生成画像と、当該学習用の画像との誤差が小さくなるように機械学習が実行された拡散モデルである、［１］に記載の検索システム。
［３］前記画像生成部は、前記クエリと前記拡散モデルとを用いて、複数の画像を生成し、前記検索部は、前記複数の画像に基づいて、アイテムを検索する、［２］に記載の検索システム。
［４］前記学習済みの機械学習モデルは、ノイズが加えられた学習用の画像からノイズを除去して前記学習用の画像を生成するように機械学習が実行された拡散モデルであり、前記画像生成部は、前記クエリと前記拡散モデルとを用いて、複数の画像を生成し、前記検索部は、前記複数の画像に基づいて、アイテムを検索する、［１］に記載の検索システム。
［５］前記画像生成部は、前記クエリと、画像を分類するように構成された学習済みの分類器を含む前記拡散モデルとを用いて、前記複数の画像を生成する、［３］または［４］に記載の検索システム。
［６］予め用意された、画像を分類するように構成された学習済みの複数の分類器から、前記分類器を選択する選択部をさらに備える、［５］に記載の検索システム。
［７］前記クエリは、テキスト、属性を示すタグ、および画像のいずれか、あるいは、テキスト、属性を示すタグ、および画像のうちの２つ以上の組み合わせを含む、［１］から［６］のいずれかに記載の検索システム。
［８］所望のアイテムを検索するためのクエリを取得するクエリ取得工程と、前記クエリと、学習済みの機械学習モデルとを用いて、画像を生成する画像生成工程と、前記画像に基づいて、アイテムを検索する検索工程と、を含む、検索方法。
［９］所望のアイテムを検索するためのクエリを取得するクエリ取得部と、前記クエリと、学習済みの拡散モデルとを用いて、複数の画像を生成する画像生成部と、前記複数の画像に基づいて、アイテムを検索するための特徴ベクトルを取得する特徴ベクトル取得部と、を備える情報処理装置。
［１０］所望のアイテムを検索するためのクエリを取得するクエリ取得工程と、前記クエリと、学習済みの拡散モデルとを用いて、複数の画像を生成する画像生成工程と、前記複数の画像に基づいて、アイテムを検索するための特徴ベクトルを取得する特徴ベクトル取得工程と、含む情報処理方法。
［１１］情報処理をコンピュータに実行させるための情報処理プログラムであって、該プログラムは、前記コンピュータに、所望のアイテムを検索するためのクエリを取得するクエリ取得処理と、前記クエリと、学習済みの機械学習モデルとを用いて、画像を生成する画像生成処理と、前記画像に基づいて、アイテムを検索する検索処理と、を含む処理を実行させるためのものである。
［１２］情報処理をコンピュータに実行させるための情報処理プログラムであって、該プログラムは、前記コンピュータに、所望のアイテムを検索するためのクエリを取得するクエリ取得処理と、前記クエリと、学習済みの拡散モデルとを用いて、複数の画像を生成する画像生成処理と、前記複数の画像に基づいて、アイテムを検索するための特徴ベクトルを取得する特徴ベクトル取得処理と、を含む処理を実行させるためのものである。
１：情報処理システム、１０：ユーザ装置、２０：検索システム、２１：情報処理総理、２２：検索装置、１０１：クエリ取得部、１０２：画像生成部、１０３：分類器選択部、１０４：画像特徴抽出部、１０５：出力部、１１０：学習モデル記憶部、１１１：画像生成モデル、１１２：分類器群、１１３：画像特徴抽出モデル、２０１：画像特徴取得部、２０２：検索部、２０３：出力部、２１０：検索データベース
 

 

Claims (9)

  1. 　所望のアイテムを検索するためのクエリを取得するクエリ取得部と、
    　前記クエリと、学習済みの機械学習モデルとを用いて、画像を生成する画像生成部と、
    　前記画像に基づいて、アイテムを検索する検索部と、
    　を備える、検索システム。
  2. 　前記学習済みの機械学習モデルは、学習用の画像に対してノイズが加えられたノイズ画像からノイズを除去することにより生成された生成画像と、当該学習用の画像との誤差が小さくなるように機械学習が実行された拡散モデルである、
    　請求項１に記載の検索システム。
  3. 　前記画像生成部は、前記クエリと前記拡散モデルとを用いて、複数の画像を生成し、
    　前記検索部は、前記複数の画像に基づいて、アイテムを検索する、
    　請求項２に記載の検索システム。
  4. 　前記学習済みの機械学習モデルは、ノイズが加えられた学習用の画像からノイズを除去して前記学習用の画像を生成するように機械学習が実行された拡散モデルであり、
    　前記画像生成部は、前記クエリと前記拡散モデルとを用いて、複数の画像を生成し、
    　前記検索部は、前記複数の画像に基づいて、アイテムを検索する、
    　請求項１に記載の検索システム。
  5. 　前記画像生成部は、前記クエリと、画像を分類するように構成された学習済みの分類器を含む前記拡散モデルとを用いて、前記複数の画像を生成する、
    　請求項３または４に記載の検索システム。
  6. 　予め用意された、画像を分類するように構成された学習済みの複数の分類器から、前記分類器を選択する選択部をさらに備える、
    　請求項５に記載の検索システム。
  7. 　前記クエリは、テキスト、属性を示すタグ、および画像のいずれか、あるいは、テキスト、属性を示すタグ、および画像のうちの２つ以上の組み合わせを含む、
    　請求項１から４のいずれか１項に記載の検索システム。
  8. 　所望のアイテムを検索するためのクエリを取得するクエリ取得工程と、
    　前記クエリと、学習済みの機械学習モデルとを用いて、画像を生成する画像生成工程と、
    　前記画像に基づいて、アイテムを検索する検索工程と、
    　を含む、検索方法。
  9. 　所望のアイテムを検索するためのクエリを取得するクエリ取得部と、
    　前記クエリと、学習済みの拡散モデルとを用いて、複数の画像を生成する画像生成部と、
    　前記複数の画像に基づいて、アイテムを検索するための特徴ベクトルを取得する特徴ベクトル取得部と、
    　を備える情報処理装置。

     
PCT/JP2023/013487 2023-03-31 2023-03-31 検索システム、検索方法、および情報処理装置 Ceased WO2024201980A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP23930615.2A EP4675459A4 (en) 2023-03-31 2023-03-31 RESEARCH SYSTEM, RESEARCH METHOD AND INFORMATION PROCESSING DEVICE
PCT/JP2023/013487 WO2024201980A1 (ja) 2023-03-31 2023-03-31 検索システム、検索方法、および情報処理装置
JP2025509571A JPWO2024201980A1 (ja) 2023-03-31 2023-03-31

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/013487 WO2024201980A1 (ja) 2023-03-31 2023-03-31 検索システム、検索方法、および情報処理装置

Publications (1)

Publication Number Publication Date
WO2024201980A1 true WO2024201980A1 (ja) 2024-10-03

Family

ID=92904486

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/013487 Ceased WO2024201980A1 (ja) 2023-03-31 2023-03-31 検索システム、検索方法、および情報処理装置

Country Status (3)

Country Link
EP (1) EP4675459A4 (ja)
JP (1) JPWO2024201980A1 (ja)
WO (1) WO2024201980A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001265781A (ja) 2000-03-17 2001-09-28 Nec Corp 電子ショップ用商品情報表示システム及び方法並びに記録媒体
JP2002366575A (ja) * 2001-03-26 2002-12-20 Lg Electronics Inc イメージ検索方法及び検索装置
JP2020098521A (ja) * 2018-12-19 2020-06-25 富士通株式会社 情報処理装置、データ抽出方法およびデータ抽出プログラム
WO2022265992A1 (en) * 2021-06-14 2022-12-22 Google Llc Diffusion models having improved accuracy and reduced consumption of computational resources

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001265781A (ja) 2000-03-17 2001-09-28 Nec Corp 電子ショップ用商品情報表示システム及び方法並びに記録媒体
JP2002366575A (ja) * 2001-03-26 2002-12-20 Lg Electronics Inc イメージ検索方法及び検索装置
JP2020098521A (ja) * 2018-12-19 2020-06-25 富士通株式会社 情報処理装置、データ抽出方法およびデータ抽出プログラム
WO2022265992A1 (en) * 2021-06-14 2022-12-22 Google Llc Diffusion models having improved accuracy and reduced consumption of computational resources

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Generating images from text: Visual language model is key(Special feature: Amazing AI encyclopedia that will change industries)", NIKKEI KONPYUTA - NIKKEI COMPUTER, NIKKEI MAGUROUHIRUSHA, TOKYO,, JP, no. 1078, 29 September 2022 (2022-09-29), JP , pages 38 - 41, XP009557803, ISSN: 0285-4619 *
See also references of EP4675459A1

Also Published As

Publication number Publication date
EP4675459A1 (en) 2026-01-07
EP4675459A4 (en) 2026-02-25
JPWO2024201980A1 (ja) 2024-10-03

Similar Documents

Publication Publication Date Title
US11803872B2 (en) Creating meta-descriptors of marketing messages to facilitate in delivery performance analysis, delivery performance prediction and offer selection
JP2024503774A (ja) 融合パラメータの特定方法及び装置、情報推奨方法及び装置、パラメータ測定モデルのトレーニング方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム
US20170329840A1 (en) Computerized system and method for performing a feature-based search and displaying an interactive dynamically updatable, multidimensional user interface therefrom
JP2019531548A (ja) 視覚検索プラットフォームのための映像取り込みフレームワーク
JP2019527395A (ja) コンテンツを効果的に配信するための動的クリエイティブの最適化
JP2017174062A (ja) 購買行動分析装置およびプログラム
US12417244B2 (en) Determining user affinities for content generation applications
JP7138264B1 (ja) 情報処理装置、情報処理方法、情報処理システム、およびプログラム
KR102301663B1 (ko) 시각 검색 쿼리를 사용하여 물리적 객체를 식별하는 기법
KR101990502B1 (ko) 범용화된 정보 추출 방법 및 이를 적용한 디바이스
EP4123548B1 (en) Information processing device for generating changed advertising content
EP4195135B1 (en) Information processing device, information processing method, information processing system, and program
US20240202532A1 (en) Information processing apparatus, information processing method, and storage medium
CN113641900A (zh) 信息推荐方法及装置
JP7550264B1 (ja) 画像提供装置、画像提供方法及び画像提供プログラム
WO2024201980A1 (ja) 検索システム、検索方法、および情報処理装置
JP2022037575A (ja) 画像評価予測装置および方法
KR20210041730A (ko) 패션 상품 추천 방법, 장치 및 컴퓨터 프로그램
JP2020047013A (ja) 情報表示プログラム、情報表示方法、情報表示装置、および情報処理システム
JP7676662B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
US20250217578A1 (en) Information processing system, information processing method, and non-transitory computer readable medium storing program
JP7457157B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR102910896B1 (ko) 성격 유형에 기초한 향수 및 패션 트렌드 추천 방법
JP7218847B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7068999B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23930615

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025509571

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025509571

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2023930615

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2023930615

Country of ref document: EP

Effective date: 20250930

ENP Entry into the national phase

Ref document number: 2023930615

Country of ref document: EP

Effective date: 20250930

ENP Entry into the national phase

Ref document number: 2023930615

Country of ref document: EP

Effective date: 20250930

WWP Wipo information: published in national office

Ref document number: 2023930615

Country of ref document: EP