WO2024256938A1 - 情報処理装置、情報処理システム、及びコンピュータプログラム - Google Patents

情報処理装置、情報処理システム、及びコンピュータプログラム Download PDF

Info

Publication number
WO2024256938A1
WO2024256938A1 PCT/IB2024/055594 IB2024055594W WO2024256938A1 WO 2024256938 A1 WO2024256938 A1 WO 2024256938A1 IB 2024055594 W IB2024055594 W IB 2024055594W WO 2024256938 A1 WO2024256938 A1 WO 2024256938A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
products
image
imaging
operation mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/IB2024/055594
Other languages
English (en)
French (fr)
Inventor
加藤聡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Teraoka Seiko Co Ltd
Original Assignee
Teraoka Seiko Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2023098914A external-priority patent/JP2024179780A/ja
Priority claimed from JP2023098913A external-priority patent/JP2024179779A/ja
Application filed by Teraoka Seiko Co Ltd filed Critical Teraoka Seiko Co Ltd
Priority to CN202480039982.7A priority Critical patent/CN121311931A/zh
Publication of WO2024256938A1 publication Critical patent/WO2024256938A1/ja
Priority to US19/407,640 priority patent/US20260087907A1/en
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Definitions

  • the present invention relates to an information processing device, an information processing system, and a computer program.
  • a technology known as object scanning is known that identifies an object by comparing an image of the object captured with a learning image that serves as a reference image for image recognition.
  • Patent Document 1 discloses an item identification device that includes a tray on which items are placed, a backlight source that illuminates the bottom side of the tray with backlight light, a digital camera that captures images of items on the tray, and an identification computer that recognizes the image from the digital camera and identifies the items.
  • This item identification device cuts out the items on the tray from a difference image between an image when the backlight source is on and an image when the backlight source is off.
  • Patent Document 2 discloses a product recognition device that includes a storage unit that prestores an image database in which at least learning image information and product names are associated with each other for a plurality of products, a learning unit that performs machine learning using the learning image information and the product names stored in the image database to generate a trained identification engine, and an identification unit that uses the identification engine to identify the product name of a target product based on the image information of the target product.
  • image learning for object scanning requires capturing an image of each target product, specifying the product each time, and registering the image, which is extremely tedious.
  • one of the objectives of the present invention is to provide a device that can easily register learning images to be used in object scanning.
  • Another object of the present invention is to provide a device that can easily set product sales targets.
  • the information processing device comprises an imaging means for imaging a product, an extraction means for extracting candidate products for which a learning image is to be added based on the image of the product imaged by the imaging means and by referring to a product information storage means for storing product information, a designation acceptance means for accepting designation of a product for which the learning image is to be additionally registered from the candidate products extracted by the extraction means, and a registration means for registering the image of the product imaged by the imaging means as the learning image in the product information storage means in association with the product designated by the designation acceptance means.
  • the information processing device includes an imaging means for imaging a product, an extraction means for extracting product candidates corresponding to the product image captured by the imaging means in a predetermined operation mode in which an operation for purchasing the product is performed, based on the product image captured by the imaging means, by referring to a product information storage means that stores product information, and a setting means for setting the product extracted by the extraction means in the predetermined operation mode as a product for sale or a product not for sale.
  • Figure 1 is a diagram showing the configuration of a system equipped with a weighing device according to an embodiment of the present invention.
  • Figure 2 is a functional block diagram showing the hardware configuration of a weighing device according to an embodiment of the present invention.
  • Figure 3 is a functional block diagram showing the software configuration of a weighing device according to an embodiment of the present invention.
  • Figure 4 shows an example of a screen displayed on a weighing device according to an embodiment of the present invention, showing the standby screen in the first operation mode.
  • Figure 5 shows an example of a screen displayed on a weighing device according to an embodiment of the present invention, showing a screen for selecting a product in the first operation mode.
  • Figure 6 shows an example of a screen displayed on a weighing device according to an embodiment of the present invention, showing a screen for selecting a product in the second operation mode.
  • Figure 7 shows an example of a screen displayed on a weighing device according to an embodiment of the present invention, showing a screen for selecting a product in the third operation mode.
  • Figure 8 shows an example of a screen displayed on a weighing device according to an embodiment of the present invention, showing a screen for selecting a product in the fourth operation mode.
  • Figure 9 is an example of processing by a weighing device according to an embodiment of the present invention, and is a processing flow diagram showing the overall processing in the first operation mode.
  • Figure 10 is a process flow diagram showing an example of processing by a weighing device according to an embodiment of the present invention, which shows the process of extracting product items in the first operation mode.
  • Figure 11 is an example of processing by a weighing device according to an embodiment of the present invention, and is a processing flow diagram showing the overall processing in the second operation mode.
  • Figure 12 is an example of processing by a weighing device according to an embodiment of the present invention, and is a processing flow diagram showing the overall processing in the third operation mode.
  • Figure 13 is an example of processing by a weighing device according to an embodiment of the present invention, and is a processing flow diagram showing the overall processing in the fourth operation mode.
  • Fig. 1 shows an example of the configuration of a system including a weighing device 1 according to this embodiment
  • Fig. 2 shows the hardware configuration of the weighing device 1.
  • the weighing device 1 according to this embodiment is an embodiment of an information processing device according to the present invention.
  • the weighing device 1 is installed in a supermarket that sells fresh foods such as vegetables and fruits. In the fresh food section of the supermarket, products such as vegetables and fruits that are sold individually are sorted by type and displayed in their respective display areas. Since each product is sold individually, there is no label with a price or barcode printed on it.
  • the customer or store clerk weighs the required amount of each type of product and receives labels for the number of products to be purchased from the weighing device 1.
  • the customer or store clerk then attaches the labels to the products.
  • a symbol code containing information such as the price is printed on the label, and the symbol code can be read by the POS terminal 3 to register the product in the POS terminal 3 etc. as a product to be purchased.
  • the weighing device 1 displays a list of selectable products on the screen of the display touch panel 104 and accepts the selection of products to be purchased from an operator such as a customer or a store clerk.
  • the weighing device 1 also weighs the weight of the products placed on the weighing unit 109, retrieves product data such as the unit price of the product selected by the operator on the display touch panel 104 from a storage unit such as the RAM 103, calculates the price of the product, and issues a label.
  • the weighing device 1 according to this embodiment performs an object scan of the product selected by a customer or a store clerk, and presents the customer or store clerk with candidate products that can be selected.
  • the "object scan” referred to here means a process of capturing an image of the product, performing image recognition of the product, and identifying the product by comparing it with a learning image, and is executed by the imaging control unit 124 and extraction unit 125 (see FIG. 3) described later.
  • the product data and a part or all of the product file 121 may be stored not only in a memory unit such as the RAM 103 provided in the weighing device 1 body, but also in an appropriate configuration connected by wire or wirelessly.
  • learning images and learning data for object scanning described later do not need to be stored in the weighing device 1 body, but may be stored in, for example, the upper store controller 2 or cloud server 4, and the weighing device 1 may refer to them.
  • the store controller 2 is a computer that manages various data within the supermarket, and is connected to the weighing device 1 and POS terminal 3 via a LAN (Local Area Network).
  • the various data include, for example, a product file that stores information such as product selling prices stored by the POS terminal 3, a product file 121 (described below) stored by the weighing device 1 (see FIG. 3), and a performance file sent from the POS terminal 3.
  • the POS terminal 3 is a so-called POS register, and performs operations such as registering products purchased by customers (including fresh foods weighed by the weighing device 1, as well as products with pre-labeled products) and settling the price.
  • Product labels have product identification numbers such as product codes, and in the case of labels issued by the weighing device 1, price information according to weight printed in the form of bar codes or two-dimensional codes, and the POS terminal 3 is equipped with a reading device that reads these bar codes or two-dimensional codes.
  • the POS terminal 3 then performs product registration processing based on the bar code or two-dimensional code information read by the reading device and information such as the product selling price stored in memory.
  • a store may have a plurality of POS terminals 3.
  • the POS terminals 3 may include a self-service terminal operated by a customer in addition to a terminal operated by a store clerk.
  • the cloud server 4 is a device that executes processes performed by devices in the store, including the weighing device 1, and stores data necessary for the processes, and is provided as appropriate.
  • the weighing device 1 performs object scanning of the products, but the weighing device 1 may only capture images of the products, and the cloud server 4 may perform processes related to image recognition and analysis.
  • the cloud server 4 may be configured to generate matching data (learning images) using deep learning using AI (Artificial Intelligence), thereby improving the accuracy of the object scan.
  • the store controller 2 and the cloud server 4 constitute a higher-level management device for the weighing device 1 and the POS terminal 3.
  • the higher-level device may be constituted by a single terminal or device, or may be constituted by a terminal or device different from the cloud server 4.
  • the higher-level device may be a terminal or device within a store that is connected to a network such as a LAN, or may be a terminal or device outside the store that is connected to a network such as the Internet.
  • FIG. 2 shows the hardware configuration of the weighing device 1, and FIG.
  • the hardware configuration of the weighing device 1 includes a CPU 101, a ROM 102, a RAM 103, a display touch panel 104, a key operation unit 105, a clock unit 106, a voice input unit 107, a communication unit 108, a weighing unit 109, a printing unit 110, an imaging unit 111, and an external memory control unit 112.
  • the CPU 101 is a central processing unit that controls the operation of the weighing device 1, and realizes the operation of the weighing device 1 according to the program by reading and executing a program from the ROM 102.
  • the ROM 102 is a read-only memory in which the above-mentioned program is stored.
  • the RAM 103 is a write/read memory at any time, and stores the product file 121, which will be described later, an icon table, and other temporary data.
  • the display touch panel 104 is a user input/output interface between the weighing device 1 and an operator such as a customer, and displays preset keys G221 (see FIG. 5, etc.) for specifying the product to be weighed and various other information on the screen, and accepts input of specifications from the operator using the displayed preset keys G221. Examples of screen displays on the display touch panel 104 will be described later.
  • data on the product corresponding to the preset key G221 specified on the screen by the operator is read from the product file 121 in the RAM 103, and the price of that product is calculated.
  • the key operation unit 105 is for performing input other than that performed on the display touch panel 104.
  • the clock unit 106 outputs time information. This time information is used to control the display mode of the preset keys G221 (see FIG. 5, etc.) displayed on the display touch panel 104.
  • the voice input unit 107 is for voice input, allowing the operator to input product information by voice.
  • the communication unit 108 is a LAN interface and controls communication with the store controller 2.
  • a product file 121 is acquired from the store controller 2 via this communication unit 108.
  • a program may be transferred from the store controller 2 to the weighing device 1 via the communication unit 108.
  • the transferred program may be stored in the RAM 103, for example.
  • the weighing unit 109 measures the weight of the product placed on the weighing tray provided on the top of the weighing device 1 main body using a mass detection method using a load cell, etc., and outputs the weighed value.
  • the weighing unit 109 is composed of a mass detection unit and an A/D converter, and the A/D converter converts the analog signal input from the mass detection unit into a digital signal.
  • the printing unit 110 constitutes an issuing unit that issues labels on which the price, barcode, etc. are printed for the products weighed by the weighing unit 109.
  • This label is printed based on the weighing value output from the weighing unit 109 as the weighing result and product information (such as unit price data) related to the product in the product file stored in the RAM 103.
  • the label is a sticker that can be affixed to the product or the bag the product is packed in.
  • the information required for the payment of the product is printed on the label and issued, but this is not limited to this, and the information may be printed on the bag containing the product.
  • the imaging unit 111 is a device that captures images of the products placed on the weighing unit 109, and is composed of an image sensor such as a color CCD image sensor or a color CMOS image sensor.
  • the number of imaging units 111 is arbitrary, and multiple imaging units 111 may be provided.
  • the imaging units 111 may be arranged, for example, facing at different angles, so that images of the items placed on the weighing unit 109 can be captured from multiple angles.
  • a portable storage medium 113 such as a DVD-ROM or USB memory is connected to the external storage control unit 112.
  • Information including programs is stored in the portable storage medium 113, and the external storage control unit 112 reads and writes the information.
  • the above-mentioned arithmetic unit such as the CPU 101 and the storage device such as the RAM 103 constitute the following functional blocks: a product file 121, a weighing control unit 122, a change detection unit 123, an imaging control unit 124, an extraction unit 125, a setting unit 126, a registration unit 127, a grouping unit 128, a calculation unit 129, a printing control unit 130, a designation receiving unit 131, and a display control unit 132.
  • the functional units may be realized in a higher-level device such as a store controller 2 connected by wire or wirelessly, or in a cloud server 4 connected via the Internet or the like.
  • the weighing device 1 is mainly switched between the first to fourth operation modes and executes functions corresponding to each operation mode.
  • the first operation mode is an operation mode used when providing services to customers
  • the second to fourth operation modes are so-called maintenance modes in which product information is set, and the screen displayed in the maintenance mode can be said to constitute a maintenance screen.
  • the first operation mode is an operation mode in which a customer performs operations to purchase or trade goods.
  • this first operation mode is an operation mode in which goods are weighed and priced, and goods placed on the weighing unit 109 as goods to be purchased are weighed and a label indicating the price is issued.
  • the weighing device 1 has the functions of a POS terminal 3 or the information processing device according to the present invention is configured as a POS terminal 3, in this first operation mode, goods are weighed and goods are registered as goods to be purchased.
  • the weighing device 1 performs weighing and pricing, it may be configured as a device that only weighs, with pricing being performed by another linked device.
  • the second operation mode is a mode for registering a learning image of a product.
  • this second operation mode an image of the product captured by the imaging unit 111 is registered as a learning image of the product.
  • the third operation mode is a mode in which products are set as for sale or not for sale. In this third mode, it is possible to set whether the store will treat products registered in the product file 121 as for sale or not for sale. Such settings are required depending on the seasonal availability of products and the availability of stock, as described below.
  • the fourth operation mode is a mode for grouping products, in which a plurality of types of products that are commonly associated with a predetermined learning image are registered as one group.
  • functions that are not specifically mentioned for a specific mode are performed commonly to all modes.
  • the product file 121 is a file that stores product information for each product to be weighed by the weighing device 1, comprising the following items of product identification information: product code, product name, classification, preset key name, image for preset key, weight (mass), unit price, product color, learning image, group information, and sales target settings, and constitutes a product information storage means.
  • the product file 121 can also register barcode category (in-store barcode system), cost, unit weight, tare weight, etc.
  • the product file 121 may be created by the store controller 2 or the cloud server 4 and sent to the weighing device 1 and stored in the RAM 103. However, this does not prevent the weighing device 1 from creating the product file 121 in other embodiments.
  • the selling price may be updated at least once a day, or at other predetermined times.
  • the barcode category is used to set categories relating to PLU codes such as JAN (EAN) codes, and barcode systems (types) when in-store barcodes are used for products sold by weight.
  • EAN JAN
  • types barcode systems
  • the product code is product identification information and is also called a product number.
  • the product name is the name of the product and is set for search purposes.
  • a classification is a category (item) according to the nature of each product. By classifying and registering each product into a specific classification, when a specific classification tab is selected, products belonging to the specific classification are narrowed down.
  • the preset key name is a product name or the like that is displayed on the preset key G221 (see FIG. 5, etc.), and if no name is entered, the general name of the product is set.
  • the preset key images are images used when displaying the preset keys G221 for receiving the designation of a product. The preset key images show patterns, photographic images, text information, and the like that allow the user to grasp the product.
  • the unit weight data is a value set as an average value per product, and is data used to calculate the number of products from the weight value measured by the weighing device 1. This weight data can also be used to determine whether multiple products are placed on the weighing unit 109. Therefore, this data is set only for products sold by the number, such as apples. For products that are not sold by the number, such as meat sold by the gram, the price is calculated using only the unit price data (price per gram). The unit price data is set as the amount per product for products sold by the number, and as the amount per 100 grams for products sold by the gram. In addition, it is possible to set "sold by gram" or "sold by number” in the sales category so that apples and the like can be sold by the gram.
  • the transaction amount is calculated according to the unit weight setting.
  • the unit weight may be registered by inputting the number of products placed on the weighing plate, or may be registered by the measured value.
  • the number of products placed on the weighing plate may be input, and the average weight may be stored by division based on the number of products.
  • the color of the product is designated as a color associated with the product. One or more colors can be arbitrarily registered as the color of the product so as to accommodate various perceptions of the color of the product.
  • the training image is an image of a product, and serves as a reference image to be referenced when recognizing and identifying the product in the captured image by object scanning and extracting product candidates from the product file 121.
  • Training images can be registered by capturing an image of an actual product using the imaging unit 111, or by reading image data captured in advance. For example, a product code can be specified, and training images of the target product can be captured in sequence and registered. Multiple training images can be registered for one product. New training images can be automatically generated from previously registered training images using deep learning using AI, and can be registered.
  • the group information is information that specifies a group of products to which product images captured by the imaging unit 111 are associated as learning images. That is, for products set in a specific group, the learning image of one product belonging to the specific group is also associated with other products belonging to the specific group. For example, if there are "apples” that are the same fruit variety but are sold in different regions or brands, when these are grouped, the "apples" from each region or brand are treated as belonging to the same group, regardless of their origin or brand. Then, as described below, when a learning image is associated with one product belonging to the same group, the same learning image is also associated with products other than the one product that belongs to the same group.
  • the sales target setting is information indicating whether the store will treat the product as a sale target product or a non-sale target product, and is set by the setting unit 126 described later.
  • This sales target setting can also be performed for each product called up by calling up a specific product from a list of products by calling up the product number, but in this embodiment, the setting unit 126 described later can be used to specify a specific product from the candidate products extracted by the extraction processing unit.
  • the sales target setting is not limited to the example where an operator specifies a product and sets the product as a sales target product or a non-sale target product, but may be set so that the product is automatically treated as a sales target product or a non-sale target product according to a preset period, etc.
  • a sales period such as from one specified date to another specified date may be set for the product, and the product may be treated as a sales target product or a non-sale target product depending on whether the date and time of use of the weighing device 1 falls within the sales period.
  • a sales period is set for the product in the product file 121, and the weighing device 1 acquires calendar information held by the device itself or an external terminal when the power is turned on.
  • the calendar information is referred to to determine whether the current date and time for a specific product falls within the sales period, and if so, the specific product is treated as a sales target product, and if not, the specific product is treated as a non-sale target product.
  • the sales period can also be set according to the season.
  • the season in which the product is treated as a for-sale product is set, and a separate seasonal master that associates dates with seasons is also provided.
  • the weighing device 1 refers to the seasonal master to determine the season of the day, and sets the product as a for-sale product or a non-for-sale product.
  • the season set for the product is not limited to one of spring, summer, autumn and winter, but overlapping seasons such as spring, summer and autumn and winter can be set.
  • the product may be treated as a sale item as long as it falls in one of the overlapping seasons, or the operator may select from a pop-up screen in which of the set seasons the product will be treated as a sale item or a non-sale item.
  • the season master may be associated with location information of the store in which the weighing device 1 is set. In this way, the seasonal setting may be reflected depending on the location, such as spring in Hokkaido and summer in Okinawa for the same date and time.
  • the seasonal sales target setting may be switched ON/OFF by any operation such as a predetermined button, and thus it is possible to set whether or not the seasonal sales target setting is reflected in the product on the day.
  • the season master may be divided into categories in the product file 121 and referenced.
  • the sales period can also be set on a monthly basis.
  • a flag can be set for a product to indicate whether it will be treated as a product for sale in a specific month.
  • the weighing device 1 determines the month of the current day based on the current day's date, and sets the product as a product for sale or a product for sale according to the flag.
  • both the seasonal setting and the monthly setting described above may be provided, allowing the operator to selectively set the desired one.
  • the weighing control unit 122 controls the weighing unit 109 to weigh the weight of the product placed on the weighing plate of the weighing unit 109 .
  • the change detection unit 123 is a functional unit that detects a change in the weight on the weighing plate being measured by the weighing unit 109.
  • the change detection unit 123 detects that the weight has changed by a predetermined value or more within a predetermined time, and determines that the weight has changed.
  • the change detection unit 123 may also calculate the amount of change in the weight of the product being measured by the weighing unit 109, and determine that the weight has changed when the amount of change is equal to or greater than a predetermined value.
  • the change detection unit 123 may also calculate the amount of change in weight as one aspect of the weight change, and detect that the weight is fluctuating.
  • the change detection unit 123 can also detect whether the weight being measured is stable or not.
  • a stable weight state refers to a state in which the weight value of the product being measured by the weighing unit 109 is within a predetermined threshold value for a predetermined short period of time, for example.
  • the imaging control unit 124 controls the imaging unit 111 to capture an image of a commodity placed on the weighing unit 109.
  • the imaging control unit 124 may start imaging for object scanning when the change detection unit 123 detects a weight change in the weighing unit 109, or may start imaging for object scanning when the weight of the commodity weighed by the weighing control unit 122 is within the transaction weighing range. For example, a scale mark of 20 or more marks from the minimum scale mark is treated as the transaction weight. Also, an operation for object scanning may be started in response to an arbitrary operation by the operator.
  • the extraction unit 125 is a functional unit that extracts product information from the product file 121. For example, the extraction unit 125 extracts product candidates from the product file 121 that correspond to product images captured by the imaging unit 111, or extracts product information from the product file 121 in response to a search such as a product number search.
  • the extraction unit 125 recognizes products in the image captured by the imaging unit 111 in a so-called object scan using an appropriate image analysis technique or general object recognition technique. In recognizing products, general object recognition may be performed by dividing the image into regions for each object. In addition, the number or types of products placed on the weighing unit 109 may be specified.
  • the extraction unit 125 may calculate the similarity between the captured product image and the learning images of each product registered in the product file 121 as an absolute evaluation or a relative evaluation.
  • various extraction modes may be set. For example, if the similarity of the product with the highest similarity is lower than a predetermined value, three products may be extracted as candidates in order of similarity. Also, if the similarity of the product with the highest similarity is 70% and there are multiple products within a range of similarity of -5% (65%) from that, all products within that range may be extracted as candidates.
  • the extraction unit 125 may start the extraction process in response to a change in weight without waiting for the weight of the weighed product to stabilize, or may start the extraction process when a change in weight is detected. Also, the extraction process may be performed when the weight weighed by the weighing control unit 122 is stable.
  • the extraction unit 125 may specify the color of the product from the captured image of the product in the object scan, and compare it with the registered product color to specify a product with a similar color.
  • the extraction unit 125 may use the color as one of the similarity indices, and may select products with similar colors as candidates for captured products.
  • the color of the product may be specified from the image, or may be registered in advance in the product file 121.
  • the color similarity may be calculated, for example, from each element of hue, lightness, or saturation, or a combination thereof, or any other technique may be used, such as calculation by projecting onto an appropriate coordinate system.
  • the extraction unit 125 may function as follows, particularly in each operation mode.
  • the extraction unit 125 refers to the product file 121 based on the image of the product captured by the imaging unit 111, that is, extracts product candidates captured by the imaging unit 111, i.e., product candidates placed on the weighing unit 109 as products to be purchased.
  • the extraction unit 125 may first extract product candidates corresponding to the captured product image from products set as products to be sold. Since products not to be sold should not be displayed in principle, the accuracy of extracting appropriate candidates can be increased by targeting only products to be sold as the target for product candidate extraction.
  • the extraction unit 125 may further extract product candidates corresponding to the captured product image from products set as products not to be sold.
  • the extraction unit 125 refers to the product file 121 and extracts candidates for products to which learning images are to be added, based on the image of the product captured by the imaging unit 111.
  • the extraction unit 125 may extract candidates for products corresponding to the image captured by the imaging unit 111 from both products set as products for sale and products set as products not for sale, i.e., from all products regardless of the sales target setting.
  • a candidate for a product to which a learning image is to be added cannot be extracted based on the image captured by the imaging unit 111, a product for which a learning image is not registered in the product file 121, i.e., a product for which a learning image is not associated, may be extracted as a candidate for a product for which a learning image is to be newly registered.
  • a candidate for a product cannot be extracted because a learning image is not registered in association with the product, or the amount of learning is small, i.e., there are few learning images associated with the product, a message indicating "not learned" may be displayed on the screen.
  • product designation can be accepted from a state in which product candidates have been extracted in the first operation mode or the second operation mode, but regardless of this, product candidates for which sales target setting is to be performed may be extracted by referring to the product file 121 based on the image of the product captured by the imaging unit 111, or product candidates may be extracted based on a product number search, etc.
  • the extraction unit 125 extracts product candidates from all products regardless of the sales target setting.
  • any multiple products are extracted from all products registered in the product file 121 by product number search or the like.
  • product candidates corresponding to the product image captured by the imaging unit 111 may be extracted.
  • any operation mode in the extraction process by the extraction unit 125, among all products including products for sale and products not for sale, products that do not have associated learning images for object scanning, i.e., products for which learning images are not registered in the product file 121, may be excluded from the targets of object scanning, i.e., extraction targets.
  • the setting unit 126 sets whether a product registered in the product file 121 is a sale product or a non-sale product.
  • the setting by the setting unit 126 to set a product as a sale product or a non-sale product is sometimes referred to as a "sale target setting.”
  • the setting process by the setting unit 126 is executed in the third operation mode, but can also be executed during execution of the first operation mode. That is, during execution of the first operation mode in which a product is registered as a purchase target product, the extraction unit 125 extracts product candidates, and when the user performs an arbitrary operation to change to the third operation mode while the product candidates are displayed, the first operation mode is temporarily put on hold and the operation mode is switched to the third operation mode.
  • the product extracted by the extraction unit 125 can be set as a product for sale or a product not for sale.
  • the operation performed in the first operation mode until the operation mode is changed to the third operation mode is maintained in effect, and when the sales target setting is completed in the third operation mode and the operation returns to the first operation mode, the operation that was maintained in effect can be continued.
  • the second operation mode or the fourth operation mode may be switched to the third operation mode in the same manner as the first operation mode is switched to the third operation mode.
  • the operations in the first operation mode that are effectively maintained when changing to the third operation mode include, for example, the measurement value of the product, and operations and information related to the product candidates.
  • the products to be extracted as candidates may change depending on the similarity of the products. Therefore, when returning from the third operation mode to the first operation mode, the extraction process by the extraction unit 125 may be executed again.
  • this new product candidate may be extracted and displayed in addition to the product candidates previously extracted in the first operation mode, or a predetermined number of product candidates may be displayed in order of similarity from the products previously extracted and the new product candidate.
  • the result of the new extraction process is reflected in the result of the extraction process in the previous first operation mode, and it can be said that the first operation mode is effectively maintained.
  • the processing results of the previous first operation mode can be erased, and the extraction process by the extraction unit 125, or a series of processes starting from image capture, can be executed from the beginning.
  • the sales target setting by the setting unit 126 can also be said to be a setting (extraction target setting) for whether or not the extraction unit 125 will extract candidates for each product in the first operation mode.
  • the registration unit 127 registers the learning image of the product in the product file 121. Specifically, in the second operation mode, the registration unit 127 registers the image of the product captured by the imaging unit 111 as a learning image in the product file 121 in association with the product designated by the designation receiving unit 131 described later.
  • the registration destination of the learning image may be a file provided separately from the product file 121, such as a file (storage area) for registering learning images, as long as the image is associated with the product.
  • the registration unit 127 registers the image of the product captured by the imaging unit 111 as a learning image in the product file 121 in association with the product designated by the designation acceptance unit 131 and all products grouped with it.
  • the learning images are not registered.
  • a product is called up by searching for a product number, and the image of the product is registered as a learning image.
  • the registration of learning images progresses to a certain extent from the initial stage, it becomes possible to extract product candidates by object scanning, and the learning image is associated with the product by simply selecting a specific product from the product candidates displayed corresponding to the captured image of the product, and learning progresses.
  • a cancel button may be provided to "not register” or "skip" the captured product image as a learning image, so that the registration can be canceled.
  • the process of registering the captured product image as a learning image may be canceled.
  • the grouping unit 128 groups predetermined products in the fourth operation mode, and registers the setting in the product file 121.
  • the setting for grouping products by the grouping unit 128 may be referred to as a "group setting.”
  • the calculation unit 129 calculates the price based on the measurement value and unit price of the product by referring to the product file 121.
  • the calculation unit 129 also performs calculations required for selling the product, such as calculating the tax-inclusive price based on the tax rate of the consumption tax or the like, as appropriate.
  • the printing control unit 130 issues a label reflecting information such as the weight measured by the weighing unit 109 and the price calculated by the calculation unit 129.
  • the printing control unit 130 controls the printing unit 110 to print information required for payment for the product on a label or the like, based on the product information related to the product in the product file 121, the weighing value output as the weighing result from the weighing unit 109, the price calculated by the calculation unit 129, etc.
  • the printing control unit 130 may print the information on a bag containing the product.
  • the printing control unit 130 may present the information to be printed to the operator and wait for a confirmation input indicating that the presented information is correct before issuing a label, or may issue a label immediately upon generation of the information to be printed without waiting for the confirmation input.
  • the information required for the payment of the product may be associated with a recording medium capable of identifying a member or a transaction, such as an IC tag or a barcode (membership card).
  • a recording medium capable of identifying a member or a transaction such as an IC tag or a barcode (membership card).
  • an input screen for identifying the recording medium may be displayed to prompt the operator to enter the information.
  • the designation receiving unit 131 is a means for displaying product candidates extracted from the product file 121 as product candidates corresponding to the product image captured by the imaging unit 111 and receiving designations from the operator.
  • the designation receiving unit 131 is realized, for example, by an operator displayed on a screen operated by the operator and provided for each product. For example, the operator may be displayed as a preset key G221 (see FIG. 5, etc.) on which product information is displayed, as described later. This allows the operator to easily grasp the product and designate the product with a simple operation even if multiple product candidates are extracted.
  • the specification receiving unit 131 receives a specification of a product for which a label is to be issued from the product candidates extracted by the extraction unit 125 .
  • the designation receiving unit 131 receives designation of a product for which a learning image is to be registered from the product candidates extracted by the extraction unit 125. If a learning image has not yet been associated with the designated product, a new registration is performed, whereas if a learning image has already been associated with the designated product, an additional registration is performed.
  • the designation receiving unit 131 receives a designation of a product for which the setting of a product to be sold or a product not to be sold is switched from the product candidates extracted by the extraction unit 125.
  • the setting of the product may be switched to a product to be sold or a product not to be sold in response to the reception of an operation to designate the product.
  • the designation receiving unit 131 receives designation of products to be grouped from the product candidates extracted by the extraction unit 125. Note that in the fourth operation mode, a plurality of products may be designated from the product candidates, and an operation requesting registration may be executed to request registration of the group. In this case, until the operation requesting registration is executed, the product may be selected or deselected according to the designation of the product. Also, the operation requesting registration may be performed in various ways, such as by pressing a button separately provided on the screen or a completion key of a mechanical key.
  • the designation when products are grouped, when accepting the designation of the target for registering a learning image from among the candidate products, the designation may be accepted based on the product code of the product, or a specific product from the grouped products may be displayed as a representative product and the designation may be accepted.
  • the specific representative product may be, for example, the product with the lowest product code number when grouped, or the product first selected when grouped, and is not limited thereto.
  • the specific representative product may be the above-mentioned one.
  • the display control unit 132 is a functional unit that displays various information, such as information about the products extracted by the extraction unit 125, on the display touch panel 104.
  • the display control unit 132 displays an operator representing each product extracted as a candidate for a product corresponding to the product image captured by the imaging unit 111 on a specification screen described later.
  • the operator is used to receive a specification from the user for each extracted product and to set a sales target by the setting unit 126, and is displayed, for example, as a preset key G221 (see FIG. 5, etc.) on which product information is displayed.
  • the display control unit 132 displays the controls of multiple products extracted by the extraction unit 125 as candidates for the captured product on the selection screen
  • the product candidates displayed as the controls may be displayed, for example, in the order of product numbers stored in the product file 121.
  • the product candidates may also be displayed in the order of similarity calculated by the extraction unit 125.
  • a predetermined number of product candidates with high similarity may also be displayed in the order of product numbers.
  • Product candidates with high similarity may be displayed in a different manner from other product candidates. This can guide the selection of a product with high similarity, and even if the accuracy of the extraction by the extraction unit 125 decreases, the product can be selected without performing special operations.
  • the order does not have to be determined strictly by similarity. For example, product candidates with a similarity of 90% or more may be displayed without distinguishing between different display modes as product candidates with the same similarity. Furthermore, if the extraction unit 125 extracts only products with a similarity of less than 90% and 70% or more, the operators for all extracted products may be displayed without narrowing down the candidates in order of similarity. This increases the probability that at least one of the operators displayed on the specified screen is appropriate, and eliminates the need to request the operator to specify a product using other special operations.
  • the product controls may not be displayed, and instead a screen to call a store clerk or a message requesting that a different item of the same product be placed may be displayed. This is because there is a risk that a product that is not on display may have been placed on the weighing unit 109, or there may be a malfunction in the object scanning function, such as dirt adhering to the lens of the imaging unit 111 or a malfunction in the imaging unit, and therefore inspection is required before continued use.
  • the display control unit 132 may display a product search screen. From the search screen, products registered in the product file 121 can be searched for, for example, by product name, product number, department, or classification. Product names and product numbers may be searched for by either exact match or partial match. The operator can specify any product from the search results. Furthermore, if the extraction unit 125 is unable to extract any product candidates, all products may be displayed on the specification screen to accept product specification.
  • the display control unit 132 may display the controls for all products by any classification, such as department.
  • the classification may be by color, or by type, such as fruits and vegetables.
  • the display of the controls corresponding to each classification may be performed by a display area or display page that can be switched by selecting a tab.
  • the image of the product obtained by the object scan may be registered as a learning image in the product file 121. Whether or not such a setting is performed may be determined at the time of setup as an optional process.
  • FIG. 4 shows a screen G10 (standby screen) in the first operation mode when no product has been placed on the weighing unit 109 and weighing and pricing is ready to be performed.
  • the words "Place the product in the center of the scale and start” are displayed along with an illustration showing this, thereby urging the operator to place the product on the weighing section 109.
  • a product information display area G21 is provided at the top of the screen G10.
  • the product information display area G21 displays the product's tare weight, weight (or number of pieces), unit price, and price.
  • the column displaying the weight reflects the weighing value measured by the weighing unit 109. To display the number of pieces, the number can be calculated from the weight and unit weight.
  • the tare weight and unit price are read from the product file 121 when product candidates are extracted by the extraction unit 125 and the operator specifies a product.
  • the price is calculated and displayed by the calculation unit 129 based on the tare weight, weight (or number of pieces), and unit price. In the illustrated example, all values are zero because no product has been placed on the weighing unit 109.
  • FIG. 5 shows a screen G11 in which a product is placed on the weighing unit 109 and product candidates extracted by the extraction unit 125 are displayed in the first operation mode.
  • the screen G11 is provided with a preset key display area G22, tabs G23, a character input area G24, a virtual keyboard G25, a numeric input area G26, and a numeric keypad G27.
  • the weight of the product placed on the weighing unit 109 is displayed as the weight.
  • a preset key G221 which is an operator for accepting product specification, is displayed in a pressable manner for each product candidate extracted by the extraction unit 125 in response to the product image captured by the imaging unit 111.
  • the specification of the product for which a label is to be issued is accepted in response to pressing this preset key G221.
  • the extraction unit 125 extracts only products that are set as sales products. Therefore, in the preset key display area G22, only preset keys G221 corresponding to products that are set as sales products are displayed, and those corresponding to products that are set as non-sale products are not displayed. In addition, if the products extracted by the extraction unit 125 include products that are grouped, other products that are grouped may also be extracted, and the preset keys G221 of the other extracted products may be displayed in the preset key display area G22. However, even in this case, it is preferable not to display products that are set as non-sale products.
  • the preset keys G221 may be displayed in a display mode that allows the similarities to be distinguished. For example, when there is one product with a similarity of 90% or more and two products with a similarity of less than 90%, the product with a similarity of 90% or more may be displayed in a different mode from the other products to guide the operator's selection. On the other hand, when there are two or more products with a similarity of 90% or more, the display mode may not be changed. When there are only products with a similarity of less than 90% as candidates, the display mode of the preset keys G221 may be similarly left unchanged, or all preset keys G221 may be displayed without narrowing down the candidates by similarity.
  • the display (arrangement) of the preset keys G221 may be in ascending or descending order of the product code, etc., or in order of similarity.
  • the display columns of the preset keys G221 for that product and other products may be in two rows. That is, when there is one product with a similarity of 90% or more, the preset keys G221 for that product may be displayed in the first row and the others may be displayed in the second row, or may be displayed with an interval of one preset key G221.
  • the operator may be notified to place a different individual of the same product on the weighing unit 109, or the use may be stopped, or a store clerk may be called.
  • the notification may be made in various ways, such as displaying a message on the screen, illuminating a sign light, or outputting a sound or buzzer.
  • the illustrated preset key G221 displays the name of the product, but other product information registered in the product file 121, such as the unit price, may also be displayed as appropriate.
  • a button or operation for moving to a screen for editing product information may also be associated with the preset key G221 so that the product information displayed on the preset key G221 can be edited. In this case, it is preferable to return to the original product designation screen when editing of the product information is completed.
  • buttons and operations may also be provided in other operation modes.
  • the tab G23 includes a tab G231 for accepting an operation mode switching operation, and a tab G232 for allowing a classification of each product to be specified.
  • the tab G231 accepts switching of the operation mode, but the switching operation is not enabled when weighing and pricing products, and is enabled when, for example, a store clerk or the like performs authorization authentication as described below.
  • the switching operation is enabled, the operation mode can be switched from the first operation mode to another operation mode, such as the third operation mode, by pressing the tab G231.
  • the preset keys G221 of the products classified in the specific tab G232 are displayed in the preset key display area G22, or the preset keys G221 displayed in the preset key display area G22 are narrowed down to those related to the products classified in the specific tab G232. Note that, in the figure, only one tab G232 is provided that can specify the classification for each product, but multiple tabs may be provided depending on the classification.
  • the character input area G24 is an area for inputting product information characters using a virtual keyboard G25 that displays the Japanese syllabary.
  • a search process or a narrowing down process is executed by referring to the product file 121, and a preset key G221 corresponding to the entered product name is displayed in the preset key display area G22, or the preset keys G221 already displayed in the preset key display area G22 are narrowed down to those corresponding to the product name.
  • the character input area G24 may be configured to allow the color of the product to be input as the product information. For example, by inputting "green" in the character input area G24, the preset key G221 of the product associated with the color green is displayed in the preset key display area G22.
  • the numeric input area G26 is an area for inputting numeric values relating to product information, such as a product code, from the numeric keypad G27.
  • product information such as a product code
  • a preset key G221 corresponding to the input product code is displayed in the preset key display area G22, or the preset keys G221 already displayed in the preset key display area G22 are narrowed down to those corresponding to the product code.
  • the character input area G24 and the virtual keyboard G25, and the numeric input area G26 and the numeric keypad G27 all constitute a search means for searching for a specific product, and a filtering means for narrowing down the search results to products that meet specific conditions. This makes it possible to call up products that are not displayed as preset keys G221 in the preset key display area G22.
  • the screen transitions to a label issuance confirmation screen for confirming the contents and issuing a label.
  • the label issuance confirmation screen for example, the tare weight, weight, unit price, and price of the product are specifically displayed in the product information display area G21 provided in the same manner as the screen G11.
  • the printing control unit 130 controls the printing unit 110 to print the label, and the label is issued.
  • the operator may perform an operation such as pressing a cancel button or a button for returning to the screen for specifying the product.
  • the issuance of the label may be canceled by removing the product from the weighing unit 109.
  • information on the specified product may be transmitted to an external device as registration data.
  • the change detection unit 123 detects a change in the weight measured by the weighing unit 109 at a stage before the designation of the preset key G221 is accepted, the product extraction process and, depending on the settings and circumstances, the process may be executed again from the image capture, and the product candidates may be redisplayed and updated.
  • the preset key G221 is designated at a timing before the product candidates are redisplayed in this way, it may be treated as if a product was designated from the product candidates extracted by the process executed before the reprocessing.
  • ⁇ Screen example (second operation mode)> 6 shows a screen G12 when an image of a captured product is registered as a learning image in the second operation mode.
  • This screen G12 is an example of a screen that is displayed when a product is placed on the weighing unit 109 and object-scanned in a situation where the learning image has been registered to the extent that it can be object-scanned.
  • the screen G12 displays "Validation Mode" (the system name corresponding to the second operation mode), so that the operator can understand that the operation mode is the second operation mode.
  • the fact that the operation mode is different from the other operation modes may be recognized by the background color, the display mode of the preset key G221, or other character strings.
  • the operator can perform the operation with a feeling of operation that is roughly the same as that of the first operation mode.
  • the designation of the product to which the learning image is to be added is accepted in response to pressing of the preset key G221 displayed in the preset key display area G22.
  • the learning image is associated with the designated product and registered in the product file 121.
  • the products extracted by the extraction unit 125 include a group setting
  • only the preset key G221 of a representative product among the products set in the group may be displayed in the preset key display area G22. Even if only the preset key G221 of the representative product is displayed in this manner, when the designation of the preset key G221 of one product is accepted, the learning image is also associated with the other grouped products, so that even a group of products that are indistinguishable from one another in appearance can be collectively associated with the learning image.
  • the preset keys G221 displayed in the preset key display area G22 in the second operation mode are not limited to those whose corresponding products are set as sale products, but also include those whose corresponding products are set as non-sale products.
  • the preset keys G221 displayed in the preset key display area G22 may be displayed in order of product similarity or ascending or descending order of product code, as in the case of the first operation mode described above.
  • pressing tab G231 switches the operation mode from the second operation mode to the first operation mode, and an image is displayed on tab G231 that enables the user to recognize that the operation mode is being switched.
  • the screen may display, for example, preset keys G221 of all products registered in the product file 121.
  • the operator designates the preset key G221 of a product for which the captured product image is to be registered as a learning image.
  • the captured product image is associated with the product designated as the learning image and registered in the product file 121.
  • the screen displaying the preset keys G221 of all the products registered in the product file 121 may be configured with multiple pages that can be switched between tabs, and in this case, the operator can view products classified into a predetermined type by switching between tabs and specify a desired product from among them. Also, it may be possible to narrow down the products by searching for a product name, or by selecting a department or classification (category). Also, instead of displaying the preset keys G221 of all the products registered in the product file 121 on the screen, product candidates may be displayed as preset keys G221 in response to a search such as a product name search.
  • the imaging unit 111 captures an image of a product and the extraction unit 125 extracts product candidates
  • all products registered in the product file 121 may be displayed as preset keys G221.
  • a specific preset key G221 is designated, a learning image is associated with the corresponding product and registered in the product file 121.
  • the preset key display area G22 may be configured to narrow down the products by switching tabs, etc., and the tabs may be switched depending on whether or not a learning image is registered, in addition to the department and classification (category). This allows a learning image to be registered by specifying a product, regardless of whether a learning image has been registered or not.
  • the screen When a specific preset key G221 is selected from the preset key display area G22 in this second operation mode, the screen does not transition to the label issuance confirmation screen as in the first operation mode, but instead informs the user that the learning image has been registered.
  • the notice may be a message displayed on the screen indicating that the learning image has been registered, or may be output by voice. It may also be sent to another higher-level terminal such as the store controller 2.
  • the screen After the notice has been displayed for a specified period of time, or after an operation such as pressing a button to accept the notice, the screen returns to the screen waiting for a product to be placed on the weighing unit 109 so that the learning image can be registered.
  • FIG. 7 shows a screen G13 for setting a product as a sales target in the third operation mode.
  • "Status Mode" the system name corresponding to the third operation mode
  • the fact that the operation mode is different from the other operation modes may be indicated by the background color or the display mode of the preset key G221.
  • the preset key G221 displayed in the preset key display area G22 is pressed to accept the designation of a product, and the sales target setting of the product is switched. That is, in the third operation mode, the preset key G221 also serves as an operator for setting the sales target by the setting unit 126, and each time the preset key G221 is pressed, the designated product is set as a sales target product or a non-sale target product, and the setting is registered in the product file 121.
  • the display mode of the preset key G221 may differ depending on whether the corresponding product is set as a product for sale or a product not for sale. That is, in the illustrated example, the preset key G221-1 indicating "kiwi", which is set as a product for sale, is displayed in blue, and the preset key G221-2 indicating "lemon”, which is set as a product not for sale, is displayed in yellow. Then, when the preset key G221 is pressed, a change in the sales target setting is registered in response to the press, and the color of the preset key G221 also changes to the corresponding color.
  • this color scheme is just one example, and any color scheme may be used as long as it allows for a distinction between for-sale and non-sale items. Furthermore, it is not limited to distinction by color, and various forms can be adopted as long as it allows for a distinction between for-sale and non-sale items, for example, one may be made to blink, or a design or wording that allows a distinction between the two may be added to either or both of them. Furthermore, for-sale and non-sale items may be displayed in groups, which makes it easy to understand when there are many product candidates.
  • the display mode of the preset key G221 displayed in the third operation mode may also be different from that of the preset key G221 displayed in the first operation mode.
  • the preset key G221 of a product set as a product for sale is displayed in blue
  • the preset key G221 of a product not set as a product for sale is displayed in yellow
  • the preset key G221 displayed in the first operation mode is displayed in white. This makes it easy to understand in which operation mode the operation is being performed.
  • all preset keys G221 of the extracted products are displayed regardless of whether the products corresponding to the preset keys G221 are grouped, and even grouped products can be individually set. In addition, if group settings are made for the extracted products, all preset keys G221 of the grouped products may be displayed in the preset key display area G22.
  • the third operation mode may be switched in response to an arbitrary operation by an operator such as a store clerk during the execution of the first operation mode.
  • an operator such as a store clerk during the execution of the first operation mode.
  • the preset key G221 if a preset key G221 of a specific commodity that should be a commodity not for sale is displayed, the first operation mode is temporarily put on hold and the operation mode is switched to the third operation mode.
  • the preset key display area G22 of the third operation mode to which the operation mode is switched the preset key G221 displayed in the first operation mode is displayed in a manner that makes it possible to distinguish whether the preset key G221 is set as a commodity for sale or a commodity not for sale.
  • the operator can change the setting of the specific commodity from a commodity for sale to a commodity not for sale and return to the first operation mode.
  • the preset key G221 of the specific commodity that was previously displayed as a commodity for sale is hidden.
  • this does not prevent the third operation mode from being executed separately from the execution of the first operation mode, and the third operation mode can be executed, for example, by selecting the third operation mode from a menu screen independent of each operation mode.
  • pressing the tab G231 switches the operation mode from the third operation mode to the first operation mode, and an image is displayed on the tab G231 that enables the user to recognize that the operation mode is being switched.
  • the target product for which the sales target is to be set can be specified from the candidate products extracted by object scanning, so the number of steps can be reduced compared to searching for the target product by product number from the list of products registered in the product file 121 and setting the sales target.
  • the sales target can be set with an operation feeling similar to that of registering learning images in the second operation mode described above, the operator can easily become accustomed to the operation.
  • the store clerk needs to check whether the object scan is performed correctly after the product is displayed.
  • the check can be performed by checking whether the correct product candidate is displayed as a preset key G221 on the screen G11 by object scanning when the product is placed on the weighing unit 109 in the first operation mode. If several other items of the same type are placed on the weighing unit 109 and suitable product candidates are extracted as expected, preparation is complete. On the other hand, if suitable product candidates are not extracted, it is necessary to check the sales target setting of the product. At this time, it is convenient for an operator such as a store clerk to perform authority authentication from the screen G11 where weighing and pricing are performed and transition to the third operation mode.
  • the authority may be authenticated by scanning the barcode of the store clerk with the imaging unit 111, for example, or by entering a password, and is not particularly limited.
  • transition to the third operation mode may be triggered not only by pressing the tab G231 described above, but also by authority authentication performed during the first operation mode.
  • the operator transitions to the third operation mode, as described above, he or she can check the sales target setting for each product candidate on screen G13, indicating whether the product is for sale or not, and can also switch the sales target setting.
  • FIG. 8 shows a screen G14 for grouping products in the fourth operation mode.
  • “Grouping Mode” the system name corresponding to the fourth operation mode
  • the operation mode is the fourth operation mode.
  • the grouping unit 128 groups the designated multiple products and registers the group setting in the product file 121.
  • the group setting is validly accepted as long as there are two or more.
  • products can be selected and deselected according to the designation of the preset keys G221.
  • the operation to request registration can be performed in various ways, such as pressing a button provided separately on the screen or a completion key on a mechanical key.
  • the flow of processing executed by the weighing device 1 will be described for each operation mode.
  • the weighing device 1 When the weighing device 1 is powered on, it displays a menu screen from which an operation mode can be selected. When a specific operation mode is selected from the menu screen, a standby screen for that operation mode is displayed. From the standby screen for each operation mode, it may be possible to return to the menu screen by performing a specific operation. However, it may also be possible to provide a switching means such as an operation mode switching button on the screen for each operation mode, and to transition from a specific operation mode to another operation mode in response to the operation of the switching means.
  • a switching means such as an operation mode switching button on the screen for each operation mode, and to transition from a specific operation mode to another operation mode in response to the operation of the switching means.
  • FIG. 9 shows the process flow in the first operation mode.
  • a change in weight on the weighing unit 109 is detected by the change detection unit 123 (S101), and the above-mentioned screen G11 is displayed.
  • the weighing control unit 122 constantly executes weighing by the weighing unit 109, and the weighed value is displayed on screen G11. Also, in the subsequent processing, when the product is removed from the weighing unit 109 and the weight becomes zero, the screen returns to the standby screen G10.
  • the imaging unit 111 captures an image of the commodity placed on the weighing unit 109 in response to a change in weight (S102).
  • the extraction unit 125 extracts product candidates corresponding to the imaged product from the product file 121 (S104). The extraction process will be described in detail later.
  • the display control unit 132 displays the extracted product candidates as operators (preset keys G221) on the screen (S105).
  • the calculation unit 129 calculates a price according to the product weight (or the number calculated from the unit weight) (S107), and the price is displayed on the screen.
  • the printing control unit 130 controls the printing unit 110 to print the label (S109).
  • FIG. 10 shows a detailed flow of the extraction process in S104 described above.
  • the extraction unit 125 attempts to extract candidate products from the products set as the products to be sold, based on the product image captured by the imaging unit 111, and by referring to the product file 121 (S111).
  • the similarity between the product image and the registered learning image is calculated.
  • the product is extracted as a candidate (S112).
  • the extraction unit 125 attempts to extract a candidate product from the products set as not eligible for sale (S113). As a result, if a candidate product corresponding to the imaged product can be extracted from the products set as not eligible for sale, the extraction unit 125 extracts the product as a candidate (S112).
  • error processing is executed (S114).
  • error processing for example, a store clerk call screen is displayed to prompt the store clerk to call, or a guide is displayed requesting the user to place a different item of the same product.
  • the store clerk may call the corresponding product by searching for a product number, or when the product is placed on the weighing unit 109 again in response to the guide requesting the user to place a different item of the same product, the above-mentioned series of processes from S101 are executed again.
  • a preset key may be displayed together with a message such as "Please select from the preset keys" to prompt the user to specify a product.
  • the label is printed with a barcode and product code that encodes payment information including, for example, the product name, price, content volume corresponding to the weight, unit price, store name, price, etc., and the customer can make payment based on the information printed on the label.
  • a product when a product is extracted from the products set as non-sale products in S113, the fact may be displayed on the screen, the display mode of the preset key G221 may be changed, or the product may not be displayed on the screen as a preset key G221, but may be displayed as a mark that only a store clerk can understand.
  • audio output, lighting or blinking of a sign lamp, notification to another terminal, etc. may be output.
  • a candidate product cannot be extracted from the products for sale, an attempt is made to extract a candidate product from products not eligible for sale.
  • an error process may be performed without attempting to extract a candidate product from products not eligible for sale.
  • a product set as a product not eligible for sale can be extracted, the fact may be notified by a mark displayed on the screen in a manner that only the store clerk can understand.
  • the manner of notification may be the same as that described above, or may be other manners.
  • the error processing step of S114 it is possible that in extracting candidate products corresponding to the captured image, there is a product associated with a learning image that is at least a certain level of similarity, but the similarity is not sufficient to display it as a candidate, or no candidates could be extracted from the products associated with the learning image. Therefore, the situation may be notified to store clerks, etc. in a manner that allows them to recognize each situation, such as by displaying a message or mark. In this way, when it is determined that a learning image has not been registered, the corresponding product can be called up immediately by searching for the product number, etc., without having to try to understand the product's status from a maintenance screen, etc.
  • step S104 may be performed simultaneously with step S103 or before the weight stabilizes. However, if step S104 is performed after the conditions of step S103 are satisfied, the product's posture stabilizes and the similarity can be calculated in a stationary state, ensuring higher identification accuracy.
  • FIG. 11 shows the process flow in the second operation mode.
  • the change detection unit 123 detects a change in weight on the weighing unit 109 (S201), and the above-mentioned screen G12 is displayed.
  • the imaging unit 111 captures an image of the product placed on the weighing unit 109 in response to the weight change (S202)
  • the weighing unit 109 waits for the weight to stabilize (S203).
  • the weighing control unit 122 constantly weighs the product using the weighing unit 109, and the weighed value is displayed on the screen G12. Also, when the product is removed from the weighing unit 109 and the weight becomes zero, the screen returns to the standby screen.
  • the extraction unit 125 attempts to extract a candidate product to which a learning image is to be added by referring to the product file 121 based on the captured product image (S204). As a result, if a product is identified that is associated with a learning image that matches the captured product image at a similarity level equal to or higher than a predetermined similarity level, the identified product is extracted as a candidate product to which a learning image is to be added (S205).
  • the extraction unit 125 may attempt to extract product candidates from both products set as products eligible for sale and products set as products not eligible for sale.
  • the display control unit 132 displays the extracted product candidates as operators (preset keys G221) on the screen (S207).
  • the registration unit 127 acquires the captured image of the product as a learning image and registers it in the product file 121 in association with the designated product (S209).
  • FIG. 12 shows a process flow in the third operation mode.
  • a flow of processing performed by switching the operation mode to the third operation mode while the first operation mode is being executed will be described.
  • a switch in the operation mode is accepted in a state in which product candidates are displayed as preset keys G221 in step S105 (S301)
  • a sales target setting for the product is read from the product file 121 (S302)
  • the sales target setting is reflected in the display mode of the preset keys G221 (S303).
  • the operator checks the sales target setting of the product from the display mode of the preset key G221, and when the operator determines that the product requires a change in setting, he/she requests a change in the designated sales target setting of the product using the preset key G221 (S304).
  • the setting unit 126 changes the sales target setting of the designated product and registers it in the product file 121 (S305).
  • the setting is reflected in the display mode of the preset key G221 of the target product (S306).
  • the operation mode switches to the first operation mode, and the label is printed via steps S106 and onward.
  • the sales target setting is performed for each product by switching from the first operation mode to the third operation mode.
  • an image of the product may be captured from a predetermined standby screen of the third operation mode to display a preset key G221 for the product, and the sales target setting may be switched for each preset key G221.
  • the operation mode is switched from a state in which the preset key G221 is displayed in the first operation mode to the third operation mode
  • FIG. 13 shows a process flow in the fourth operation mode.
  • a product is read from the product file 121 and the preset key G221 is displayed on the screen (S401).
  • the product displayed as the preset key G221 may be, for example, one extracted by a product number search or the like, or may be one extracted from all the products registered in the product file 121.
  • the designation reception unit 131 accepts this (S402).
  • the grouping unit 128 groups the designated multiple products and sets the group in the product file 121 (S404).
  • the weighing device 1 allows easy sales target setting for products extracted by object scanning.
  • the extracted products are displayed as specifiable preset keys G221, allowing settings to be easily updated by touching (pressing) the keys, and the settings are conveniently displayed in a manner that is easy to understand at a glance.
  • object scanning also extracts products similar to the captured product, which is useful because it allows sales target settings for similar products to be updated at the same time.
  • settings can be made with the same operational feel as normal transactions, and there is no need to go through the trouble of selecting target or non-target products from a product list.
  • learning images can be registered and products can be set by general-purpose and simple operations for any product registered in the product file 121.
  • the order is not to specify the product number, then photograph the product and input the image, but to photograph the product and then specify the product number (product), it is possible to register learning images consecutively without switching product numbers.
  • a learning image is generated by the imaging unit 111 simply by placing the product on the weighing unit 109, and for products for which learning images have already been registered, candidate products for which learning images are to be registered are automatically extracted by object scanning, eliminating the need to go through the trouble of specifying the products for which learning images are to be registered.
  • the operation screen is not a special one, but can be operated while imagining a normal operation screen.
  • learning images for products having similar appearances can be registered together, which is convenient.
  • sales target settings can be easily made for products extracted by object scanning.
  • the extracted products are displayed as specifiable preset keys G221, and settings can be easily updated by touching (pressing) the keys, and the settings are displayed in a manner that is easy to understand at a glance, which is convenient.
  • object scanning also extracts products similar to the captured product, which is useful because it allows the sales target settings for similar products to be updated at the same time.
  • settings can be made with the same operational feel as normal transactions, and there is no need to go through the trouble of selecting target or non-target products from a product list.
  • the POS terminal 3 performs processes such as product extraction by object scanning, product registration as a product to be purchased, and product settlement for registered products.
  • the POS terminal 3 can be of any type, including a normal POS terminal where a store clerk performs the process from product registration to settlement, a full-self-service POS terminal where the customer registers the product and settles the payment, and a semi-self-service POS terminal where the store clerk registers the product at a registration machine and the customer settles the payment at a settlement machine, and each POS terminal has the functional units that are known to be included in POS terminals.
  • the POS terminal 3 has a display/operation unit for displaying various information and performing operations, a reading unit for reading various codes to obtain information, a settlement unit for settlement with various payment media and cash, and a communication unit for enabling data communication with the store controller 2, etc.
  • the POS terminal 3 may not only register learning images, but also display multiple product candidates from captured product images as preset keys G221 and accept selections as described above when registering products. Also, the POS terminal 3 may be able to set sales targets in the same manner as described above.
  • learning images of products sold to customers are registered, but the object of object scanning or the object for registering learning images may be other than such products.
  • containers used for bulk sales may be the object. That is, in bulk sales, containers of multiple sizes are used when selling products such as prepared foods and fruits, and the multiple sizes of containers may be provided to customers by the store at different prices for each size.
  • each container has a different tare weight depending on the size. In this case, it would be convenient if the container could be object scanned when putting a product into the container, and the price of the container could be reflected in the settlement amount or the tare weight of the container could be subtracted from the measured value.
  • the present invention can be configured as a computer program or a method invention depending on the viewpoint of the present invention.
  • the computer program can be provided by being stored in various data-readable recording media, or can be provided by being downloadable via a network such as the Internet.
  • the information processing device of the present invention can be configured as a POS terminal or a display device, but in addition, any device that performs at least image processing, regardless of its name, etc., can constitute an information processing device of the present invention.
  • these software resources can be distributed or consolidated into any of the hardware resources through appropriate design, and the hardware resources can also be configured as physically integrated devices or separate devices.
  • the weighing device 1 can be configured as an information processing system including a cloud server 4 positioned as a higher-level device of the weighing device 1.
  • the weighing device 1 includes at least a display touch panel 104, a weighing unit 109, an image capturing unit 111, a weighing control unit 122, an image capturing control unit 124, and a display control unit 132.
  • the cloud server 4 also includes an extraction unit 125 that extracts product candidates according to the image of the product captured by the image capturing unit 111.
  • the weighing device 1 and the cloud server 4 transmit and receive information required by each other via a network.
  • the weighing device 1 transmits to the cloud server 4 an image of the product, information specifying a product to register a learning image from among the product candidates, and the like, and the cloud server 4 transmits to the weighing device 1 information related to the product candidates extracted based on the image of the product.
  • the weighing device 1 transmits to the cloud server 4 images of the products and information related to the sales target setting operation performed by the operator, and the cloud server 4 transmits to the weighing device 1 information related to candidate products extracted based on the images of the products.
  • An information processing device comprises an imaging means for imaging an object, an extraction means for extracting an object corresponding to the object imaged by the imaging means from a specified storage means based on a similarity using a learning image as a reference image, a designation acceptance means for accepting designation of a specified object from one or more objects extracted by the extraction means, and an acquisition means for acquiring an image of the specified object designated by the designation acceptance means and the object imaged by the imaging means as the learning image. If there is no learning image of the object imaged by the imaging means or the extraction means cannot extract an object based on the learning image, the designation acceptance means accepts designation from all objects registered in the specified storage means, and if an object is extracted by the extraction means based on the image of the object imaged by the imaging means, it accepts designation from the extracted object.
  • the device may also include a setting means for setting whether an item extracted by the extraction means based on a learning image of the item captured by the imaging means is to be a target or not to be extracted by the extraction means in an operation mode for executing a transaction.
  • the device may be provided with a switching means for switching between a first mode and a second mode, and the specification receiving means may function by the switching means to receive an instruction in the first mode to have the image of the item captured by the imaging means acquired as the learning image by the acquisition means, and to receive a setting in the second mode as to whether the item is to be a target or not to be extracted by the extraction means in the operation of executing the transaction.
  • the present invention relates to an information processing device, an information processing system, and a computer program.
  • a technology known as object scanning is known that identifies an object by comparing an image of the object captured with a learning image that serves as a reference image for image recognition.
  • JP 2017-162217 A discloses an item identification device that includes a tray on which items are placed, a backlight source that illuminates the bottom side of the tray with backlight light, a digital camera that captures the items on the tray, and an identification computer that recognizes the image from the digital camera and identifies the items.
  • This item identification device cuts out the items on the tray from a difference image between an image when the backlight source is on and an image when the backlight source is off.
  • Image learning for object scanning required capturing an image of each target product, specifying the product each time and registering the image, which was extremely tedious.
  • one of the objectives of the present invention is to provide a device that can easily register learning images to be used in object scanning.
  • an information processing device includes an imaging means for imaging a product, an extraction means for extracting candidate products for which a learning image is to be added based on the image of the product imaged by the imaging means and by referring to a product information storage means for storing product information, a designation receiving means for receiving designation of a product for which the learning image is to be additionally registered from the candidate products extracted by the extraction means, and a registration means for registering the image of the product imaged by the imaging means as the learning image in the product information storage means in association with the product designated by the designation receiving means.
  • the extraction means When the extraction means is unable to extract a candidate product to which the learning image is to be added based on the image of the product captured by the imaging means, the extraction means may extract a product to which the learning image is not associated as a candidate product to which the learning image is to be newly registered, and the designation receiving means may receive a designation of a product to which the learning image is to be newly registered from the candidate products extracted by the extraction means.
  • the extraction means may include a display means for displaying, in the case where a candidate product to which the learning image is to be added cannot be extracted based on the image of the product captured by the imaging means, a selectable product stored in the product information storage means as a candidate product for which the learning image is to be newly registered, and the designation receiving means may receive a designation of a product for which the learning image is to be newly registered from the candidate products displayed by the display means.
  • the extraction means may extract candidates for products to which the learning image is to be added based on the image of the product captured by the imaging means when the weight of the product measured by the weighing means is within the transaction weighing range, by referring to a product information storage means that stores product information.
  • the system may further include a grouping means for grouping specified products, and when the product designated by the designation acceptance means is one of the products grouped by the grouping means, the registration means may register an image captured by the imaging means as the learning image in the product information storage means in association with all products grouped with the product designated by the designation acceptance means.
  • An information processing system is configured such that an information processing device and a higher-level management device can communicate with each other via a network.
  • the information processing device includes an imaging means for imaging a product, and a designation receiving means for receiving designation of a product for which a learning image is to be added from among candidates for a product for which the image of the product imaged by the imaging means is to be added as a learning image.
  • the management device includes a product information storage means for storing product information, an extraction means for extracting candidates for a product for which the learning image is to be added by referring to the product information storage means based on the image of the product imaged by the imaging means, and a registration means for registering the image of the product imaged by the imaging means as the learning image in the product information storage means in association with the product specified by the designation receiving means.
  • a computer program causes a computer to execute an imaging process for imaging a product, an extraction process for extracting candidate products to which the learning image is to be added by referring to a product information storage means that stores product information based on the image of the product imaged by the imaging process, a designation acceptance process for accepting designation of a product to which the learning image is to be added from the candidate products extracted by the extraction process, and a registration process for registering the image of the product imaged by the imaging process as the learning image in the product information storage means in association with the product specified in the designation acceptance process.
  • a computer program in a system in which an information processing device and a higher-level management device are configured to be able to communicate with each other via a network, causes the information processing device to execute an imaging process for imaging a product, and a designation acceptance process for accepting, from among candidates for products to which the image of the product imaged by the imaging process is to be added as a learning image, a designation of a product for which the learning image is to be added and registered, and causes the management device to execute an extraction process for extracting candidates for products to which the learning image is to be added by referring to a product information storage means that stores product information based on the image of the product imaged by the imaging process, and a registration process for registering the image of the product imaged by the imaging process as the learning image in the product information storage means in association with the product specified in the designation acceptance process.
  • the item identification device according to the embodiment of the present invention described above makes it easy to register learning images to be used for object scanning.
  • Japanese Patent No. 7125179 discloses a product recognition device that includes a storage unit that pre-stores an image database in which at least learning image information and product names are associated with each other for a plurality of products, a learning unit that performs machine learning using the learning image information and the product names stored in the image database to generate a trained identification engine, and an identification unit that uses the identification engine to identify the product name of a target product based on the image information of the target product.
  • one of the objectives of the present invention is to provide a device that can easily set product sales targets.
  • the information processing device comprises an imaging means for imaging a product, an extraction means for extracting product candidates corresponding to the product image captured by the imaging means in a predetermined operation mode in which an operation for purchasing the product is performed, based on the product image captured by the imaging means, by referring to a product information storage means for storing product information, and a setting means for setting the product extracted by the extraction means in the predetermined operation mode as a product for sale or a product not for sale.
  • the system may further include a display control means for displaying an operator for setting by the setting means for each product extracted by the extraction means as a candidate product, and the display control means may vary the display mode of the operator depending on whether the product is set as a product for sale or a product not for sale.
  • the system may have a predetermined operation mode and a product information maintenance mode, and the extraction means may extract product candidates from products set as the products to be sold in the predetermined operation mode, and may extract product candidates from products set as the products to be sold and products set as products not to be sold in the maintenance mode.
  • the extraction means may, in the specified operation mode, when it is not possible to extract a candidate product from the products set as the products for sale, extract a candidate product from the products set as the products not for sale and output a message to that effect.
  • the extraction means may refer to the product information storage means, use a learning image associated with the product as a reference image, and extract candidate products corresponding to the image of the product captured by the imaging means, and may exclude from the extraction targets products that are not associated with the learning image, among the products for sale and the products not for sale.
  • An information processing system is configured such that an information processing device and a higher-level management device can communicate with each other via a network
  • the information processing device includes an imaging means for imaging a commodity
  • the management device includes a product information storage means for storing product information, an extraction means for extracting candidate products corresponding to the image of the commodity captured by the imaging means by referring to the product information storage means based on the image of the commodity captured by the imaging means in a predetermined operation mode in which an operation for purchasing the commodity is performed, and a setting means for setting the commodity extracted by the extraction means in the predetermined operation mode as a product for sale or a product not for sale.
  • a computer program causes a computer to execute an imaging process for imaging a product, an extraction process for extracting product candidates corresponding to the product image captured by the imaging process in a predetermined operation mode in which an operation for purchasing the product is performed, by referring to a product information storage means that stores product information based on the product image captured by the imaging process, and a setting process for setting the product extracted by the extraction process in the predetermined operation mode as a product for sale or a product not for sale.
  • a computer program in a system in which an information processing device and a higher-level management device are configured to be able to communicate with each other via a network, causes the information processing device to execute an imaging process for imaging a product, and causes the management device to execute, in a predetermined operation mode in which an operation is performed to purchase the product, an extraction process for extracting product candidates corresponding to the product image captured by the imaging process by referring to a product information storage means that stores product information based on the product image captured by the imaging process, and a setting process for setting the product extracted by the extraction process in the predetermined operation mode as a product for sale or a product not for sale.
  • the item identification device makes it easy to set sales targets based on products extracted by object scanning.
  • Measuring device information processing device
  • 104 Display touch panel (display means)
  • 109 Measuring part (measuring means)
  • Printing unit 111: Imaging unit (imaging means) 121: Product file (product information storage means)
  • 129 Calculation unit 130: Printing control unit 131: Designation reception unit (designation reception means)
  • 132 Display control unit 2: Store controller 3: POS terminal 4: Cloud server
  • G21 Product information display area
  • G22 Preset key display area
  • G221 Preset key

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

商品を撮像する撮像手段と、前記撮像手段により撮像した商品の画像に基づき、商品情報を記憶する商品情報記憶手段を参照して、学習用画像を追加する商品の候補を抽出する抽出手段と、前記抽出手段により抽出された商品の候補から、前記学習用画像を追加登録する商品の指定を受け付ける指定受付手段と、前記撮像手段により撮像した商品の画像を前記学習用画像として、前記指定受付手段において指定された商品と関連付けて前記商品情報記憶手段に登録する登録手段と、を備える、情報処理装置。

Description

情報処理装置、情報処理システム、及びコンピュータプログラム
本発明は、情報処理装置、情報処理システム、及びコンピュータプログラムに関する。
物品を撮像して得られた物品の撮像画像と、画像認識の基準画像たる学習用画像とを照合して当該物品を特定する所謂オブジェクトスキャンの技術が知られている。
例えば、特許文献１には、物品を載置するトレイと、トレイの底面側からバックライト光を照明するバックライト光源と、トレイ上の物品を撮像するデジタルカメラと、デジタルカメラからの画像を画像認識し、物品を識別する識別コンピュータとを備える物品識別装置が開示されている。この物品識別装置は、前記バックライト光源がオンの際の画像とバックライト光源がオフの際の画像との差分画像から、トレイ上の物品を切り出す。
また、例えば、特許文献２には、複数の商品について、少なくとも学習用画像情報と商品名とが対応付けられた画像データベースを予め記憶する記憶部と、前記画像データベースに記憶されている前記学習用画像情報と前記商品名とを用いて機械学習を行って、学習済みの識別エンジンを生成する学習部と、前記識別エンジンを用いて、対象商品の画像情報に基づいて、当該対象商品の商品名を識別する識別部と、を備える商品認識装置が開示されている。
特開２０１７−１６２２１７号公報
特許第７１２５１７９号公報
この点、オブジェクトスキャンのための画像学習では、対象商品毎に物品を撮像し、都度物品を指定して画像を登録しており、非常に面倒であった。
また、スーパーマーケット等の店舗において、購入対象商品のオブジェクトスキャンを行う場合に、所定の記憶手段に登録している商品をすべてオブジェクトスキャンの対象にすると、現在販売していない商品まで抽出する可能性がある。そのため、所定の記憶手段から対象商品を検索し、販売対象とするか否かの設定を行う必要があった。しかしながら、対象商品をいちいち検索して設定を行うのは煩雑で面倒であった。
そこで本発明は、オブジェクトスキャンに用いる学習用画像を容易に登録できる装置を提供することを目的の一つとする。
また、本発明は、商品の販売対象設定を容易に行える装置を提供することを目的の一つとする。
上記目的を達成するため、本発明に係る情報処理装置は、商品を撮像する撮像手段と、前記撮像手段により撮像した商品の画像に基づき、商品情報を記憶する商品情報記憶手段を参照して、学習用画像を追加する商品の候補を抽出する抽出手段と、前記抽出手段により抽出された商品の候補から、前記学習用画像を追加登録する商品の指定を受け付ける指定受付手段と、前記撮像手段により撮像した商品の画像を前記学習用画像として、前記指定受付手段において指定された商品と関連付けて前記商品情報記憶手段に登録する登録手段と、を備える。
また、上記目的を達成するため、本発明に係る情報処理装置は、商品を撮像する撮像手段と、前記商品を購入するための操作を行う所定の操作モードにおいて、前記撮像手段により撮像した商品の画像に基づき、商品情報を記憶する商品情報記憶手段を参照して、前記撮像手段により撮像した商品の画像に対応する商品の候補を抽出する抽出手段と、前記所定の操作モードにおいて前記抽出手段により抽出した商品を販売対象商品又は販売対象外商品に設定する設定手段と、を備える。
図１は、本発明の実施形態に係る計量装置を備えたシステムの構成を示した構成図である。
図２は、本発明の実施形態に係る計量装置のハードウェア構成を示した機能ブロック図である。
図３は、本発明の実施形態に係る計量装置のソフトウェア構成を示した機能ブロック図である。
図４は、本発明の実施形態に係る計量装置に表示される画面の一例であって、第１の操作モードにおける待機画面を示す。
図５は、本発明の実施形態に係る計量装置に表示される画面の一例であって、第１の操作モードにおいて商品を指定する画面を示す。
図６は、本発明の実施形態に係る計量装置に表示される画面の一例であって、第２の操作モードにおいて商品を指定する画面を示す。
図７は、本発明の実施形態に係る計量装置に表示される画面の一例であって、第３の操作モードにおいて商品を指定する画面を示す。
図８は、本発明の実施形態に係る計量装置に表示される画面の一例であって、第４の操作モードにおいて商品を指定する画面を示す。
図９は、本発明の実施形態に係る計量装置による処理の一例であって、第１の操作モードにおける処理の全体を示した処理フロー図である。
図１０は、本発明の実施形態に係る計量装置による処理の一例であって、第１の操作モードにおける処理のうち、商品の項を抽出する処理を示した処理フロー図である。
図１１は、本発明の実施形態に係る計量装置による処理の一例であって、第２の操作モードにおける処理の全体を示した処理フロー図である。
図１２は、本発明の実施形態に係る計量装置による処理の一例であって、第３の操作モードにおける処理の全体を示した処理フロー図である。
図１３は、本発明の実施形態に係る計量装置による処理の一例であって、第４の操作モードにおける処理の全体を示した処理フロー図である。
●システム構成
　以下、本発明の実施形態に係る情報処理装置について、図を参照して説明する。
　なお、以下の説明においては、特段の記述がない限り、既述した機能部や処理等に付した符号と同一の符号が付された機能部や処理等については、既述した機能部や処理等と同様に構成されるものとし、説明を省略する。
図１は、本実施形態に係る計量装置１を備えたシステムの構成の一例を示し、図２は、計量装置１のハードウェア構成を示している。本実施形態に係る計量装置１は、本発明に係る情報処理装置の一実施形態である。
　計量装置１は、例えば野菜や果物などの生鮮食品を販売するスーパーマーケットに設けられる。スーパーマーケットの生鮮食品売り場では、バラ売りされている野菜や果物などの商品が種類ごとに区分けされて、それぞれの陳列場所に陳列されている。
　各商品はバラ売りのため、値段やバーコードを印字したラベルが貼付されていない。顧客又は店員は、商品を種類ごとに必要なだけ計量し、計量装置１から購入する分の商品のラベルの発行を受ける。顧客又は店員は、商品にラベルを貼り付ける。ラベルには価格等の情報を含むシンボルコードが印字されており、シンボルコードをＰＯＳ端末３に読み取らせて、商品を購入対象商品として当該ＰＯＳ端末３等に登録できる。
計量装置１は、指定可能な商品の一覧を表示タッチパネル１０４の画面上に表示し、顧客又は店員といった操作者から購入する商品の指定を受け付ける。また、計量装置１は、計量部１０９に載置された商品の重量を計量すると共に、表示タッチパネル１０４で操作者に指定された商品の単価などの商品データを例えばＲＡＭ１０３などの記憶部から呼び出し、商品の値段を計算してラベルを発行する。特に、本実施形態に係る計量装置１は、顧客や店員が選び取った商品のオブジェクトスキャンを実行して、当該商品の候補を指定可能に当該顧客や店員に提示する。なお、ここにいう「オブジェクトスキャン」とは、商品を撮像して当該商品の画像認識を行うと共に、学習用画像と照合して商品を特定する処理を意味し、後述する撮像制御部１２４及び抽出部１２５（図３参照）によって実行される。
なお、商品データ、後述する商品ファイル１２１（図３参照）の一部又は全部は、ＲＡＭ１０３などの計量装置１本体が備える記憶部に限らず有線又は無線により接続される適宜の構成に保存されていてもよい。特に、後述するオブジェクトスキャンのための学習用画像や学習データは、計量装置１本体に記憶する必要はなく、例えば上位のストアコントローラ２又はクラウドサーバ４に記憶され、計量装置１がこれを参照するようになっていてもよい。
ストアコントローラ２は、スーパーマーケット内で各種データの管理を行うコンピュータであり、計量装置１、ＰＯＳ端末３とＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）により接続されている。各種データとして、例えば、ＰＯＳ端末３が記憶する商品売価等の情報を格納した商品ファイルや、計量装置１が記憶する後述の商品ファイル１２１（図３参照）、またＰＯＳ端末３から送信される実績ファイルなどがある。
ＰＯＳ端末３は、所謂ＰＯＳレジであり、顧客が購入する商品（計量装置１で計量する生鮮食品のほか、予めラベルが貼付されている商品も含む）の商品登録や代金精算などを行う。商品のラベルには、商品コード等の商品識別番号や、計量装置１で発行されたラベルの場合には重量に応じた値段情報などがバーコードや二次元コードの形式で印字されており、ＰＯＳ端末３はこれらのバーコードや二次元コードを読み取る読取装置を備えている。そして、ＰＯＳ端末３は、読取装置で読み取ったバーコードや二次元コードの情報とメモリに記憶している商品売価などの情報に基づいて、商品の登録処理を行う。
　なお、図示にかかわらず、ＰＯＳ端末３は店舗内に複数、設けられていてもよい。また、ＰＯＳ端末３として、店員が操作するもののほかに、顧客自らが操作するセルフ式の端末があってもよい。
クラウドサーバ４は、計量装置１を含めた店舗内の装置が実行する処理を実行したり、処理に必要なデータを保持したりする装置であり、適宜に設けられる。本実施形態では計量装置１において商品のオブジェクトスキャンが行われるが、計量装置１は商品の撮像のみを行い、画像の認識や解析に係る処理はクラウドサーバ４が実行するようになっていてもよい。また、クラウドサーバ４において、ＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）によるディープラーニングを利用して照合用のデータ（学習用画像）が生成されるように構成し、オブジェクトスキャンの精度が高められるようになっていてもよい。
なお、ストアコントローラ２やクラウドサーバ４は、計量装置１やＰＯＳ端末３の上位の管理装置を構成する。上位の装置は、本実施形態にかかわらず、一の端末又は装置によって構成してもよいし、クラウドサーバ４とは異なる他の端末又は装置によって構成してもよい。また、上位の装置は、ＬＡＮ等のネットワークに接続されている店舗内の端末又は装置であってもよいし、インターネット等のネットワークに接続されている店舗外の端末又は装置であってもよい。
●計量装置１のハードウェア構成
　図２は、計量装置１のハードウェア構成を示し、図３は、計量装置１のソフトウェア構成を示している。
　図２に示すように、計量装置１はハードウェア構成において、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、表示タッチパネル１０４、キー操作部１０５、時計部１０６、音声入力部１０７、通信部１０８、計量部１０９、印字部１１０、撮像部１１１、及び外部記憶制御部１１２から構成されている。
ＣＰＵ１０１は、計量装置１の動作を制御する中央処理装置であり、ＲＯＭ１０２からプログラムを読み出して実行することで、そのプログラムに従った計量装置１の動作を実現する。ＲＯＭ１０２は、読出し専用メモリであり、上記プログラムが格納されている。ＲＡＭ１０３は、随時書込み読出しメモリであり、後述する商品ファイル１２１やアイコンテーブル、その他一時データ等を記憶する。
表示タッチパネル１０４は、計量装置１を操作する顧客等の操作者との間のユーザ入出力インタフェースであり、計量する商品を指定するためのプリセットキーＧ２２１（図５等参照）及びその他各種情報を画面上に表示すると共に、表示されたプリセットキーＧ２２１に対する操作者からの指定入力を受け付ける。表示タッチパネル１０４の画面表示例については後述する。また、操作者が画面上から指定したプリセットキーＧ２２１に対応する商品のデータがＲＡＭ１０３の商品ファイル１２１から読み出されて、当該商品の値段が計算される。
キー操作部１０５は、表示タッチパネル１０４で行う入力以外の入力を行うためのものである。
時計部１０６は、時刻情報を出力する。この時刻情報は、表示タッチパネル１０４に表示するプリセットキーＧ２２１（図５等参照）の表示の態様を制御するために用いられる。
音声入力部１０７は、音声入力を行うためのものであり、操作者が商品情報を音声で入力することができる。
通信部１０８は、ＬＡＮインタフェースであり、ストアコントローラ２との通信を制御する。この通信部１０８を介して、ストアコントローラ２から商品ファイル１２１が取得される。通信部１０８を介して、ストアコントローラ２から計量装置１にプログラムが転送されてもよい。転送されたプログラムは、例えばＲＡＭ１０３に記憶され得る。
計量部１０９は、ロードセルによる質量検出方式等により、計量装置１本体の上部に備えられた計量皿に載置された商品の重量を計量し、計量値を出力する。詳細には、計量部１０９は質量検出部とＡ／Ｄ変換機によって構成され、Ａ／Ｄ変換機が質量検出部から入力されたアナログ信号をデジタル信号に変換する。
印字部１１０は、計量部１０９で計量された商品について、値段やバーコード等を印字したラベルを発行する発行部を構成する。このラベルには、計量部１０９から計量結果として出力される計量値とＲＡＭ１０３に格納された商品ファイル内の商品に関する商品情報（単価データなど）とに基づいて、印字が行われる。
　本実施形態において、ラベルはシールであり、商品又は商品を詰めた袋に貼付することができる。また、本実施形態では、商品の精算に必要な情報をラベルに印字して発行するものとしたが、これに限らず、商品を入れた袋に印字等してもよい。
撮像部１１１は、計量部１０９に載置される商品を撮像する装置であり、例えばカラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサ等のイメージセンサにより構成される。撮像部１１１の個数は任意であり、複数備えられていてもよい。撮像部１１１は例えば、互いに異なる角度を向いて配設され、計量部１０９に載置される物品を複数の角度から撮像できるようになっていてもよい。
外部記憶制御部１１２には、ＤＶＤ−ＲＯＭ、ＵＳＢメモリなどの可搬型記憶媒体１１３が接続される。可搬型記憶媒体１１３には、プログラムを含む情報が格納されており、外部記憶制御部１１２により、その情報の読み書きが行われる。
●計量装置１のソフトウェア構成
　図３に示すように、計量装置１はソフトウェア構成において、上述したＣＰＵ１０１等の演算装置やＲＡＭ１０３等の記憶装置により、商品ファイル１２１、計量制御部１２２、変化検知部１２３、撮像制御部１２４、抽出部１２５、設定部１２６、登録部１２７、グループ化部１２８、算出部１２９、印字制御部１３０、指定受付部１３１、表示制御部１３２の各機能ブロックを構成する。なお、機能部の一部又は全部は、有線又は無線で接続されているストアコントローラ２等の上位装置や、インターネット等を介して接続されているクラウドサーバ４に実現されていてもよい。
ここで、計量装置１は、主として第１乃至第４の操作モードに切り替えられ、それぞれの操作モードに応じた機能を実行する。なお、第１の操作モードは、顧客にサービスを提供する際に使用される操作モードであるのに対し、第２乃至第４の操作モードは、商品情報の設定を行う所謂メンテンナンスモードであり、当該メンテンナンスモードにおいて表示される画面はメンテナンス画面を構成するものと言える。
第１の操作モードは、顧客が商品の購入又は取引を行うための操作を行う操作モードである。本実施形態において、この第１の操作モードは商品の計量値付けを行う操作モードであり、購入対象商品として計量部１０９に置かれた商品が計量され、価格を表示したラベルが発行される。なお、他の実施形態において計量装置１がＰＯＳ端末３の機能を備えたり、本発明に係る情報処理装置がＰＯＳ端末３として構成されたりする場合には、この第１の操作モードにおいて、商品の計量と共に商品を購入対象商品として登録する商品登録が行われる。また、本実施形態に係る計量装置１は計量値付けを行うが、計量のみを行う装置として構成し、値付けは連携する他の装置が行うように構成してもよい。
第２の操作モードは、商品の学習用画像を登録するモードである。この第２の操作モードでは、撮像部１１１によって撮像された商品の画像が商品の学習用画像として登録される。
第３の操作モードは、商品を販売対象商品又は販売対象外商品に設定するモードである。この第３のモードでは、商品ファイル１２１に登録されている商品について、店舗が販売対象商品として取り扱うか、販売対象外商品として取り扱うかの設定を行える。このような設定は、後述のとおり季節に応じて展開される商品や在庫の有無により必要とされる。
第４の操作モードは、商品のグループ化を行うモードである。この第４の操作モードでは、所定の学習用画像を共通して関連付ける複数種類の商品を一のグループとして登録する。
　なお、以下の各機能部の説明では、特に所定のモードについて言及していない機能については、各モードに共通して行われる。
＜商品ファイル１２１＞
　商品ファイル１２１は、計量装置１の計量対象となる商品毎に、商品識別情報を構成する商品コード、商品名、分類、プリセットキー名、プリセットキー用画像、重量（質量）、単価、商品の色、学習用画像、グループ情報、販売対象設定の各項目かなる商品情報を記憶したファイルであり、商品情報記憶手段を構成する。
　なお、商品ファイル１２１にはこのほか、バーコード区分（インストアバーコード体系）、原価、単位重量、風袋などを登録することもできる。また、この商品ファイル１２１は、ストアコントローラ２やクラウドサーバ４によって作成されると共に、計量装置１へ送信されてＲＡＭ１０３に記憶されるものとしてもよい。ただし、このことは他の実施形態において計量装置１が商品ファイル１２１を作成することを妨げない。また、少なくとも売価は一日に一度など、所定のタイミングで更新をかけて運用するようになっていてもよい。
　バーコード区分は、ＪＡＮ（ＥＡＮ）コード等のＰＬＵコードに関する区分と、量り売り商品のようにインストアバーコードを用いる場合のバーコード体系（種類）を設定するものである。
商品コードは、商品識別情報であり、品番とも称される。
　商品名は、商品の名称であり、検索用に設定される。
　分類は、それぞれの商品の性質に応じたカテゴリ（品目）である。商品ごとに所定の分類に分類して登録しておくことで、所定の分類タブが選択された場合に所定の分類に属する商品が絞り込まれる。
　プリセットキー名は、プリセットキーＧ２２１（図５等参照）に付して表示される商品名等であり、未入力の場合には、商品の一般名称が設定される。
　プリセットキー用画像は、商品の指定を受け付けるためのプリセットキーＧ２２１を表示する際に用いられる画像である。プリセットキー用画像には、商品を把握可能な図柄や写真画像、文字情報などが表されている。
単位重量のデータは、商品１個当りの平均値として設定された値であり、計量装置１で計量された計量値からその商品の個数を計算するために使用するデータである。また、この重量のデータは、計量部１０９に複数の商品が載置されていることを判断することにも使用できる。そのため、このデータは例えば、りんご等の個数売り商品にのみ設定されている。個数売りでない商品、例えば精肉などのグラム売り商品の場合は単価のデータ（グラム単価）のみを用いて値段が計算される。単価のデータは、個数売り商品については１個当りの金額、グラム売り商品については例えば１００グラム当りの金額が設定される。なお、りんご等においてもグラム売りで販売できるよう、販売区分などで「グラム売り」、「個数売り」の設定ができるようにしてもよい。「個数売り」の場合は単位重量の設定に応じて取引金額が算出される。単位重量は置数入力によって登録されてもよいし、計量値によって登録されてもよい。また、複数個の商品を計量した場合は、計量皿に載置した個数を入力し、当該個数に基づく除算による平均重量を記憶するようにしてもよい。
　商品の色は、商品に対応付ける色として指定されている。商品の色は、商品の色に対する様々な認識に対応できるよう、一又は複数の色を任意に登録することができる。
学習用画像は、商品の画像であり、オブジェクトスキャンによって撮像画像中の商品を認識すると共に商品を特定し、商品の候補を商品ファイル１２１から抽出する際に参照される基準画像となる。学習用画像は、実際の商品を撮像部１１１により撮像して登録できるようになっているほか、あらかじめ撮像された撮像データを読み込むことによって登録できるようになっていてもよい。例えば、商品コードを指定し、対象の商品の学習用画像を順に撮像して登録していくこともできる。また、学習用画像は、一の商品に対して複数、登録できる。また、ＡＩによるディープラーニングを利用して、既登録の学習用画像から新たな学習用画像が自動生成され、登録されるようになっていてもよい。
グループ情報は、撮像部１１１により撮像した商品の画像を、学習用画像として関連付ける一群の商品を規定する情報である。即ち、所定のグループに設定された商品では、当該所定のグループに属する一の商品の学習用画像は、当該所定のグループに属する他の商品にも関連付けられる。例えば、「りんご」という、果物の品種としては同一の商品でありながら、販売する商品としては異なる産地やブランドの「りんご」があった場合に、これらをグループ化すると、産地やブランドの違いに関わらず各産地やブランドの「りんご」が同一のグループに属するものとして扱われる。そして、後述のとおり、同一のグループに属する一の商品に対して学習用画像が関連付けられる際には、同一のグループに属する当該一の商品以外の商品にも同じ学習用画像が関連付けられる。
販売対象設定は、店舗が販売対象商品として取り扱うか、販売対象外商品として取り扱うかを示す情報であり、後述する設定部１２６によって設定される。計量装置１が取り扱う商品、即ち商品ファイル１２１に登録されている商品は、季節的なものや通年入荷する商品でないものもある。そのため、現時点で販売していない商品は、計量の際に画面上に表示することが適切でないし、オブジェクトスキャンの対象から除外する方がオブジェクトスキャンの精度も向上する。この販売対象設定は、商品の一覧から品番呼出によって所定の商品を呼び出して呼び出した商品ごとに行うこともできるが、本実施形態では後述する設定部１２６により、抽出処理部により抽出された商品の候補から所定の商品を指定して行うことができる。
なお、販売対象設定は、操作者が商品を指定して商品を販売対象商品又は販売対象外商品に設定する例に限られず、予め設定した期間等に応じて自動的に販売対象商品又は販売対象外商品として扱われるように設定できるようになっていてもよい。例えば、商品の特売企画において特売期間の期間設定を設けるのと同様、商品に対して、一の所定日から他の所定日までといった販売期間を設定し、計量装置１の使用日時が販売期間に該当するか否かに応じて、販売対象商品又は販売対象外商品として扱うようになっていてもよい。即ち、商品ファイル１２１において商品に販売期間を設定しておき、計量装置１は電源ＯＮ時に自装置又は外部の任意の端末が保有するカレンダ情報を取得する。カレンダ情報を参照して、所定の商品について現在日時が販売期間に該当するか否かを判別し、該当する場合には当該所定の商品を販売対象商品として扱い、該当しない場合には当該所定の商品を販売対象外商品として扱う。
また、販売期間の設定は季節によって設定することもできる。例えば、商品ファイル１２１において、商品を販売対象商品として扱う季節を設定すると共に、別途、日付と季節を対応付けた季節マスタを別途設ける。計量装置１は、季節マスタを参照して当日の季節を判別した上、商品を販売対象商品又は販売対象外商品に設定する。
ここで、商品に設定する季節は、春夏秋冬のいずれか一の季節とは限らず、春夏、秋冬といったように重複設定も可能である。この場合には、重複するいずれかの季節に該当する限り販売対象商品として扱ってもよいし、設定されている季節のうちのいずれの季節において販売対象商品又は販売対象外商品として扱うかをポップアップさせた画面上から操作者に選択させるなどするようになっていてもよい。また、季節マスタには、計量装置１が設定されている店舗の場所情報と季節の関連付けを行っておいてもよい。これにより、同じ日時であって北海道では春、沖縄では夏といったように場所に応じて季節の設定が反映されるようになっていてもよい。
　なお、季節による販売対象設定は、所定のボタン等の任意の操作によってＯＮ／ＯＦＦを切り替えられるようになっていてもよく、これにより当日、季節による販売対象設定を商品に反映させるか否かを設定できる。また、季節マスタは、商品ファイル１２１に区分を設け、これを参照するようにしてもよい。
また、販売期間の設定を月単位で設定することもできる。例えば、商品ファイル１２１において、商品に対し、所定の月において販売対象商品として扱うか否かのフラグを設定可能とする。計量装置１は、当日の日付に基づいて当日の月を判別した上、フラグに従って商品を販売対象商品又は販売対象商品に設定する。
なお、販売期間の設定について、上述した季節による設定と月単位の設定の両方を設け、操作者が任意のほうを選択的に設定できるようになっていてもよい。
＜計量制御部１２２＞
　計量制御部１２２は、計量部１０９を制御して、計量部１０９の計量皿上に載置された商品の重量を計量する。
＜変化検知部１２３＞
　変化検知部１２３は、計量部１０９により計量されている計量皿上の重量が変化したことを検知する機能部である。変化検知部１２３は、例えば重量が所定時間内に所定値以上変化したことを検知して、重量が変化したものと判別する。また、変化検知部１２３は、計量部１０９により計量される商品の重量の変化量を算出し、変化量が所定以上である場合に重量が変化したものと判別してもよい。また、変化検知部１２３は、重量が変化したことの一態様として重量の変化量を算出し、重量が変動していることを検知してもよい。また、変化検知部１２３は、計量されている重量が安定しているか否かも検出できる。重量が安定している状態とは、例えば所定の微小時間において、計量部１０９によって計測している商品の重量値が所定の閾値に収まる値を示している状態を指す。
　この変化検知部１２３により計量部１０９の重量変化が検知されると、計量部１０９に商品が載置されたものとみなされ、撮像部１１１による商品の撮像から抽出部１２５による商品の抽出に至る処理が開始される。
＜撮像制御部１２４＞
　撮像制御部１２４は、撮像部１１１を制御して、計量部１０９に載置されている商品を撮像する。撮像制御部１２４は、変化検知部１２３により計量部１０９の重量変化を検知したときにオブジェクトスキャンのための撮像を開始してもよいし、計量制御部１２２により計量された商品の重量が取引計量範囲となっているときにオブジェクトスキャンのための撮像を開始してもよい。例えば、最小目盛に対して２０目盛以上を取引用重量として取り扱う。また、操作者の任意の操作に応じてオブジェクトスキャンのための操作を開始してもよい。
＜抽出部１２５＞
　抽出部１２５は、商品ファイル１２１から商品の情報を抽出する機能部であり、例えば、撮像部１１１により撮像した商品の画像に対応する商品の候補を商品ファイル１２１から抽出したり、品番検索等の検索に応じて商品ファイル１２１から商品の情報を抽出したりする。
　この抽出部１２５は、適宜の画像解析技術又は一般物体認識技術を用いた所謂オブジェクトスキャンにおいて、撮像部１１１により撮像した画像中の商品を認識する。なお、商品の認識においては、画像をオブジェクトごとに領域分割することによって一般物体認識を行ってもよい。また、計量部１０９に載置されている商品の個数又は種類数を特定してもよい。
抽出部１２５は、商品ファイル１２１において各商品に関連付けられた学習用画像を基準画像として、当該基準画像と、オブジェクトスキャンにより認識した撮像画像中の商品の画像とを比較し、類似度を算出する。類似度は例えば、商品ファイル１２１に記憶されている各商品の学習用画像を１００％＝「類似度：１．０」とした場合に、商品の全部又は一部の画像がどの程度類似しているかを示すものである。そして、抽出部１２５は、撮像した商品の画像に対応する商品の候補として、例えば類似度順に複数の商品を商品ファイル１２１から抽出する。抽出された商品の候補に係る情報は、表示制御部１３２に受け渡される。
　複数の商品が候補として抽出されるため、適切な商品が抽出されている可能性が高くなる。その結果、適切な商品の候補が抽出されないために、再度、抽出処理を実行し直す操作を操作者に強いることがない。特に顧客が操作者となる場合には、やり直しの操作はわかりづらいものとなるし、操作の工数が増えることは不便であるため、商品の候補が複数抽出されることは有用である。
なお、抽出部１２５は、撮像された商品の画像と、商品ファイル１２１に登録されている各商品の学習用画像との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
　また、類似度順に複数の商品を抽出する点については、抽出の態様を様々に設定し得る。例えば、類似度１位の商品の類似度が所定値よりも低い場合は、類似度順に３つの商品を候補として抽出してもよい。また、類似度１位の商品の類似度が７０％であり、そこから−５％（６５％）の類似度の範囲に複数の商品があれば、その範囲にある商品を全て候補として抽出してもよい。さらに、販売対象商品のうちの類似度が１位の商品よりも類似度の高い販売対象外商品がある場合や、類似度が１位の商品の±３％の範囲に販売対象外商品がある場合に当該販売対象外商品を候補として抽出するといった設定も可能である。
また、抽出部１２５は例えば、計量される商品の重量の安定を待たずに、重量の変動に応じて抽出処理を開始してもよいし、重量の変動が検知されたことを契機に抽出処理を開始してもよい。また、計量制御部１２２により計量される重量が安定している場合に商品の抽出処理を行ってもよい。
　また、抽出部１２５はオブジェクトスキャンにおいて、撮像された商品の画像から商品の色を特定し、登録されている商品の色と比較することにより、近い色味の商品を特定してもよい。抽出部１２５は、色味を類似度の指標の一つとして採用し、近い色味の商品を撮像した商品の候補としてもよい。なお、商品の色は、画像から特定される態様の他、商品ファイル１２１にあらかじめ登録されていてもよい。色味の類似度は、例えば色相、明度又は彩度の各要素及びその組み合わせにより算出してもよいし、その他適宜の座標系に投影した算出等あらゆる技術を採用できる。
また、抽出部１２５は、特に各操作モードにおいては以下のように機能してもよい。
　抽出部１２５は、第１の操作モードにおいて、撮像部１１１により撮像した商品の画像に基づき、商品ファイル１２１を参照して当該撮像部１１１により撮像した商品の候補、即ち購入対象商品として計量部１０９に置かれた商品の候補を抽出する。この場合、抽出部１２５はまず、販売対象商品として設定されている商品から、撮像した商品の画像に対応する商品の候補を抽出してもよい。本来、販売対象外商品は陳列されていないはずであるため、販売対象商品のみを商品の候補を抽出する対象とすることで、適切な候補を抽出する確度を上げられる。他方で、販売対象商品として設定されている商品から商品を抽出できない場合にはさらに、販売対象外商品として設定されている商品から、撮像した商品の画像に対応する商品の候補を抽出してもよい。
抽出部１２５は、第２の操作モードにおいて、撮像部１１１により撮像した商品の画像に基づき、商品ファイル１２１を参照して学習用画像を追加する商品の候補を抽出する。この場合、抽出部１２５は、販売対象商品として設定されている商品及び販売対象外商品として設定されている商品の両方、即ち販売対象設定にかかわらず全ての商品の中から、撮像部１１１により撮像した画像に対応する商品の候補を抽出してもよい。また、撮像部１１１により撮像した画像に基づいて学習用画像を追加する商品の候補を抽出できない場合、学習用画像を新規登録する商品の候補として、商品ファイル１２１に学習用画像が登録されていない商品、即ち学習用画像が関連付けられていない商品を抽出してもよい。また、このように学習用画像に商品に関連付けて登録されていなかったり、学習量が少ない、即ち商品に対して関連付けられている学習用画像が少なかったりするために商品の候補を抽出できない場合、画面上に「未学習」を示すメッセージを表示するなどしてもよい。また、いずれの状態にあるかを判断し、学習用画像の登録がない、又は学習用画像の登録が少ないといった状態を画面上にメッセージとして表示するなどして操作者に報知してもよい。
第３の操作モードにおいては、第１の操作モードや第２の操作モードにおいて商品の候補が抽出された状態から、商品の指定を受け付けることができるが、これにかかわらず、撮像部１１１により撮像した商品の画像に基づき、商品ファイル１２１を参照して販売対象設定を行う商品の候補を抽出してもよいし、品番検索等に応じて商品の候補を抽出してもよい。この第３の操作モードにおいては商品の販売対象設定を行うため、抽出部１２５は、販売対象設定にかかわらず全ての商品の中から商品の候補を抽出する。
第４の操作モードにおいては、商品ファイル１２１に登録されている全ての商品から、品番検索等により任意の複数商品が抽出される。ただし、複数商品の一つ一つを指定する際には、他の操作モードと同様、撮像部１１１により撮像した商品の画像に対応する商品の候補を抽出するようにしてもよい。
なお、いずれの操作モードについても、抽出部１２５による抽出処理においては、販売対象商品及び販売対象外商品を含むすべての商品のうち、オブジェクトスキャンのための学習用画像が関連付けられていない商品、即ち商品ファイル１２１において学習用画像が未登録の商品をオブジェクトスキャンの対象、即ち抽出対象から除外してもよい。
＜設定部１２６＞
　設定部１２６は、商品ファイル１２１に登録されている商品について、販売対象商品又は販売対象外商品の別を設定する。なお、本実施形態の説明では、設定部１２６により商品を販売対象商品又は販売対象外商品とする設定を「販売対象設定」と称することがある。
ここで、設定部１２６による設定処理は第３の操作モードにおいて実行されるが、第１の操作モードの実行中においても実行可能である。即ち、商品を購入対象商品として登録する第１の操作モードの実行中、抽出部１２５により商品の候補が抽出され、当該商品の候補が表示された状態において使用者の任意の操作により第３の操作モードへの変更を受け付けると、第１の操作モードを一旦保留状態にして当該第３の操作モードに移行する。このときの第３の操作モードでは、抽出部１２５により抽出された商品について販売対象商品又は販売対象外商品の設定を行うことができる。第３の操作モードにおいて操作が実行されている間、操作モードが第３の操作モードに変更されるまでに第１の操作モードにおいて行われていた操作は有効に維持されており、第３の操作モードにおいて販売対象設定が完了して第１の操作モードに復帰すると、有効に維持されていた操作を続行できる。なお、後述のとおり、第１の操作モードから第３の操作モードに移行するのと同様にして、第２の操作モードや第４の操作モードから第３の操作モードに移行するようにしてもよい。
なお、上述のとおり、第３の操作モードへの変更の際に有効に維持される第１の操作モードにおける操作には、例えば、商品の計量値、商品の候補に係る操作や情報が含まれる。ただし、第１の操作モードから移行した第３の操作モードにおいて販売対象設定が変更された結果、商品の類似度によって候補として抽出されるべき商品が変わる可能性がある。そのため、第３の操作モードから第１の操作モードに復帰する際には、再度抽出部１２５による抽出処理を実行してもよい。このように抽出処理を再度実行する場合において、販売対象設定の変更により、類似度に応じて他に抽出されるべき商品の候補が新たに生じた場合には、第１の操作モードにおいて従前抽出されていた商品の候補に加えて、この新たな商品の候補を抽出、表示するものとしてもよいし、従前抽出されていた商品とこの新たな商品の候補から類似度順に従って所定数の商品の候補を表示するものとしてもよい。いずれについても、復帰後の第１の操作モードでは、従前の第１の操作モードにおける抽出処理結果に新たな抽出処理の結果が反映されており、第１の操作モードは有効に維持されているといえる。
　ただし、これにかかわらず、第１の操作モードから第３の操作モードに移行した後に再び第１の操作モードに復帰する際には、従前の第１の操作モードによる処理結果を消去し、抽出部１２５による抽出処理、あるいは撮像から始める一連の処理を最初から実行することもできる。
また、第１の操作モードにおいて、抽出部１２５が撮像部１１１により撮像した商品の画像に基づいて商品ファイル１２１から商品の候補を抽出する場合に、販売対象商品として設定されている商品から商品の候補を抽出し、販売対象外商品からは商品の候補を抽出しないものとする場合には、設定部１２６による販売対象設定は、第１の操作モードにおいて、商品ごとに抽出部１２５が候補を抽出する対象とするか否かの設定（抽出対象設定）を行うものとも言える。
＜登録部１２７＞
　登録部１２７は、商品の学習用画像を商品ファイル１２１に登録する。具体的に、登録部１２７は第２の操作モードにおいて、撮像部１１１により撮像した商品の画像を学習用画像として、後述する指定受付部１３１により指定された商品と関連付けて商品ファイル１２１に登録する。ここで、関連付けの対象となる商品に学習用画像が未だ登録されていない場合には新規登録となり、既に学習用画像が登録されている場合には追加登録となる。なお、学習用画像の登録先は、商品との関連付けが行われる限り、学習用画像を登録するためのファイル（記憶領域）など、商品ファイル１２１とは別に設けられたファイルであってもよい。
また、登録部１２７は、指定を受け付けた商品がグループ化部１２８でグループ化された商品のうちのいずれか一の商品である場合、撮像部１１１により撮像した商品の画像を学習用画像として、指定受付部１３１において指定された商品とグループ化されているすべての商品に関連付けて商品ファイル１２１に登録する。
なお、学習用画像を登録する初期の段階では学習用画像が未登録であり、この初期段階では、例えば品番検索等により商品を呼び出し、商品の画像を学習用画像として登録する。初期段階からある程度、学習画像の登録が進むと、オブジェクトスキャンにより商品の候補を抽出できるようになり、商品の撮像画像に対応して表示された商品の候補から所定の商品を指定するだけ学習用画像が商品に関連付けられ、学習が進行する。この点、学習の進行にかかわらず、オブジェクトスキャンによる抽出結果として撮像した商品とは全く異なる商品の候補が抽出される場合などにおいては、当該撮像した商品の画像が学習用画像には適していないものと判断されるため、撮像した商品の画像を学習用画像として「登録しない」又は「スキップ」するキャンセルボタンを設け、登録をキャンセルできるようにしてもよい。この場合、キャンセルボタンを設ける構成に代えて、又は加えて、商品を指定する操作が行われることなく商品が計量部１０９から取り除かれると、撮像した商品の画像を学習用画像として登録する処理がキャンセルされるようになっていてもよい。このようにすれば、品番主導で学習用画像を登録するような場合とは異なり、後々、イレギュラー画像として削除対象となってしまうような学習用画像を登録してしまう事態を避けられる。そもそも、学習用画像の登録数が増えて精度が向上すれば、撮像された商品に類似する商品のみが候補として抽出されるようになるため、撮像対象とはまったく特徴の異なるような商品の撮像画像が誤った商品に関連付けられることもなくなる。
＜グループ化部１２８＞
　グループ化部１２８は、第４の操作モードにおいて所定の商品をグループ化し、商品ファイル１２１に設定を登録する。なお、本実施形態の説明においては、グループ化部１２８により商品をグループ化する設定を「グループ設定」と称することがある。
＜算出部１２９＞
　算出部１２９は、商品ファイル１２１を参照して、商品の計量値と単価に基づいた価格を算出する。なお、算出部１２９は適宜、消費税等の税率に基づいて税込み金額を算出するなど、商品の販売の際に必要となる計算を実行する。
＜印字制御部１３０＞
　印字制御部１３０は、計量部１０９で計量された重量や算出部１２９によって算出された価格等の情報を反映したラベルを発行する。即ち、印字制御部１３０は印字部１１０を制御して、商品ファイル１２１内の商品に関する商品情報、計量部１０９から計量結果として出力される計量値、及び算出部１２９によって算出された価格などに基づいて、商品の精算に必要な情報をラベル等に印字させる。
　なお、印字制御部１３０は、商品の精算に必要な情報をラベルに印字する構成に代えて、又は加えて、商品を入れた袋に印字等してもよい。また、印字制御部１３０は、印字する情報を操作者に提示し、提示した情報が正しい旨の確定入力を待ってラベルの発行を行うようにしてもよいし、確定入力を待たず、印字する情報の生成に応じて直ちにラベルの発行を行うようにしてもよい。また、商品の精算に必要な情報は、会員又は取引を識別できる記録媒体、例えばＩＣタグやバーコード（会員カード）と関連付けてもよい。なお、計量開始前又はラベル発行の直前に、記録媒体の識別情報の入力画面を表示し、操作者に入力を促してもよい。
＜指定受付部１３１＞
　指定受付部１３１は、撮像部１１１により撮像した商品の画像に対応する商品の候補として商品ファイル１２１から抽出した商品について、当該商品の候補を示すと共に操作者から指定を受け付けるための手段である。この指定受付部１３１は、例えば操作者が操作する画面上に表示され、当該商品ごとに設けられた操作子によって実現される。この操作子は例えば、後述のとおり、商品情報が表示されたプリセットキーＧ２２１（図５等参照）として表示されてもよく、これにより商品の候補が複数抽出されても、操作者は容易に商品を把握できると共に簡単な操作で商品を指定できる。
指定受付部１３１は、第１の操作モードにおいて、抽出部１２５により抽出された商品の候補から、ラベルを発行する商品の指定を受け付ける。
　指定受付部１３１は、第２の操作モードにおいて、抽出部１２５により抽出された商品の候補から、学習用画像を登録する商品の指定を受け付ける。なお、指定された商品に学習用画像が未だ関連付けられていない場合には新規登録となり、既に学習用画像が関連付けられている場合には追加登録となる。
　指定受付部１３１は、第３の操作モードにおいて、抽出部１２５により抽出された商品の候補から、販売対象商品又は販売対象外商品の設定を切り替える商品の指定を受け付ける。この第３のモードでは、商品を指定する操作の受け付けに応じて、商品の設定が販売対象商品又は販売対象外商品に切り替えられるようになっていてもよい。
　指定受付部１３１は、第４の操作モードにおいて、抽出部１２５により抽出された商品の候補から、グループ化する商品の指定を受け付ける。なお、第４の操作モードにおいては、商品の候補から複数の商品が指定された上、登録を要求する操作が実行されることによってグループ化の登録が要求されるものとしてもよい。この場合、登録を要求する操作が実行されるまでは、商品の指定に応じて当該商品の選択と選択の解除を行うことができるようになっていてもよい。また、登録を要求する操作は、画面上に別途設けられたボタンやメカキーの完了キーの押下など、各種の態様によることができる。
なお、商品がグループ化されている場合において、候補商品から学習用画像を登録する対象の指定を受け付ける際は、商品の商品コードによって指定を受け付けてもよいほか、グループ化されている商品のうちの所定の商品を代表として表示して指定を受け付けるようにしてもよい。代表となる所定の商品は、例えばグループ化された際の商品コードの一番若い番号に該当する商品でもよいし、グループ化された際に最初に選択された商品でもよく、特に限定されない。また、学習用画像の登録時には、商品の候補として、グループ化されている商品のうちの一の商品のみを表示してもよく、この場合の一の商品は上述した代表となる所定の商品であってもよい。
＜表示制御部１３２＞
　表示制御部１３２は、抽出部１２５によって抽出された商品の情報など、各種の情報を表示タッチパネル１０４に表示する機能部である。
　この表示制御部１３２は、撮像部１１１により撮像した商品の画像に対応する商品の候補として抽出した商品ごとに、当該商品を表す操作子を後述する指定画面上に表示する。この操作子は、抽出した商品ごとにユーザからの指定を受け付けたり、設定部１２６により販売対象設定を行うためのものであり、例えば商品情報が表示されたプリセットキーＧ２２１（図５等参照）として表示される。
表示制御部１３２は、撮像された商品の候補として抽出部１２５により抽出した複数の商品の操作子を選択画面上に表示する場合、操作子として示された商品の候補は例えば商品ファイル１２１に格納されている品番順に表示してもよい。また、商品の候補は抽出部１２５により算出される類似度の順に表示してもよい。また、類似度の高い所定数の商品の候補を品番順に表示してもよい。また、類似度が高い商品の候補は他の商品の候補と態様を変えて表示してもよい。これにより、類似度が高い商品の指定を誘導できるし、抽出部１２５による抽出の精度が落ちる場合でも特殊な操作を行わないで商品を指定できる。なお、類似度の高い複数の商品の候補が同じ類似度である場合には、他の類似度が低い商品が表示されていてもその表示態様を異ならせないでもよい。類似度が同じ商品の候補がある場合は、抽出の精度が低いと考えられるため、操作者により主体的に判断してもらうよう誘導するためである。
なお、操作子として示された商品の候補を類似度の順に表示する場合、厳密な類似度によってその順序を決定しなくてもよい。例えば、類似度が９０％以上の商品の候補については、同じ類似度の商品の候補として表示態様を区別することなく表示してもよい。また、抽出部１２５により類似度９０％未満７０％以上の商品しか抽出されなかった場合には、類似度順に候補を絞り込まず、抽出したすべての商品の操作子を表示してもよい。これにより、少なくとも指定画面上に表示した操作子のいずれかが適切なものである蓋然性が高くなり、操作者に対して他の特殊な操作によって商品を指定する作業を要請しないで済む。
また、商品の候補として所定の類似度未満、例えば、７０％未満の商品のみしか抽出されなかった場合は、商品の操作子を表示せず、店員呼出し画面を表示したり、同じ商品で異なるものを載置することを求める案内を表示したりしてもよい。このようなことは、陳列されていない商品が計量部１０９に載置された虞もあるし、例えば撮像部１１１のレンズにゴミが付着したり撮像が故障していたりするなど、オブジェクトスキャンの機能に不具合が発生している可能性があるため、継続して使用するには点検を必要とするからである。
また、表示制御部１３２は、抽出部１２５により商品の候補を抽出できなかった場合には、商品の検索画面を表示させてもよい。検索画面からは、例えば品名、品番、部門、分類によって商品ファイル１２１に登録されている商品を検索できる。品名や品番は、完全一致、部分一致のいずれによっても検索が行えるようになっていてもよい。操作者は、検索結果から任意の商品を指定できる。また、抽出部１２５により商品の候補を抽出できなかった場合に、指定画面にすべての商品を表示させて商品の指定を受け付けてもよい。
このような構成によれば、商品の学習用画像が商品ファイル１２１に格納されていない場合や、画像解析技術又は一般物体認識技術では認識不能等の理由により抽出部１２５による抽出が行えなかった場合でも、操作者に容易に商品の指定を行わせることができる。
　なお、表示制御部１３２は、すべての商品の操作子を部門等の任意の分類毎に区別して表示させてもよい。分類は、例えば色別であってもよいし、果物や野菜といった種類別であってもよい。それぞれの分類に応じた操作子の表示は、タブの選択により切替可能な表示領域ないしは表示ページにより行われるようになっていてもよい。
　また、商品の購入のための操作において商品がオブジェクトスキャンされた際、オブジェクトスキャンにより得られた商品の画像を学習用画像として商品ファイル１２１に登録するようにしてもよい。このような設定は任意の処理としてセットアップ時に実行可否を決定してもよい。
＜画面例（第１の操作モード）＞
　ここで、表示制御部１３２によって表示される画面の例について説明する。
　図４は、第１の操作モードにおいて、計量部１０９に商品が載置されておらず、計量値付けを実行可能に待機している画面Ｇ１０（待機画面）を示している。
　この画面Ｇ１０の中央には、「はかりの中央に商品を置いてスタート」という文言とその様子を示すイラストが表示されており、これにより操作者に対して商品を計量部１０９に載置することを促している。
画面Ｇ１０の上方には、商品情報表示エリアＧ２１が設けられている。
　商品情報表示エリアＧ２１には、商品の風袋、重さ（または個数）、単価、値段が表示される。重さが表示される欄には、計量部１０９による計量値が反映される。個数を表示する場合には、重さと単位重量から個数を割り出せばよい。風袋と単価は、抽出部１２５により商品の候補が抽出され、操作者によっていずれかの商品が指定されると商品ファイル１２１から読み込まれる。値段は、操作者によって商品が指定されると、風袋、重さ（または個数）、及び単価に基づいて算出部１２９により算出され、表示される。図示の例では、計量部１０９に商品が載置されていない状態のため、全ての値がゼロになっている。
図５は、第１の操作モードにおいて、計量部１０９に商品が載置され、抽出部１２５により抽出された商品の候補が表示された画面Ｇ１１を示している。
　画面Ｇ１１には、上述した商品情報表示エリアＧ２１のほか、プリセットキー表示エリアＧ２２、タブＧ２３、文字入力エリアＧ２４、仮想キーボードＧ２５、数値入力エリアＧ２６、テンキーＧ２７が設けられている。
商品情報表示エリアＧ２１では、商品が計量部１０９に載置されたことにより、計量部１０９による計量値が重さとして表示されている。
プリセットキー表示エリアＧ２２には、撮像部１１１により撮像した商品の画像に対応して抽出部１２５により抽出された商品の候補ごとに、商品の指定を受け付けるための操作子たるプリセットキーＧ２２１が押下可能に表示される。第１の操作モードでは、このプリセットキーＧ２２１の押下に応じて、ラベルを発行する商品の指定が受け付けられる。
なお、第１の操作モードでは、抽出部１２５が販売対象商品に設定されている商品のみを抽出の対象とする。そのため、プリセットキー表示エリアＧ２２では、販売対象商品に設定されている商品に対応するプリセットキーＧ２２１のみが表示され、販売対象外商品に設定されている商品に対応するものは表示されていない。
　また、抽出部１２５により抽出される商品に、グループ設定がなされているものがある場合には、グループ設定されている他の商品も抽出し、当該抽出した他の商品のプリセットキーＧ２２１をプリセットキー表示エリアＧ２２に表示してもよい。ただし、この場合でも、販売対象外商品に設定されている商品は表示しないようにするのが好適である。
また、プリセットキー表示エリアＧ２２には、抽出部１２５によって抽出された商品の候補がプリセットキーＧ２２１により複数表示されるが、学習用画像との類似度（類似度の範囲）が異なる商品が候補と表示される場合は、類似度を区別可能な表示態様でプリセットキーＧ２２１を表示してもよい。例えば、類似度９０％以上の商品が１点、類似度９０％未満の商品が２点の場合は、類似度９０％以上の商品を他の商品とは異なる態様で表示し、操作者の選択を誘導してもよい。一方、類似度９０％以上の商品が２点以上であれば、表示態様は変えないものとしてもよい。また、類似度９０％未満の商品のみしか候補がない場合には、同様にプリセットキーＧ２２１の表示態様を変えないものとしてもよいし、類似度順の絞り込みをしないで全てのプリセットキーＧ２２１を表示してもよい。
また、プリセットキーＧ２２１の表示（配置）は、商品コード等の昇順又は降順でもよいし、類似度順でもよい。また、上述のような類似度９０％以上の商品が１点の場合は、該商品と、他の商品のプリセットキーＧ２２１の表示列を２段にしてもよい。即ち、類似度９０％以上の商品が１点であれば、該商品のプリセットキーＧ２２１を１段目に表示し、その他を２段目に表示したり、１のプリセットキーＧ２２１分だけ間隔をあけて表示するようにしてもよい。また、所定の類似度以下の商品しか候補として抽出しない場合や、オブジェクトスキャンの抽出結果が得られない場合などでは、いたずら等によって陳列外の商品が計量部１０９に載置されたといった事態も考えられる。そのため、同じ商品で異なる個体を計量部１０９に載置するよう、操作者に報知したり、利用の停止、あるいは店員呼出しを行ったりするようにしてもよい。報知は例えば、画面上でのメッセージの表示、サインライトの発光、音声やブザーの出力など、各種の態様によることができる。
また、図示のプリセットキーＧ２２１には、商品の名称が表示されているが、このほか単価など、商品ファイル１２１に登録されている商品情報を適宜に表示してもよい。また、プリセットキーＧ２２１に表示されている商品情報の編集が行えるよう、商品情報を編集する画面に移行するためのボタンや操作が対応付けられていてもよい。この場合、商品情報の編集が完了すると元の商品指定画面に戻るようになっているとよい。このようなボタンや操作は、他の操作モードにおいても同様に設けられていてもよい。
タブＧ２３は、操作モードの切替操作を受け付けるタブＧ２３１と、商品ごとの分類を指定可能なタブＧ２３２からなる。
　タブＧ２３１は、操作モードの切り替えを受け付けるが、商品の計量値付けを実行している状態では切替操作は有効化されておらず、例えば後述のように店員等が権限認証などを行うことによって切替操作が有効化される。切替操作が有効化されると、タブＧ２３１の押下に応じて第１の操作モードから第３の操作モード等の他の操作モードへ操作モードを切り替えられる。
所定のタブＧ２３２が選択されると、当該所定のタブＧ２３２に分類される商品のプリセットキーＧ２２１がプリセットキー表示エリアＧ２２に表示されたり、プリセットキー表示エリアＧ２２に表示されているプリセットキーＧ２２１が当該所定のタブＧ２３２に分類されている商品に係るものに絞り込まれたりする。なお、図示では、商品ごとの分類を指定可能なタブＧ２３２は一つしか設けられていないが、分類に応じて複数設けてもよい。
文字入力エリアＧ２４は、五十音表示された仮想キーボードＧ２５によって商品情報を文字入力するためのエリアである。
　文字入力エリアＧ２４に商品名が入力されると、商品ファイル１２１を参照した検索処理あるいは絞込処理が実行され、入力された商品名に応じたプリセットキーＧ２２１がプリセットキー表示エリアＧ２２に表示されたり、既にプリセットキー表示エリアＧ２２に表示されていたプリセットキーＧ２２１が当該商品名に対応するものに絞り込まれたりする。
　なお、文字入力エリアＧ２４には、商品情報として、商品の色を文字入力できるようになっていてもよい。例えば、文字入力エリアＧ２４に「みどり」と入力することで、みどり色に対応付けられた商品のプリセットキーＧ２２１がプリセットキー表示エリアＧ２２に表示される。
数値入力エリアＧ２６は、テンキーＧ２７から商品コードなど、商品情報に関する数値を入力するためのエリアである。
　数値入力エリアＧ２６に商品コードが入力されると、入力された商品コードに応じたプリセットキーＧ２２１がプリセットキー表示エリアＧ２２に表示されたり、既にプリセットキー表示エリアＧ２２に表示されていたプリセットキーＧ２２１が当該商品コードに対応するものに絞り込まれたりする。
このような画面構成において、文字入力エリアＧ２４と仮想キーボードＧ２５、及び数値入力エリアＧ２６とテンキーＧ２７はいずれも、所定の商品を検索するための検索手段、及び検索結果から所定の条件に合致する商品を絞り込むための絞込手段を構成する。これにより、プリセットキー表示エリアＧ２２にプリセットキーＧ２２１として表示されていない商品も呼び出すことができる。
なお、この第１の操作モードにおいてプリセットキー表示エリアＧ２２から所定のプリセットキーＧ２２１が指定されると、内容を確定し、ラベルの発行を行うためのラベル発行確認画面に遷移する。ラベル発行確認画面では例えば、画面Ｇ１１と同様に設けられた商品情報表示エリアＧ２１において商品の風袋、重さ、単価、値段が具体的に表示されている。操作者は、内容を確認してラベルの発行を行う場合には、ラベルの発行を要求するボタンを押下する。印字制御部１３０は、これに応じて印字部１１０を制御してラベルの印字を行い、ラベルが発行される。操作者がラベルの発行を中止する場合には、キャンセルボタンや商品を指定する画面に戻るためのボタンを押下する操作等を行えるようになっていてもよい。計量部１０９から商品が取り除かれることによってラベルの発行が中止するようになっていてもよい。なお、このような例にかかわらず、ラベルの発行に代えて、又は加えて、指定された商品の情報等が登録データとして外部装置に送信されるようになっていてもよい。ラベルの発行が終了し、計量部１０９から商品が取り除かれると、計量値はゼロとなり、続けて商品のラベル発行を実行可能に待機する画面Ｇ１０に復帰する。
また、処理の途中、プリセットキーＧ２２１の指定を受け付ける前の段階において、変化検知部１２３により計量部１０９により計量される重量の変化が検知された場合には、商品の抽出処理、設定や状況によっては撮像から再度、処理を実行して商品の候補を表示しなおし、商品の候補が更新されるようになっていてもよい。また、このようにして再度、商品の候補を表示しなおす前のタイミングでプリセットキーＧ２２１が指定された場合には、処理をしなおす前に実行された処理により抽出された商品の候補のうちから商品が指定されたものとして扱ってもよい。
＜画面例（第２の操作モード）＞
　図６は、第２の操作モードにおいて、撮像した商品の画像を学習用画像として登録する際の画面Ｇ１２である。この画面Ｇ１２は、学習用画像がオブジェクトスキャン可能な程度に登録されている状況において、商品が計量部１０９に載置され、当該商品がオブジェクトスキャンされた場合に表示される画面の一例である。
　画面Ｇ１２には、「Ｖａｌｉｄａｔｉｏｎ　Ｍｏｄｅ」（第２の操作モードに対応するシステム上の名称である）と表示され、操作者は、操作モードが第２の操作モードであることを把握できる。なお、操作モードが他の操作モードと異なることは、背景色やプリセットキーＧ２２１の表示態様、その他の文字列によって認識できるようにしてもよい。もっとも、画面構成を第１の操作モードの場合と大きくは変わらないものとすることで、操作者は第１の操作モードと凡そ変わらない操作感で操作を行える。
第２の操作モードでは、プリセットキー表示エリアＧ２２に表示されたプリセットキーＧ２２１の押下に応じて、学習用画像を追加する商品の指定が受け付けられる。プリセットキーＧ２２１によって商品の指定が受け付けられると、学習用画像が指定された商品と関連付けて商品ファイル１２１に登録される。
また、抽出部１２５により抽出される商品にグループ設定がなされているものがある場合には、グループ設定されている商品のうちの代表商品のプリセットキーＧ２２１のみをプリセットキー表示エリアＧ２２に表示するものとしてもよい。このように代表商品のプリセットキーＧ２２１のみの表示であっても、一の商品のプリセットキーＧ２２１の指定が受け付けられると、グループ化されている他の商品にも学習用画像が関連付けられることから、外見上区別がつかない商品群であってもまとめて学習画像を関連付けられる。
　なお、第２の操作モードにおけるプリセットキー表示エリアＧ２２に表示されるプリセットキーＧ２２１は、対応する商品が販売対象商品に設定されているものに限られず、販売対象外商品に設定されているものも含まれる。また、プリセットキー表示エリアＧ２２に表示するプリセットキーＧ２２１は、上述した第１の操作モードの場合と同様、商品の類似度順や商品コードの昇順又は降順等により表示してもよい。
第２の操作モードでは、タブＧ２３１の押下により、第２の操作モードから第１の操作モードに操作モードが切り替わるようになっており、タブＧ２３１には操作モードが切り替えられることを認識可能なイメージが表示されている。
なお、商品の学習用画像が未登録の初期段階において商品がオブジェクトスキャンされた場合には、撮像画像中の商品の画像と照合する学習用画像がないため、画面上には、例えば商品ファイル１２１に登録されているすべての商品のプリセットキーＧ２２１が表示されるようになっていてもよい。これに対して操作者は、撮像した商品の画像を学習用画像として登録したい商品のプリセットキーＧ２２１を指定する。これにより、撮像した商品の画像が、学習用画像として指定された商品に関連付けられ、商品ファイル１２１に登録される。
　この場合、商品ファイル１２１に登録されている商品すべてのプリセットキーＧ２２１を表示する画面は、タブ切替可能な複数のページによって構成されてもよく、この場合、操作者はタブの切り替えによって所定の種別に分類された商品を閲覧し、その中から所定の商品を指定できる。また、品名検索で絞り込みを行えるようになっていたり、部門、分類（カテゴリ）を選択することで商品を絞り込めるようになっていてもよい。また、商品ファイル１２１に登録されているすべての商品のプリセットキーＧ２２１を画面上に表示する構成に代えて、品名検索等の検索に応じて商品の候補をプリセットキーＧ２２１として表示するようにしてもよい。
また、撮像部１１１により商品を撮像し、抽出部１２５によって商品の候補が抽出された際に、学習用画像を登録したい商品が候補に挙がってこない場合等においても、商品ファイル１２１に登録されているすべての商品をプリセットキーＧ２２１として表示してもよい。そして、所定のプリセットキーＧ２２１が指定されると、対応する商品に学習用画像を関連付けて商品ファイル１２１に登録する。なお、この場合においても、上述のとおり初期段階に学習用画像を登録する場合と同様、プリセットキー表示エリアＧ２２は、タブの切替等によって商品を絞り込めるようになっていてもよく、部門、分類（カテゴリ）以外に、学習用画像の登録の有無によってタブが切り替わるようになっていてもよい。
　これにより、学習用画像の登録の有無に関わらず、商品を指定して学習用画像を登録できる。
なお、この第２の操作モードにおいてプリセットキー表示エリアＧ２２から所定のプリセットキーＧ２２１が指定された場合には、第１の操作モードのようにラベル発行確認画面に移行することはなく、学習用画像が登録された旨が案内される。案内は、学習用画像が登録された旨のメッセージを画面上に表示するものであってもよいし、音声によって出力されるものであってもよい。また、ストアコントローラ２等の他の上位端末等に送信するものであってもよい。そして、所定時間の案内の後、あるいは案内を承認するボタンの押下等の操作の後、続けて学習用画像を登録すべく、計量部１０９に商品が載置されるのを待機する画面に戻る。
＜画面例（第３の操作モード）＞
　図７は、第３の操作モードにおいて、商品の販売対象設定を行う際の画面Ｇ１３である。
　画面Ｇ１３上には、「Ｓｔａｔｕｓ　Ｍｏｄｅ」（第３の操作モードに対応するシステム上の名称である）と表示され、操作者は、操作モードが第３の操作モードであることを把握できる。なお、この例においても、画面Ｇ１２について上述したのと同様、操作モードが他の操作モードと異なることは、背景色やプリセットキーＧ２２１の表示態様によって示してもよい。
第３の操作モードでは、プリセットキー表示エリアＧ２２に表示されたプリセットキーＧ２２１の押下によって商品の指定が受け付けられつつ、当該商品の販売対象設定が切り替えられる。即ち、第３の操作モードにおいては、プリセットキーＧ２２１は、設定部１２６により販売対象設定を行うための操作子ともなり、プリセットキーＧ２２１の押下の度に、指定された商品は販売対象商品又は販売対象外商品に設定され、設定は商品ファイル１２１に登録される。
ここで、プリセットキーＧ２２１は、対応する商品が販売対象商品又は販売対象外商品のいずれとして設定されているかによって表示態様を異ならせてもよい。即ち、図示の例では、販売対象商品に設定されている「キウイ」を示すプリセットキーＧ２２１−１は、青色で表示されており、販売対象外商品に設定されている「レモン」を示すプリセットキーＧ２２１−２は、黄色で表示されている。そして、プリセットキーＧ２２１が押下された場合には、押下に応じて販売対象設定の変更が登録され、プリセットキーＧ２２１の色も対応するものに変わる。
なお、このような配色は一例であり、販売対象商品と販売対象外商品とを区別できればどのような配色であってもよい。また、色による区別に限らず、販売対象商品と販売対象外商品とを区別できれば各種の態様を採用することができ、例えば、一方を明滅させたり、両者を区別可能な図案や文言をそれぞれ又はどちらかに付したりしてもよい。また、販売対象商品と販売対象商品とをグループ分けして表示してもよく、商品の候補が多い場合にはわかりやすい。
また、第３の操作モードにおいて表示されプリセットキーＧ２２１と第１の操作モードにおいて表示されるプリセットキーＧ２２１との表示態様も異なっていてもよい。例えば、第３の操作モードにおいては販売対象商品に設定されている商品のプリセットキーＧ２２１を青色、販売対象外のものを黄色で表示し、第１の操作モードにおいて表示するプリセットキーＧ２２１は白色で表示する。これによりいずれの操作モードにおいて操作を行っているかもわかりやすくなる。
なお、プリセットキー表示エリアＧ２２では、プリセットキーＧ２２１に対応する商品にグループ設定がなされているか否かにかかわらず、抽出対象となった商品のプリセットキーＧ２２１がすべて表示され、グループ化されている商品であっても個別に設定を行うことができる。また、抽出対象となった商品にグループ設定がなされている場合、グループ化されている商品のプリセットキーＧ２２１をすべてプリセットキー表示エリアＧ２２に表示するものとしてもよい。
また、第３の操作モードは、第１の操作モードの実行中、店員等の操作者の任意の操作を受けて切り替えられるようになっていてもよい。これにより例えば、第１の操作モードにおいて商品を撮像して商品の候補がプリセットキーＧ２２１により表示された際、本来は販売対象外商品であるはずの所定の商品のプリセットキーＧ２２１が表示されてしまった場合には、第１の操作モードを一旦保留状態にして当該第３の操作モードに移行する。移行した第３の操作モードのプリセットキー表示エリアＧ２２では、第１の操作モードにおいて表示されていたプリセットキーＧ２２１が、販売対象商品又は販売対象外商品のいずれと設定されているかが区別可能な態様で表示される。操作者は、所定の商品の設定を販売対象商品から販売対象外商品に変更し、第１の操作モードに戻ることができる。これにより、従前は販売対象商品として表示されていた所定の商品のプリセットキーＧ２２１が非表示となる。
　ただし、このことは、第３の操作モードが第１の操作モードの実行とは別に実行することを妨げるものではなく、例えば各操作モードから独立したメニュー画面から第３の操作モードを選択することにより第３の操作モードを実行できる。
また、第３の操作モードにおいても、タブＧ２３１の押下により、第３の操作モードから第１の操作モードに操作モードが切り替わるようになっており、タブＧ２３１には操作モードが切り替えられることを認識可能なイメージが表示されている。
　このように、販売対象設定を行う対象商品を、オブジェクトスキャンにより抽出された商品の候補から指定できるため、商品ファイル１２１に登録されている商品のリストから品番主導で対象商品を検索して販売対象設定するのに比して作業の工数を抑えることができる。また、上述した第２の操作モードにおける学習用画像の登録と近しい操作感によって販売対象設定を行えるため、操作者も操作に馴染みやすい。
なお、店舗で新しく商品を陳列し、該商品が今まで陳列されていなかった商品である場合、店員は、商品を陳列した後に正しくオブジェクトスキャンされるか否かを確認する必要がある。確認は例えば、第１の操作モードにおいて商品を計量部１０９に載置したとき、オブジェクトスキャンにより画面Ｇ１１上に正しい商品の候補がプリセットキーＧ２２１として表示されるか否かによって行える。同種の他の個体をいくつか計量部１０９に載置し、想定のとおりに適切な商品の候補が抽出されていれば準備完了となる。一方、適切な商品の候補が抽出されない場合、商品の販売対象設定の確認が必要となる。このとき、店員等の操作者としては、計量値付けを行う画面Ｇ１１から権限認証を行って第３の操作モードへ移行できると便利である。権限は、例えば撮像部１１１により店員のバーコードなどをスキャンして認証してもよいし、パスワード入力等で認証してもよく、特に限定されない。また、第３の操作モードへの移行は、上述したタブＧ２３１の押下に限らず、第１の操作モード中に権限認証が行われたことが契機となってもよい。第３の操作モードに移行すると、操作者は上述したとおり、画面Ｇ１３上において商品の候補ごとに販売対象商品であるか販売対象外商品であるかの販売対象設定を確認できると共に、その販売対象設定を切り替えられる。
＜画面例（第４の操作モード）＞
　図８は、第４の操作モードにおいて、商品のグループ化を行う際の画面Ｇ１４である。
　画面Ｇ１４上には、「Ｇｒｏｕｐｉｎｇ　Ｍｏｄｅ」（第４の操作モードに対応するシステム上の名称である）と表示され、操作者は、操作モードが第４の操作モードであることを把握できる。
第４の操作モードでは、プリセットキー表示エリアＧ２２に表示されたプリセットキーＧ２２１の押下によって複数の商品を指定した上、登録を要求する操作を行うと、グループ化部１２８によって指定された複数の商品がグループ化され、グループ設定が商品ファイル１２１に登録される。なお、指定する商品のプリセットキーＧ２２１の数は特に限定されず、２以上の複数であればグループ設定は有効に受け付けられる。また、登録を要求する操作が実行されるまでは、プリセットキーＧ２２１の指定に応じて商品の選択と選択の解除を行うことができる。また、登録を要求する操作は、画面上に別途設けられたボタンやメカキーの完了キーの押下など、各種の態様によることができる。
●処理フロー
　続いて、本実施形態に係る計量装置１によって実行される処理の流れについて、操作モードごとに説明する。
　なお、計量装置１は、電源がＯＮになると、操作モードを選択可能なメニュー画面を表示する。メニュー画面から所定の操作モードが選択されると、各操作モードにおける待機画面が表示される。各操作モードの待機画面からは、所定の操作でメニュー画面へ戻ることができるようになっていてもよい。もっとも、各操作モードにおける画面上に操作モードの切替ボタン等の切替手段を設け、当該切替手段の操作に応じて所定の操作モードから他の操作モードへ移行できるようになっていてもよい。
＜処理フロー１（第１の操作モード）＞
　図９は、第１の操作モードにおける処理の流れを示している。
　上述した画面Ｇ１０の例で示された待機画面において商品が計量部１０９に載置されると、変化検知部１２３によって計量部１０９上の重量の変動が検知され（Ｓ１０１）、上述した画面Ｇ１１が表示される。なお、計量制御部１２２は計量部１０９により常時、計量を実行しており、計量値は画面Ｇ１１上に表示される。また、以降の処理において商品が計量部１０９から取り除かれて重量がゼロ値になると、待機画面Ｇ１０に戻る。
撮像部１１１は、重量の変動を契機として計量部１０９に載置された商品を撮像する（Ｓ１０２）。
　計量部１０９が計量する重量が安定すると（Ｓ１０３）、抽出部１２５は、撮像された商品に対応する商品の候補を商品ファイル１２１から抽出する（Ｓ１０４）。抽出処理の詳細は後述する。
表示制御部１３２は、抽出された商品の候補を操作子（プリセットキーＧ２２１）として画面上に表示する（Ｓ１０５）。いずれかの操作子の押下により商品が指定され、これにより指定受付部１３１が当該指定を受け付けると（Ｓ１０６）、算出部１２９により商品の重量（または単位重量から割り出された個数）に応じた価格を算出され（Ｓ１０７）、当該価格が画面上に表示される。
発行するラベルの内容が確定し、操作者から確定した旨の操作を受け付けるなどすると（Ｓ１０８）、印字制御部１３０が印字部１１０を制御してラベルを発行する（Ｓ１０９）。
ここで、上述したＳ１０４に係る抽出処理の詳細な流れを図１０に示す。
　まず、抽出部１２５は、撮像部１１１により撮像した商品の画像に基づき、商品ファイル１２１を参照して、販売対象商品に設定されている商品から候補となる商品の抽出を試みる（Ｓ１１１）。商品の候補の抽出では上述のとおり、商品の画像と登録されている学習画像との類似度が算出される。この結果、販売対象商品に設定されている商品から、撮像した商品に対応する商品の候補を抽出できた場合には当該商品を候補として抽出する（Ｓ１１２）。
一方、販売対象商品として設定されている商品から候補となる商品を抽出できなかった場合には、抽出部１２５は、販売対象外商品に設定されている商品から候補となる商品の抽出を試みる（Ｓ１１３）。この結果、販売対象外商品に設定されている商品から、撮像した商品に対応する商品の候補を抽出できた場合には当該商品を候補として抽出する（Ｓ１１２）。
販売対象外商品に設定されている商品からも候補となる商品を抽出できなかった場合には（Ｓ１１３）、エラー処理を実行する（Ｓ１１４）。エラー処理では例えば、店員呼出画面を表示して店員の呼び出しを促したり、同じ商品で異なるものを載置することを求める案内を表示したりする。店員が呼び出されたときは、店員が品番検索によって該当する商品を呼び出してもよいし、同じ商品で異なるものを載置することを求める案内に応じて商品が再度、計量部１０９に載置されたときには、再び上述したＳ１０１からの一連の処理が実行される。なお、このようなエラー処理に代えて、「プリセットキーから選択してください」といったメッセージと共にプリセットキーを表示して、商品の指定を促してもよい。
顧客は、ラベルの発行を受けると、当該ラベルを用いてＰＯＳ端末３により精算を行う。ラベルには、例えば商品名、値段、重さに対応する内容量、単価、店名、値段等を含む精算情報をコード化したバーコード、商品コードなどが印字されており、ラベルに印字された情報に基づいて精算を行うことができる。
なお、Ｓ１１３において販売対象外商品に設定されている商品から商品を抽出した場合には、その旨を画面上に表示したり、プリセットキーＧ２２１の表示態様を変えたりしてもよいし、画面上には当該商品はプリセットキーＧ２２１としては表示せず、店員のみに分かる態様のマークを表示するなどして状態を示すようにしてもよい。なお、いずれも画面表示に代えて、又は加えて、音声出力やサインランプの点灯や明滅、他の端末への通知などの出力を行ってもよい。
　また、図示の例では、販売対象商品から商品の候補を抽出できなかった場合、販売対象外商品から商品の候補を抽出することを試みるものとしたが、他の実施形態においては、販売対象商品から商品の候補を抽出できなかった場合には、販売対象外商品から商品の候補を抽出することを試みることなく、エラー処理（Ｓ１１４）に至るようにしてもよい。この場合に、販売対象外商品に設定されている商品を対象とすれば抽出可能である場合には、店員にのみに分かる態様で、その旨を画面上に表示したマークなどで報知してもよい。報知の態様は上述と同様、他の態様によってもよい。
また、Ｓ１１４のエラー処理のステップに至った場合には、撮像した画像に対応する商品の候補の抽出において、一定の類似度以上の学習用画像が関連付けられた商品があるものの、候補として表示するには至らない程度の類似度であったか、学習用画像が関連付けられている商品から候補を抽出できなかったという状況が考えられる。そこで、店員等に対して、それぞれの状況を認識可能な態様、例えばメッセージやマークの表示等で状況を知らせてもよい。これにより学習用画像が未登録ということが把握できた場合には、いちいちメンテナンス画面等から商品の状況把握に努めなくても、品番検索等により即座に該当する商品を呼び出せば済む。
また、ステップＳ１０４は、ステップＳ１０３と同時、あるいは重量が安定する前に行われてもよい。ただし、ステップＳ１０４をステップＳ１０３の条件が満たされた後に実行する構成によれば、商品の姿勢が安定し、静止した状態で類似度を算出することができるので、より高い識別精度を担保できる。
＜処理フロー２（第２の操作モード）＞
　図１１は、第２の操作モードにおける処理の流れを示している。
　図９を参照して上述した第１の操作モードにおける処理（Ｓ１０１~Ｓ１０３）と同様、待機画面において、店員等の操作者が計量装置１に学習させたい商品を計量部１０９に載置するなどすると、変化検知部１２３によって計量部１０９上の重量の変動が検知され（Ｓ２０１）、上述した画面Ｇ１２が表示される。そして、撮像部１１１が重量の変動を契機として計量部１０９に載置された商品を撮像すると（Ｓ２０２）、計量部１０９が計量する重量の安定を待つ（Ｓ２０３）。なお、この第２の操作モードにおいても、計量制御部１２２は計量部１０９により常時、計量を実行しており、計量値は画面Ｇ１２上に表示される。また、商品が計量部１０９から取り除かれて重量がゼロ値になると待機画面に戻る。
計量部１０９上の重量が安定すると、抽出部１２５は、撮像した商品の画像に基づき、商品ファイル１２１を参照して学習用画像を追加する商品の候補の抽出を試みる（Ｓ２０４）。これにより、例えば撮像した商品の画像と所定の類似度以上の類似度で一致する学習用画像が関連付けられた商品を特定できた場合には、学習用画像を追加する商品の候補として、当該特定した商品を抽出する（Ｓ２０５）。
一方、撮像した商品の画像と所定の類似度以上の類似度で一致する学習用画像が関連付けられた商品を特定できず、したがって学習用画像を追加する商品の候補を抽出できない場合には、撮像した商品は未だ学習用画像が登録されていない、あるいは有効なオブジェクトスキャンが実行可能な程度には学習用画像が登録されていないものとみなし、学習用画像を新規登録する商品の候補として、学習用画像が関連付けられていない商品を抽出する（Ｓ２０６）。
　なお、Ｓ２０５及びＳ２０６の処理においては、抽出部１２５は、販売対象商品として設定されている商品及び販売対象外商品として設定されている商品の両方から、商品の候補の抽出を試みるものとしてもよい。
表示制御部１３２は、抽出された商品の候補を操作子（プリセットキーＧ２２１）として画面上に表示する（Ｓ２０７）。いずれかの操作子の押下により商品が指定され、指定受付部１３１が当該指定を受け付けると（Ｓ２０８）、登録部１２７は、撮像した商品の画像を学習用画像として取得すると共に、指定された商品に関連付けて商品ファイル１２１に登録する（Ｓ２０９）。
＜処理フロー３（第３の操作モード）＞
　図１２は、第３の操作モードにおける処理の流れを示している。
　ここでは、第１の操作モードの実行中に第３の操作モードへ操作モードを切り替えて処理を行う流れについて説明する。
　図９を参照して述べたとおりのステップにより、Ｓ１０５のステップにおいて商品の候補がプリセットキーＧ２２１として表示された状態において、操作モードの切り替えを受け付けると（Ｓ３０１）、商品ファイル１２１から商品の販売対象設定が読み込まれ（Ｓ３０２）、プリセットキーＧ２２１の表示態様に販売対象設定が反映される（Ｓ３０３）。
操作者は、プリセットキーＧ２２１の表示態様から商品の販売対象設定を確認し、設定の切り替えが必要な商品を判断すると、プリセットキーＧ２２１により商品を指定販売対象設定の切り替えを要求する（Ｓ３０４）。これに応じて、設定部１２６は、指定された商品の販売対象設定を切り替えて商品ファイル１２１に登録する（Ｓ３０５）。販売対象設定の切り替えに応じて、対象商品のプリセットキーＧ２２１の表示態様に設定が反映される（Ｓ３０６）。
第３の操作モードの終了操作が行われると、操作モードは第１の操作モードに切り替わり、Ｓ１０６以降のステップを経てラベルが発行される。
なお、上述の例では、第１の操作モードから第３の操作モードに切り替えて商品ごとに販売対象設定を行ったが、上述した第１の操作モードや第２の操作モードと同様、第３の操作モードの所定の待機画面から商品を撮像して商品のプリセットキーＧ２２１を表示させ、当該プリセットキーＧ２２１ごとに販売対象設定を切り替えてもよい。
　また、第１の操作モードにおいてプリセットキーＧ２２１を表示させた状態から第３の操作モードに操作モードを切り替えた場合と同様に、第２の操作モードや後述する第４の操作モードにおいてプリセットキーＧ２２１を表示させた状態から第３の操作モードに操作モードを切り替え、プリセットキーＧ２２１として表示された商品ごとに販売対象設定を行えるようになっていてもよい。
＜処理フロー４（第４の操作モード）＞
　図１３は、第４の操作モードにおける処理の流れを示している。
　まず、所定の待機画面において、商品ファイル１２１から商品を読み込んでプリセットキーＧ２２１を画面上に表示する（Ｓ４０１）。プリセットキーＧ２２１として表示される商品は例えば、品番検索等によって抽出されたものであってもよいし、商品ファイル１２１に登録されているすべての商品を抽出したものであってもよい。
操作者により、画面上に表示されているプリセットキーＧ２２１から任意のプリセットキーＧ２２１が指定されると、指定受付部１３１はこれを受け付ける（Ｓ４０２）。複数のプリセットキーＧ２２１が指定され、画面上で所定のボタンが押下されるなどしてグループ化を要求する操作が行われると（Ｓ４０３）、グループ化部１２８は指定された複数の商品をグループ化して、商品ファイル１２１に設定する（Ｓ４０４）。
なお、以上の第１乃至第４のいずれの操作モードにおける処理フローについても、ステップの順番は、矛盾を生じない限りにおいて適宜に変更することができる。
以上の本実施形態に係る計量装置１によれば、オブジェクトスキャンにより抽出した商品について販売対象設定を容易に行える。特に、抽出された商品が指定可能なプリセットキーＧ２２１として表示され、タッチ（押下）操作で簡単に設定を更新できるし、設定が一目でわかる態様で表示されるため便利である。また、オブジェクトスキャンにより、撮像した商品に類似する商品も抽出されるため、類似する商品について同時に販売対象設定を更新できるので有用である。さらに、通常の取引の操作と同様の操作感覚で設定を行えるし、商品一覧から商品を対象・対象外を選択するような手間もない。
また、商品ファイル１２１に登録されているいずれの商品についても、汎用的且つ簡便な操作で学習用画像の登録や商品の設定を行うことができる。特に、品番指定から商品を撮像して画像を入力するといった順番ではなく、商品を撮像してから品番（商品）を指定するという順番で行われるので、品番切替もなく連続して学習用画像を登録することも可能である。
　また、計量部１０９に載置するだけで撮像部１１１によって学習用画像が生成されるし、既に学習用画像が登録されている商品については、学習用画像を登録する商品の候補がオブジェクトスキャンによって自動的に抽出されるため、学習用画像を登録する商品の指定に手間がかからない。
また、学習用画像が未登録の商品についても、学習用画像が登録済み又は未登録の商品に対して学習用画像を登録しようとしているかどうかを操作者が認識していなくても、オブジェクトスキャンの結果に応じて学習用画像が未登録の商品のみが候補として抽出されるため、商品を指定が容易であるし、学習用画像が未登録であることもすぐに把握できる。
　また、学習用画像を登録する処理において、誤って意図する商品とは異なる商品を撮像した場合においても、撮像した画像に対応する商品の候補が抽出されるだけであり、学習用画像と商品の対応関係が誤って登録されてしまう虞もなく、これにより誤って登録した学習用画像を削除するという操作を行う状況も大幅に減らせる。
　また、操作画面も特別な画面ではなく、通常の操作画面をイメージしながら操作できる。
　また、所定の商品がグループ化される結果、外観又は外見が類似する商品に対して学習用画像をまとめて登録できて便利である。
また、オブジェクトスキャンにより抽出した商品について販売対象設定を容易に行える。特に、抽出された商品が指定可能なプリセットキーＧ２２１として表示され、タッチ（押下）操作で簡単に設定を更新できるし、設定が一目でわかる態様で表示されるため便利である。また、オブジェクトスキャンにより、撮像した商品に類似する商品も抽出されるため、類似する商品について同時に販売対象設定を更新できるので有用である。さらに、通常の取引の操作と同様の操作感覚で設定を行えるし、商品一覧から商品を対象・対象外を選択するような手間もない。
なお、以上の本実施形態に関して、計量装置１がＰＯＳ端末３の機能を備えたり、本発明に係る情報処理装置がＰＯＳ端末３として構成されたりする場合には、ＰＯＳ端末３において、オブジェクトスキャンによる商品の抽出等の処理と共に、購入対象商品としての商品登録や商品登録した商品精算等の処理を行ったりする。ＰＯＳ端末３は、店員が商品登録から精算までを行う通常のＰＯＳ端末のほか、顧客自ら商品登録と精算を行うフルセルフ式ＰＯＳ端末、店員が登録機で商品登録をし、顧客が精算機で精算を行うセミセルフ式ＰＯＳ端末など、種類を問わず各種のＰＯＳ端末でき、それぞれのＰＯＳ端末既知のＰＯＳ端末が備える機能部を備えている。即ち、各種の情報を表示したり操作を行ったりするための表示・操作部、各種のコードを読み取って情報を取得する読取部、各種の決済媒体や現金による決済に対応する決済部、ストアコントローラ２等とのデータ通信を可能とする通信部などを備える。なお、この場合、ＰＯＳ端末３では学習用画像の登録のみならず、商品登録においても上述のとおりに商品の撮像画像から商品の候補を複数、プリセットキーＧ２２１として提示し、指定を受け付けるようにしてもよい。また、販売対象設定なども上述したのと同様にＰＯＳ端末３で行えるようになっていてもよい。
また、以上の本実施形態では、顧客に販売する商品の学習用画像を登録したが、オブジェクトスキャンの対象又は学習用画像を登録する対象はこのような商品以外の物品であってもよい。例えば、バルク販売（量り売り）に利用される容器を対象とすることもできる。即ち、バルク販売では、総菜食品やフルーツなどの商品の販売時に複数サイズの容器が利用されるところ、当該複数サイズの容器は、店舗からサイズごとに異なる値段で顧客に提供される場合がある。また、各容器はサイズに応じて風袋重量がそれぞれで異なる。この場合において、容器に商品を入れる際に当該容器をオブジェクトスキャンし、容器の値段を精算額に反映したり、計量値から容器の風袋重量を減算できたりすれば便利である。そこで、このような場面に上述した本発明を適用して、各サイズの容器ごとに値段や風袋重量、及び学習用画像を登録するようにし、複数サイズの容器の画像を学習用画像として登録する際には容器の候補を操作者に提示し、操作者が任意の容器を指定できるようにすれば有用なものとなる。
なお、本発明は、着目する観点により、コンピュータプログラム、方法の発明として構成することができる。コンピュータプログラムは、各種のデータ読取可能な記録媒体に格納して提供したり、インターネット等のネットワークを介してダウンロード可能に提供したりすることができる。
　また、他の実施形態においては、上述したように本発明に係る情報処理装置をＰＯＳ端末として構成したり、表示装置として構成したりすることができるが、このほか、その名称等にかかわらず少なくとも画像処理を行う装置であれば本発明に係る情報処理装置を構成し得る。
また、これらのソフトウェア資源は、適宜の設計によりいずれかのハードウェア資源に分散又は集約させることができるし、ハードウェア資源も物理的に一体をなす装置あるいは別体をなす装置として構成することもできる。
具体的には例えば、計量装置１と、当該計量装置１の上位装置に位置づけられるクラウドサーバ４とを備える情報処理システムとして構成することもできる。この場合、例えば計量装置１は少なくとも、表示タッチパネル１０４、計量部１０９、撮像部１１１、計量制御部１２２、撮像制御部１２４及び表示制御部１３２を備える。また、クラウドサーバ４は、撮像部１１１により撮像された商品の画像に応じた商品の候補を抽出する抽出部１２５を備える。計量装置１とクラウドサーバ４において、互いに必要とする情報はネットワークを介して送受信される。即ち、計量装置１からクラウドサーバ４に対しては、商品を撮像した画像や、商品の候補から学習用画像を登録する商品を指定する情報などが送信され、クラウドサーバ４から計量装置１に対しては、商品を撮像した画像に基づいて抽出された商品の候補に係る情報などが送信される。
或いは、計量装置１からクラウドサーバ４に対しては、商品を撮像した画像や、操作者による販売対象設定の操作に関する情報が送信され、クラウドサーバ４から計量装置１に対しては、商品を撮像した画像に基づいて抽出された商品の候補に係る情報などが送信される。
＜付記＞
　本発明の他の実施形態に係る情報処理装置は、物品を撮像する撮像手段と、学習用画像を基準画像とした類似度により、前記撮像手段で撮像した物品に対応する物品を所定の記憶手段から抽出する抽出手段と、前記抽出手段により抽出した一又は複数の物品から、所定の物品の指定を受け付ける指定受付手段と、前記指定受付手段により指定された所定の物品と前記撮像手段により撮像した物品の画像を前記学習用画像として取得する取得手段と、を備え、前記撮像手段で撮像した物品の学習用画像がない、又は前記抽出手段により学習用画像に基づいて物品を抽出できない場合、前記指定受付手段は、前記所定の記憶手段に登録されているすべての物品から指定を受け付け、前記撮像手段で撮像した物品の画像に基づいて前記抽出手段により物品が抽出された場合は、該抽出された物品から指定を受け付ける。
前記撮像手段により撮像した物品の学習用画像に基づいて前記抽出手段により抽出された物品について、取引を実行する操作モードにおいて、前記抽出手段により抽出する対象にするか、非対象にするかを設定する設定手段を備えるものとしてもよい。
第１モードと第２モードを切り替える切替手段を備え、前記切替手段により、前記指定受付手段は、前記第１モードの場合では、前記撮像手段により撮像した物品の画像を前記取得手段により前記学習用画像として取得する指示を受け付け、前記第２モードの場合では、前記取引を実行する操作において前記抽出手段により抽出する対象にするか、非対象にするかの設定を受け付けるものとして機能するものとしてもよい。
●実施形態総括
　本発明は、情報処理装置、情報処理システム、及びコンピュータプログラムに関する。
物品を撮像して得られた物品の撮像画像と、画像認識の基準画像たる学習用画像とを照合して当該物品を特定する所謂オブジェクトスキャンの技術が知られている。
例えば、特開２０１７−１６２２１７号公報には、物品を載置するトレイと、トレイの底面側からバックライト光を照明するバックライト光源と、トレイ上の物品を撮像するデジタルカメラと、デジタルカメラからの画像を画像認識し、物品を識別する識別コンピュータとを備える物品識別装置が開示されている。この物品識別装置は、前記バックライト光源がオンの際の画像とバックライト光源がオフの際の画像との差分画像から、トレイ上の物品を切り出す。
オブジェクトスキャンのための画像学習では、対象商品毎に物品を撮像し、都度物品を指定して画像を登録しており、非常に面倒であった。
そこで本発明は、オブジェクトスキャンに用いる学習用画像を容易に登録できる装置を提供することを目的の一つとする。
上記目的を達成するため、本発明の一の観点に係る情報処理装置は、商品を撮像する撮像手段と、前記撮像手段により撮像した商品の画像に基づき、商品情報を記憶する商品情報記憶手段を参照して、学習用画像を追加する商品の候補を抽出する抽出手段と、前記抽出手段により抽出された商品の候補から、前記学習用画像を追加登録する商品の指定を受け付ける指定受付手段と、前記撮像手段により撮像した商品の画像を前記学習用画像として、前記指定受付手段において指定された商品と関連付けて前記商品情報記憶手段に登録する登録手段と、を備える。
前記抽出手段は、前記撮像手段により撮像した商品の画像に基づいて前記学習用画像を追加する商品の候補を抽出できない場合、前記学習用画像を新規登録する商品の候補として、前記学習用画像が関連付けられていない商品を抽出し、前記指定受付手段は、前記抽出手段により抽出された商品の候補から、前記学習用画像を新規登録する商品の指定を受け付けるものとしてもよい。
前記抽出手段は、前記撮像手段により撮像した商品の画像に基づいて前記学習用画像を追加する商品の候補を抽出できない場合、前記学習用画像を新規登録する商品の候補として、前記商品情報記憶手段に記憶されている商品を選択可能に表示する表示手段とを備え、前記指定受付手段は、前記表示手段により表示された商品の候補から、前記学習用画像を新規登録する商品の指定を受け付けるものとしてもよい。
前記抽出手段は、計量手段により計量された商品の重量が取引計量範囲である場合に、前記撮像手段により撮像した商品の画像に基づき、商品情報を記憶する商品情報記憶手段を参照して、前記学習用画像を追加する商品の候補を抽出するものとしてもよい。
所定の商品をグループ化するグループ化手段、をさらに備え、前記登録手段は、指定を受け付けた商品が前記グループ化手段でグループ化された商品のうちのいずれか一の商品である場合、前記撮像手段により撮像した画像を前記学習用画像として、前記指定受付手段において指定された商品とグループ化されているすべての商品に関連付けて前記商品情報記憶手段に登録するものとしてもよい。
本発明の一の観点に係る情報処理システムは、情報処理装置と、上位の管理装置とがネットワークを介して通信可能に構成され、前記情報処理装置は、商品を撮像する撮像手段と、前記撮像手段により撮像した商品の画像を学習用画像として追加する商品の候補から、当該学習用画像を追加登録する商品の指定を受け付ける指定受付手段と、を備え、前記管理装置は、商品情報を記憶する商品情報記憶手段と、前記撮像手段により撮像した商品の画像に基づき、前記商品情報記憶手段を参照して、前記学習用画像を追加する商品の候補を抽出する抽出手段と、前記撮像手段により撮像した商品の画像を前記学習用画像として、前記指定受付手段において指定された商品と関連付けて前記商品情報記憶手段に登録する登録手段と、を備える。
本発明の一の観点に係るコンピュータプログラムは、コンピュータに対し、商品を撮像する撮像処理と、前記撮像処理により撮像した商品の画像に基づき、商品情報を記憶する商品情報記憶手段を参照して、前記学習用画像を追加する商品の候補を抽出する抽出処理と、前記抽出処理により抽出された商品の候補から、前記学習用画像を追加登録する商品の指定を受け付ける指定受付処理と、前記撮像処理により撮像した商品の画像を前記学習用画像として、前記指定受付処理において指定された商品と関連付けて前記商品情報記憶手段に登録する登録処理と、を実行させる。
本発明の一の観点に係るコンピュータプログラムは、情報処理装置と、上位の管理装置とがネットワークを介して通信可能に構成されたシステムにおいて、前記情報処理装置に対し、商品を撮像する撮像処理と、前記撮像処理により撮像した商品の画像を学習用画像として追加する商品の候補から、当該学習用画像を追加登録する商品の指定を受け付ける指定受付処理と、を実行させ、前記管理装置に対し、前記撮像処理により撮像した商品の画像に基づき、商品情報を記憶する商品情報記憶手段を参照して、前記学習用画像を追加する商品の候補を抽出する抽出処理と、前記撮像処理により撮像した商品の画像を前記学習用画像として、前記指定受付処理において指定された商品と関連付けて前記商品情報記憶手段に登録する登録処理と、を実行させる。
以上の本発明の実施形態に係る物品識別装置によれば、オブジェクトスキャンに用いる学習用画像を容易に登録できる。
また、例えば、特許第７１２５１７９号公報には、複数の商品について、少なくとも学習用画像情報と商品名とが対応付けられた画像データベースを予め記憶する記憶部と、前記画像データベースに記憶されている前記学習用画像情報と前記商品名とを用いて機械学習を行って、学習済みの識別エンジンを生成する学習部と、前記識別エンジンを用いて、対象商品の画像情報に基づいて、当該対象商品の商品名を識別する識別部と、を備える商品認識装置が開示されている。
この点、スーパーマーケット等の店舗において、購入対象商品のオブジェクトスキャンを行う場合に、所定の記憶手段に登録している商品をすべてオブジェクトスキャンの対象にすると、現在販売していない商品まで抽出する可能性がある。そのため、所定の記憶手段から対象商品を検索し、販売対象とするか否かの設定を行う必要があった。しかしながら、対象商品をいちいち検索して設定を行うのは煩雑で面倒であった。
そこで本発明は、商品の販売対象設定を容易に行える装置を提供することを目的の一つとする。
上記目的を達成するため、本発明に係る情報処理装置は、商品を撮像する撮像手段と、前記商品を購入するための操作を行う所定の操作モードにおいて、前記撮像手段により撮像した商品の画像に基づき、商品情報を記憶する商品情報記憶手段を参照して、前記撮像手段により撮像した商品の画像に対応する商品の候補を抽出する抽出手段と、前記所定の操作モードにおいて前記抽出手段により抽出した商品を販売対象商品又は販売対象外商品に設定する設定手段と、を備える。
前記抽出手段により前記商品の候補として抽出した商品ごとに、前記設定手段により設定を行うための操作子を表示させる表示制御手段、をさらに備え、前記表示制御手段は、前記商品が販売対象商品又は販売対象外商品のいずれとして設定されているかによって前記操作子の表示態様を異ならせるものとしてもよい。
前記所定の操作モードと、商品情報のメンテナンスモードを備え、前記抽出手段は、前記所定の操作モードにおいては、前記販売対象商品として設定されている商品から前記商品の候補を抽出し、前記メンテナンスモードにおいては、前記販売対象商品として設定されている商品及び前記販売対象外商品として設定されている商品から前記商品の候補を抽出するものとしてもよい。
前記抽出手段は、前記所定の操作モードにおいて、前記販売対象商品として設定されている商品から前記商品の候補を抽出できない場合、前記販売対象外商品として設定されている商品から前記商品の候補を抽出し、その旨を出力するものとしてもよい。
前記抽出手段は、前記商品情報記憶手段を参照して、前記商品に関連付けられた学習用画像を基準画像として、前記撮像手段により撮像した商品の画像に対応する商品の候補を抽出すると共に、前記販売対象商品及び前記販売対象外商品のうち、前記学習用画像が関連付けられていない商品を抽出対象から除外するものとしてもよい。
本発明の一の観点に係る情報処理システムは、情報処理装置と、上位の管理装置とがネットワークを介して通信可能に構成され、前記情報処理装置は、商品を撮像する撮像手段、を備え、前記管理装置は、商品情報を記憶する商品情報記憶手段と、前記商品を購入するための操作を行う所定の操作モードにおいて、前記撮像手段により撮像した商品の画像に基づき、前記商品情報記憶手段を参照して、前記撮像手段により撮像した商品の画像に対応する商品の候補を抽出する抽出手段と、前記所定の操作モードにおいて前記抽出手段により抽出した商品を販売対象商品又は販売対象外商品に設定する設定手段と、を備える。
本発明の一の観点に係るコンピュータプログラムは、コンピュータに対し、商品を撮像する撮像処理と、前記商品を購入するための操作を行う所定の操作モードにおいて、前記撮像処理により撮像した商品の画像に基づき、商品情報を記憶する商品情報記憶手段を参照して、前記撮像処理により撮像した商品の画像に対応する商品の候補を抽出する抽出処理と、前記所定の操作モードにおいて前記抽出処理により抽出した商品を販売対象商品又は販売対象外商品に設定する設定処理と、を実行させる。
本発明の一の観点に係るコンピュータプログラムは、情報処理装置と、上位の管理装置とがネットワークを介して通信可能に構成されたシステムにおいて、前記情報処理装置に対し、商品を撮像する撮像処理、を実行させ、前記管理装置に対し、前記商品を購入するための操作を行う所定の操作モードにおいて、前記撮像処理により撮像した商品の画像に基づき、商品情報を記憶する商品情報記憶手段を参照して、前記撮像処理により撮像した商品の画像に対応する商品の候補を抽出する抽出処理と、前記所定の操作モードにおいて前記抽出処理により抽出した商品を販売対象商品又は販売対象外商品に設定する設定処理と、を実行させる。
以上の本発明の実施形態に係る物品識別装置によれば、オブジェクトスキャンによって抽出した商品に基づいて販売対象設定を容易に行える。
１　　　　　　：計量装置（情報処理装置）
１０４　　　　：表示タッチパネル（表示手段）
１０９　　　　：計量部（計量手段）
１１０　　　　：印字部
１１１　　　　：撮像部（撮像手段）
１２１　　　　：商品ファイル（商品情報記憶手段）
１２２　　　　：計量制御部
１２３　　　　：変化検知部
１２４　　　　：撮像制御部
１２５　　　　：抽出部（抽出手段）
１２６　　　　：設定部（設定手段）
１２７　　　　：登録部（登録手段）
１２８　　　　：グループ化部（グループ化手段）
１２９　　　　：算出部
１３０　　　　：印字制御部
１３１　　　　：指定受付部（指定受付手段）
１３２　　　　：表示制御部
２　　　　　　：ストアコントローラ
３　　　　　　：ＰＯＳ端末
４　　　　　　：クラウドサーバ
Ｇ２１　　　　：商品情報表示エリア
Ｇ２２　　　　：プリセットキー表示エリア
Ｇ２２１　　　：プリセットキー

Claims (16)

  1. 　商品を撮像する撮像手段と、
    前記撮像手段により撮像した商品の画像に基づき、商品情報を記憶する商品情報記憶手段を参照して、学習用画像を追加する商品の候補を抽出する抽出手段と、
    前記抽出手段により抽出された商品の候補から、前記学習用画像を追加登録する商品の指定を受け付ける指定受付手段と、
    前記撮像手段により撮像した商品の画像を前記学習用画像として、前記指定受付手段において指定された商品と関連付けて前記商品情報記憶手段に登録する登録手段と、を備える、
    情報処理装置。
  2. 　前記抽出手段は、
    前記撮像手段により撮像した商品の画像に基づいて前記学習用画像を追加する商品の候補を抽出できない場合、前記学習用画像を新規登録する商品の候補として、前記学習用画像が関連付けられていない商品を抽出し、
    前記指定受付手段は、
    前記抽出手段により抽出された商品の候補から、前記学習用画像を新規登録する商品の指定を受け付ける、
    請求項１記載の情報処理装置。
  3. 　前記抽出手段は、
    前記撮像手段により撮像した商品の画像に基づいて前記学習用画像を追加する商品の候補を抽出できない場合、前記学習用画像を新規登録する商品の候補として、前記商品情報記憶手段に記憶されている商品を選択可能に表示する表示手段とを備え、
    前記指定受付手段は、
    前記表示手段により表示された商品の候補から、前記学習用画像を新規登録する商品の指定を受け付ける、
    請求項１記載の情報処理装置。
  4. 　前記抽出手段は、
    計量手段により計量された商品の重量が取引計量範囲である場合に、前記撮像手段により撮像した商品の画像に基づき、商品情報を記憶する商品情報記憶手段を参照して、前記学習用画像を追加する商品の候補を抽出する、
    請求項１乃至３のいずれかの項に記載の情報処理装置。
  5. 　所定の商品をグループ化するグループ化手段、をさらに備え、
    前記登録手段は、
    指定を受け付けた商品が前記グループ化手段でグループ化された商品のうちのいずれか一の商品である場合、前記撮像手段により撮像した画像を前記学習用画像として、前記指定受付手段において指定された商品とグループ化されているすべての商品に関連付けて前記商品情報記憶手段に登録する、
    請求項１乃至３のいずれかの項に記載の情報処理装置。
  6. 　情報処理装置と、上位の管理装置とがネットワークを介して通信可能に構成され、
    前記情報処理装置は、
    商品を撮像する撮像手段と、
    前記撮像手段により撮像した商品の画像を学習用画像として追加する商品の候補から、当該学習用画像を追加登録する商品の指定を受け付ける指定受付手段と、
    を備え、
    前記管理装置は、
    商品情報を記憶する商品情報記憶手段と、
    前記撮像手段により撮像した商品の画像に基づき、前記商品情報記憶手段を参照して、前記学習用画像を追加する商品の候補を抽出する抽出手段と、
    前記撮像手段により撮像した商品の画像を前記学習用画像として、前記指定受付手段において指定された商品と関連付けて前記商品情報記憶手段に登録する登録手段と、を備える、
    情報処理システム。
  7. 　コンピュータに対し、
    商品を撮像する撮像処理と、
    前記撮像手段により撮像した商品の画像に基づき、商品情報を記憶する商品情報記憶手段を参照して、前記学習用画像を追加する商品の候補を抽出する抽出処理と、
    前記抽出処理により抽出された商品の候補から、学習用画像を追加登録する商品の指定を受け付ける指定受付処理と、
    前記撮像手段により撮像した商品の画像を前記学習用画像として、前記指定受付処理において指定された商品と関連付けて前記商品情報記憶手段に登録する登録処理と、を実行させる、
    コンピュータプログラム。
  8. 　情報処理装置と、上位の管理装置とがネットワークを介して通信可能に構成されたシステムにおいて、
    前記情報処理装置に対し、
    商品を撮像する撮像処理と、
    前記撮像処理により撮像した商品の画像を学習用画像として追加する商品の候補から、当該学習用画像を追加登録する商品の指定を受け付ける指定受付処理と、
    を実行させ、
    前記管理装置に対し、
    前記撮像処理により撮像した商品の画像に基づき、商品情報を記憶する商品情報記憶手段を参照して、前記学習用画像を追加する商品の候補を抽出する抽出処理と、
    前記撮像処理により撮像した商品の画像を前記学習用画像として、前記指定受付処理において指定された商品と関連付けて前記商品情報記憶手段に登録する登録処理と、を実行させる、
    コンピュータプログラム。
  9. 　商品を撮像する撮像手段と、
    前記商品を購入するための操作を行う所定の操作モードにおいて、前記撮像手段により撮像した商品の画像に基づき、商品情報を記憶する商品情報記憶手段を参照して、前記撮像手段により撮像した商品の画像に対応する商品の候補を抽出する抽出手段と、
    前記所定の操作モードにおいて前記抽出手段により抽出した商品を販売対象商品又は販売対象外商品に設定する設定手段と、を備える、
    情報処理装置。
  10. 　前記抽出手段により前記商品の候補として抽出した商品ごとに、前記設定手段により設定を行うための操作子を表示させる表示制御手段、をさらに備え、
    前記表示制御手段は、
    前記商品が販売対象商品又は販売対象外商品のいずれとして設定されているかによって前記操作子の表示態様を異ならせる、
    請求項９記載の情報処理装置。
  11. 　前記所定の操作モードと、商品情報のメンテナンスモードを備え、
    前記抽出手段は、
    前記所定の操作モードにおいては、前記販売対象商品として設定されている商品から前記商品の候補を抽出し、
    前記メンテナンスモードにおいては、前記販売対象商品として設定されている商品及び前記販売対象外商品として設定されている商品から前記商品の候補を抽出する、
    請求項９記載の情報処理装置。
  12. 　前記抽出手段は、
    前記所定の操作モードにおいて、前記販売対象商品として設定されている商品から前記商品の候補を抽出できない場合、前記販売対象外商品として設定されている商品から前記商品の候補を抽出し、その旨を出力する、
    請求項１１記載の情報処理装置。
  13. 　前記抽出手段は、
    前記商品情報記憶手段を参照して、前記商品に関連付けられた学習用画像を基準画像として、前記撮像手段により撮像した商品の画像に対応する商品の候補を抽出すると共に、前記販売対象商品及び前記販売対象外商品のうち、前記学習用画像が関連付けられていない商品を抽出対象から除外する、
    請求項９乃至請求項１２いずれかの項に記載の情報処理装置。
  14. 　情報処理装置と、上位の管理装置とがネットワークを介して通信可能に構成され、
    前記情報処理装置は、
    商品を撮像する撮像手段、を備え、
    前記管理装置は、
    商品情報を記憶する商品情報記憶手段と、
    前記商品を購入するための操作を行う所定の操作モードにおいて、前記撮像手段により撮像した商品の画像に基づき、前記商品情報記憶手段を参照して、前記撮像手段により撮像した商品の画像に対応する商品の候補を抽出する抽出手段と、
    前記所定の操作モードにおいて前記抽出手段により抽出した商品を販売対象商品又は販売対象外商品に設定する設定手段と、を備える、
    情報処理システム。
  15. 　コンピュータに対し、
    商品を撮像する撮像処理と、
    前記商品を購入するための操作を行う所定の操作モードにおいて、前記撮像処理により撮像した商品の画像に基づき、商品情報を記憶する商品情報記憶手段を参照して、前記撮像処理により撮像した商品の画像に対応する商品の候補を抽出する抽出処理と、
    前記所定の操作モードにおいて前記抽出処理により抽出した商品を販売対象商品又は販売対象外商品に設定する設定処理と、を実行させる、
    コンピュータプログラム。
  16. 　情報処理装置と、上位の管理装置とがネットワークを介して通信可能に構成されたシステムにおいて、
    前記情報処理装置に対し、
    商品を撮像する撮像処理、を実行させ、
    前記管理装置に対し、
    前記商品を購入するための操作を行う所定の操作モードにおいて、前記撮像処理により撮像した商品の画像に基づき、商品情報を記憶する商品情報記憶手段を参照して、前記撮像処理により撮像した商品の画像に対応する商品の候補を抽出する抽出処理と、
    前記所定の操作モードにおいて前記抽出処理により抽出した商品を販売対象商品又は販売対象外商品に設定する設定処理と、を実行させる、
    コンピュータプログラム。
PCT/IB2024/055594 2023-06-16 2024-06-07 情報処理装置、情報処理システム、及びコンピュータプログラム Pending WO2024256938A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202480039982.7A CN121311931A (zh) 2023-06-16 2024-06-07 信息处理设备、信息处理系统和计算机程序
US19/407,640 US20260087907A1 (en) 2023-06-16 2025-12-03 Information processing device, information processing system, and recording medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2023098914A JP2024179780A (ja) 2023-06-16 2023-06-16 情報処理装置、情報処理システム、及びコンピュータプログラム
JP2023-098913 2023-06-16
JP2023-098914 2023-06-16
JP2023098913A JP2024179779A (ja) 2023-06-16 2023-06-16 情報処理装置、情報処理システム、及びコンピュータプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/407,640 Continuation US20260087907A1 (en) 2023-06-16 2025-12-03 Information processing device, information processing system, and recording medium

Publications (1)

Publication Number Publication Date
WO2024256938A1 true WO2024256938A1 (ja) 2024-12-19

Family

ID=93851425

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2024/055594 Pending WO2024256938A1 (ja) 2023-06-16 2024-06-07 情報処理装置、情報処理システム、及びコンピュータプログラム

Country Status (3)

Country Link
US (1) US20260087907A1 (ja)
CN (1) CN121311931A (ja)
WO (1) WO2024256938A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015035077A (ja) * 2013-08-08 2015-02-19 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP2017162217A (ja) 2016-03-10 2017-09-14 株式会社ブレイン 物品識別システム
JP7125179B1 (ja) 2022-01-27 2022-08-24 Ｎｅｃプラットフォームズ株式会社 商品認識装置、商品認識システム、商品認識方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015035077A (ja) * 2013-08-08 2015-02-19 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP2017162217A (ja) 2016-03-10 2017-09-14 株式会社ブレイン 物品識別システム
JP7125179B1 (ja) 2022-01-27 2022-08-24 Ｎｅｃプラットフォームズ株式会社 商品認識装置、商品認識システム、商品認識方法、及びプログラム

Also Published As

Publication number Publication date
CN121311931A (zh) 2026-01-09
US20260087907A1 (en) 2026-03-26

Similar Documents

Publication Publication Date Title
CN101159084B (zh) 自结账终端
US20230043615A1 (en) Self-checkout system and self-checkout method
KR101139801B1 (ko) 영수증 판독을 통한 자동 정보 수집 시스템 및 방법
US8927882B2 (en) Commodity search device that identifies a commodity based on the average unit weight of a number of commodities resting on a scale falling within a predetermined weight deviation of a referece unit weight stored in a database
EP3211388B1 (en) Weighing system
JP4874166B2 (ja) チェックアウト端末
JP4558013B2 (ja) セルフチェックアウト端末
US7971787B2 (en) Commodity-vending system and weight-scale apparatus
US7416119B1 (en) Methods and apparatus for automatically determining and deducting weight of containers for products
WO2017126254A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2022120166A (ja) 販売データ処理装置、プログラム、及び販売データ処理システム
CN111753837A (zh) 学习完毕模型生成方法及其装置、商品判别方法及其装置
US20190026549A1 (en) Data processing apparatus and method, and non-transitory computer readable medium
JP2010257485A (ja) セルフチェックアウト端末、及びチェックアウトプログラム
JP2024177513A (ja) 商品販売データ処理システム
US20190043033A1 (en) Point-of-sale terminal
JP2020160930A (ja) 商品販売データ処理装置、及びプログラム
WO2024256938A1 (ja) 情報処理装置、情報処理システム、及びコンピュータプログラム
JP2024179780A (ja) 情報処理装置、情報処理システム、及びコンピュータプログラム
JP2024179779A (ja) 情報処理装置、情報処理システム、及びコンピュータプログラム
JP7595375B2 (ja) 商品販売データ処理システム、携帯端末装置、及びコンピュータ
US11587103B2 (en) Object detection system using image recognition, object detection device using image recognition, object detection method using image recognition, and non-transitory storage medium
WO2020045464A1 (ja) 商品配置装置、商品配置方法、商品配置システム及び商品配置プログラム
JP7665177B2 (ja) 商品販売データ処理システム、プログラム及び携帯端末
JP2018142192A (ja) Ｐｏｓシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24822914

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024822914

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2024822914

Country of ref document: EP

Effective date: 20260116

ENP Entry into the national phase

Ref document number: 2024822914

Country of ref document: EP

Effective date: 20260116

ENP Entry into the national phase

Ref document number: 2024822914

Country of ref document: EP

Effective date: 20260116

ENP Entry into the national phase

Ref document number: 2024822914

Country of ref document: EP

Effective date: 20260116