WO2023058445A1 - タイヤの状態の推定方法 - Google Patents

タイヤの状態の推定方法 Download PDF

Info

Publication number
WO2023058445A1
WO2023058445A1 PCT/JP2022/034916 JP2022034916W WO2023058445A1 WO 2023058445 A1 WO2023058445 A1 WO 2023058445A1 JP 2022034916 W JP2022034916 W JP 2022034916W WO 2023058445 A1 WO2023058445 A1 WO 2023058445A1
Authority
WO
WIPO (PCT)
Prior art keywords
machine learning
learning model
tire
tread
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/034916
Other languages
English (en)
French (fr)
Inventor
麻里子 岩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Rubber Industries Ltd
Original Assignee
Sumitomo Rubber Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Rubber Industries Ltd filed Critical Sumitomo Rubber Industries Ltd
Priority to CN202280062758.0A priority Critical patent/CN117957433A/zh
Priority to EP22878316.3A priority patent/EP4390361B1/en
Priority to US18/698,381 priority patent/US12602800B2/en
Publication of WO2023058445A1 publication Critical patent/WO2023058445A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles
    • G01M17/02—Tyres
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60C—VEHICLE TYRES; TYRE INFLATION; TYRE CHANGING; CONNECTING VALVES TO INFLATABLE ELASTIC BODIES IN GENERAL; DEVICES OR ARRANGEMENTS RELATED TO TYRES
    • B60C11/00—Tyre tread bands; Tread patterns; Anti-skid inserts
    • B60C11/24—Wear-indicating arrangements
    • B60C11/246—Tread wear monitoring systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60C—VEHICLE TYRES; TYRE INFLATION; TYRE CHANGING; CONNECTING VALVES TO INFLATABLE ELASTIC BODIES IN GENERAL; DEVICES OR ARRANGEMENTS RELATED TO TYRES
    • B60C19/00—Tyre parts or constructions not otherwise provided for
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles
    • G01M17/02—Tyres
    • G01M17/027—Tyres using light, e.g. infrared, ultraviolet or holographic techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/006—Indicating maintenance
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to a tire state estimation method, an estimation device, an estimation system, an estimation program, and a learned model generation method.
  • Patent Document 1 discloses a method of estimating a tire tread wear value using a machine learning model.
  • the machine learning model collects and uses sensor data obtained from on-board sensors such as steering wheel angle, wheel speed, longitudinal acceleration, brake pressure, and total distance traveled to estimate the tread wear of each tire.
  • the tread is not only worn uniformly over its entire surface, but may also wear concentrated in a specific portion or wear in a characteristic pattern along the circumferential direction of the tire.
  • Such a phenomenon is also called uneven wear. If uneven wear is left unattended, tires are more likely to be damaged, more likely to slip, and it will be difficult for the vehicle to run comfortably. Therefore, it is important to detect uneven wear at an early stage and take countermeasures such as tire replacement and tire rotation. However, uneven wear may occur when the wear amount of the tread is less than the specified amount, and it may not be discovered by simply estimating the wear amount of the tread. This point is not taken into consideration in Patent Document 1.
  • An object of the present disclosure is to provide a method, apparatus, system and program for estimating uneven tire wear as a tire condition, and a method for generating a trained model.
  • a tire condition estimation method includes: Acquire an image of the tread of the target tire from the front so that the tread is continuous in a predetermined direction while including both ends of the tread of the target tire. Input the acquired image to the first machine learning model that has been trained. To derive an output from the trained first machine learning model. Note that the output of the learned first machine learning model corresponds to the estimated uneven wear of the target tire.
  • the above method may further include determining whether the target tire needs to be replaced based on the output derived from the learned first machine learning model.
  • the above method may further include generating a determination result display screen that displays a determination result as to whether the target tire needs to be replaced.
  • the method may further comprise inputting the acquired image into a second trained machine learning model different from the first machine learning model and deriving an output from the second trained machine learning model. good.
  • the output of the learned second machine learning model corresponds to the estimation result of the groove depth of the tread of the target tire. Further, determining whether the target tire needs to be replaced is based on the output derived from the learned first machine learning model and the output derived from the learned second machine learning model. may be used to determine whether or not the target tire needs to be replaced.
  • the estimation result of uneven wear of the target tire is the estimation result of the degree of uneven wear of the tread, and may be represented by an index showing the degree of uneven wear in stages.
  • the method may further include generating an estimation result display screen that displays the index corresponding to the output derived from the first machine learning model along with the overall position of the index indicating the degree of uneven wear in stages. .
  • the estimation result of uneven wear of the target tire may be an estimation result of the type of uneven wear.
  • the method includes obtaining information on the mounting position of the target tire in the vehicle, and recommending a tire based on the obtained mounting position information and the output derived from the first machine learning model. determining a recommended pattern, which is the rotation pattern of the .
  • the above method may further include generating a rotation screen displaying the determined recommended pattern.
  • the method includes making the data of the judgment result display screen accessible via the network, and generating a two-dimensional code for accessing the data of the judgment result display screen via the network. It may contain further.
  • the method includes making the data of the estimation result display screen accessible via the network, and generating a two-dimensional code for accessing the data of the estimation result display screen via the network. It may contain further.
  • a tire condition estimation device includes an image acquisition unit, a storage unit, and a derivation unit.
  • the image acquisition unit acquires an image of the tread of the target tire including both ends of the tread and photographing the tread from the front such that the tread is continuous in a predetermined direction.
  • the storage unit stores a learned machine learning model.
  • the derivation unit inputs the acquired image to a trained machine learning model and derives an output from the trained machine learning model. It should be noted that the output of the learned machine learning model corresponds to the estimation result of the uneven wear of the target tire.
  • the estimation device may further include a screen generator that generates an estimation result display screen that displays an estimation result corresponding to the output derived from the learned machine learning model.
  • a tire condition estimation system may include an estimation device including the screen generation unit, a camera, and a display.
  • a camera photographs the tread of the target tire.
  • the display displays an estimation result display screen.
  • a tire condition estimation program causes a computer to perform the following: Acquire an image of the tread of the target tire from the front so that the tread is continuous in a predetermined direction while including both ends of the tread of the target tire. Input the acquired image to the first machine learning model that has been trained. To derive an output from the trained first machine learning model. Note that the output of the learned first machine learning model corresponds to the estimated uneven wear of the target tire.
  • a method of generating a trained model includes: Preparing learning data, which is a data set of correct data and learning images obtained by photographing the tread from the front so that the tread includes both ends of the tire tread and the tread is continuous in a predetermined direction.
  • the machine outputs data corresponding to the correct data.
  • the correct data is at least one of an index representing the degree of uneven tire wear in the learning image and a label corresponding to the type of uneven tire wear in the learning image.
  • a tire condition estimation method includes: Obtaining an image including the tread of the target tire Inputting the obtained image to the trained first machine learning model Deriving the output from the trained first machine learning model Learning the obtained image inputting to a second trained machine learning model different from the first trained machine learning model; deriving an output from the second trained machine learning model; Determining whether the target tire needs to be replaced based on the output derived from the learned first machine learning model and the output derived from the learned second machine learning model.
  • the output of the first learned machine learning model corresponds to the estimated uneven wear of the target tire
  • the output of the second learned machine learning model corresponds to the depth of the tread groove of the target tire. corresponds to the estimation result of
  • a tire condition estimation device includes an image acquisition unit, a storage unit, a derivation unit, and a determination unit.
  • the image acquisition unit acquires an image including the tread of the target tire.
  • the storage unit stores a trained first machine learning model and a trained second machine learning model different from the trained first machine learning model.
  • the derivation unit inputs the acquired image to the learned first machine learning model and inputs the acquired image to the learned second machine learning model, and the learned first machine learning model and the learned second Derive the respective output from the machine learning model.
  • the determination unit determines whether the target tire needs to be replaced based on the output derived from the learned first machine learning model and the output derived from the learned second machine learning model. Note that the output of the first learned machine learning model corresponds to the estimated uneven wear of the target tire, and the output of the second learned machine learning model corresponds to the depth of the tread groove of the target tire. corresponds to the estimation result of
  • a tire condition estimation program causes a computer to perform the following: Obtaining an image including the tread of the target tire Inputting the obtained image to the trained first machine learning model Transferring the obtained image to the trained first machine learning model different from the trained first machine learning model 2 Input to the machine learning model Deriving output from the first trained machine learning model Deriving output from the second trained machine learning model Output derived from the first trained machine learning model and Determining whether or not the target tire needs to be replaced based on the output derived from the learned second machine learning model.
  • the output of the first learned machine learning model corresponds to the estimated uneven wear of the target tire
  • the output of the second learned machine learning model corresponds to the depth of the tread groove of the target tire. corresponds to the estimation result of
  • a tire condition estimation method includes: Obtaining an image including the tread of the target tire Inputting the obtained image to the trained first machine learning model Deriving an output from the trained first machine learning model. Note that the output of the learned first machine learning model corresponds to the estimated uneven wear of the target tire.
  • a tire condition estimation device includes an image acquisition unit, a storage unit, and a derivation unit.
  • the image acquisition unit acquires an image including the tread of the target tire.
  • the storage unit stores a learned machine learning model.
  • the derivation unit inputs the acquired image to a trained machine learning model and derives an output from the trained machine learning model. It should be noted that the output of the learned machine learning model corresponds to the estimation result of the uneven wear of the target tire.
  • a tire condition estimation program causes a computer to perform the following: Obtaining an image including the tread of the target tire Inputting the obtained image to the trained first machine learning model Deriving an output from the trained first machine learning model. Note that the output of the learned first machine learning model corresponds to the estimated uneven wear of the target tire.
  • a method of generating a trained model includes: Prepare learning data that is a data set of learning images including tire treads and correct data. Adjust the parameters of the machine learning model so that the data is output.
  • the correct data is at least one of an index representing the degree of uneven tire wear in the learning image and a label corresponding to the type of uneven tire wear in the learning image.
  • FIG. 1 is a diagram showing the overall configuration of a tire state estimation system according to an embodiment
  • FIG. FIG. 2 is a block diagram showing the electrical configuration of the estimating device
  • FIG. 2 is a block diagram showing an electrical configuration of an information processing terminal on the user side
  • 4 is a flow chart showing the flow of processing performed by an information processing terminal on the user side in the estimation system. 4 is a flow chart showing the flow of processing performed by the server device and the estimation device in the estimation system; An example of a user interface screen displayed on an information processing terminal on the user side. Another example of the user interface screen displayed on the user's information processing terminal. An example of a decision table stored in the estimating device.
  • An example of a rotation screen generated by the estimator. 4 is a flowchart showing the flow of learning processing; The figure explaining one aspect
  • the tire state estimation method, estimation device, estimation system, estimation program, and learned model generation method will be described below.
  • the state of the tire includes the state of uneven wear of the tire.
  • FIG. 1 is an overall configuration diagram of an estimation system 5 according to an embodiment of the present disclosure.
  • the estimation system 5 is a system for estimating the uneven wear and wear amount of the tire T as the state of the tire T, and feeding back the estimated results and recommended actions (tire replacement, tire rotation, etc.) based on the estimated results.
  • a main user of the estimation system 5 according to the present embodiment is, but not limited to, a person who provides tire inspection services to vehicle drivers.
  • the estimation system 5 includes an estimation device 1 for estimating the state of the tire T, a camera 20 for photographing the tire T, and a display 21 for displaying the state estimation result and the like.
  • the camera 20 is a photographing device that generates digital image data of a subject.
  • the camera 20 is built in a portable information processing terminal connected to a network such as the Internet, such as a smart phone, tablet, laptop computer, smart watch, and mobile phone with a push button.
  • the display 21 is a display device that displays various information including images captured by the camera 20 .
  • the display 21 is, for example, a touch panel display, a liquid crystal display, an organic EL display, a liquid crystal display element, a plasma display, or the like provided in an information processing terminal in which the camera 20 is built.
  • the camera 20 is a camera built into the smart phone 2 used by the user, and the display 21 is a touch panel display provided in the smart phone 2 .
  • the uneven wear and the amount of wear of the tire T are estimated by the first machine learning model 130 and the second machine learning model 131 (Fig. 4).
  • the output of the first machine learning model 130 corresponds to the estimation result of uneven wear of the tire T
  • the output of the second machine learning model 131 corresponds to the estimation result of the wear amount of the tire T.
  • the estimation device 1 comprehensively judges the outputs derived from the first and second machine learning models 130 and 131, and displays at least one of the estimation results that display the estimation results for the tires T and recommended actions for the driver.
  • a feedback screen G3 (see FIG. 9A) to be displayed is generated.
  • the feedback screen G3 is stored in the server device 4 as web data 7, which will be described later. Thereby, the feedback screen G3 is displayed on the display of the information processing terminal in response to a request from the information processing terminal via the network.
  • the user By displaying the feedback screen G3 on the display 21, the user explains the current status of the tire T and recommended countermeasures while showing this to the driver, and proposes services that the user can provide as necessary. be able to.
  • the driver has an information processing terminal (smartphone 3 in this embodiment) connected to the network, such as a smartphone, tablet, laptop computer, smart watch, desktop computer, or mobile phone with a push button, the driver can access the web data 7 from these information processing terminals via the network and display the feedback screen G3 on the display 31 of the information processing terminal.
  • the driver can check the feedback screen G3 by himself/herself without being restricted by place or time.
  • FIG. 2 is a block diagram showing the electrical configuration of the estimation device 1.
  • the estimating device 1 is a general-purpose computer as hardware, and is implemented as, for example, a desktop personal computer, a laptop personal computer, a tablet, or a smart phone.
  • the estimation device 1 is manufactured by installing a program 132 in a general-purpose computer from a computer-readable storage medium 133 such as a CD-ROM, USB memory, or via a network.
  • the program 132 estimates the state of the tire T shown in the image based on the image data 201 (see FIG. 4) sent from the smartphone 2, and determines whether or not some action is required based on the estimation result.
  • the estimation device 1 includes a control unit 10, a display unit 11, an input unit 12, a storage unit 13, and a communication unit 14. These units 10 to 14 are connected to each other via a bus line 15 and can communicate with each other.
  • the display unit 11 can be composed of a liquid crystal display or the like, and displays the code of the machine learning model, which will be described later, errors in the learning process of the machine learning model, and the like. This display can be used mainly by those who train machine learning models and generate trained machine learning models 130 and 131 .
  • the input unit 12 can be composed of a mouse, a keyboard, a touch panel, or the like, and receives operations on the estimation device 1 .
  • the storage unit 13 can be composed of a non-volatile memory such as a hard disk and flash memory. In addition to storing the program 132 in the storage unit 13, data including the image data 201 sent from the smartphone 2 is stored as appropriate.
  • the storage unit 13 also stores information defining a first machine learning model 130 and a second machine learning model 131 learned in a learning process described later and used in an estimation process described later. Further, the storage unit 13 stores a judgment table 134 for comprehensively judging the estimation results by these machine learning models and determining recommended measures. Details of the determination table 134 will be described later.
  • the control unit 10 can be configured with a CPU (Central Processing Unit), GPU (Graphics Processing Unit), ROM, RAM, and the like. By reading and executing the program 132 in the storage unit 13, the control unit 10 virtually operates as the image acquisition unit 10A, the derivation unit 10B, the determination unit 10C, the screen generation unit 10D, and the learning unit 10E.
  • the image acquisition unit 10A acquires image data 201 input to the first machine learning model 130 and the second machine learning model 131 .
  • the derivation unit 10B inputs the image data 201 to the first machine learning model 130 and the second machine learning model 131, and derives the output from each machine learning model.
  • Determination section 10C determines whether tire replacement or tire rotation is necessary based on the output derived by derivation section 10B and determination table 134 .
  • the screen generation unit 10D generates a feedback screen that displays the determination results of the determination unit 10C.
  • the communication unit 14 functions as a communication interface that performs data communication via a network.
  • the learning unit 10E will be described later.
  • FIG. 3 is a block diagram showing an electrical configuration of an information processing terminal including a camera 20 and a display 21 that constitute the estimation system 5.
  • the information processing terminal is a device for a user to provide a tire inspection service, and as described above, is configured as the smartphone 2 in this embodiment.
  • the smartphone 2 is a general-purpose smartphone, and includes a control unit 22 , a storage unit 23 and a communication unit 24 in addition to a camera 20 and a display 21 . These units 20 to 24 are connected to each other via a bus line 25 and can communicate with each other.
  • the display 21 is a touch panel display as described above, and is configured to receive user operations and display various types of information.
  • the communication unit 24 functions as a communication interface that performs data communication via a network.
  • the control unit 22 can be configured with a CPU, GPU, ROM, RAM, and the like.
  • the storage unit 23 can be composed of a non-volatile memory such as a flash memory.
  • the storage unit 23 stores image data 201 captured by the camera 20, and also stores a dedicated application program 200 (hereinafter also simply referred to as "application 200") for the estimation system 5.
  • the application 200 is installed in the smart phone 2 via a network, for example. When the user starts application 200 , camera 20 , display 21 and the like are controlled to operate as part of estimation system 5 .
  • the application 200 cooperates with the web data 7 as necessary, displays each piece of information on the display 21, and supports the user's operation for executing a process of estimating the state of the tire T, which will be described later.
  • the server device 4 is a general-purpose computer as hardware and has a non-volatile and rewritable storage device.
  • the storage device stores web data 7 that constitutes a dedicated website related to the estimation system 5 in the network to which the estimation device 1, the smartphone 2, and the smartphone 3 are connected.
  • the web data 7 is data including website content data such as screen data displayed on the display of each information processing terminal.
  • the web data 7 may be accessible from smart phones, tablets, laptops, smart watches, desktops and mobile phones with push buttons via a generic web browser.
  • the storage device of server device 4 further includes a vehicle information database.
  • the vehicle information is identification information issued by the user to the target vehicle when performing the process of estimating the state of the tire T, and the format is not particularly limited as long as the information can distinguish the vehicle in the estimation system 5. .
  • the vehicle information may be, for example, the number on the license plate of the vehicle, the number assigned to the driver for service provision, the date and time when the estimation process was started, and a combination of these numbers.
  • the server device 4 acquires vehicle information via an application 200 activated by the smartphone 2, as will be described later.
  • the server device 4 stores the acquired vehicle information in its own storage device and constructs a vehicle information database.
  • the server device 4 acquires the feedback screen G3 generated by the estimation device 1 in the estimation process described later.
  • the server device 4 assigns a unique URL (Uniform Resource Locator) to the acquired feedback screen G3, associates it with the corresponding vehicle information stored in the vehicle information database, and saves it as web data 7.
  • This enables access to the feedback screen G3 from a general information processing terminal such as the smartphone 3 via the network.
  • the feedback screen cannot be reached unless the dedicated website is first accessed from the information processing terminal and the target vehicle information is entered in the form screen displayed on the display of the information processing terminal. It has become.
  • a business card-sized card 6 containing the driver's vehicle information and a URL for accessing a dedicated website is sent from the user to the driver.
  • the URL is written on the card 6 in the form of a code that can be read by an electronic device, such as a QR code (registered trademark).
  • the smartphone 3 is an example of an information processing terminal owned by the driver.
  • the smart phone 3 is a general-purpose smart phone similar to the smart phone 2 and includes a camera 30 and a display 31 .
  • the display 31 is configured as a touch panel display.
  • the smartphone 3 does not need to have the application 200 installed.
  • the driver When the estimation process for the tires T included in the vehicle in which the driver himself/herself rides is finished, the driver is presented with a feedback screen G3 displayed on the display 21 of the smartphone 2 by the user, while explaining the current state of the tires T and making recommendations. Receive proposals for measures to be taken. Then, the user receives a card 6 on which his or her own vehicle information is written. After that, when the driver checks the feedback screen G3 again, he/she refers to the card 6 and reads the code 60 with a barcode reader application using the camera 30 of the smart phone 3 . Thereby, the driver can access the dedicated website from the smartphone 3 without manually inputting the URL of the dedicated website. At this time, the top page of the dedicated website displayed on the display 31 becomes a form screen for inputting vehicle information.
  • the driver operates the touch panel display 31 to input his/her own vehicle information written on the card 6 into the input fields on the form screen.
  • the server device 4 compares it with the vehicle information database and searches for matching vehicle information.
  • the server device 4 transmits to the smart phone 3 the data of the feedback screen G3 associated with the vehicle information found by verification. As a result, the display 31 displays the feedback screen G3.
  • the first machine learning model 130 receives an image of the tire T and outputs a value corresponding to the uneven wear of the tire T as an output.
  • the input image of the tire T is an image obtained by photographing the tread including both ends of the tire T from the front. is an image taken from the front, and has a predetermined number of pixels of H ⁇ W.
  • the estimation result of uneven wear is an index indicating the degree of uneven wear of the tire T in stages. be either Uneven wear level 1 indicates that uneven wear has not occurred or hardly occurred. Uneven wear level 2 indicates that moderate uneven wear has occurred. Uneven wear level 3 indicates that severe uneven wear has occurred.
  • the first machine learning model 130 is a convolutional neural network (CNN) in this embodiment, and is built for each type of tire (summer tire, winter tire, all-season tire). That is, the first machine learning model 130 includes three machine learning models: the first machine learning model 130A for summer tires, the first machine learning model 130B for winter tires, and the first machine learning model 130C for all season tires. It is a general term for models.
  • Each of the first machine learning models 130A-C is generated by learning using different learning data, and parameters are optimized for each tire type. That is, the layer configurations of the first machine learning models 130A to 130C are common as shown in FIG. 4, but the parameters that define them are different. Therefore, the layer configuration of the first machine learning model 130A will be described below, and the layer configuration of the first machine learning models 130B and 130C will be omitted.
  • the first machine learning model 130A comprises alternately arranged convolution layers and pooling layers, a fully connected layer connected to the output side of these layers, and an output layer.
  • a convolution layer and a pooling layer are layers for extracting features of an input image.
  • the input image is convolved with a large number of weight filters of smaller size.
  • M feature maps are generated, which is the same number as the number M of weighting filters (M is an integer of 2 or more and is determined as appropriate). More specifically, the feature map is calculated by repeatedly calculating the inner product of the input image and each weighting filter by raster scanning, and convolving the input image with the weighting filter.
  • a weighting filter is an array of values for detecting and enhancing certain patterns (features) contained in the input image.
  • a feature map is an image (or array of values) that responds to the features of a weighting filter and emphasizes the features of the weighting filter in the input image. The value of each weighting filter is optimized by learning processing, which will be described later.
  • the pooling process is a process of converting the previous feature map into a new feature map by outputting a response value representing a small area included in the previous feature map.
  • This pooling process can reduce the size of the previous feature map.
  • the position sensitivity can be reduced to accommodate positional shifts of the features to be detected in the input image. More specifically, in the pooling process, each feature map is divided into small regions, and one pixel value as a response value is determined based on the pixel values included in each small region.
  • the method of determining the response value can be set as appropriate, and may be the average value of the pixel values in the small region or the maximum value.
  • N is an integer equal to or greater than 2 and determined as appropriate
  • new weighting filters are prepared, and convolution processing is performed in the same manner as in the first convolution layer.
  • N feature maps are generated.
  • the values of each weighting filter are optimized by learning processing, which will be described later.
  • each of the N feature maps is input to the second pooling layer.
  • a second pooling process is performed to transform the N feature maps into new feature maps.
  • the feature map (image) output from the second pooling layer is converted into a one-dimensional vector and input to the fully connected layer.
  • the fully connected layer is a multi-layer perceptron, and classifies the tire T of the input image into one of uneven wear level 1, uneven wear level 2, and uneven wear level 3 indexes.
  • a fully connected layer has an input layer, an intermediate layer and an output layer each having a plurality of units. Weighting coefficients and biases that connect units in each layer are optimized by learning processing, which will be described later.
  • Each unit of the output layer in the fully bonded layer corresponds to three indexes (levels) indicating the degree of uneven wear.
  • the softmax function is applied to the three output values from the output layer of the fully connected layer, and the uneven wear of the tire T becomes an index of uneven wear level 1, uneven wear level 2, and uneven wear level 3.
  • Output each corresponding probability equivalent value The index corresponding to the unit with the highest probability equivalent value corresponds to the estimation result of uneven wear of the tire T.
  • the second machine learning model 131 receives the image of the tire T as an input, and outputs a value corresponding to the estimated remaining depth of the main groove of the tread of the tire T, in other words, the wear amount of the tread. .
  • the input image of the tire T is the same image as the image input to the first machine learning model 130 .
  • the estimation result of the wear amount of the tread is an index indicating the remaining depth of the main groove of the tread step by step.
  • wear amount level 3 Wear amount level 1 indicates that the depth of the main groove is sufficient and no or almost no wear occurs.
  • Wear amount level 2 indicates that the depth of the main groove has decreased moderately and that moderate wear has occurred.
  • Wear amount level 3 indicates that the depth of the main groove is considerably reduced and severe wear is occurring.
  • the second machine learning model 131 of this embodiment is also a convolutional neural network (CNN) similar to the first machine learning model 130, and is built for each type of tire (summer tire, winter tire, all-season tire). That is, the second machine learning model 131 includes three machine learning models: a second machine learning model 131A for summer tires, a second machine learning model 131B for winter tires, and a second machine learning model 131C for all season tires. It is a general term for models. Each of the second machine learning models 131A to 131C is generated by learning using different learning data, and parameters are optimized for each tire type. Therefore, although the second machine learning models 131A to 131C have a common layer structure, the parameters that define them are different.
  • CNN convolutional neural network
  • the layer configuration of the second machine learning models 131A to 131C is common to the first machine learning model 130 shown in FIG. Therefore, since the above description also applies to the second machine learning models 131A-C, the description of the layer configuration for the second machine learning models 131A-C is omitted.
  • the trained first machine learning models 130A-C and the trained second machine learning models 131A-C are generated by the learning unit 10E incorporated in the estimation device 1 as described later. be.
  • the learning function for learning the machine learning model and generating the learned first and second machine learning models 130 and 131 is based on these learned models 130 and 131 for uneven tire wear and main groove It may be independent of the ability to estimate depth.
  • the estimating device 1 is equipped with only an estimating function, and the first machine learning model 130 and the second machine learning model 131 that have been trained by different computers are loaded into the storage unit 13, respectively. can be
  • FIG. 5A is a flowchart showing the flow of processing performed by the smartphone 2
  • FIG. 5B is a flowchart showing the flow of processing performed by the server device 4 and the estimation device 1.
  • a start screen is displayed on the display 21 by the application 200 .
  • the start screen displays, for example, an input field for inputting vehicle information and a graphic confirmation button for confirming the input.
  • the user operates the touch panel display 21 to input vehicle information in the input field.
  • the application 200 accepts input of vehicle information and stores it in the storage unit 23 (step S21).
  • the application 200 displays on the display 21 a photographing instruction screen G1 prompting the user to photograph the tire T mounted on each wheel (step S22).
  • the photographing instruction screen G1 displays four boxes B1 to B4 corresponding to the left front wheel, right front wheel, left rear wheel, and right rear wheel of the vehicle in correspondence with the positional relationship of the wheels of the vehicle. indicate.
  • the position of a wheel is displayed above each box, and a camera icon C1 is displayed in each box. More specifically, above box B1 is labeled "front left”, above box B2 is labeled "front right”, above box B3 is labeled "rear left”, and above box B4 is labeled "rear right”.
  • the positional relationship of the boxes B1 to B4 displayed on the photographing instruction screen G1 corresponds to the positional relationship of the wheels of the vehicle.
  • FIG. A monitor screen G2 includes a camera frame C2.
  • the camera frame C2 is a frame having the same number of H ⁇ W pixels as the input image input to the first and second machine learning models 130 and 131, and image data is generated for the subject of the camera frame C2. configured as
  • the user positions himself on the side of the tire T that is attached to the position corresponding to the selected box, and photographs the tire T so that both ends of the tread of the tire T fit within the camera frame C2.
  • the user looks at the captured image on the monitor screen G2 and confirms whether the image is suitable as data to be used for estimation processing.
  • the image is suitable as data to be used for estimation processing.
  • For this confirmation for example, is the main groove of the tread including both ends of the tread clearly photographed? Is the tread photographed from the front? Is the tread continuous in the vertical direction of the image? (whether the contact patch is in the image), whether the image of the tire T is in focus, whether there is any other reflection that interferes with the image of the tire T, and so on.
  • selection boxes B5 to B7 are displayed for three types of tires, for example, summer tires, winter tires, and all-season tires.
  • the user determines whether the tire T is a summer tire, a winter tire, or an all-season tire by visually confirming the tire T or hearing from the driver, and selects one of the selection boxes B5 to B7 according to this determination.
  • Tap As a result, the tapped selection box becomes selected.
  • the application 200 brightly displays the selected selection box, for example, and grays out the other selection boxes.
  • the user taps the "Save” button graphic displayed on the monitor screen G2 to confirm the captured image. Accordingly, the image data 201 of the tire T associated with the selected tire T type is generated by the application 200 and stored in the storage unit 23 of the smartphone 2 . On the other hand, if the image is determined to be inappropriate, the user taps the graphic of the "redo" button displayed on the monitor screen G2, for example, and takes the image again with the camera 20. FIG. The user can retake the image any number of times until the image data 201 of the tire T corresponding to the selected boxes B1 to B4 is saved.
  • the application 200 displays the shooting instruction screen G1 on the display 21 again.
  • the photographing instruction screen G1 to be displayed next the image data stored in the storage unit 23 is displayed in the box corresponding to the wheel for which the user has already photographed and confirmed the image.
  • 201 thumbnail images are displayed. This allows the user to grasp the wheels for which the image data 201 has not yet been saved.
  • the user looks at the photographing instruction screen G1, selects a box whose thumbnail is not displayed, and photographs the tire T corresponding to the selected box in the same procedure as above.
  • four pieces of image data 201 including the treads of the four tires T are generated and stored in the storage unit 23 .
  • the image data 201 are automatically associated with the positions of the respective wheels and stored in the storage unit 23 .
  • the application 200 determines whether the image data 201 of the tire T has been saved for all the wheels of the vehicle (step S23). ). When it is determined that the image data 201 of the tire T has been saved for all the wheels, that is, the four image data 201 of the tire T have been collected (YES), the application 200 displays a start confirmation screen, which will be described later, on the display 21. (Step S24). If it is determined that the image data 201 of the tire T is not stored for all the wheels, that is, the image data 201 of the tire T is less than four (NO), as described above, the application 200 displays the photographing instruction screen G1. is displayed again, and the user is urged to photograph the remaining tires T.
  • the start confirmation screen displayed on the display 21 in step S24 performs estimation processing based on the first machine learning model 130 and the second machine learning model 131 using the four pieces of image data 201 determined to be complete in step S23. This is the screen for asking the user whether to start.
  • the start confirmation screen includes a message asking the user to start the estimation process, such as "Do you want to start AI diagnosis?", a "start” button graphic, and a "return” button graphic. can be done.
  • the application 200 sends the four image data 201 and the type of tire T saved in step S22, and the vehicle information saved in step S21 to the server device. 4 (step S25).
  • step S24 the application 200 may be configured to display the shooting instruction screen G1 again.
  • the user looks at the thumbnails displayed on the shooting instruction screen G1, for example, and selects the box of the wheel for which the image data 201 is to be modified.
  • the application 200 may be configured to accept this operation, activate the camera 20 again, and display the monitor screen G2.
  • step S25 when the image data 201, the vehicle information, and the type of tire T are normally transmitted to the server device 4, the application 200 receives the data of the feedback screen G3 generated by the estimation device 1 from the server device 4. , transition to standby mode. From here, the process shown in FIG. 5B starts.
  • the server device 4 When the server device 4 receives the image data 201, the vehicle information, and the type of tire T from the smartphone 2 in step S25, it registers the received vehicle information and type of tire T in its own vehicle information database (step S41). In addition, the server device 4 performs the estimation process together with the image data 201, the vehicle information, and the type of the tire T, and transmits to the estimation device 1 a command requesting to send the data of the feedback screen G3 (step S42).
  • the estimation device 1 receives the image data 201, the vehicle information, the type of the tire T, and the request for the feedback screen G3 transmitted by the server device 4 in step S42, and starts the process of estimating uneven wear and wear amount of the tire T. (Step S11). In step S11, the image acquisition unit 10A reads (acquires) the received image data 201. FIG.
  • the derivation unit 10B selects an appropriate model for each tire T from among the first machine learning models 130A to 130C and the second machine learning models 131A to 131C based on the type of tire T received. do. For example, when the tires T are summer tires, the derivation unit 10B selects the first machine learning model 130A and the second machine learning model 131A. Since this selection is made for each tire T, different machine learning models may be selected even for tires of the same vehicle.
  • the derivation unit 10B inputs the image data 201 of the tire T to the first machine learning model 130 selected in step S12, and inputs the image data 201 of the tire T to the second machine learning model 131 selected in step S12. Input image data 201 .
  • appropriate tire T image data 201 is input to each machine learning model.
  • the derivation unit 10B derives the output for each image data 201 from the first machine learning model 130 and stores it in the storage unit 23.
  • the output from the first machine learning model 130 is, as described above, the probability equivalent values corresponding to the three indices indicating the degree of uneven wear.
  • the derivation unit 10B derives an output for each image data 201 from the second machine learning model 131 and stores it in the storage unit 23.
  • FIG. The output from the second machine learning model 131 is a probability equivalent value corresponding to one of the three indices representing the amount of wear or remaining depth of the main groove of the tread.
  • the determination unit 10C uses the output of the first machine learning model 130 and the second machine learning model 131 derived in step S14 as an index indicating the degree of uneven wear of the tire T of each image data 201. and an index indicating the amount of wear.
  • the determination unit 10C takes the index having the largest probability equivalent value as the uneven wear estimation result.
  • the determination unit 10C takes the index having the largest probability equivalent value among the outputs from the second machine learning model 131 as the wear amount estimation result.
  • the determination unit 10C reads the determination table 134 from the storage unit 13, and searches for a cell that matches the estimation result of uneven wear and the estimation result of the amount of wear. As shown in FIG.
  • the determination table 134 in this embodiment is a table having 3 ⁇ 3 cells with uneven wear levels as rows and wear amount levels as columns. It has data of A1 to A3 indicating the determination of.
  • A1 means that there is no problem with uneven wear and the amount of wear, and no action is required under the present circumstances.
  • A2 means that at least one of the uneven wear and the amount of wear is moderate, and tire rotation is recommended as a countermeasure.
  • A3 means determination that at least one of the uneven wear and the amount of wear is severe, and replacement of the tire T is recommended as a countermeasure.
  • the uneven wear estimation result based on the output of the first machine learning model 130 is uneven wear level 2
  • the wear amount estimation result based on the output of the second machine learning model 131 is wear amount level 1.
  • the data in the corresponding cell is "A2”, and tire rotation is recommended in this case.
  • the uneven wear estimation result based on the output of the first machine learning model 130 is uneven wear level 3
  • the wear amount estimation result based on the output of the second machine learning model 131 is wear amount level 1.
  • the data of the cell corresponding to this is "A3", and in this case replacement of the tire is recommended.
  • the estimation result of uneven wear and the estimation result of the amount of wear are comprehensively considered, and even if one is level 1, the other is level 2 or higher. In some cases, it is determined that a response tailored to the greater degree is recommended. As a result, even if only one of the uneven wear and the amount of wear can be estimated without causing a problem, early countermeasures can be recommended, and appropriate maintenance and management of the tire T can be achieved.
  • the screen generator 10D generates the feedback screen G3 based on each index and determination determined in step S15.
  • Feedback screen G3 includes, for example, four boxes B8-B11, thumbnails of image data 201 displayed in boxes B8-B11, and graphics C8-C18, as shown in FIG. 9A. Boxes B8 to B11 are displayed in a positional relationship corresponding to the left front wheel, right front wheel, left rear wheel, and right rear wheel of the vehicle, similar to the photographing instruction screen G1. Thumbnails of the image data 201 of the tire T are displayed in boxes B8 to B11 corresponding to the wheels with which the image data 201 is associated.
  • Graphics C8 to C11 include figures in which any of the numbers 1 to 3 are displayed and arranged in order.
  • the numbers in the figure represent the estimated uneven wear levels 1-3 corresponding to the output derived from the first machine learning model 130, respectively.
  • the screen generation unit 10D brightly displays the figures corresponding to the numbers of the uneven wear level determined in step S15 for each of the tires T displayed in the boxes B8 to B11, and brightly displays the figures corresponding to the other numbers. By graying out, the uneven wear level can be easily grasped visually.
  • graphics C12 to C15 include figures in which any of the numbers 1 to 3 are displayed and arranged in order.
  • the numbers in the figure represent estimated wear amount levels 1 to 3 corresponding to the output derived from the second machine learning model 131, respectively.
  • the screen generation unit 10D brightly displays the figure corresponding to the number of the wear amount level determined in step S14 for each tire T displayed in the boxes B8 to B11, and brightly displays the figure corresponding to the other number. By graying out, the level of wear amount can be easily grasped visually. In this way, on the feedback screen G3, as the estimation result of the uneven wear and the amount of wear, indicators showing the degree of uneven wear and wear in stages are displayed together with the overall positioning of the indicators. As a result, the user and the driver who check the feedback screen G3 can intuitively understand the uneven wear and the progress of the wear.
  • Graphics C16 to C19 show the determination results based on the determination table 134, and can include different graphics according to the determination results A1 to A3.
  • graphic C16 includes a figure of a double circle and corresponds to determination result A1.
  • Graphics C17 and C18 include triangular figures and correspond to determination result A2.
  • a graphic C19 includes a figure of a cross and corresponds to the determination result A3. That is, the graphics C16 to C19 are graphics that display the result of determination as to whether or not each tire T needs to be dealt with, and recommended actions.
  • On the side of graphics C16 to C19 for example, "no response required", “tire rotation required”, “tire replacement required”, etc. A message indicating the may be written together.
  • the feedback screen G3 of the present embodiment is an example of a determination result display screen and an uneven wear estimation result display screen.
  • the feedback screen G3 illustrated in FIG. 9A displays all of the uneven wear estimation result, the wear amount estimation result, and the determination result, but any one of them may be omitted.
  • the determination result display screen and the uneven wear estimation result display screen may not be generated as the same screen data, but may be generated as data of a plurality of screens for each tire, or for each estimation result or determination result.
  • the determination unit 10C selects a tire rotation pattern (hereinafter referred to as "recommended pattern") recommended according to the determination based on the determination table 134. ) may be further determined. Determination of the recommended pattern is performed by, for example, incorporating an algorithm for determining the recommended pattern based on determination based on the determination table 134 and wheel position information into the program 132 in advance, and executing this in step S15. may Further, the determination unit 10C may determine a generally recommended rotation pattern as a recommended pattern without depending on an algorithm or the like for determining a recommended pattern.
  • the screen generator 10D may further generate data for the rotation screen G4 indicating the recommended pattern in addition to the data for the feedback screen G3.
  • An example of the rotation screen G4 is shown in FIG. 9B.
  • the rotation screen G4 includes, for example, a graphic C20 of a vehicle with tires T mounted on each wheel, graphics C21 to C23 indicating recommended patterns, and a graphic C24 indicating replacement.
  • the graphics C21 to C23 are arrow figures, for example, and indicate that the wheel position indicated by the end of the arrow is recommended as the replacement position of the tire T at the starting point of the arrow.
  • the graphic C24 is, for example, a figure of circular arrows, and is displayed on the graphic of the tire T or on the side thereof to indicate that replacement of the tire T is recommended.
  • the graphics of each tire T may change in pattern, color, etc. according to the determination result based on the determination table 134, for example.
  • the screen generator 10D transmits the data of the generated feedback screen G3 to the server device 4 (step S17).
  • the screen generation unit 10D also transmits this in the same manner.
  • the estimating device 1 completes the tire state estimating process for one set of image data 201 .
  • the server device 4 receives the data of the feedback screen G3 transmitted from the estimation device 1, associates it with the vehicle information database, and stores it in its own storage device (step S43).
  • the server device 4 assigns a unique URL to the data of the feedback screen G3 and uses it as web data 7 .
  • the server device 4 transmits the data of the feedback screen G3 to the smartphone 2 (step S44). Also when the data of the rotation screen G4 is transmitted, the same processing as that of the data of the feedback screen G3 is performed, and the data of the rotation screen G4 is also made accessible via the network. As a result, the server device 4 completes the processing of the set of image data 201 .
  • the smartphone 2 receives the data of the feedback screen G3 transmitted by the server device 4 in step S44.
  • the application 200 displays the feedback screen G3 on the display 21 (step S26).
  • the user While presenting the feedback screen G3 displayed on the display 21 to the driver, the user explains the situation of uneven wear and the amount of wear estimated for the four-wheel tires, and the recommended measures.
  • a case where the feedback screen G3 is the screen illustrated in FIG. 9A will be described below as an example.
  • the user shows graphics C8 and C12 and explains that both the uneven wear level and the wear amount level are estimated to be "1". Can explain that there seems to be no problem (it is determined that no action is required).
  • the user For the right front wheel (front right), the user shows graphics C9 and C13 and explains that the uneven wear level is estimated to be "2" but the wear amount level is estimated to be "1".
  • While showing graphic C17 it can be explained that tire rotation is recommended in order to suppress further progression of uneven wear.
  • the user explains that the uneven wear level is estimated to be "1" and the wear amount level is estimated to be “2" while showing graphics C10 and C14, and then While showing graphic C18, it can be explained that tire rotation is recommended in order to smooth out the amount of wear.
  • the uneven wear level is estimated to be "3” and the wear amount level is estimated to be "2” while showing graphics C11 and C15.
  • C19 is shown, it can be explained that tire replacement is recommended because even if the amount of wear appears to be moderate, uneven wear is severe.
  • the images of the four wheels are listed as thumbnails, and the estimated uneven wear level and wear amount level are displayed in a graphic format together with the overall stage.
  • the driver who receives the explanation from the user does not check the tires T of the four wheels and does not go around, the driver can grasp the estimated situation of the tires T of his own vehicle with a sense of satisfaction.
  • any one of three types of graphics is displayed in accordance with the recommended measures for the larger one of the uneven wear and the amount of wear. This allows the driver to plan early tire rotation or tire replacement. For example, a driver presented with a feedback screen G3 as shown in FIG.
  • the application 200 can switch the feedback screen G3 to the rotation screen G4 according to the user's operation and display it on the display 21.
  • the user can easily recognize the recommended pattern by checking the rotation screen G4.
  • the recommended patterns can be explained to the driver while presenting the rotation screen G4, and the driver's sense of satisfaction can be further enhanced.
  • the first machine learning models 130A to 130C of this embodiment are generated for each tire type. For this reason, learning data for the first machine learning models 130A to 130C are also prepared for each type of tire T.
  • FIG. In the present embodiment, the learning data for the first machine learning model 130A is a large number of data sets in which learning images including treads of summer tires and correct data are combined.
  • Data for learning is a large number of data sets in which learning images including treads of winter tires and correct data are combined
  • data for learning of the first machine learning model 130C is data for learning including treads of all-season tires. It is a large number of data sets in which images and correct data are combined.
  • the correct data is a label of an index representing the degree of uneven wear.
  • the correct data is a label of one of uneven wear level 1, uneven wear level 2, and uneven wear level 3.
  • the training image and these labels are combined by a person who has checked the actual tire in the training image.
  • the learning process for generating the trained first machine learning model 130A will be described below, but the trained first machine learning models 130B and 130C are also generated by similar learning processes. Therefore, description of the learning process of the first machine learning models 130B and 130C is omitted.
  • step S51 learning data including a large number of data sets in which learning images including tire treads are combined with correct data are prepared, and stored in the storage unit 13 by the learning unit 10E of the estimation device 1. be done.
  • the learning image is an image of the tread photographed from the front so that the tread of the tire is continuous in the longitudinal direction while including both ends of the tread of the tire.
  • the learning unit 10E divides the learning data into training data and test data in advance and stores them. The ratio of both can be set as appropriate.
  • the learning unit 10E randomly selects K data sets as sample data from the training data.
  • K is a value also called a batch size, and can be set as appropriate.
  • the learning unit 10E inputs the K learning images included in the sample data to the first machine learning model 130A, and derives the output from the first machine learning model 130A.
  • the output is data corresponding to the correct data combined with each of the input K learning images. This is the corresponding probability equivalent value.
  • the learning unit 10E adjusts the parameters so that the value of the error function between the output derived in step S53 and the correct data combined with the learning image input in step S53 is minimized. do. More specifically, the learning unit 10E adjusts and updates the values of the weight coefficients and biases in the fully connected layers and the weight filters in the convolution layers of the first machine learning model 130A using backpropagation.
  • the learning unit 10E determines whether or not one epoch of learning has been completed. In this embodiment, it is determined that one epoch of learning has been completed when the processing from step S52 to step S55 is performed for the same number of sample data as the number of training data. If it is determined that one epoch of learning has not been completed, the learning unit 10E returns to step S52 after step S55. That is, the learning unit 10E randomly selects sample data again, and repeats the procedure from step S53 to step S55 using the newly selected sample data. On the other hand, if it is determined that one epoch of learning has been completed, it is determined in step S56 whether or not all epochs of learning have been completed.
  • step S56 determines in step S56 that the learning of all epochs has not been completed, the learning unit 10E executes step S52 again to perform the learning of the next epoch.
  • the total number of epochs is not particularly limited and can be set as appropriate.
  • step S56 determines in step S56 that learning of all epochs has ended.
  • the learning unit 10E ends learning of the first machine learning model 130A.
  • the learning unit 10E stores the latest parameters of the first machine learning model 130A in the storage unit 13, and uses this as the learned first machine learning model 130A. That is, the learned first machine learning model 130A is generated by the above procedure.
  • the learning unit 10E inputs the test data to the first machine learning model 130A each time one epoch of learning is completed, calculates the error between the output and the test data with respect to the correct data, and displays the calculation result. It may be displayed in section 11. Also, if it is considered that the error in the output of the first machine learning model 130A converges within a predetermined range before the learning of all epochs is completed, the learning may be terminated at that point.
  • the learning unit 10E performs the above-described learning process for the first machine learning models 130A-C, and also performs the same learning process for the second machine learning models 131A-C. That is, the processing of steps S51 to S56 described above also applies to the learning processing of the second machine learning models 131A to 131C. Therefore, the detailed description of the learning process of the second machine learning models 131A to 131C will be omitted, and the learning data of the second machine learning models 131A to 131C will be described below.
  • the second machine learning models 131A to 131C of this embodiment are generated for each type of tire T. For this reason, learning data for the second machine learning models 131A to 131C are also prepared for each type of tire T.
  • FIG. In the present embodiment, the learning data for the second machine learning model 131A is a large number of data sets in which learning images including the treads of summer tires and correct data are combined.
  • the data for learning is a large number of data sets in which learning images including treads of winter tires and correct data are combined
  • the data for learning of the second machine learning model 131C is for learning including treads of all-season tires It is a large number of data sets in which images and correct data are combined.
  • the learning image is an image of the tire tread taken from the front so that both ends of the tire tread are included and the tread is continuous in the longitudinal direction.
  • the correct data is the label of the index representing the degree of wear.
  • the correct answer data is a label of one of wear amount level 1, wear amount level 2, and wear amount level 3.
  • FIG. Note that the learning image may be data common to the learning image of the first machine learning model 130 .
  • the wear amount level is determined according to the remaining depth of the main groove of the tread for each type of tire T, and the depth of the main groove measured in the actual tire of the learning image is determined. , an appropriate wear level is selected and a label representing this is combined with the training images.
  • a person checks the actual tire, selects the most worn (shallowest) portion of the main groove, and measures the depth of the groove at that portion.
  • the uneven wear and the amount of wear of the tire T are estimated by a machine learning model that has already been learned. Therefore, variations in judgment by people are reduced, and the user's tire inspection service is supported.
  • the algorithm for determining the necessity of response and the type of response of the estimated degree of uneven wear and the amount of wear, the more severe one is weighted, so a more appropriate response is recommended. It also enables early tire rotation and replacement.
  • the user can present these data to the driver, and more effectively explain and propose services. management can be encouraged. Since the driver can check the feedback screen G3 and the rotation screen G4 at any time by using the card 6 provided by the user, the driver can present these to the user at a later date and receive necessary services.
  • the CNN model was used as the first and second machine learning models 130, 131, but the machine learning model is not limited to this, support vector machine (SVM), neural network (NN) model, Other machine learning models such as K-NN models, clustering, k-means, decision trees, and models combining these may be used.
  • the learning data for the second machine learning model 131 may be a data set in which a learning image and the depth of the main groove as correct data are combined. That is, the output of the second machine learning model 131 may be an estimate of the remaining depth of the main groove of the tire in the input image.
  • the learning method of the first and second machine learning models 130 and 131 is not limited to the above embodiment, and a known parameter optimization algorithm such as stochastic gradient descent can be applied.
  • the loss function is not limited to the above embodiment, and can be changed as appropriate according to the properties of the data to be output.
  • the images including the tire treads input to the first and second machine learning models 130 and 131 and the learning images for learning these machine learning models have treads that are not continuous in the vertical direction. , the tread may be continuous in the lateral direction, and the tread may be continuous in other directions.
  • the uneven wear and the amount of wear are estimated together as the state of the tire T, but only the uneven wear may be estimated, and the recommended measures may be determined based on this estimation result.
  • the degree of uneven wear was estimated as the estimation of uneven wear, but in addition to or instead of this, the type of uneven wear may be estimated.
  • the types of uneven wear are, for example, patterns shown in FIGS. 11A to 11D.
  • FIG. 11A shows "unilateral wear” in which one side of the tread in the width direction of the tire T (the direction in which the rotation axis of the tire T extends) is concentrated and worn. "Uneven wear” is further subdivided into either “inner wear” or “outer wear” depending on which side of the vehicle the tire T is mounted on, left or right.
  • FIG. 11B shows a state in which both sides of the tread in the width direction of the tire T are worn intensively, which is a state of "worn both sides”.
  • FIG. 11A shows "unilateral wear” in which one side of the tread in the width direction of the tire T (the direction in which the rotation axis of the tire T extends) is concentrated and worn. "Uneven wear” is further subdivided into either “in
  • FIG. 11C shows "center wear” in which the center of the tread in the width direction of the tire T is worn intensively.
  • FIG. 11D shows "heel-toe wear", which is a state in which each block of the tread wears in one direction to form a sawtooth shape when the tire T is viewed from the circumferential direction.
  • the type of uneven wear can be estimated, for example, by implementing a learned machine learning model in the estimation device 1, in which the input is a tire image and the output is each pattern of uneven wear and the classification of no uneven wear. .
  • the structure of this machine learning model is not particularly limited.
  • the learning data for the machine learning model can be a large number of data sets in which learning images of the tire T and correct data are combined.
  • the correct data is a label corresponding to each type of uneven wear, including, for example, a state in which uneven wear does not occur.
  • the determination unit 10C of the estimation device 1 may determine the recommended response in more detail, and the information on the mounting position of the tire T may also be acquired, and the recommended pattern may be further subdivided and determined. For example, when it is estimated that the tire T is "reduced on both sides", the air pressure of the tire T is not appropriate and may be decompressed, so for example, the driver is recommended to review the air pressure of the tire T. can do. On the other hand, when it is estimated that "center wear” has occurred in the tire T, the air pressure of the tire T is not appropriate and may be high, so for example, the driver is recommended to review the air pressure of the tire T. can do. Furthermore, when it is estimated that the tire T is unevenly worn, the determination unit 10C can determine a rotation pattern in which the mounting position of the tire T is left-right reversed as a recommended pattern.
  • the screen generation unit 10D of the estimation device 1 when the type of uneven wear is estimated in the estimation system 5, the screen generation unit 10D of the estimation device 1 generates a screen showing the type of uneven wear estimated for each tire T as an estimation result display screen. good too.
  • the type of uneven wear may be displayed as text information, or may be displayed graphically as shown in FIGS. 11A to 11D, for example.
  • the screen generator 10D may further generate a rotation screen that displays recommended patterns.
  • the code 60 displayed on the card 6 was generated for the URL of the top page of the dedicated website.
  • the code 60 may be generated for at least one of the URL of the feedback screen G3 and the URL of the rotation screen G4 and displayed on the card 6. good.
  • the display of the URL may be simply a character notation, or may be a one-dimensional code other than the QR code (registered trademark), a stack-type two-dimensional code, or a matrix-type two-dimensional code.
  • the card 6 is not limited to a physical card, and may be screen data simulating this, and may be generated by the application 200, for example.
  • the data of the screen imitating the card 6 may be transmitted from the smart phone 2 to the driver's information processing terminal.
  • the user may display a screen imitating the card 6 on the display 21, and the driver may photograph this with his own information processing terminal or camera.
  • the estimation device 1 and the server device 4 are configured as separate devices, but these devices may be configured integrally.
  • the smartphone 2 may include at least a part of the functions of the estimation device 1, and the smartphone 2 may perform at least one of uneven wear and wear amount of the tire T.
  • the application 200 is configured as a program that incorporates the functions of the learned first machine learning model 130, the second machine learning model 131, and the program 132, and by installing the application 200 on the smartphone 2, the estimation device 1 A smartphone 2 may be manufactured that includes the functions of Further, in the above embodiment, the user uses the smartphone 2 on which the application 200 is installed to provide services to the driver.
  • the estimation system 5 is such that the driver installs the application 200 on his/her own smartphone 3, photographs the tire T of the vehicle himself, and executes the process of estimating at least one of the uneven wear and the amount of wear of the tire T.
  • the camera that takes an image of the tire T and generates the image data 201 is not limited to a camera built into various information processing terminals, and may be a digital camera, a video camera, or the like dedicated to shooting.
  • the control unit 10 of the estimation device 1 may be configured to include a vector processor, FPGA (Field Programmable Gate Array), ASIC (Application Specific Integrated Circuit), other artificial intelligence chips, etc., in addition to the CPU and GPU.
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • the first machine learning models 130A-C and the second machine learning models 131A-C are generated according to the tire type, but the first machine learning model 130 and the second machine learning model 131 are one may be generated for only one type, or conversely, more types may be generated for more types.
  • the estimation device 1 may be configured to appropriately perform image processing such as resizing and trimming when inputting the image data 201 to the machine learning model.
  • the start screen, the shooting instruction screen G1, the monitor screen G2, and the start confirmation screen displayed on the display 21 in steps S21 to S24 of the above embodiment may be screens incorporated in the application 200, or web data 7. It may be a screen configured as Also, the configuration of these user interface screens can be changed as appropriate.
  • the shooting instruction screen G1 and the feedback screen G3 may not be divided into four by boxes, and information about one tire T may be displayed on each screen, and the tire T may be switched by tabs. .
  • graphics C8 to C11 representing uneven wear estimation results
  • graphics C12 to C15 representing wear amount estimation results
  • graphics C16 to C19 representing determination results
  • vehicle graphics C20 and rotation and replacement graphics C21 to C21 C24 may also be changed as appropriate, and may be configured in a moving image format.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Tires In General (AREA)

Abstract

タイヤの偏摩耗を推定する方法等を提供する。タイヤの状態の推定方法は、以下のことを含む：対象となるタイヤのトレッドの両端を含むとともに、所定方向に該トレッドが連続するように該トレッドを正面から撮影した画像を取得すること。取得した画像を、学習済みの第１機械学習モデルに入力すること。学習済みの第１機械学習モデルから出力を導出すること。なお、学習済みの第１機械学習モデルの出力は、対象となるタイヤの偏摩耗の推定結果に対応する。

Description

タイヤの状態の推定方法
　本発明は、タイヤの状態の推定方法、推定装置、推定システム及び推定プログラムならびに学習済みモデルの生成方法に関する。
　特許文献１は、機械学習モデルを使用してタイヤのトレッド摩耗値を推定する方法を開示する。機械学習モデルは、ハンドル角、車輪速度、前後加速度、ブレーキ圧、走行総距離等の車載センサから得られるセンサデータを収集して使用し、各タイヤのトレッド摩耗を推定する。
特表２０２１－５２４０４０号公報
　ところで、トレッドには、その全体にわたって均一な摩耗ばかりではなく、特定の部分に集中した摩耗や、タイヤの周方向にわたって特徴的なパターンが出現する摩耗が生じることがある。このような現象は、偏摩耗とも称される。偏摩耗を放置するとタイヤが損傷しやすくなったり、スリップが生じやすくなったり、車両の快適な走行が困難になったりする。このため、偏摩耗を早期に発見し、タイヤ交換やタイヤローテーション等の対策を講じることが重要である。ところが、偏摩耗はトレッドの摩耗量が規定より少ない時点で発生していることがあり、単にトレッドの摩耗量を推定するだけでは発見できないことがある。この点が特許文献１では考慮されていない。
　本開示は、タイヤの状態としてタイヤの偏摩耗を推定する方法、装置、システム及びプログラムならびに学習済みモデルの生成方法を提供することを目的とする。
　本開示の一側面に係るタイヤの状態の推定方法は、以下のことを含む：
　対象となるタイヤのトレッドの両端を含むとともに、所定方向に該トレッドが連続するように該トレッドを正面から撮影した画像を取得すること
　取得した画像を、学習済みの第１機械学習モデルに入力すること
　学習済みの第１機械学習モデルから出力を導出すること。
　なお、学習済みの第１機械学習モデルの出力は、対象となるタイヤの偏摩耗の推定結果に対応する。
　上記方法は、学習済みの第１機械学習モデルから導出された出力に基づいて、対象となるタイヤの交換が必要か否かを判定することをさらに含んでもよい。
　上記方法は、対象となるタイヤの交換が必要か否かの判定結果を表示する判定結果表示画面を生成することをさらに含んでもよい。
　上記方法は、取得した画像を、第１機械学習モデルとは異なる学習済みの第２機械学習モデルに入力することと、学習済みの第２機械学習モデルから出力を導出することとをさらに含んでもよい。ただし、学習済みの第２機械学習モデルの出力は、対象となるタイヤのトレッドの溝の深さの推定結果に対応する。また、対象となるタイヤの交換が必要か否かを判定することは、前記学習済みの第１機械学習モデルから導出された出力及び前記学習済みの第２機械学習モデルから導出された出力に基づいて前記対象となるタイヤの交換が必要か否かを判定することであってもよい。
　上記方法において、対象となるタイヤの偏摩耗の推定結果は、トレッドの偏摩耗の程度についての推定結果であり、偏摩耗の程度を段階的に示す指標で表されてもよい。
　上記方法は、第１機械学習モデルから導出された出力に対応する指標を、偏摩耗の程度を段階的に示す指標の全体に対する位置付けとともに表示する推定結果表示画面を生成することをさらに含んでもよい。
　上記方法において、前記対象となるタイヤの偏摩耗の推定結果は、偏摩耗の類型についての推定結果であってもよい。
　上記方法は、対象となるタイヤの、車両における取付位置の情報を取得することと、取得された取付位置の情報と、第１機械学習モデルから導出された出力とに基づいて、推奨されるタイヤのローテーションパターンである、推奨パターンを決定することとをさらに含んでもよい。
　上記方法は、決定された推奨パターンを表示するローテーション画面を生成することをさらに含んでもよい。
　上記方法は、判定結果表示画面のデータを、ネットワークを介してアクセス可能な状態にすることと、判定結果表示画面のデータに、ネットワークを介してアクセスするための２次元コードを生成することとをさらに含んでもよい。
　上記方法は、推定結果表示画面のデータを、ネットワークを介してアクセス可能な状態にすることと、推定結果表示画面のデータに、ネットワークを介してアクセスするための２次元コードを生成することとをさらに含んでもよい。
　本開示の一側面に係るタイヤの状態の推定装置は、画像取得部と、記憶部と、導出部とを備える。画像取得部は、対象となるタイヤのトレッドの両端を含むとともに、所定方向に該トレッドが連続するように該トレッドを正面から撮影した画像を取得する。記憶部は、学習済みの機械学習モデルを記憶する。導出部は、取得した画像を学習済みの機械学習モデルに入力し、学習済みの機械学習モデルから出力を導出する。なお、学習済みの機械学習モデルの出力は、対象となるタイヤの偏摩耗の推定結果に対応する。
　上記推定装置は、学習済みの機械学習モデルから導出された出力に対応する推定結果を表示する推定結果表示画面を生成する画面生成部をさらに備えてもよい。
　本開示の一側面に係るタイヤの状態の推定システムは、上記画面生成部を備える推定装置と、カメラと、ディスプレイとを備えてもよい。カメラは、対象となるタイヤのトレッドを撮影する。ディスプレイは、推定結果表示画面を表示する。
　本開示の一側面に係るタイヤの状態の推定プログラムは、以下のことをコンピュータに実行させる：
　対象となるタイヤのトレッドの両端を含むとともに、所定方向に該トレッドが連続するように該トレッドを正面から撮影した画像を取得すること
　取得した画像を、学習済みの第１機械学習モデルに入力すること
　学習済みの第１機械学習モデルから出力を導出すること。
　なお、学習済みの第１機械学習モデルの出力は、対象となるタイヤの偏摩耗の推定結果に対応する。
　本開示の一側面に係る学習済みモデルの生成方法は、以下のことを含む：
　タイヤのトレッドの両端を含むとともに、所定方向に該トレッドが連続するように該トレッドを正面から撮影した学習用画像と、正解データとのデータセットである学習用データを用意すること
　学習用データを用いて、対象となるタイヤのトレッドの両端を含むとともに、所定方向に該トレッドが連続するように該トレッドを正面から撮影した画像を入力すると、正解データに対応するデータが出力されるように機械学習モデルのパラメータを調整すること。
　なお、正解データは、学習用画像のタイヤの偏摩耗の程度を表す指標及び学習用画像のタイヤの偏摩耗の類型に対応するラベルの少なくとも一方である。
　本開示の一側面に係るタイヤの状態の推定方法は、以下のことを含む：
　対象となるタイヤのトレッドを含む画像を取得すること
　取得した画像を、学習済みの第１機械学習モデルに入力すること
　学習済みの第１機械学習モデルから出力を導出すること
　取得した画像を、学習済みの第１機械学習モデルとは異なる学習済みの第２機械学習モデルに入力すること
　学習済みの第２機械学習モデルから出力を導出することと、
　学習済みの第１機械学習モデルから導出された出力及び学習済みの第２機械学習モデルから導出された出力に基づいて、対象となるタイヤの交換が必要か否かを判定すること。
　なお、学習済みの第１機械学習モデルの出力は、対象となるタイヤの偏摩耗の推定結果に対応し、学習済みの第２機械学習モデルの出力は、対象となるタイヤのトレッドの溝の深さの推定結果に対応する。
　本開示の一側面に係るタイヤの状態の推定装置は、画像取得部と、記憶部と、導出部と、判定部とを備える。画像取得部は、対象となるタイヤのトレッドを含む画像を取得する。記憶部は、学習済みの第１機械学習モデルと、学習済みの第１機械学習モデルとは異なる学習済みの第２機械学習モデルとを記憶する。導出部は、取得した画像を学習済みの第１機械学習モデルに入力するとともに取得した画像を学習済みの第２機械学習モデルに入力し、学習済みの第１機械学習モデル及び学習済みの第２機械学習モデルからそれぞれ出力を導出する。判定部は、学習済みの第１機械学習モデルから導出された出力及び学習済みの第２機械学習モデルから導出された出力に基づいて、対象となるタイヤの交換が必要か否かを判定する。
　なお、学習済みの第１機械学習モデルの出力は、対象となるタイヤの偏摩耗の推定結果に対応し、学習済みの第２機械学習モデルの出力は、対象となるタイヤのトレッドの溝の深さの推定結果に対応する。
　本開示の一側面に係るタイヤの状態の推定プログラムは、以下のことをコンピュータに実行させる：
　対象となるタイヤのトレッドを含む画像を取得すること
　取得した画像を、学習済みの第１機械学習モデルに入力すること
　取得した画像を、学習済みの第１機械学習モデルとは異なる学習済みの第２機械学習モデルに入力すること
　学習済みの第１機械学習モデルから出力を導出すること
　学習済みの第２機械学習モデルから出力を導出すること
　学習済みの第１機械学習モデルから導出された出力及び学習済みの第２機械学習モデルから導出された出力に基づいて対象となるタイヤの交換が必要か否かを判定すること。
　なお、学習済みの第１機械学習モデルの出力は、対象となるタイヤの偏摩耗の推定結果に対応し、学習済みの第２機械学習モデルの出力は、対象となるタイヤのトレッドの溝の深さの推定結果に対応する。
　本開示の一側面に係るタイヤの状態の推定方法は、以下のことを含む：
　対象となるタイヤのトレッドを含む画像を取得すること
　取得した画像を、学習済みの第１機械学習モデルに入力すること
　学習済みの第１機械学習モデルから出力を導出すること。
　なお、学習済みの第１機械学習モデルの出力は、対象となるタイヤの偏摩耗の推定結果に対応する。
　本開示の一側面に係るタイヤの状態の推定装置は、画像取得部と、記憶部と、導出部とを備える。画像取得部は、対象となるタイヤのトレッドを含む画像を取得する。記憶部は、学習済みの機械学習モデルを記憶する。導出部は、取得した画像を学習済みの機械学習モデルに入力し、学習済みの機械学習モデルから出力を導出する。なお、学習済みの機械学習モデルの出力は、対象となるタイヤの偏摩耗の推定結果に対応する。
　本開示の一側面に係るタイヤの状態の推定プログラムは、以下のことをコンピュータに実行させる：
　対象となるタイヤのトレッドを含む画像を取得すること
　取得した画像を、学習済みの第１機械学習モデルに入力すること
　学習済みの第１機械学習モデルから出力を導出すること。
　なお、学習済みの第１機械学習モデルの出力は、対象となるタイヤの偏摩耗の推定結果に対応する。
　本開示の一側面に係る学習済みモデルの生成方法は、以下のことを含む：
　タイヤのトレッドを含む学習用画像と、正解データとのデータセットである学習用データを用意すること
　学習用データを用いて、対象となるタイヤのトレッドを含む画像を入力すると、正解データに対応するデータが出力されるように機械学習モデルのパラメータを調整すること。
　なお、正解データは、学習用画像のタイヤの偏摩耗の程度を表す指標及び学習用画像のタイヤの偏摩耗の類型に対応するラベルの少なくとも一方である。
　以上の側面によれば、対象となるタイヤの画像から、該タイヤの偏摩耗を推定する技術が提供される。
一実施形態に係るタイヤの状態の推定システムの全体構成を示す図。 推定装置の電気的構成を示すブロック図。 ユーザ側の情報処理端末の電気的構成を示すブロック図。 一実施形態に係る機械学習モデルの構造の概略を説明する図。 推定システムにおいてユーザ側の情報処理端末で行われる処理の流れを示すフローチャート。 推定システムにおいてサーバー装置及び推定装置で行われる処理の流れを示すフローチャート。 ユーザ側の情報処理端末に表示されるユーザーインターフェース画面の例。 ユーザ側の情報処理端末に表示されるユーザーインターフェース画面の別の例。 推定装置に保存される判定テーブルの例。 推定装置が生成するフィードバック画面の例。 推定装置が生成するローテーション画面の例。 学習処理の流れを示すフローチャート。 偏摩耗の一態様を説明する図。 偏摩耗の一態様を説明する図。 偏摩耗の一態様を説明する図。 偏摩耗の一態様を説明する図。
　以下、本開示の実施形態に係るタイヤの状態の推定方法、推定装置、推定システム及び推定プログラムならびに学習済みモデルの生成方法について説明する。タイヤの状態とは、タイヤの偏摩耗の状態を含む。
　＜１．推定システムの概要＞
　図１は、本開示の一実施形態に係る推定システム５の全体構成図である。推定システム５は、タイヤＴの状態としてタイヤＴの偏摩耗及び摩耗量を推定し、推定結果やこれに基づいて推奨される対応（タイヤ交換及びタイヤローテーション等）をフィードバックするためのシステムである。本実施形態に係る推定システム５の主たるユーザとして想定されるのは、これに限られないが、車両のドライバーに対し、タイヤの点検サービスを提供する者である。
　推定システム５は、タイヤＴの状態を推定する推定装置１と、タイヤＴを撮影するカメラ２０と、状態の推定結果等を表示するディスプレイ２１とを備える。カメラ２０は、被写体のデジタル画像データを生成する撮影装置である。カメラ２０は、例えばスマートフォン、タブレット、ラップトップパソコン、スマートウォッチ、及びプッシュボタン付きの携帯電話等、インターネット等のネットワークに接続されるポータブルな情報処理端末に内蔵される。ディスプレイ２１は、カメラ２０により撮影される画像を含む、種々の情報を表示する表示装置である。ディスプレイ２１は、例えばカメラ２０が内蔵される情報処理端末が備えるタッチパネルディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ、液晶表示素子、プラズマディスプレイ等である。本実施形態では、カメラ２０はユーザが使用するスマートフォン２に内蔵されるカメラであり、ディスプレイ２１は、スマートフォン２が備えるタッチパネルディスプレイである。
　詳しくは後述するが、タイヤＴの偏摩耗及び摩耗量の推定は、カメラ２０により生成されたタイヤＴのトレッドを含む画像を入力とする第１機械学習モデル１３０及び第２機械学習モデル１３１（図４参照）に基づいて行われる。第１機械学習モデル１３０の出力はタイヤＴの偏摩耗の推定結果に対応し、第２機械学習モデル１３１の出力はタイヤＴの摩耗量の推定結果に対応する。推定装置１は、第１及び第２機械学習モデル１３０，１３１から導出された出力を総合的に判断し、タイヤＴについての推定結果を表示する推定結果及びドライバーに推奨される対応の少なくとも一方を表示するフィードバック画面Ｇ３（図９Ａ参照）を生成する。フィードバック画面Ｇ３は、後述するウェブデータ７として、サーバー装置４に保存される。これにより、ネットワークを介した情報処理端末からの要求に応じて、当該情報処理端末のディスプレイにフィードバック画面Ｇ３が表示される。
　ユーザは、ディスプレイ２１にフィードバック画面Ｇ３を表示することで、これをドライバーに示しつつ、タイヤＴについての現状及び推奨される対応の説明を行い、必要に応じてユーザが提供し得るサービスを提案することができる。また、ドライバーがスマートフォン、タブレット、ラップトップパソコン、スマートウォッチ、デスクトップパソコン及びプッシュボタン付き携帯電話等、ネットワークに接続される情報処理端末（本実施形態では、スマートフォン３）を所持している場合、ドライバーは、これらの情報処理端末からネットワークを介してウェブデータ７にアクセスし、情報処理端末のディスプレイ３１にフィードバック画面Ｇ３を表示することができる。これにより、ドライバーは、場所や時の制限を受けることなく、自身でもフィードバック画面Ｇ３を確認することができる。
　以下、推定システム５の各部の詳細について説明した後、第１及び第２機械学習モデル１３０，１３１の構成、第１及び第２機械学習モデル１３０，１３１に基づく推定方法、及び第１及び第２機械学習モデル１３０，１３１の学習方法について順に説明する。
　＜２．各部の構成＞
　［推定装置］
　図２は、推定装置１の電気的構成を示すブロック図である。推定装置１は、ハードウェアとしては汎用のコンピュータであり、例えば、デスクトップパソコン、ラップトップパソコン、タブレット、スマートフォンとして実現される。推定装置１は、ＣＤ－ＲＯＭ、ＵＳＢメモリ等のコンピュータで読み取り可能な記憶媒体１３３から、或いはネットワークを介して、プログラム１３２を汎用のコンピュータにインストールすることにより製造される。プログラム１３２は、スマートフォン２から送られてくる画像データ２０１（図４参照）に基づいて画像に写るタイヤＴの状態を推定するとともに、推定結果に基づいて、何らかの対応が必要か否かを判定し、推奨される対応を決定するソフトウェアであり、推定装置１に後述する動作を実行させる。
　推定装置１は、制御部１０、表示部１１、入力部１２、記憶部１３、及び通信部１４を備える。これらの部１０～１４は、互いにバス線１５を介して接続されており、相互に通信可能である。表示部１１は、液晶ディスプレイ等で構成することができ、後述する機械学習モデルのコードや、機械学習モデルの学習過程における誤差等を表示する。この表示は、主として機械学習モデルを学習させ、学習済みの機械学習モデル１３０，１３１を生成する者が利用することができる。入力部１２は、マウス、キーボード、タッチパネル等で構成することができ、推定装置１に対する操作を受け付ける。
　記憶部１３は、ハードディスク及びフラッシュメモリ等の不揮発性メモリで構成することができる。記憶部１３内には、プログラム１３２が格納されている他、スマートフォン２から送られてくる画像データ２０１を含むデータが適宜保存される。また、記憶部１３内には、後述する学習処理で学習され、後述する推定処理で使用される第１機械学習モデル１３０及び第２機械学習モデル１３１を定義する情報が格納される。さらに、記憶部１３には、これらの機械学習モデルによる推定結果を総合的に判断し、推奨される対応を決定するための判定テーブル１３４が格納される。判定テーブル１３４についての詳細は、後述する。
　制御部１０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＲＯＭ及びＲＡＭ等で構成することができる。制御部１０は、記憶部１３内のプログラム１３２を読み出して実行することにより、仮想的に画像取得部１０Ａ、導出部１０Ｂ、判定部１０Ｃ、画面生成部１０Ｄ及び学習部１０Ｅとして動作する。画像取得部１０Ａは、第１機械学習モデル１３０及び第２機械学習モデル１３１へ入力される画像データ２０１を取得する。導出部１０Ｂは、画像データ２０１を第１機械学習モデル１３０及び第２機械学習モデル１３１に入力し、それぞれの機械学習モデルからの出力を導出する。判定部１０Ｃは、導出部１０Ｂにより導出された出力と、判定テーブル１３４とに基づいて、タイヤ交換またはタイヤローテーションが必要であるか否かを判定する。画面生成部１０Ｄは、判定部１０Ｃによる判定結果等を表示する、フィードバック画面を生成する。通信部１４は、ネットワークを介したデータ通信を行う通信インターフェースとして機能する。学習部１０Ｅについては、後述する。
　［ユーザ側スマートフォン］
　図３は、推定システム５を構成するカメラ２０と、ディスプレイ２１とを備える情報処理端末の電気的構成を示すブロック図である。情報処理端末は、ユーザがタイヤの点検サービスを提供するための装置であり、上述した通り、本実施形態ではスマートフォン２として構成される。本実施形態では、スマートフォン２は汎用のスマートフォンであり、カメラ２０及びディスプレイ２１に加えて、制御部２２、記憶部２３、及び通信部２４を備える。これらの部２０～２４は、互いにバス線２５を介して接続されており、相互に通信可能である。ディスプレイ２１は、上述した通りタッチパネルディスプレイであり、ユーザによる操作を受け付けるとともに、各種の情報を表示するように構成される。通信部２４は、ネットワークを介したデータ通信を行う通信インターフェースとして機能する。
　制御部２２は、ＣＰＵ、ＧＰＵ、ＲＯＭ及びＲＡＭ等で構成することができる。記憶部２３は、フラッシュメモリ等の不揮発性メモリで構成することができる。記憶部２３には、カメラ２０で撮影した画像データ２０１が保存される他、推定システム５の専用アプリケーションプログラム２００（以下、単に「アプリ２００」とも称する）が格納される。アプリ２００は、例えばネットワークを介してスマートフォン２にインストールされる。ユーザがアプリ２００を起動すると、カメラ２０及びディスプレイ２１等が推定システム５の一部として動作するよう制御される。アプリ２００は、必要に応じてウェブデータ７とも協働しつつ、ディスプレイ２１上に各情報を表示し、後述するタイヤＴの状態の推定処理を実行するためのユーザの動作を支援する。
　［サーバー装置］
　サーバー装置４は、ハードウェアとしては汎用のコンピュータであり、不揮発性で書き換え可能な記憶装置を有する。記憶装置には、推定装置１、スマートフォン２及びスマートフォン３が接続されるネットワークにおいて、推定システム５に関連する専用のウェブサイトを構成するウェブデータ７が格納される。ウェブデータ７は、各情報処理端末のディスプレイで表示される画面のデータ等、ウェブサイトのコンテンツデータが含まれたデータである。ウェブデータ７は、スマートフォン、タブレット、ラップトップパソコン、スマートウォッチ、デスクトップパソコン及びプッシュボタン付き携帯電話から、汎用のウェブブラウザを介してアクセス可能であってよい。
　サーバー装置４の記憶装置は、車両情報データベースをさらに含む。車両情報は、タイヤＴの状態の推定処理を行うにあたって、ユーザが対象の車両に対して発行する識別情報であり、推定システム５内で車両を区別できる情報であれば、特にその形式は限定されない。車両情報は、例えば、当該車両のナンバープレートの数字、サービス提供のためにドライバーに割り当てられた番号、推定処理を開始した日時、及びこれらを組み合わせた数字等であってよい。サーバー装置４は、後述するように、スマートフォン２で起動されるアプリ２００を介して車両情報を取得する。サーバー装置４は、取得した車両情報を自身の記憶装置に格納し、車両情報データベースを構築する。
　また、サーバー装置４は、後述する推定処理において、推定装置１により生成されたフィードバック画面Ｇ３を取得する。サーバー装置４は、取得したフィードバック画面Ｇ３に固有のＵＲＬ（Uniform Resource Locator）を割り当てるとともに、これを車両情報データベース内に格納されている該当の車両情報と関連付けて、ウェブデータ７として保存する。これにより、スマートフォン３等、一般の情報処理端末からネットワークを介してフィードバック画面Ｇ３へのアクセスが可能となる。ただし、本実施形態では、まず情報処理端末から専用ウェブサイトにアクセスし、情報処理端末のディスプレイに表示されるフォーム画面に対象の車両情報を入力しなければ、フィードバック画面へ到達することができないようになっている。
　[カード]
　本実施形態では、スマートフォン３等からフィードバック画面へのアクセスを容易にすべく、ドライバーの車両情報と、専用ウェブサイトにアクセスするためのＵＲＬとが記載された名刺サイズのカード６が、ユーザからドライバーに提供される。ＵＲＬは、例えばＱＲコード（登録商標）等の、電子機器により読み取り可能なコード形式でカード６に記載される。
　［ドライバー側スマートフォン］
　スマートフォン３は、ドライバーが所有する情報処理端末の一例である。スマートフォン３は、スマートフォン２と同様に汎用のスマートフォンであり、カメラ３０とディスプレイ３１とを備える。ディスプレイ３１は、タッチパネルディスプレイとして構成される。スマートフォン３は、スマートフォン２とは異なり、アプリ２００がインストールされる必要はない。
　ドライバーは、自身が乗車する車両に含まれるタイヤＴについての推定処理が終了すると、ユーザからスマートフォン２のディスプレイ２１に表示されるフィードバック画面Ｇ３を提示されながら、タイヤＴの現状についての説明と、推奨される対応の提案を受ける。そして、自身の車両情報が記されたカード６をユーザから受け取る。その後、ドライバーが改めてフィードバック画面Ｇ３を確認するとき、カード６を参照し、コード６０をスマートフォン３のカメラ３０を使用したバーコードリーダアプリケーションによって読み込む。これにより、ドライバーは、専用ウェブサイトのＵＲＬを手打ち入力することなく、スマートフォン３から専用ウェブサイトにアクセスすることができる。このとき、ディスプレイ３１に表示される専用ウェブサイトのトップページは、車両情報を入力するフォーム画面となる。ドライバーは、タッチパネルディスプレイ３１を操作し、カード６に記載された自身の車両情報を、フォーム画面中の入力欄に入力する。入力された車両情報がドライバーの操作によりサーバー装置４に送信されると、サーバー装置４は、これを車両情報データベースと照合し、一致する車両情報を探し出す。サーバー装置４は、照合により探し出された車両情報と関連付けられたフィードバック画面Ｇ３のデータを、スマートフォン３に送信する。これにより、ディスプレイ３１にはフィードバック画面Ｇ３が表示される。
　＜３．機械学習モデルの構成＞
　[第１機械学習モデル]
　次に、図４を参照しつつ、後述する推定処理の中で使用される第１機械学習モデル１３０の構成について説明する。第１機械学習モデル１３０は、上述したように、タイヤＴの画像を入力とし、タイヤＴの偏摩耗の推定結果に対応する値を出力とする。入力されるタイヤＴの画像は、タイヤＴの正面から両端を含むトレッドを撮影した画像、より詳細には、タイヤＴのトレッドの両端を含むとともに、画像の縦方向にトレッドが連続するようにトレッドを正面から撮影した画像であり、予め決められたＨ×Ｗのピクセル数を有する。偏摩耗の推定結果は、本実施形態では、タイヤＴの偏摩耗の程度を段階的に示す指標であり、偏摩耗の程度が少ない順に、偏摩耗レベル１、偏摩耗レベル２、偏摩耗レベル３のいずれかとなる。偏摩耗レベル１は、偏摩耗が生じていないか、殆ど生じていないことを表す。偏摩耗レベル２は、中程度の偏摩耗が生じていることを表す。偏摩耗レベル３は、重度の偏摩耗が生じていることを示す。
　第１機械学習モデル１３０は、本実施形態では、畳み込みニューラルネットワーク（ＣＮＮ）であり、タイヤの種類（夏タイヤ、冬タイヤ、オールシーズンタイヤ）別に構築される。つまり、第１機械学習モデル１３０とは、夏タイヤ用の第１機械学習モデル１３０Ａ、冬タイヤ用の第１機械学習モデル１３０Ｂ、及びオールシーズンタイヤ用の第１機械学習モデル１３０Ｃの３つの機械学習モデルの総称である。第１機械学習モデル１３０Ａ～Ｃの各々は、異なる学習用データを用いた学習により生成されており、パラメータがそれぞれのタイヤの種類に対して最適化されている。すなわち、第１機械学習モデル１３０Ａ～Ｃの層構成は、図４に示す通りで共通であるが、これらを規定するパラメータはそれぞれ異なる。従って、以下では第１機械学習モデル１３０Ａの層構成について説明し、第１機械学習モデル１３０Ｂ，Ｃについての層構成についての説明は省略する。
　第１機械学習モデル１３０Ａは、交互に配置された畳み込み層及びプーリング層と、これらの出力側に接続される全結合層と、出力層とを備える。畳み込み層及びプーリング層は、入力画像の特徴を抽出するための層である。１つ目の畳み込み層では、入力画像に対し、これより小さなサイズの多数の重みフィルタによる畳み込み処理が実行される。その結果、重みフィルタの数Ｍ（Ｍは、２以上の整数であり、適宜決定される）と同数の、Ｍ枚の特徴マップが生成される。より具体的には、入力画像と各重みフィルタとの内積がラスタスキャンで繰り返し計算され、入力画像に重みフィルタが畳み込まれてゆくことにより、特徴マップが算出される。重みフィルタは、入力画像に含まれる一定のパターン（特徴）を検出し、強調するための値の配列である。特徴マップは、重みフィルタの特徴に反応し、入力画像において重みフィルタの特徴が強調された画像（又は値の配列）である。各重みフィルタの値は、後述する学習処理により最適化されている。
　次に、１つ目のプーリング層において、特徴マップの各々に対してプーリング処理が実行され、その結果、Ｍ枚の特徴マップが生成される。プーリング処理とは、先の特徴マップに含まれる小領域を代表する応答値を出力することにより、先の特徴マップを新たな特徴マップに変換する処理である。このプーリング処理により、先の特徴マップのサイズを縮小することができる。また、位置感度を低下させ、入力画像において検出しようとする特徴の位置のずれを吸収することができる。より具体的には、プーリング処理では、各特徴マップが小領域に分割され、各小領域に含まれる画素値に基づいて応答値となる１つの画素値が決定される。応答値の決定方法は、適宜設定することができ、小領域内の画素値の平均値であってもよいし、最大値であってもよい。
　新たに生成された特徴マップの各々は、２つ目の畳み込み層にさらに入力される。ここではＮ（Ｎは、２以上の整数であり、適宜決定される）枚の新たな重みフィルタが用意され、１つ目の畳み込み層と同様に畳み込み処理が行われる。その結果、Ｎ枚の特徴マップが生成される。２つ目の畳み込み層においても、各重みフィルタの値は、後述する学習処理により最適化されている。
　さらに、Ｎ枚の特徴マップの各々は、２つ目のプーリング層に入力される。２つ目のプーリング層では、２度目のプーリング処理が実行され、Ｎ枚の特徴マップが新たな特徴マップに変換される。２つ目のプーリング層から出力された特徴マップ（画像）は、１次元のベクトルに変換され、全結合層に入力される。
　全結合層は、多層パーセプトロンであり、入力画像のタイヤＴを偏摩耗レベル１、偏摩耗レベル２、偏摩耗レベル３のいずれかの指標に分類する。全結合層は、それぞれが複数のユニットを有する入力層、中間層及び出力層を有する。各層のユニットを結合する重み係数及びバイアスは、後述する学習処理により最適化されている。全結合層における出力層の各ユニットは、偏摩耗の程度を示す３つの指標（レベル）と対応する。
　出力層は、全結合層の出力層からの３つの出力値に対し、softmax関数を適用して、タイヤＴの偏摩耗が、偏摩耗レベル１、偏摩耗レベル２、偏摩耗レベル３の指標に該当する確率相当値をそれぞれ出力する。確率相当値が最も高いユニットに対応する指標が、タイヤＴの偏摩耗の推定結果に対応する。
　[第２機械学習モデル]
　第２機械学習モデル１３１は、上述したように、タイヤＴの画像を入力とし、タイヤＴのトレッドの主溝の残り深さ、言い換えるとトレッドの摩耗量の推定結果に対応する値を出力とする。入力されるタイヤＴの画像は、第１機械学習モデル１３０に入力される画像と同一の画像である。トレッドの摩耗量の推定結果は、本実施形態では、トレッドの主溝の残り深さを段階的に示す指標であり、主溝の残り深さが深い順に、摩耗量レベル１、摩耗量レベル２、摩耗量レベル３のいずれかとなる。摩耗量レベル１は、主溝の深さが充分であり、摩耗が生じていないか、殆ど生じていないことを表す。摩耗量レベル２は、主溝の深さが中程度に減っており、中程度の摩耗が生じていることを表す。摩耗量レベル３は、主溝の深さが相当減っており、重度の摩耗が生じていることを示す。
　本実施形態の第２機械学習モデル１３１も、第１機械学習モデル１３０と同様の畳み込みニューラルネットワーク（ＣＮＮ）であり、タイヤの種類（夏タイヤ、冬タイヤ、オールシーズンタイヤ）別に構築される。つまり、第２機械学習モデル１３１とは、夏タイヤ用の第２機械学習モデル１３１Ａ、冬タイヤ用の第２機械学習モデル１３１Ｂ、及びオールシーズンタイヤ用の第２機械学習モデル１３１Ｃの３つの機械学習モデルの総称である。第２機械学習モデル１３１Ａ～Ｃの各々は、異なる学習用データを用いた学習により生成されており、パラメータがそれぞれのタイヤの種類に対して最適化されている。このため、第２機械学習モデル１３１Ａ～Ｃの層構成は共通であるが、これらを規定するパラメータはそれぞれ異なる。なお、本実施形態では、第２機械学習モデル１３１Ａ～Ｃの層構成は図４に示す第１機械学習モデル１３０と共通である。従って、上述した説明は、第２機械学習モデル１３１Ａ～Ｃにも当てはまるため、第２機械学習モデル１３１Ａ～Ｃについての層構成の説明は、省略する。
　なお、本実施形態では、学習済みの第１機械学習モデル１３０Ａ～Ｃ及び学習済みの第２機械学習モデル１３１Ａ～Ｃは、後述するように推定装置１に組み込まれている学習部１０Ｅにより生成される。しかし、機械学習モデルを学習させ、学習済みの第１及び第２機械学習モデル１３０，１３１を生成する学習機能は、これらの学習済みのモデル１３０，１３１に基づいてタイヤの偏摩耗及び主溝の深さを推定する機能から独立していてもよい。言い換えると、推定装置１には推定機能のみを実装し、別のコンピュータで学習した学習済みの第１機械学習モデル１３０と学習済みの第２機械学習モデル１３１とを、それぞれ記憶部１３に取り込むようにしてもよい。
　＜４．推定システムの動作＞
　次に、図５～図９を参照しつつ、タイヤＴの偏摩耗及び摩耗量を推定する推定システム５の動作について説明する。タイヤＴの偏摩耗及び摩耗量を推定する推定処理は、推定装置１によって実行される。しかし、推定システム５全体は、推定装置１、スマートフォン２及びサーバー装置４が協働することにより動作する。従って、以下ではスマートフォン２等に表示されるユーザーインターフェース画面についても適宜触れながら、推定装置１による推定処理を含む推定システム５の動作について説明する。この動作は、例えばユーザがスマートフォン２のアプリ２００を起動したときにスタートする。図５Ａは、スマートフォン２で行われる処理の流れを示すフローチャートであり、図５Ｂは、サーバー装置４及び推定装置１で行われる処理の流れを示すフローチャートである。
　なお、推定処理は、通常車両の各車輪（ハブ）に装着されている全てのタイヤについて行われるため、以下では車両が４輪乗用車である場合を例に説明する。車両は、各車輪にタイヤＴが装着された状態でリフトアップされているものとする。
　図５Ａを参照する。スタート時点では、アプリ２００によりディスプレイ２１にスタート画面が表示される。スタート画面には、例えば車両情報を入力する入力欄と、入力を確定するための確定ボタンのグラフィックとが表示される。ユーザは、タッチパネルディスプレイ２１を操作して入力欄に車両情報を入力する。続いて、ユーザが確定ボタンのグラフィックをタップすると、アプリ２００は車両情報の入力を受け付け、これを記憶部２３に保存する（ステップＳ２１）。
　続いて、アプリ２００は各車輪に装着されたタイヤＴの撮影をユーザに促す撮影指示画面Ｇ１をディスプレイ２１に表示する（ステップＳ２２）。撮影指示画面Ｇ１は、例えば図６に示すように、車両の左前輪、右前輪、左後輪、右後輪に対応する４つのボックスＢ１～Ｂ４を、車両における車輪の位置関係と対応させて表示する。各ボックスの上方には、例えば車輪の位置が表示され、各ボックス内にはカメラアイコンＣ１が表示される。より具体的には、ボックスＢ１の上方には「フロント左」、ボックスＢ２の上方には「フロント右」、ボックスＢ３の上方には「リア左」、ボックスＢ４の上方には「リア右」と表示され、撮影指示画面Ｇ１におけるボックスＢ１～Ｂ４の位置関係が、車両における車輪の位置関係と対応するようになっている。
　ユーザは、まず撮影指示画面Ｇ１上で、いずれか１つのボックスを選択する。この選択は、例えばそのボックス内に表示されるカメラアイコンＣ１をタップすることにより行われる。カメラアイコンＣ１がユーザによりタップされると、アプリ２００はカメラ２０を起動する。このとき、撮影指示画面Ｇ１は一時的にカメラ２０のモニタ画面Ｇ２に切り替わる。モニタ画面Ｇ２は、カメラフレームＣ２を含む。カメラフレームＣ２は、第１及び第２機械学習モデル１３０，１３１に入力される入力画像と同じＨ×Ｗのピクセル数を有するフレームであり、カメラフレームＣ２の被写体に対して画像データが生成されるように構成される。
　ユーザは、選択したボックスに対応する位置に取り付けられるタイヤＴの側に位置取り、タイヤＴのトレッドの両端が、カメラフレームＣ２内に収まるようにタイヤＴを撮影する。ユーザは、撮影された画像をモニタ画面Ｇ２で見て、画像が推定処理に使用するデータとして適切であるか否かを確認する。この確認は、例えばトレッドの両端を含むトレッドの主溝が鮮明に撮影されているか、トレッドが正面から撮影されているか、画像の上下方向（縦方向）にトレッドが連続しているか（タイヤＴの接地面が写っていないか）、ピントは合っているか、タイヤＴの像を妨げる他の映り込みがないか、等について行われる。
　確認の結果、画像が適切であると判断される場合、ユーザはモニタ画面Ｇ２に表示されるタイヤＴの種類を選択するための選択ボックスＢ５～Ｂ７の中から適切な選択ボックスをタップし、選択状態とする。選択ボックスＢ５～Ｂ７は、例えば夏タイヤ、冬タイヤ、オールシーズンタイヤの３種類に対して表示される。ユーザは、タイヤＴを目視により確認し、またはドライバーからの聞き取りにより、タイヤＴが夏タイヤ、冬タイヤ、オールシーズンタイヤのいずれであるかを判断し、これに応じた選択ボックスＢ５～Ｂ７のいずれかをタップする。これにより、タップされた選択ボックスが選択状態となる。アプリ２００は、例えば選択状態となった選択ボックスを明るく表示し、他の選択ボックスをグレーアウトして表示する。
　続いて、ユーザはモニタ画面Ｇ２に表示される「保存」ボタンのグラフィックをタップし、撮影した画像を確定させる。これにより、選択されたタイヤＴの種類と関連付けられたタイヤＴの画像データ２０１がアプリ２００により生成され、スマートフォン２の記憶部２３に保存される。一方、画像が不適切であると判断される場合、ユーザは例えばモニタ画面Ｇ２に表示される「やり直し」ボタンのグラフィックをタップし、再度カメラ２０による撮影を行う。ユーザは、選択したボックスＢ１～Ｂ４に対応するタイヤＴの画像データ２０１を保存するまで、何度でも撮影をやり直すことができる。
　アプリ２００は、タイヤＴの画像データ２０１が記憶部２３に保存されると、再びディスプレイ２１に撮影指示画面Ｇ１を表示する。ただし、図７に示すように、次に表示される撮影指示画面Ｇ１では、既にユーザが撮影を行い、画像を確定させた車輪に対応するボックスの中に、記憶部２３に保存された画像データ２０１のサムネイル画像が表示される。これにより、ユーザはまだ画像データ２０１が保存されていない車輪を把握することができる。ユーザは、撮影指示画面Ｇ１を見て、サムネイルが表示されていないボックスを選択し、選択したボックスに対応するタイヤＴの撮影を上記と同様の手順で行う。以上の手順を各輪について繰り返すことにより、４輪のタイヤＴのトレッドを含む画像データ２０１が４枚生成され、記憶部２３に保存される。４枚の画像データ２０１は、ボックスＢ１～Ｂ４に対して生成されることで、自動的に各車輪の位置と関連付けられて記憶部２３に保存される。
　再び図５Ａを参照して、アプリ２００は、画像データ２０１が記憶部２３に保存されるたびに、車両の全ての車輪についてタイヤＴの画像データ２０１が保存されたか否かを判定する（ステップＳ２３）。全ての車輪について、タイヤＴの画像データ２０１が保存された、つまりタイヤＴの画像データ２０１が４枚揃ったと判定される場合（ＹＥＳ）、アプリ２００は後述する開始確認画面をディスプレイ２１に表示する（ステップＳ２４）。全ての車輪について、タイヤＴの画像データ２０１が保存されていない、つまりタイヤＴの画像データ２０１が４枚未満であると判定される場合（ＮＯ）、上述したようにアプリ２００は撮影指示画面Ｇ１を再度表示し、残りのタイヤＴについての撮影をユーザに促す。
　ステップＳ２４でディスプレイ２１に表示される開始確認画面は、ステップＳ２３で揃ったと判定された４枚の画像データ２０１を用いて、第１機械学習モデル１３０及び第２機械学習モデル１３１に基づく推定処理を開始するかどうかをユーザに確認する画面である。開始確認画面は、例えば「ＡＩ診断を開始しますか？」等、ユーザに推定処理の開始を問い合わせる旨のメッセージと、「開始する」ボタンのグラフィックと、「戻る」ボタンのグラフィックとを含むことができる。ユーザが「開始する」ボタンのグラフィックをタップすると（ＹＥＳ）、アプリ２００は、ステップＳ２２で保存された４枚の画像データ２０１及びタイヤＴの種類、ならびにステップＳ２１で保存した車両情報を、サーバー装置４に送信する（ステップＳ２５）。
　ユーザは、ステップＳ２２で保存した画像データ２０１を修正したい場合、ステップＳ２４で「戻る」ボタンのグラフィックをタップすることができる（ＮＯ）。この場合、アプリ２００は撮影指示画面Ｇ１を再度表示するように構成されてもよい。ユーザは、例えば撮影指示画面Ｇ１に表示されるサムネイルを見て、画像データ２０１を修正したい車輪のボックスを選択する。アプリ２００は、この操作を受け付けて再びカメラ２０を起動し、モニタ画面Ｇ２を表示するように構成されてもよい。
　ステップＳ２５で、画像データ２０１、車両情報及びタイヤＴの種類がサーバー装置４に正常に送信されると、アプリ２００は推定装置１により生成されるフィードバック画面Ｇ３のデータをサーバー装置４から受信すべく、待機モードに遷移する。ここから図５Ｂに示す処理が開始する。
　サーバー装置４は、ステップＳ２５において画像データ２０１、車両情報及びタイヤＴの種類をスマートフォン２から受信すると、受信した車両情報及びタイヤＴの種類を自身の車両情報データベースに登録する（ステップＳ４１）。また、サーバー装置４は、画像データ２０１、車両情報及びタイヤＴの種類とともに、推定処理を行い、フィードバック画面Ｇ３のデータを送るように要求する指令を推定装置１に送信する（ステップＳ４２）。
　推定装置１は、ステップＳ４２でサーバー装置４により送信された画像データ２０１、車両情報及びタイヤＴの種類ならびにフィードバック画面Ｇ３の要求を受信し、タイヤＴの偏摩耗及び摩耗量の推定処理を開始する（ステップＳ１１）。ステップＳ１１では、画像取得部１０Ａが、受信した画像データ２０１を読み込む（取得する）。
　続くステップＳ１２では、導出部１０Ｂが、受信したタイヤＴの種類に基づいて、第１機械学習モデル１３０Ａ～Ｃ及び第２機械学習モデル１３１Ａ～Ｃの中から、適切なモデルをタイヤＴごとに選択する。例えば、タイヤＴが夏タイヤである場合、導出部１０Ｂは第１機械学習モデル１３０Ａと第２機械学習モデル１３１Ａとを選択する。この選択は、タイヤＴごとにより行われるため、同じ車両のタイヤであっても選択される機械学習モデルが異なる場合がある。
　続くステップＳ１３では、導出部１０Ｂが、ステップＳ１２で選択した第１機械学習モデル１３０に当該タイヤＴの画像データ２０１を入力するとともに、ステップＳ１２で選択した第２機械学習モデル１３１に同じタイヤＴの画像データ２０１を入力する。ステップＳ１２で複数の機械学習モデルが選択された場合は、それぞれの機械学習モデルに、適切なタイヤＴの画像データ２０１が入力される。
　続くステップＳ１４では、導出部１０Ｂが、第１機械学習モデル１３０から各画像データ２０１に対する出力を導出し、記憶部２３に保存する。第１機械学習モデル１３０からの出力は、上述したように、偏摩耗の程度を示す３指標に該当する確率相当値である。同様に、導出部１０Ｂが、第２機械学習モデル１３１から各画像データ２０１に対する出力を導出し、記憶部２３に保存する。第２機械学習モデル１３１からの出力は、摩耗量あるいはトレッドの主溝の残り深さを示す３指標に該当する確率相当値である。
　続くステップＳ１５では、判定部１０Ｃが、ステップＳ１４で導出された第１機械学習モデル１３０及び第２機械学習モデル１３１の出力に基づいて、各画像データ２０１のタイヤＴの偏摩耗の程度を示す指標と、摩耗量を示す指標とを決定する。判定部１０Ｃは、第１機械学習モデル１３０からの出力のうち、最も大きな確率相当値を有する指標を偏摩耗の推定結果とする。同様に、判定部１０Ｃは、第２機械学習モデル１３１からの出力のうち、最も大きな確率相当値を有する指標を摩耗量の推定結果とする。そして、判定部１０Ｃは、記憶部１３から判定テーブル１３４を読み出し、偏摩耗の推定結果及び摩耗量の推定結果に合致するセルを探し出す。図８に示すように、本実施形態における判定テーブル１３４は、偏摩耗レベルを行、摩耗量レベルを列とする３×３のセルを有する表であり、各セルは、そのセルに合致した場合の判定を示すＡ１～Ａ３のデータを有する。Ａ１は、偏摩耗及び摩耗量ともに問題がなく、現状における対応は不要との判定を意味する。Ａ２は、偏摩耗及び摩耗量の少なくとも一方が中程度であり、対応としてタイヤのローテーションが推奨されるとの判定を意味する。Ａ３は、偏摩耗及び摩耗量の少なくとも一方が重度であり、対応としてタイヤＴの交換が推奨されるとの判定を意味する。
　例えば、１つの画像データ２０１について、第１機械学習モデル１３０の出力に基づく偏摩耗の推定結果が偏摩耗レベル２、第２機械学習モデル１３１の出力に基づく摩耗量の推定結果が摩耗量レベル１であったとする。判定テーブル１３４で、これに該当するセルのデータは「Ａ２」であり、この場合にはタイヤのローテーションが推奨される。また、例えば第１機械学習モデル１３０の出力に基づく偏摩耗の推定結果が偏摩耗レベル３、第２機械学習モデル１３１の出力に基づく摩耗量の推定結果が摩耗量レベル１であったとする。判定テーブル１３４で、これに該当するセルのデータは「Ａ３」であり、この場合には当該タイヤの交換が推奨される。このように、判定テーブル１３４に従った判定によれば、偏摩耗の推定結果と摩耗量の推定結果とが総合的に考慮され、仮に一方がレベル１であっても、他方がレベル２以上である場合には、より程度が大きな方に合わせた対応が推奨される判定となる。これにより、偏摩耗及び摩耗量のいずれか一方の推定のみでは問題ないとされ得るような場合でも、早期に対応を推奨することができ、タイヤＴの適切な維持管理が図られる。
　続くステップＳ１６では、画面生成部１０Ｄが、ステップＳ１５で決定された各指標及び判定に基づき、フィードバック画面Ｇ３を生成する。フィードバック画面Ｇ３は、例えば図９Ａに示すように、４つのボックスＢ８～Ｂ１１と、ボックスＢ８～Ｂ１１内に表示される画像データ２０１のサムネイルと、グラフィックＣ８～Ｃ１８とを含む。ボックスＢ８～Ｂ１１は、撮影指示画面Ｇ１と同様、車両の左前輪、右前輪、左後輪、右後輪に対応した位置関係で表示される。タイヤＴの画像データ２０１のサムネイルは、当該画像データ２０１が関連付けられた車輪に対応するボックスＢ８～Ｂ１１内にそれぞれ表示される。
　グラフィックＣ８～Ｃ１１は、数字１～３のいずれかが表示され、順に並ぶ図形を含む。図形の数字は、第１機械学習モデル１３０から導出された出力に対応する推定偏摩耗レベル１～３をそれぞれ表している。画面生成部１０Ｄは、ボックスＢ８～Ｂ１１内に表示されるそれぞれのタイヤＴについて、ステップＳ１５で決定された偏摩耗レベルの数字に対応する図形を明るく表示するとともに、その他の数字に対応する図形をグレーアウトさせることで、偏摩耗レベルを視覚的に把握し易く表示する。同様に、グラフィックＣ１２～Ｃ１５は、数字１～３のいずれかが表示され、順に並ぶ図形を含む。図形の数字は、第２機械学習モデル１３１から導出された出力に対応する推定摩耗量レベル１～３をそれぞれ表している。画面生成部１０Ｄは、ボックスＢ８～Ｂ１１内に表示されるそれぞれのタイヤＴについて、ステップＳ１４で決定された摩耗量レベルの数字に対応する図形を明るく表示するとともに、その他の数字に対応する図形をグレーアウトさせることで、摩耗量レベルを視覚的に把握し易く表示する。このように、フィードバック画面Ｇ３においては、偏摩耗及び摩耗量の推定結果として、偏摩耗及び摩耗の程度を段階的に示す指標が、指標の全体に対する位置付けとともに表示される。これにより、フィードバック画面Ｇ３を確認するユーザ及びドライバーは、偏摩耗及び摩耗の進行度合いを直観的に理解することができる。
　グラフィックＣ１６～Ｃ１９は、判定テーブル１３４に基づく判定結果を示し、判定結果Ａ１～Ａ３に応じた異なる図形を含むことができる。例えば、グラフィックＣ１６は、二重丸の図形を含み、判定結果Ａ１に対応する。グラフィックＣ１７及びＣ１８は、三角形の図形を含み、判定結果Ａ２に対応する。グラフィックＣ１９は、バツの図形を含み、判定結果Ａ３に対応する。すなわち、グラフィックＣ１６～Ｃ１９は、それぞれのタイヤＴに対して対応が必要か否かの判定結果、及び推奨される対応を表示するグラフィックである。グラフィックＣ１６～Ｃ１９の側には、例えば「対応は必要ありません」「タイヤローテーションが必要です」「タイヤ交換が必要です」等、具体的に対応が必要か否かの判定結果、または推奨される対応を示すメッセージが併記されてもよい。
　本実施形態のフィードバック画面Ｇ３は、判定結果表示画面及び偏摩耗推定結果表示画面の一例である。図９Ａに例示するフィードバック画面Ｇ３には、偏摩耗の推定結果、摩耗量の推定結果及び判定結果が全て表示されているが、このうちのいずれかが省略されてもよい。また、判定結果表示画面及び偏摩耗推定結果表示画面は、同一の画面データとしてではなく、タイヤごとに、または推定結果もしくは判定結果ごとに、複数の画面のデータとして生成されてもよい。
　判定部１０Ｃは、ステップＳ１５における判定テーブル１３４に基づく判定において、ローテーションが推奨されるタイヤが含まれる場合、判定テーブル１３４に基づく判定に応じて推奨されるタイヤのローテーションパターン（以下、「推奨パターン」とも称する）をさらに決定してもよい。推奨パターンの決定は、例えば判定テーブル１３４に基づく判定と、車輪の位置情報とに基づいて推奨パターンを決定するアルゴリズムを、予めプログラム１３２に組み込んでおき、ステップＳ１５でこれを実行することにより行われてもよい。また、判定部１０Ｃは、特に推奨パターンを決定するアルゴリズム等によらず、一般的に推奨されるローテーションパターンを推奨パターンと決定してもよい。
　画面生成部１０Ｄは、ステップＳ１６において、フィードバック画面Ｇ３のデータに加え、推奨パターンを示すローテーション画面Ｇ４のデータをさらに生成してもよい。ローテーション画面Ｇ４の一例を図９Ｂに示す。ローテーション画面Ｇ４は、例えば各車輪にタイヤＴが装着された車両のグラフィックＣ２０と、推奨パターンを示すグラフィックＣ２１～Ｃ２３と、交換を示すグラフィックＣ２４とを含む。グラフィックＣ２１～Ｃ２３は、例えば矢印の図形であり、矢印の終端が示す車輪の位置が、矢印の起点にあるタイヤＴの付け替え位置として推奨されることを示す。また、グラフィックＣ２４は、例えば循環する矢印の図形であり、タイヤＴのグラフィックに重ねて、またはその側に表示されることで、当該タイヤＴの交換が推奨されることを示す。また、各タイヤＴのグラフィックは、例えば判定テーブル１３４に基づく判定結果に応じて、模様、色等が変化するようになってもよい。
　再び図５Ｂを参照して、画面生成部１０Ｄは、生成したフィードバック画面Ｇ３のデータを、サーバー装置４に送信する（ステップＳ１７）。また、ローテーション画面Ｇ４のデータが生成される場合は、画面生成部１０Ｄがこれも同様に送信する。これにより、推定装置１では、１組の画像データ２０１に対するタイヤの状態の推定処理が終了する。
　サーバー装置４は、推定装置１から送信されてきたフィードバック画面Ｇ３のデータを受信し、車両情報データベースと関連付けて自身の記憶装置に保存する（ステップＳ４３）。サーバー装置４は、フィードバック画面Ｇ３のデータに対して固有のＵＲＬを割り当て、ウェブデータ７とする。その後、サーバー装置４は、フィードバック画面Ｇ３のデータをスマートフォン２に送信する（ステップＳ４４）。なお、ローテーション画面Ｇ４のデータが送信されてくる場合も、フィードバック画面Ｇ３のデータと同様の処理が行われ、ローテーション画面Ｇ４のデータもネットワークを介してアクセス可能な状態にされる。これにより、サーバー装置４では、１組の画像データ２０１に対する処理が終了する。
　再び図５Ａを参照して、スマートフォン２は、ステップＳ４４でサーバー装置４が送信したフィードバック画面Ｇ３のデータを受信する。アプリ２００は、ディスプレイ２１にフィードバック画面Ｇ３を表示する（ステップＳ２６）。
　ユーザは、ディスプレイ２１に表示されたフィードバック画面Ｇ３をドライバーに提示しつつ、４輪のタイヤについて推定される偏摩耗の状況及び摩耗量の状況、そして推奨される対応について説明する。以下、フィードバック画面Ｇ３が図９Ａに例示する画面である場合を例に説明する。左前輪（フロント左）について、ユーザは、グラフィックＣ８及びＣ１２を示しつつ、偏摩耗レベル、摩耗量レベルがともに「１」と推定されることを説明し、続いてグラフィックＣ１６を示しつつ、現状に問題はないと思われる（対応は不要と判定される）ことを説明することができる。右前輪（フロント右）について、ユーザは、グラフィックＣ９及びＣ１３を示しつつ、偏摩耗レベルは「２」と推定されるが、摩耗量レベルは「１」と推定されることを説明し、続いてグラフィックＣ１７を示しつつ、偏摩耗のさらなる進行を抑制するために、タイヤのローテーションが推奨されることを説明することができる。左後輪（リア左）について、ユーザは、グラフィックＣ１０及びＣ１４を示しつつ、偏摩耗レベルは「１」と推定されるが、摩耗量レベルが「２」と推定されることを説明し、続いてグラフィックＣ１８を示しつつ、摩耗量を平滑化するために、タイヤのローテーションが推奨されることを説明することができる。右後輪（リア右）について、ユーザは、グラフィックＣ１１及びＣ１５を示しつつ、偏摩耗レベルが「３」と推定され、摩耗量レベルが「２」と推定されることを説明し、続いてグラフィックＣ１９を示しつつ、摩耗量は中程度に見えても偏摩耗が重度であるため、タイヤ交換が推奨されることを説明することができる。
　以上のようなフィードバック画面Ｇ３によれば、４輪の画像がサムネイルで一覧化され、推定される偏摩耗レベル及び摩耗量レベルが、全体の段階における位置付けとともにグラフィック形式で表示される。これにより、ユーザからの説明を受けたドライバーは、仮に４輪のタイヤＴを点検して回らなくても、納得感を伴って自身の車両のタイヤＴについて推定される状況を把握することができる。また、フィードバック画面Ｇ３によれば、偏摩耗及び摩耗量のうち、より程度が大きい方に合わせて推奨される対応に合わせ、３種類のグラフィックのうちいずれかが表示される。これにより、ドライバーは、早期にタイヤローテーションまたはタイヤ交換を企図することができる。例えば、図９Ａのようなフィードバック画面Ｇ３を提示されたドライバーは、少なくとも右前輪のタイヤＴ及び左後輪のタイヤＴの車輪位置を変更するローテーションを考えたり、少なくとも右後輪のタイヤＴを交換することを考えたりすることができる。とりわけ偏摩耗のレベルは、タイヤへの知識がそれほど深くない一般的なドライバーにとっては把握が困難な傾向にある。トレッドの摩耗量と比べると、発見に求められる技量や難易度が高く、ドライバーに気付かれないまま長期間放置されがちである。本実施の形態によればこのようなドライバーに交換やローテーションを促すことができる。
　さらに、ステップＳ２６でスマートフォン２がローテーション画面Ｇ４のデータも受信した場合、アプリ２００は、ユーザの操作に応じてフィードバック画面Ｇ３をローテーション画面Ｇ４に切り替え、ディスプレイ２１に表示することができる。ユーザは、ローテーション画面Ｇ４を確認することで、推奨パターンを容易に認識することができる。また、ローテーション画面Ｇ４を提示しながらドライバーに推奨パターンについての説明を行うことができ、ドライバーの納得感をより高めることができる。
　＜５．学習処理の流れ＞
　以下、図１０を参照しつつ、学習済みの第１機械学習モデル１３０及び第２機械学習モデル１３１を生成するための方法、つまり、学習部１０Ｅにより実行される第１及び第２機械学習モデルの学習方法について説明する。
　[第１機械学習モデルの学習]
　上述したように、本実施形態の第１機械学習モデル１３０Ａ～Ｃは、タイヤＴの種類別に生成される。このため、第１機械学習モデル１３０Ａ～Ｃの学習用データもタイヤＴの種類別に用意される。本実施形態では、第１機械学習モデル１３０Ａの学習用データは、夏タイヤのトレッドを含む学習用画像と、正解データとが組み合わせられた多数のデータセットであり、第１機械学習モデル１３０Ｂの学習用データは、冬タイヤのトレッドを含む学習用画像と、正解データとが組み合わせられた多数のデータセットであり、第１機械学習モデル１３０Ｃの学習用データは、オールシーズンタイヤのトレッドを含む学習用画像と、正解データとが組み合わせられた多数のデータセットである。これらのいずれの学習用データにおいても、正解データは、偏摩耗の程度を表す指標のラベルである。つまり、正解データは、偏摩耗レベル１、偏摩耗レベル２、偏摩耗レベル３のいずれかのラベルである。本実施形態では、学習用画像のタイヤ現物を確認した人によって、学習用画像とこれらのラベルとが組み合わせられる。
　以下、学習済みの第１機械学習モデル１３０Ａを生成するための学習処理について説明するが、学習済み第１機械学習モデル１３０Ｂ及び１３０Ｃも同様の学習処理により生成される。従って、第１機械学習モデル１３０Ｂ及び１３０Ｃの学習処理については、説明を省略する。
　ステップＳ５１では、上述の通り、タイヤのトレッドを含む学習用画像と、正解データとが組み合わせられたデータセットを多数含む学習用データが用意され、推定装置１の学習部１０Ｅによって記憶部１３に保存される。学習用画像は、タイヤのトレッドの両端を含むとともに、縦方向にトレッドが連続するようにトレッドを正面から撮影した画像である。学習部１０Ｅは、学習用データを、訓練用データとテスト用データとに予め分けて保存する。両者の割合は、適宜設定することができる。
　続くステップＳ５２では、学習部１０Ｅが、訓練用データから、Ｋ個のデータセットをサンプルデータとしてランダムに選択する。Ｋは、バッチサイズとも称される値であり、適宜設定することができる。
　続くステップＳ５３では、学習部１０Ｅが、第１機械学習モデル１３０Ａに、サンプルデータに含まれるＫ枚の学習用画像を入力し、第１機械学習モデル１３０Ａからの出力を導出する。出力は、入力されたＫ枚の学習用画像にそれぞれ組み合わされている正解データに対応するデータであり、本実施形態では、偏摩耗レベル１、偏摩耗レベル２、及び偏摩耗レベル３のラベルに該当する確率相当値である。
　続くステップＳ５４では、学習部１０Ｅが、ステップＳ５３で導出された出力と、ステップＳ５３で入力された学習用画像に組み合わせられている正解データとの誤差関数の値が最小となるようにパラメータを調整する。より具体的には、学習部１０Ｅが、誤差逆伝播法により、第１機械学習モデル１３０Ａの全結合層における重み係数及びバイアス、ならびに畳み込み層における重みフィルタが有する値を調整し、更新する。
　続くステップＳ５５では、学習部１０Ｅにより、１エポックの学習が完了したか否かが判断される。本実施形態では、訓練用データの数と同数のサンプルデータについてステップＳ５２～ステップＳ５５までの処理が行われると、１エポックの学習が完了したと判断される。１エポックの学習が完了していないと判断された場合、学習部１０Ｅは、ステップＳ５５の後にステップＳ５２に戻る。すなわち、学習部１０Ｅは、再度ランダムにサンプルデータを選択し、新たに選択されたサンプルデータを用いてステップＳ５３とステップＳ５５までの手順を繰り返す。一方、１エポックの学習が完了したと判断された場合、ステップＳ５６で全エポックの学習が完了したか否かが判断される。
　学習部１０Ｅは、ステップＳ５６で全エポックの学習が終了していないと判断すると、次のエポックの学習を行うべくステップＳ５２を再度実行する。全エポック数は、特に限定されず、適宜設定することができる。ステップＳ５６で全エポックの学習が終了したと判断されると、学習部１０Ｅは、第１機械学習モデル１３０Ａの学習を終了する。学習部１０Ｅは、第１機械学習モデル１３０Ａの最新のパラメータを記憶部１３に格納し、これを学習済みの第１機械学習モデル１３０Ａとする。つまり、以上の手順により、学習済みの第１機械学習モデル１３０Ａが生成される。
　なお、学習部１０Ｅは、学習が１エポック終了するごとに、テスト用データを第１機械学習モデル１３０Ａに入力して、その出力とテスト用データの正解データに対する誤差を算出し、算出結果を表示部１１に表示してもよい。また、全エポックの学習が終了する前に、第１機械学習モデル１３０Ａの出力の誤差が所定の範囲内に収束したと考えられる場合は、その時点で学習を終了させてもよい。
　[第２機械学習モデルの学習]
　学習部１０Ｅは、第１機械学習モデル１３０Ａ～Ｃについて以上の学習処理を行うとともに、第２機械学習モデル１３１Ａ～Ｃについても同様の学習処理を行う。すなわち、上述したステップＳ５１～Ｓ５６までの処理は、第２機械学習モデル１３１Ａ～Ｃの学習処理についても該当する。このため、第２機械学習モデル１３１Ａ～Ｃの学習処理の詳細については説明を省略し、以下では第２機械学習モデル１３１Ａ～Ｃの学習用データについて説明する。
　本実施形態の第２機械学習モデル１３１Ａ～Ｃは、タイヤＴの種類別に生成される。このため、第２機械学習モデル１３１Ａ～Ｃの学習用データもタイヤＴの種類別に用意される。本実施形態では、第２機械学習モデル１３１Ａの学習用データは、夏タイヤのトレッドを含む学習用画像と、正解データとが組み合わせられた多数のデータセットであり、第２機械学習モデル１３１Ｂの学習用データは、冬タイヤのトレッドを含む学習用画像と、正解データとが組み合わせられた多数のデータセットであり、第２機械学習モデル１３１Ｃの学習用データは、オールシーズンタイヤのトレッドを含む学習用画像と、正解データとが組み合わせられた多数のデータセットである。いずれのデータセットでも、学習用画像は、タイヤのトレッドの両端を含むとともに、縦方向にトレッドが連続するようにトレッドを正面から撮影した画像である。これらのいずれの学習用データにおいても、正解データは、摩耗量の程度を表す指標のラベルである。つまり、正解データは、摩耗量レベル１、摩耗量レベル２、摩耗量レベル３のいずれかのラベルである。なお、学習用画像は、第１機械学習モデル１３０の学習用画像と共通のデータであってよい。
　本実施形態では、タイヤＴの種類ごとに、トレッドの主溝の残り深さに応じた摩耗量レベルが定められており、学習用画像のタイヤ現物において測定された主溝の深さに応じて、適切な摩耗量レベルが選択され、これを表すラベルが学習用画像と組み合わされる。本実施形態では、人がタイヤ現物を確認し、最も摩耗した（浅い）主溝の箇所を選び、その箇所における溝の深さを測定する。
　＜６．特徴＞
　以上の推定システム５によれば、学習済みの機械学習モデルによりタイヤＴの偏摩耗及び摩耗量が推定されるので、人による判断のばらつきが少なくなり、ユーザのタイヤ点検サービスが支援される。また、対応の要否や対応の種類を判定するアルゴリズムでは、推定される偏摩耗の程度及び摩耗量の程度のうち、より重度である方に重み付けがなされているため、より適切な対応が推奨されるとともに、早期にタイヤのローテーションや交換を行うことができる。さらに、フィードバック画面Ｇ３やローテーション画面Ｇ４のデータが生成されることにより、ユーザはこれらを提示し、ドライバーに対してより効果的に説明やサービスの提案を行うことができ、ドライバーによる適切なタイヤＴの管理を促すことができる。ドライバーは、ユーザから提供されるカード６により、好きなタイミングでフィードバック画面Ｇ３やローテーション画面Ｇ４を確認できるため、後日これらをユーザに提示して、必要なサービスの提供を受けることが可能である。
　＜７．変形例＞
　以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。以下に示す変形例の要旨は、適宜組み合わせることができる。
　（１）
　上記実施形態では、第１及び第２機械学習モデル１３０，１３１としてＣＮＮモデルが用いられたが、機械学習モデルはこれに限定されず、サポートベクタ―マシン（ＳＶＭ）、ニューラルネットワーク（ＮＮ）モデル、Ｋ－ＮＮモデル、クラスタリング、k-means、決定木等、その他の機械学習モデル及びこれらを組み合わせたモデルが用いられてもよい。また、第２機械学習モデル１３１の学習用データは、学習用画像と、正解データとして主溝の深さとが組み合わされたデータセットであってもよい。すなわち、第２機械学習モデル１３１の出力は、入力画像のタイヤの主溝の残り深さの推定値であってもよい。また、１及び第２機械学習モデル１３０，１３１の学習方法は上記実施形態に限定されず、確率的勾配降下法等、公知のパラメータ最適化アルゴリズムを適用することができる。また、損失関数も上記実施形態に限定されず、出力されるデータの性質に応じて適宜変更することができる。また、第１及び第２機械学習モデル１３０，１３１に入力されるタイヤのトレッドを含む画像、並びにこれらの機械学習モデルを学習させるための学習用画像は、縦方向にトレッドが連続するのではなく、横方向にトレッドが連続してもよく、その他の方向にトレッドが連続してもよい。
　（２）
　上記実施形態では、タイヤＴの状態として、偏摩耗と摩耗量とが合わせて推定されたが、偏摩耗のみを推定し、この推定結果に基づいて推奨される対応が判定されてもよい。
　（３）
　上記実施形態では、偏摩耗の推定として、偏摩耗の程度が推定されたが、これに加えてまたはこれに替えて、偏摩耗の類型が推定されてもよい。偏摩耗の類型とは、例えば図１１Ａ～Ｄに示すパターンである。図１１Ａは、タイヤＴの幅方向（タイヤＴの回転軸が延びる方向）において、トレッドの片側が集中して摩耗した状態である、「片減り」である。「片減り」は、タイヤＴが車両の左右のいずれの側に装着されているかにより、「内減り」または「外減り」のいずれかにさらに細分化される。図１１Ｂは、タイヤＴの幅方向において、トレッドの両側が集中して摩耗した状態である、「両減り」である。図１１Ｃは、タイヤＴの幅方向において、トレッドの中央が集中して摩耗した状態である、「センター摩耗」である。図１１Ｄは、タイヤＴを周方向から見たときに、トレッドの各ブロックが一方向に摩耗し、のこぎりの歯状となった状態である「ヒールトー摩耗」である。偏摩耗の類型の推定は、例えば入力をタイヤ画像とし、出力を偏摩耗の各パターン及び偏摩耗無しの分類とする、学習済みの機械学習モデルを推定装置１に実装することにより行うことができる。この機械学習モデルの構造は特に限定されない。また、機械学習モデルの学習用データは、タイヤＴの学習用画像と、正解データとが組み合わせられた多数のデータセットとすることができる。正解データは、例えば偏摩耗が生じていない状態を含む、偏摩耗の各類型に対応するラベルである。
　上述のように、推定システム５において偏摩耗の類型が推定される場合、推定装置１の判定部１０Ｃは、推奨される対応をさらに詳細に決定してもよいし、タイヤＴの取付位置の情報を併せて取得し、推奨パターンをさらに細分化して決定してもよい。例えば、タイヤＴにおいて「両減り」が生じていると推定される場合は、当該タイヤＴの空気圧が適正ではなく、減圧気味であることがあるので、例えばドライバーにタイヤＴの空気圧の見直しを推奨することができる。一方、タイヤＴにおいて「センター摩耗」が生じていると推定される場合は、当該タイヤＴの空気圧が適正ではなく、高圧気味であることがあるので、例えばドライバーにタイヤＴの空気圧の見直しを推奨することができる。さらに、タイヤＴにおいて「片減り」が生じていると推定される場合は、判定部１０Ｃは、当該タイヤＴの取付位置の左右を逆にするローテーションパターンを、推奨パターンとして決定することができる。
　また、推定システム５において偏摩耗の類型が推定される場合、推定装置１の画面生成部１０Ｄは、推定結果表示画面として、タイヤＴごとに推定される偏摩耗の類型を示す画面を生成してもよい。偏摩耗の類型は、文字情報で表示されてもよいし、例えば図１１Ａ～１１Ｄのようなグラフィックで表示されてもよい。画面生成部１０Ｄは、推奨パターンを表示するローテーション画面をさらに生成してもよい。
　（４）
　上記実施形態では、カード６に表示されるコード６０は、専用ウェブサイトのトップページのＵＲＬについて生成されたものであった。しかし、トップページのＵＲＬに加えてまたはこれに替えて、フィードバック画面Ｇ３のＵＲＬ、及びローテーション画面Ｇ４のＵＲＬのうち少なくとも一方に対してもコード６０を生成し、これをカード６に表示してもよい。これにより、ドライバーは、スマートフォン３等から専用ウェブサイトにアクセスしたときに、フォーム画面に車両情報の入力を要求されることなく、ダイレクトにフィードバック画面Ｇ３やローテーション画面Ｇ４にアクセスすることができる。また、ＵＲＬの表示は単に文字表記であってもよく、ＱＲコード（登録商標）以外の１次元コード、スタック型２次元コード、マトリクス型２次元コードであってもよい。さらに、カード６は物理的なカードに限定されず、これを模した画面のデータであってもよく、例えばアプリ２００により生成されてもよい。この場合、カード６を模した画面のデータは、スマートフォン２からドライバーの情報処理端末に送信されてもよい。あるいは、ユーザがディスプレイ２１にカード６を模した画面を表示し、ドライバーが自身の情報処理端末やカメラによりこれを撮影してもよい。
　（５）
　上記実施形態では、推定装置１とサーバー装置４とが別の装置として構成されていたが、これらの装置は一体的に構成されてもよい。あるいは、スマートフォン２が推定装置１の少なくとも一部の機能を包含してもよく、スマートフォン２がタイヤＴの偏摩耗及び摩耗量の少なくとも一方の推定処理を行ってもよい。この場合、アプリ２００が学習済みの第１機械学習モデル１３０、第２機械学習モデル１３１及びプログラム１３２の機能が組み込まれたプログラムとして構成され、スマートフォン２にアプリ２００をインストールすることで、推定装置１の機能を包括するスマートフォン２が製造されてもよい。また、上記実施形態ではユーザがアプリ２００がインストールされたスマートフォン２を使用して、ドライバーに対するサービスを提供した。しかし、推定システム５は、ドライバーがアプリ２００を自身のスマートフォン３にインストールして、自身で車両のタイヤＴを撮影し、タイヤＴの偏摩耗及び摩耗量の少なくとも一方の推定処理を実行するように構成されてもよい。また、タイヤＴを撮影し、画像データ２０１を生成するカメラは、各種情報処理端末に内蔵されるカメラに限られず、撮影専用のデジタルカメラやビデオカメラ等であってもよい。
　（６）
　推定装置１の制御部１０は、ＣＰＵやＧＰＵの他、ベクトルプロセッサ、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）、その他人工知能専用チップ等を含んで構成されてもよい。
　（７）
　上記実施形態では、タイヤの種類に応じて第１機械学習モデル１３０Ａ～Ｃ及び第２機械学習モデル１３１Ａ～Ｃが生成されたが、第１機械学習モデル１３０及び第２機械学習モデル１３１は１つだけ生成されてもよいし、反対にさらに多くの種類について生成されてもよい。また、推定装置１は、画像データ２０１を機械学習モデルに入力するにあたり、リサイズやトリミング等、適宜画像処理を行うように構成されてもよい。
　（８）
　上記実施形態のステップＳ２１～Ｓ２４でディスプレイ２１に表示されるスタート画面、撮影指示画面Ｇ１、モニタ画面Ｇ２、開始確認画面は、アプリ２００に組み込まれている画面であってもよいし、ウェブデータ７として構成された画面であってもよい。また、これらのユーザーインターフェース画面の構成は適宜変更することができる。撮影指示画面Ｇ１及びフィードバック画面Ｇ３は、例えば、ボックスにより４分割されていなくてもよく、１つの画面につき、１つのタイヤＴについての情報が表示され、タブによりタイヤＴを切り替えられる構成としてもよい。また、偏摩耗の推定結果を表すグラフィックＣ８～Ｃ１１、摩耗量の推定結果を表すグラフィックＣ１２～Ｃ１５、判定結果を表すグラフィックＣ１６～Ｃ１９、車両を表すグラフィックＣ２０、及びローテーションや交換を表すグラフィックＣ２１～Ｃ２４も適宜変更されてもよく、動画形式で構成されてもよい。
１　推定装置
２　スマートフォン
３　スマートフォン
４　サーバー装置
５　推定システム
１０　制御部
１０Ａ　画像取得部
１０Ｂ　導出部
１０Ｃ　判定部
１０Ｄ　画面生成部
１３０　第１機械学習モデル
１３１　第２機械学習モデル

Claims (19)

  1. 　対象となるタイヤのトレッドの両端を含むとともに、所定方向に該トレッドが連続するように該トレッドを正面から撮影した画像を取得することと、
    　前記取得した画像を、学習済みの第１機械学習モデルに入力することと、
    　前記学習済みの第１機械学習モデルから出力を導出することと
    を含み、
    　前記学習済みの第１機械学習モデルの出力は、前記対象となるタイヤの偏摩耗の推定結果に対応する、
    タイヤの状態の推定方法。
  2. 　前記学習済みの第１機械学習モデルから導出された出力に基づいて、前記対象となるタイヤの交換が必要か否かを判定すること
    をさらに含む、
    請求項１に記載のタイヤの状態の推定方法。
  3. 　前記対象となるタイヤの交換が必要か否かの判定結果を表示する判定結果表示画面を生成すること
    をさらに含む、
    請求項２に記載のタイヤの状態の推定方法。
  4. 　前記取得した画像を、前記第１機械学習モデルとは異なる学習済みの第２機械学習モデルに入力することと、
    　前記学習済みの第２機械学習モデルから出力を導出することと
    をさらに含み、
    　前記学習済みの第２機械学習モデルの出力は、前記対象となるタイヤのトレッドの溝の深さの推定結果に対応し、
    　前記対象となるタイヤの交換が必要か否かを判定することは、前記学習済みの第１機械学習モデルから導出された出力及び前記学習済みの第２機械学習モデルから導出された出力に基づいて前記対象となるタイヤの交換が必要か否かを判定することである、
    請求項２または３に記載のタイヤの状態の推定方法。
  5. 　前記対象となるタイヤの偏摩耗の推定結果は、トレッドの偏摩耗の程度についての推定結果であり、偏摩耗の程度を段階的に示す指標で表される、
    請求項１から４のいずれか１項に記載のタイヤの状態の推定方法。
  6. 　前記第１機械学習モデルから導出された出力に対応する前記指標を、前記偏摩耗の程度を段階的に示す指標の全体に対する位置付けとともに表示する推定結果表示画面を生成すること
    をさらに含む、
    請求項５に記載のタイヤの状態の推定方法。
  7. 　前記対象となるタイヤの偏摩耗の推定結果は、偏摩耗の類型についての推定結果である、
    請求項１から４のいずれか１項に記載のタイヤの状態の推定方法。
  8. 　前記対象となるタイヤの、車両における取付位置の情報を取得することと、
    　前記取得された取付位置の情報と、前記第１機械学習モデルから導出された出力とに基づいて、推奨されるタイヤのローテーションパターンである、推奨パターンを決定することと
    をさらに含む、
    請求項１から７のいずれか１項に記載のタイヤの状態の推定方法。
  9. 　前記決定された推奨パターンを表示するローテーション画面を生成すること
    をさらに含む、
    請求項８に記載のタイヤの状態の推定方法。
  10. 　前記判定結果表示画面のデータを、ネットワークを介してアクセス可能な状態にすることと、
    　前記判定結果表示画面のデータに、ネットワークを介してアクセスするための２次元コードを生成することと、
    をさらに含む、
    請求項３に記載のタイヤの状態の推定方法。
  11. 　前記推定結果表示画面のデータを、ネットワークを介してアクセス可能な状態にすることと、
    　前記推定結果表示画面のデータに、ネットワークを介してアクセスするための２次元コードを生成することと、
    をさらに含む、
    請求項６に記載のタイヤの状態の推定方法。
  12. 　対象となるタイヤのトレッドの両端を含むとともに、所定方向に該トレッドが連続するように該トレッドを正面から撮影した画像を取得する画像取得部と、
    　学習済みの機械学習モデルを記憶する記憶部と、
    　前記取得した画像を前記学習済みの機械学習モデルに入力し、前記学習済みの機械学習モデルから出力を導出する導出部と、
    を備え、
    　前記学習済みの機械学習モデルの出力は、前記対象となるタイヤの偏摩耗の推定結果に対応する、
    タイヤの状態の推定装置。
  13. 　前記学習済みの機械学習モデルから導出された出力に対応する前記推定結果を表示する推定結果表示画面を生成する画面生成部
    をさらに備える、
    請求項１２に記載のタイヤの状態の推定装置。
  14. 　請求項１３に記載の推定装置と、
    　前記対象となるタイヤのトレッドを撮影するカメラと、
    　前記推定結果表示画面を表示するディスプレイと
    を備える、
    タイヤの状態の推定システム。
  15. 　対象となるタイヤのトレッドの両端を含むとともに、所定方向に該トレッドが連続するように該トレッドを正面から撮影した画像を取得することと、
    　前記取得した画像を、学習済みの第１機械学習モデルに入力することと、
    　前記学習済みの第１機械学習モデルから出力を導出することと
    をコンピュータに実行させ、
    　前記学習済みの第１機械学習モデルの出力は、前記対象となるタイヤの偏摩耗の推定結果に対応する、
    タイヤの状態の推定プログラム。
  16. 　タイヤのトレッドの両端を含むとともに、所定方向に該トレッドが連続するように該トレッドを正面から撮影した学習用画像と、正解データとのデータセットである学習用データを用意することと、
    　前記学習用データを用いて、対象となるタイヤのトレッドの両端を含むとともに、所定方向に該トレッドが連続するように該トレッドを正面から撮影した画像を入力すると、前記正解データに対応するデータが出力されるように機械学習モデルのパラメータを調整することと
    を含み、
    　前記正解データは、前記学習用画像のタイヤの偏摩耗の程度を表す指標及び前記学習用画像のタイヤの偏摩耗の類型に対応するラベルの少なくとも一方である、
    学習済みモデルの生成方法。
  17. 　対象となるタイヤのトレッドを含む画像を取得することと、
    　前記取得した画像を、学習済みの第１機械学習モデルに入力することと、
    　前記学習済みの第１機械学習モデルから出力を導出することと、
    　前記取得した画像を、前記学習済みの第１機械学習モデルとは異なる学習済みの第２機械学習モデルに入力することと、
    　前記学習済みの第２機械学習モデルから出力を導出することと、
    　前記学習済みの第１機械学習モデルから導出された出力及び前記学習済みの第２機械学習モデルから導出された出力に基づいて、前記対象となるタイヤの交換が必要か否かを判定することと、
    を含み、
    　前記学習済みの第１機械学習モデルの出力は、前記対象となるタイヤの偏摩耗の推定結果に対応し、
    　前記学習済みの第２機械学習モデルの出力は、前記対象となるタイヤのトレッドの溝の深さの推定結果に対応する、
    タイヤの状態の推定方法。
  18. 　対象となるタイヤのトレッドを含む画像を取得する画像取得部と、
    　学習済みの第１機械学習モデルと、前記学習済みの第１機械学習モデルとは異なる学習済みの第２機械学習モデルとを記憶する記憶部と、
    　前記取得した画像を前記学習済みの第１機械学習モデルに入力するとともに前記取得した画像を前記学習済みの第２機械学習モデルに入力し、前記学習済みの第１機械学習モデル及び前記学習済みの第２機械学習モデルからそれぞれ出力を導出する導出部と、
    　前記学習済みの第１機械学習モデルから導出された出力及び前記学習済みの第２機械学習モデルから導出された出力に基づいて、前記対象となるタイヤの交換が必要か否かを判定する判定部と
    を備え、
    　前記学習済みの第１機械学習モデルの出力は、前記対象となるタイヤの偏摩耗の推定結果に対応し、
    　前記学習済みの第２機械学習モデルの出力は、前記対象となるタイヤのトレッドの溝の深さの推定結果に対応する、
    タイヤの状態の推定装置。
  19. 　対象となるタイヤのトレッドを含む画像を取得することと、
    　前記取得した画像を、学習済みの第１機械学習モデルに入力することと、
    　前記取得した画像を、前記学習済みの第１機械学習モデルとは異なる学習済みの第２機械学習モデルに入力することと、
    　前記学習済みの第１機械学習モデルから出力を導出することと、
    　前記学習済みの第２機械学習モデルから出力を導出することと、
    　前記学習済みの第１機械学習モデルから導出された出力及び前記学習済みの第２機械学習モデルから導出された出力に基づいて前記対象となるタイヤの交換が必要か否かを判定することと、
    をコンピュータに実行させ、
    　前記学習済みの第１機械学習モデルの出力は、前記対象となるタイヤの偏摩耗の推定結果に対応し、
    　前記学習済みの第２機械学習モデルの出力は、前記対象となるタイヤのトレッドの溝の深さの推定結果に対応する、
    タイヤの状態の推定プログラム。
PCT/JP2022/034916 2021-10-06 2022-09-20 タイヤの状態の推定方法 Ceased WO2023058445A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280062758.0A CN117957433A (zh) 2021-10-06 2022-09-20 轮胎的状态的推测方法
EP22878316.3A EP4390361B1 (en) 2021-10-06 2022-09-20 Tire state estimation method
US18/698,381 US12602800B2 (en) 2021-10-06 2022-09-20 Tire state estimation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-164969 2021-10-06
JP2021164969A JP7020581B1 (ja) 2021-10-06 2021-10-06 タイヤの状態の推定方法

Publications (1)

Publication Number Publication Date
WO2023058445A1 true WO2023058445A1 (ja) 2023-04-13

Family

ID=80948521

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/034916 Ceased WO2023058445A1 (ja) 2021-10-06 2022-09-20 タイヤの状態の推定方法

Country Status (5)

Country Link
US (1) US12602800B2 (ja)
EP (1) EP4390361B1 (ja)
JP (2) JP7020581B1 (ja)
CN (1) CN117957433A (ja)
WO (1) WO2023058445A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024254667A1 (pt) * 2023-06-14 2024-12-19 Robert Bosch Limitada Método e sistema para determinação de uma condição de pneu, equipamento, método para treinar uma rede neural para estimar a profundidade de um sulco de pneu e memórias lidas por computador correspondentes
WO2025074765A1 (ja) * 2023-10-02 2025-04-10 株式会社ブリヂストン 非接触測定装置、非接触測定方法、及びプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7697339B2 (ja) * 2021-10-01 2025-06-24 住友ゴム工業株式会社 タイヤ異常判定システム、タイヤ異常判定装置、タイヤ異常判定方法、及びプログラム
JP7515189B2 (ja) * 2022-06-16 2024-07-12 オートペディア カンパニー リミテッド 深層人工ニューラルネットワークを用いたタイヤトレッド面摩耗判断システム及び方法
JP7841470B2 (ja) * 2023-04-07 2026-04-07 トヨタ自動車株式会社 推定装置
JP2024171796A (ja) * 2023-05-30 2024-12-12 株式会社ブリヂストン リスク予測システム、リスク予測装置およびリスク予測方法
CN120513381A (zh) 2023-12-13 2025-08-19 日本精工株式会社 状态诊断系统、状态诊断方法以及程序
KR102739087B1 (ko) * 2024-03-11 2024-12-04 삼성화재해상보험 주식회사 타이어 이미지를 이용한 자동차 보험료 산정 방법 및 시스템
JP2026064895A (ja) 2024-10-02 2026-04-14 住友ゴム工業株式会社 タイヤ残り寿命予測システム、タイヤ残り寿命予測方法、プログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009102009A (ja) * 2009-01-23 2009-05-14 Yokohama Rubber Co Ltd:The タイヤ偏摩耗管理方法
US20170254727A1 (en) * 2016-03-04 2017-09-07 TIREAUDIT.COM, Inc. Mesh Registration System and Method for Diagnosing Tread Wear
JP2018020752A (ja) * 2016-07-22 2018-02-08 横浜ゴム株式会社 メンテナンス時期提示装置、タイヤ販売管理システム、メンテナンス時期提示方法、タイヤ販売管理方法、メンテナンス時期提示プログラムおよびタイヤ販売管理プログラム
JP2019035626A (ja) * 2017-08-10 2019-03-07 株式会社ブリヂストン タイヤ画像の認識方法及びタイヤ画像の認識装置
JP2019184405A (ja) * 2018-04-09 2019-10-24 株式会社豊田自動織機 タイヤ管理システム及びタイヤ管理方法
CN111257019A (zh) * 2020-01-17 2020-06-09 杭州中车数字科技有限公司 一种跨座式单轨列车部件磨耗检测设备及其检测方法
JP2021063703A (ja) * 2019-10-11 2021-04-22 横浜ゴム株式会社 タイヤ摩耗度推定装置、タイヤ摩耗度学習装置、タイヤ摩耗度推定方法、学習済モデルの生成方法及びプログラム
JP2021524040A (ja) 2018-06-28 2021-09-09 ニッサン ノース アメリカ，インク ハイブリッド機械学習システム及び方法を用いたタイヤ摩耗推定
JP2021165915A (ja) * 2020-04-06 2021-10-14 横浜ゴム株式会社 消耗状態学習装置、学習済モデルの生成方法及びプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9805697B1 (en) * 2012-06-01 2017-10-31 Hunter Engineering Company Method for tire tread depth modeling and image annotation
DE102012112016A1 (de) 2012-12-10 2014-06-12 Continental Reifen Deutschland Gmbh Fahrzeugluftreifen
US20150075271A1 (en) * 2013-09-18 2015-03-19 Tire Profiles, Inc Modular tire tread analyzing station
WO2015097635A1 (en) * 2013-12-23 2015-07-02 Pirelli Tyre S.P.A. Method and apparatus for detecting defects on tyres in a tyre production process
US9868482B2 (en) * 2014-10-29 2018-01-16 Caterpillar Inc. Track roller assembly with a wear measurement system
RU2640673C1 (ru) * 2014-12-22 2018-01-11 Пирелли Тайр С.П.А. Способ и устройство для детектирования дефектов на шинах в процессе производства шин
CA2978482C (en) * 2015-03-04 2020-05-26 Camso Inc. Track system for traction of a vehicle
CA3042780C (en) * 2015-06-29 2022-06-21 Camso Inc. Systems and methods for monitoring a track system for traction of a vehicle
WO2017001969A1 (en) * 2015-06-30 2017-01-05 Pirelli Tyre S.P.A. Method and apparatus for analysing a surface of a tyre
US20180265145A1 (en) * 2015-09-21 2018-09-20 Soucy International Inc. Smart track system having embedded sensors and method of using the same
US10295333B2 (en) * 2015-12-30 2019-05-21 Bosch Automotive Service Solutions Inc. Tire tread depth measurement
US9880075B2 (en) * 2016-02-11 2018-01-30 Caterpillar Inc. Wear measurement system using a computer model
JP6846239B2 (ja) 2017-03-07 2021-03-24 株式会社ブリヂストン タイヤ位置交換提案プログラム及びタイヤ位置交換提案方法
JP2019067221A (ja) 2017-10-03 2019-04-25 株式会社ライフ技術研究所 タイヤからの情報取得システム
KR102079862B1 (ko) * 2018-05-10 2020-02-20 이도규 타이어의 트레드 이미지를 이용한 마모도 측정 시스템 및 방법
CA3111042A1 (en) * 2018-08-30 2020-03-05 Camso Inc. Systems and methods for monitoring vehicles with tires
US20200070906A1 (en) * 2018-08-30 2020-03-05 Camso Inc. Systems and methods for monitoring vehicles
US10987977B2 (en) 2018-10-26 2021-04-27 Toyota Motor North America, Inc. Systems and methods for measuring tire wear using embedded image sensors
WO2020205640A1 (en) * 2019-04-01 2020-10-08 Exxonmobil Chemical Patents Inc. System for identifying vehicles and detecting tire characteristics
JP7341875B2 (ja) 2019-12-02 2023-09-11 Ｔｏｙｏ Ｔｉｒｅ株式会社 タイヤ力表示システムおよびタイヤ力表示方法
JP7495596B2 (ja) 2020-02-17 2024-06-05 横浜ゴム株式会社 交換支援システム、交換支援方法およびプログラム
US20220055699A1 (en) * 2020-08-18 2022-02-24 Camso Inc. Monitoring of track system for traction of a vehicle
FR3146830B1 (fr) * 2023-03-21 2026-05-01 Cie Generale Des Etablissements Michelin Système et procédé de nettoyage automatique de fond de sculpture de pneumatique

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009102009A (ja) * 2009-01-23 2009-05-14 Yokohama Rubber Co Ltd:The タイヤ偏摩耗管理方法
US20170254727A1 (en) * 2016-03-04 2017-09-07 TIREAUDIT.COM, Inc. Mesh Registration System and Method for Diagnosing Tread Wear
JP2018020752A (ja) * 2016-07-22 2018-02-08 横浜ゴム株式会社 メンテナンス時期提示装置、タイヤ販売管理システム、メンテナンス時期提示方法、タイヤ販売管理方法、メンテナンス時期提示プログラムおよびタイヤ販売管理プログラム
JP2019035626A (ja) * 2017-08-10 2019-03-07 株式会社ブリヂストン タイヤ画像の認識方法及びタイヤ画像の認識装置
JP2019184405A (ja) * 2018-04-09 2019-10-24 株式会社豊田自動織機 タイヤ管理システム及びタイヤ管理方法
JP2021524040A (ja) 2018-06-28 2021-09-09 ニッサン ノース アメリカ，インク ハイブリッド機械学習システム及び方法を用いたタイヤ摩耗推定
JP2021063703A (ja) * 2019-10-11 2021-04-22 横浜ゴム株式会社 タイヤ摩耗度推定装置、タイヤ摩耗度学習装置、タイヤ摩耗度推定方法、学習済モデルの生成方法及びプログラム
CN111257019A (zh) * 2020-01-17 2020-06-09 杭州中车数字科技有限公司 一种跨座式单轨列车部件磨耗检测设备及其检测方法
JP2021165915A (ja) * 2020-04-06 2021-10-14 横浜ゴム株式会社 消耗状態学習装置、学習済モデルの生成方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4390361A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024254667A1 (pt) * 2023-06-14 2024-12-19 Robert Bosch Limitada Método e sistema para determinação de uma condição de pneu, equipamento, método para treinar uma rede neural para estimar a profundidade de um sulco de pneu e memórias lidas por computador correspondentes
WO2025074765A1 (ja) * 2023-10-02 2025-04-10 株式会社ブリヂストン 非接触測定装置、非接触測定方法、及びプログラム

Also Published As

Publication number Publication date
US12602800B2 (en) 2026-04-14
CN117957433A (zh) 2024-04-30
JP2023055602A (ja) 2023-04-18
US20250238942A1 (en) 2025-07-24
EP4390361A1 (en) 2024-06-26
EP4390361A4 (en) 2024-12-25
JP7020581B1 (ja) 2022-02-16
EP4390361B1 (en) 2025-11-05
JP2023055522A (ja) 2023-04-18

Similar Documents

Publication Publication Date Title
WO2023058445A1 (ja) タイヤの状態の推定方法
US20200342576A1 (en) Digital Image Completion by Learning Generation and Patch Matching Jointly
KR102707468B1 (ko) 신경망, 신경망 학습 방법 및 이미지 신호 처리 튜닝 시스템
US11921777B2 (en) Machine learning for digital image selection across object variations
US11068754B1 (en) Systems and methods regarding image distification and prediction models
US20170185871A1 (en) Method and apparatus of neural network based image signal processor
US11176414B1 (en) Systems and methods for 3D image distification
KR20190104282A (ko) 영상 기반으로 정보를 제공하는 방법 및 이를 위한 이동 단말
CN112949629B (zh) 目标检测方法、装置、计算机设备及可读存储介质
CN109801275B (zh) 基于图像识别的马铃薯病害检测方法和系统
Rahman et al. Deep learning-based left ventricular ejection fraction estimation from echocardiographic videos
CN119850930B (zh) 一种电子价签位置识别方法及系统
JP7495596B2 (ja) 交換支援システム、交換支援方法およびプログラム
JP7428870B2 (ja) タイヤ摩耗度推定装置、タイヤ摩耗度学習装置、タイヤ摩耗度推定方法、学習済モデルの生成方法及びプログラム
CN114549556B (zh) 一种图像分割的方法、相关装置、设备以及存储介质
CN111274946A (zh) 一种人脸识别方法和系统及设备
CN114926754B (zh) 图像检测方法、存储介质及处理器
US20250316075A1 (en) Machine Learning for Computation of Visual Attention Center
CN114627069B (zh) 车轮触地点的获取方法、存储介质和电子设备
JP2021165915A (ja) 消耗状態学習装置、学習済モデルの生成方法及びプログラム
KR20250163182A (ko) 의미론적 편향이 감소된 이미지 복원 모델을 이용하여 저해상도 이미지를 복원하기 위한 전자 장치, 방법, 및 비-일시적 컴퓨터 판독 가능 기록 매체
JP2015125541A (ja) 視線予測システム、視線予測方法、および視線予測プログラム
CN116897363A (zh) 方法、计算机和系统
CN117150369B (zh) 超重预测模型的训练方法及电子设备
US12412425B2 (en) Estimation system, estimation method, and recording medium recording estimation program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22878316

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280062758.0

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022878316

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022878316

Country of ref document: EP

Effective date: 20240319

WWE Wipo information: entry into national phase

Ref document number: 18698381

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202417032538

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 18698381

Country of ref document: US

WWG Wipo information: grant in national office

Ref document number: 2022878316

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 18698381

Country of ref document: US