EP3740895B1 - Évaluation d'image de portrait basée sur l'esthétique - Google Patents

Évaluation d'image de portrait basée sur l'esthétique

Info

Publication number
EP3740895B1
EP3740895B1 EP19834980.5A EP19834980A EP3740895B1 EP 3740895 B1 EP3740895 B1 EP 3740895B1 EP 19834980 A EP19834980 A EP 19834980A EP 3740895 B1 EP3740895 B1 EP 3740895B1
Authority
EP
European Patent Office
Prior art keywords
image
attributes
person
score
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP19834980.5A
Other languages
German (de)
English (en)
Other versions
EP3740895A4 (fr
EP3740895A1 (fr
Inventor
Hongyu Sun
Wei Su
Xiaoxing Zhu
Fan Zhang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/034,693 external-priority patent/US10929655B2/en
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of EP3740895A1 publication Critical patent/EP3740895A1/fr
Publication of EP3740895A4 publication Critical patent/EP3740895A4/fr
Application granted granted Critical
Publication of EP3740895B1 publication Critical patent/EP3740895B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Claims (12)

  1. Procédé mis en œuvre par un dispositif informatique, le procédé comportant :
    la détermination (1003), par le dispositif informatique, d'une pluralité d'attributs décrivant chacun respectivement une région d'intérêt correspondant à une partie du corps d'une personne figurant dans une image ;
    la détermination (1006), par le dispositif informatique, d'un score respectif pour chacun de la pluralité d'attributs ; et
    le calcul (1009), par le dispositif informatique, d'un score global basé sur les scores respectifs de la pluralité d'attributs, l'image étant une image parmi une pluralité d'images comprises dans une vidéo, et le procédé comportant en outre :
    la détermination, par le dispositif informatique, d'une ou de plusieurs de la pluralité d'images qui incluent la personne ; et
    la combinaison, par le dispositif informatique, de l'image ou des images de la pluralité d'images qui incluent la personne pour créer une vidéo de résumé relative à la personne, la pluralité d'images comprises dans la vidéo de résumé étant sélectionnée sur la base du score global de chacune de la pluralité d'images, et le score global étant calculé d'après des attributs de la personne, caractérisé en ce que la pluralité d'images comprises dans la vidéo de résumé comporte une image présentant le score global (285) le plus élevé à sélectionner en tant qu'image (1117A) de couverture de la vidéo de résumé.
  2. Procédé selon la revendication 1, la personne étant déterminée en réponse à la réception d'une sélection de la personne figurant dans l'image, l'image présentant la personne et une pluralité d'autres personnes.
  3. Procédé selon l'une quelconque des revendications 1 à 2, la personne étant déterminée d'après un visage de la personne qui est détecté dans l'image.
  4. Procédé selon la revendication 1, les données apprises comportant une pluralité de mappages qui associent respectivement un score parmi la pluralité de scores prédéfinis à un attribut parmi une pluralité d'attributs prédéfinis.
  5. Procédé selon l'une quelconque des revendications 1 à 4, comportant en outre la recherche, par le dispositif informatique, des régions d'intérêt correspondant à différentes parties du corps de la personne illustrée dans l'image sur la base d'une probabilité que la partie du corps soit positionnée à un emplacement au sein de l'image.
  6. Procédé selon l'une quelconque des revendications 1 à 5, une pluralité de scores prédéfinis étant stockée respectivement pour une pluralité d'attributs, et la détermination du score respectif pour chacun de la pluralité d'attributs comportant la recherche, dans des données apprises, d'un score prédéfini qui correspond à un attribut déterminé pour la région d'intérêt.
  7. Procédé selon l'une quelconque des revendications 1 à 6, la pluralité d'attributs comprenant une pluralité d'attributs de position décrivant respectivement des informations de position correspondant aux régions d'intérêt.
  8. Procédé selon l'une quelconque des revendications 1 à 7, la pluralité d'attributs comprenant une pluralité d'attributs génériques relatifs à la personne illustrée dans l'image.
  9. Procédé selon l'une quelconque des revendications 1 à 8, le procédé comportant en outre, lorsque l'image illustre plus d'une personne, la détermination, par le dispositif informatique, d'un score respectif pour chacun d'une pluralité d'attributs de groupe, la pluralité d'attributs de groupe décrivant respectivement au moins un élément parmi une relation entre une pluralité d'autres personnes illustrées dans l'image, un espace entre chacune de la pluralité d'autres personnes illustrées dans l'image, un geste effectué par une ou plusieurs de la pluralité d'autres personnes dans l'image, ou une disposition de la pluralité d'autres personnes illustrées dans l'image, le score global étant en outre calculé d'après chacun des scores respectifs de la pluralité d'attributs de groupe.
  10. Procédé selon l'une quelconque des revendications 1 à 9, un poids étant associé à chacun de la pluralité d'attributs, le poids pour l'attribut considéré étant appliqué au score respectif pour l'attribut considéré afin de créer un score pondéré pour l'attribut considéré, et le score global étant calculé sur la base d'une agrégation de chacun des scores pondérés pour chacun des attributs respectifs.
  11. Appareil comportant :
    un stockage en mémoire comportant des instructions ; et
    un ou plusieurs processeurs en communication avec le stockage en mémoire, le ou les processeurs exécutant les instructions pour réaliser un procédé selon l'une quelconque des revendications 1 à 10.
  12. Produit-programme d'ordinateur, comportant des instructions qui, lorsqu'elles sont exécutées par un ou plusieurs processeurs, amènent l'ordinateur à mettre en œuvre un procédé selon l'une quelconque des revendications 1 à 10.
EP19834980.5A 2018-07-13 2019-07-08 Évaluation d'image de portrait basée sur l'esthétique Active EP3740895B1 (fr)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/034,693 US10929655B2 (en) 2018-07-13 2018-07-13 Portrait image evaluation based on aesthetics
US16/131,681 US11222208B2 (en) 2018-07-13 2018-09-14 Portrait image evaluation based on aesthetics
PCT/CN2019/095032 WO2020011124A1 (fr) 2018-07-13 2019-07-08 Évaluation d'image de portrait basée sur l'esthétique

Publications (3)

Publication Number Publication Date
EP3740895A1 EP3740895A1 (fr) 2020-11-25
EP3740895A4 EP3740895A4 (fr) 2021-03-17
EP3740895B1 true EP3740895B1 (fr) 2026-04-22

Family

ID=69139496

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19834980.5A Active EP3740895B1 (fr) 2018-07-13 2019-07-08 Évaluation d'image de portrait basée sur l'esthétique

Country Status (4)

Country Link
US (1) US11222208B2 (fr)
EP (1) EP3740895B1 (fr)
CN (1) CN112424792B (fr)
WO (1) WO2020011124A1 (fr)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2583742B (en) * 2019-05-08 2023-10-25 Jaguar Land Rover Ltd Activity identification method and apparatus
CN111246272A (zh) * 2020-01-17 2020-06-05 北京达佳互联信息技术有限公司 视频封面图的显示方法及装置
CN112330631B (zh) * 2020-11-05 2021-06-04 哈尔滨市科佳通用机电股份有限公司 一种铁路货车制动梁支柱拉铆销套环丢失故障检测方法
CN113158777B (zh) * 2021-03-08 2024-07-02 佳都科技集团股份有限公司 质量评分方法、质量评分模型的训练方法及相关装置
KR102786196B1 (ko) * 2022-11-22 2025-03-26 삼성전자주식회사 이미지 처리 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110150340A1 (en) * 2009-12-22 2011-06-23 Sony Corporation Information processing device, method, and program
WO2015191650A1 (fr) * 2014-06-12 2015-12-17 Microsoft Technology Licensing, Llc Analyse d'importance de vidéo basée sur une règle

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7627831B2 (en) * 2006-05-19 2009-12-01 Fuji Xerox Co., Ltd. Interactive techniques for organizing and retrieving thumbnails and notes on large displays
JP4775306B2 (ja) * 2007-04-23 2011-09-21 ソニー株式会社 画像処理装置、撮像装置、および画像表示制御方法、並びにコンピュータ・プログラム
JP2010177894A (ja) * 2009-01-28 2010-08-12 Sony Corp 撮像装置、画像管理装置及び画像管理方法、並びにコンピューター・プログラム
US8311364B2 (en) 2009-09-25 2012-11-13 Eastman Kodak Company Estimating aesthetic quality of digital images
US8774526B2 (en) 2010-02-08 2014-07-08 Microsoft Corporation Intelligent image search results summarization and browsing
JP2012038131A (ja) * 2010-08-09 2012-02-23 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
US9110923B2 (en) 2011-03-03 2015-08-18 Google Inc. Ranking over hashes
US8725652B2 (en) * 2011-03-29 2014-05-13 Visa International Service Association Using mix-media for payment authorization
US8594385B2 (en) * 2011-04-19 2013-11-26 Xerox Corporation Predicting the aesthetic value of an image
JP5752585B2 (ja) 2011-12-16 2015-07-22 株式会社東芝 映像処理装置、方法及びプログラム
US20140029808A1 (en) 2012-07-23 2014-01-30 Clicrweight, LLC Body Condition Score Determination for an Animal
US20140153832A1 (en) 2012-12-04 2014-06-05 Vivek Kwatra Facial expression editing in images based on collections of images
GB2519348B (en) * 2013-10-18 2021-04-14 Vision Semantics Ltd Visual data mining
US9373057B1 (en) * 2013-11-01 2016-06-21 Google Inc. Training a neural network to detect objects in images
US9400925B2 (en) * 2013-11-15 2016-07-26 Facebook, Inc. Pose-aligned networks for deep attribute modeling
JP2015204561A (ja) * 2014-04-15 2015-11-16 株式会社デンソー 情報提示システム、及び、提示装置
GB201501510D0 (en) * 2015-01-29 2015-03-18 Apical Ltd System
CN104834898B (zh) 2015-04-09 2018-05-15 华南理工大学 一种人物摄影图像的质量分类方法
US20170031952A1 (en) * 2015-07-28 2017-02-02 The Toronto-Dominion Bank Method and system for identifying a property for purchase using image processing
US10002415B2 (en) 2016-04-12 2018-06-19 Adobe Systems Incorporated Utilizing deep learning for rating aesthetics of digital images
CN106600530B (zh) * 2016-11-29 2019-02-15 北京小米移动软件有限公司 照片合成方法及装置
CN107644213A (zh) 2017-09-26 2018-01-30 司马大大（北京）智能系统有限公司 视频人物提取方法及装置
US10521705B2 (en) * 2017-11-14 2019-12-31 Adobe Inc. Automatically selecting images using multicontext aware ratings
US10628432B2 (en) 2018-02-19 2020-04-21 Microsoft Technology Licensing, Llc Personalized deep models for smart suggestions ranking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110150340A1 (en) * 2009-12-22 2011-06-23 Sony Corporation Information processing device, method, and program
WO2015191650A1 (fr) * 2014-06-12 2015-12-17 Microsoft Technology Licensing, Llc Analyse d'importance de vidéo basée sur une règle

Also Published As

Publication number Publication date
WO2020011124A1 (fr) 2020-01-16
EP3740895A4 (fr) 2021-03-17
CN112424792A (zh) 2021-02-26
CN112424792B (zh) 2026-04-24
EP3740895A1 (fr) 2020-11-25
US20200019784A1 (en) 2020-01-16
US11222208B2 (en) 2022-01-11

Similar Documents

Publication Publication Date Title
EP3740895B1 (fr) Évaluation d'image de portrait basée sur l'esthétique
JP7252362B2 (ja) 動画を自動編集する方法及びポータブル型端末
US8958662B1 (en) Methods and systems for automating insertion of content into media-based projects
US9329762B1 (en) Methods and systems for reversing editing operations in media-rich projects
JP5857133B2 (ja) 顔検出を使用した画像の再構成
JP2023018021A (ja) 制御されていない照明条件の画像中の肌色を識別する技術
US9219830B1 (en) Methods and systems for page and spread arrangement in photo-based projects
US9367756B2 (en) Selection of representative images
US9299004B2 (en) Image foreground detection
US8990672B1 (en) Flexible design architecture for designing media-based projects in a network-based platform
CN104767933B (zh) 一种具备拍照功能的便携数码设备及筛选照片的方法
US20150317510A1 (en) Rating photos for tasks based on content and adjacent signals
US20150117783A1 (en) Iterative saliency map estimation
CN102473318A (zh) 处理用于图像显示的数字模板
US10929655B2 (en) Portrait image evaluation based on aesthetics
JP5878523B2 (ja) コンテンツ加工装置とその集積回路、方法、およびプログラム
CN110288534A (zh) 图像处理方法、装置、电子设备以及存储介质
CN110868538A (zh) 推荐拍摄姿态的方法和电子设备
Kuzovkin et al. Image selection in photo albums
WO2015196681A1 (fr) Procédé de traitement d'images et dispositif électronique
US9888161B2 (en) Generation apparatus and method for evaluation information, electronic device and server
CN114092495B (zh) 图像展示方法、电子设备、存储介质
KR101738580B1 (ko) 표정 인식 기반 음원 제공 시스템 및 서비스
KR20150096552A (ko) 사진 앨범 또는 사진 액자를 이용한 온라인 사진 서비스 시스템 및 방법
Yin et al. Crowdsourced learning to photograph via mobile devices

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20200819

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

A4 Supplementary search report drawn up and despatched

Effective date: 20210212

RIC1 Information provided on ipc code assigned before grant

Ipc: G06K 9/62 20060101ALI20210209BHEP

Ipc: G06K 9/00 20060101AFI20210209BHEP

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20230206

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Free format text: PREVIOUS MAIN CLASS: G06K0009000000

Ipc: G06V0010771000

Ref document number: 602019083989

Country of ref document: DE

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

RIC1 Information provided on ipc code assigned before grant

Ipc: G06V 10/771 20220101AFI20251202BHEP

Ipc: G06V 20/30 20220101ALI20251202BHEP

Ipc: G06V 20/40 20220101ALI20251202BHEP

Ipc: G06F 18/2113 20230101ALI20251202BHEP

INTG Intention to grant announced

Effective date: 20251215

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: CH

Ref legal event code: F10

Free format text: ST27 STATUS EVENT CODE: U-0-0-F10-F00 (AS PROVIDED BY THE NATIONAL OFFICE)

Effective date: 20260422

Ref country code: GB

Ref legal event code: FG4D