TW201310357A - 個人化節目選擇系統及方法 - Google Patents

個人化節目選擇系統及方法 Download PDF

Info

Publication number
TW201310357A
TW201310357A TW101110104A TW101110104A TW201310357A TW 201310357 A TW201310357 A TW 201310357A TW 101110104 A TW101110104 A TW 101110104A TW 101110104 A TW101110104 A TW 101110104A TW 201310357 A TW201310357 A TW 201310357A
Authority
TW
Taiwan
Prior art keywords
consumer
program
image
silhouette
age
Prior art date
Application number
TW101110104A
Other languages
English (en)
Inventor
ji-qiang Song
Tao Wang
Peng Wang
wen-long Li
Qiang Li
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of TW201310357A publication Critical patent/TW201310357A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV programme
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for programme selection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一種用以選擇一節目來呈現給一消費者之系統及方法,包括檢測於一影像中之面部區域,檢測於一影像中之手部姿勢,識別於該影像中之該消費者的一或多個消費者特性(情緒、性別、年齡、手部姿勢等),基於該等消費者特性與包括多個節目剪影之一節目資料庫之一比較而識別欲呈現給該消費者的一或多個節目,及於一媒體裝置上呈現該經識別的節目中之一選定者給該消費者。

Description

個人化節目選擇系統及方法 發明領域
本文揭示係有關於資料處理領域,及更明確言之,係有關於基於面部檢測/追蹤(例如臉部表情、性別、年齡及/或臉部識別/辨識)以及手部姿勢辨識而選擇一或多個節目之方法、設備、及系統。
發明背景
若干推薦系統係有關於家用電視用戶端(例如機上盒(STB))或網際網路電視作為終端使用者及從其中收集觀賞歷史。基於總觀賞歷史及節目間之相關性,該推薦系統選擇尚未觀看的節目及將其介紹推送至該家用電視用戶端。但此種辦法之一項缺點為家用電視用戶端經常係由多人所共用。因而數位的總或合併觀賞歷史並不必然反映出任一位使用者的偏好。
依據本發明之一實施例,係特地提出一種用以選擇一節目來呈現給一消費者之方法,其包含藉一面部檢測模組來檢測於一影像中之一面部區域;藉一手部檢測模組來檢測於該影像中之一手部姿勢;藉該面部及該手部檢測模組,基於該消費者之該經檢測的面部區域及該經檢測的手部姿勢,來識別一或多個消費者特性;藉一節目選擇模組,基於該等消費者特性與包括多個節目剪影之一節目資料庫 之一比較而識別欲呈現給該消費者的一或多個節目;及於一媒體裝置上呈現該經識別的節目中之一選定者給該消費者。
圖式簡單說明
於附圖中,類似的元件符號通常指示相同的、功能上相似的及/或結構上類似的元件。其中一元件首次出現的圖式係以元件符號中最左位數指示。本發明將參考附圖作說明,附圖中:第1圖顯示依據本文揭示之多個實施例,基於消費者之面部分析用以選擇及顯示節目給一消費者之系統的一個實施例;第2圖顯示依據本文揭示之多個實施例面部檢測模組之一個實施例;第3圖顯示依據本文揭示之多個實施例手部檢測模組之一個實施例;第4圖顯示依據本文揭示之一個實施例「拇指向上」手部姿勢(左手)之影像;第5圖顯示依據本文揭示之多個實施例節目選擇模組之一個實施例;第6圖為流程圖顯示依據本文揭示用以選擇及顯示節目之一個實施例;及第7圖為流程圖顯示依據本文揭示用以選擇及顯示節目之另一個實施例。
詳細說明
綜上所述,本文揭示大致上係針對一種基於從一或多個影像所識別的消費者特性與節目剪影之節目資料庫的比較,用以選擇一或多個節目程現給一消費者之系統、設備及方法。消費者特性可使用面部分析及/或手部姿勢分析從該(等)影像識別。該系統通常包括用來拍攝消費者的一或多個影像之相機、經組配來分析該(等)影像來決定該消費者的一或多個特性之面部檢測模組及手部檢測模組,及經組配來基於從該(等)影像所識別的消費者特性與節目剪影之節目資料庫的比較,用以選擇一節目提供給一消費者之節目選擇模組。如此處使用,「節目」一詞意欲表示任何電視內容包括限供一次播放的廣播、電視影集、及電視電影(例如針對TV製作的電影及在電視上播放的電影院電影)。
現在轉向參考第1圖,大致上例示說明依據本文揭示之系統10之一個實施例。系統10包括節目選擇系統12、相機14、內容提供者16、及媒體裝置18。如於此處以進一步細節討論,節目選擇系統12係經組配來從藉相機14拍攝的一或多個影像20識別至少一個消費者特性,及從媒體提供者16選擇一節目用來在媒體裝置18上呈現給消費者。
更明確言之,節目選擇系統12包括一面部檢測模組22、一手部檢測模組25、一消費者剪影資料庫24、一節目資料庫26、一及節目選擇模組28。面部檢測模組22係經組配來接收藉至少一部相機14拍攝的一或多個數位影像20。相機20可包括用以拍攝表示包括一或多個人的環境之數位 影像20的任何裝置(已知者或未來將發現者),且如此處所述將對該環境中的一或多個人的面部分析有足夠解析度。舉例言之,相機20可包括靜像相機(亦即經組配來拍攝靜態相片的相機)或視訊攝影機(亦即經組配來在多個圖框中拍攝移動影像之相機)。相機20可經組配來用於可見光譜的光或用於電磁頻譜之其它部分(例如但非限於紅外光譜、紫外光譜等)。相機20可包括例如網路攝影機(可與個人電腦及/或電視監視器相聯結)、掌上型裝置相機(例如行動電話相機、智慧型手機相機(例如與iPhone、Trio、黑莓機等相聯結的相機))、膝上型電腦攝影機、平板電腦(例如但非限於iPadGalaxy Tab等)等。
面部檢測模組22係經組配來識別影像20內部的面部及/或面部區域(例如虛線標示的插入部23b中的矩形框23表示),及決定一或多個消費者特性(亦即消費者特性30)。雖然面部檢測模組22可使用基於記號之辦法(亦即施加一或多個記號至消費者臉部),於若干實施例中,面部檢測模組22可利用非基於記號之辦法。舉例言之,面部檢測模組22可包括客製化的、專有的、已知的及/或後發展的面部辨識代碼(或指令集)、硬體、及/或韌體,通常已經明確地界定且可操作來接收標準格式影像(例如但非限於RGB彩色影像),及識別影像中的人臉至少至某個程度。
此外,面部檢測模組22也可包括客製化的、專有的、已知的及/或後發展的面部辨識代碼(或指令集)、硬體、及/或韌體,通常已經明確地界定且可操作來接收標準格式影 像(例如但非限於RGB彩色影像),及識別影像中的一或多個面部特性至少至某個程度。此等已知之面部特性系統包含但非限於標準維拉瓊斯(Viola-Jones)提昇串級框架,可見於公開的開放資源電腦視野(Open Source Computer Vision(OpenCV))套裝軟體。如此處以進一步細節討論,消費者特性30可包含但非限於消費者身分(例如與消費者相聯結的識別符)及/或面部特性(例如但非限於消費者年齡、消費者年齡類別(例如兒童或成人)、消費者性別、消費者種族、及/或消費者表情識別(例如快樂、悲傷、微笑、皺眉、驚訝、興奮等))。
面部檢測模組22可比較該影像22(例如相對應於在該影像20中之面部23的面部型樣)與在消費者剪影資料庫24中的消費者剪影32(1)-32(n)(後文中個別地稱作為「消費者剪影32」)來識別消費者。若在搜尋消費者剪影資料庫24之後並沒找到匹配,則面部檢測模組22可經組配來基於在所拍攝的影像20中的面部23而產生新的消費者剪影32。
面部檢測模組22可經組配來從個體面部23的影像20擷取顯著特點或特徵來識別面部23。舉例言之,面部檢測模組22可分析例如眼睛、鼻子、顴骨及口部的相對位置、大小、及/或形狀來形成面部型樣。面部檢測模組22可使用該所識別的面部型樣來搜尋消費者剪影32(1)-32(n)中具有匹配面部型樣的其它影像來識別該消費者。該項比較可基於應用至突出的面部特徵之一集合的樣板匹配技術,提供一種壓縮面部表示型態。此種已知面部辨識系統可基於但非 限於幾何技術(注視區別特徵)及/或照相技術(此乃統計學辦法,將一影像提取成為數值且比較該等數值與樣板來消除變因)。
雖然並非排它列表,面部檢測模組22可利用使用特徵臉之主要成分分析(Principal Component Analysis with Eigenface)、線性甄別分析(Linear Discriminate Analysis)、彈性串圖形匹配特徵臉(Elastic Bunch Graph Matching fisherface)、隱藏馬爾可夫模型、及神經元激勵動態鏈路匹配。
依據一個實施例,消費者可使用節目選擇系統12而產生及註冊消費者剪影32。另外(或此外),如此處所述,消費者剪影32(1)-32(n)中之一或多者可藉節目選擇模組28產生及/或更新。各個消費者剪影32包括一消費者識別符及消費者人口統計學資料。該消費者識別符可包括資料,該資料係經組配來如此處所述由面部檢測模組22所使用的面部辨識技術(諸如但非限於型樣辨識等)而獨一無二地識別一消費者。消費者人口統計學資料表示消費者之某些特性及/或偏好。舉例言之,消費者人口統計學資料可包括對某些型別之貨品或服務的偏好、性別、種族、年齡或年齡類別、收入、傷殘、遷移率(以旅行時間對工作時間或使用的交通工具數目表示)、教育程度、自有房屋或租賃、職業狀態、及/或所在地。消費者人口統計學資料也可包括對廣告技術之某些型別/類別的偏好。廣告技術之型別/類別的實例可包含但非限於喜劇、戲劇、以現實為基礎的廣告等。
手部檢測模組25通常可經組配來處理一或多個影像20 而識別於影像20內部的手部及/或手勢(例如以虛線指示的插入部27a中的手勢27)。如此處討論,可藉相機14拍攝的手勢27之實例包括「停止」手、「拇指向右」手、「拇指向左」手、「拇指向上」手、「拇指向下」手、及「OK符號」手。當然,此等只是可用於依據本文揭示之手勢27型別的實例,此等並非意圖成為可用於依據本文揭示之手勢型別的排它列表。
手部檢測模組25可包括客製化的、專有的、已知的及/或後發展的手部辨識代碼(或指令集),其通常係經明確界定且可操作來接收標準格式影像(例如RGB彩色影像),及識別影像中之手部至少至某個程度。此等已知手部檢測系統包括用於物件辨識之電腦視覺系統、3-D重建系統、2D哈爾(Haar)小波回應系統(及其衍生物)、以膚色為基礎之方法、以形狀為基礎之檢測、加速穩健特徵(SURF)面部辨識方案(及其擴延及/或其推衍)等。
手部檢測模組25之結果可轉而含括於消費者特性30,其係由節目選擇模組28所接收。因此消費者特性30可包括面部檢測模組22及/或手部檢測模組25的結果。
節目選擇模組28可經組配來比較消費者特性30(及任何消費者人口統計學資料,若消費者的身分為已知)與儲存在節目資料庫26的節目剪影34(1)-34(n)(後文個別地稱作為節目剪影34)。如此處以進一步細節描述,節目選擇模組28可運用多種統計學分析技術用以基於消費者特性30與節目剪影34(1)-34(n)間之比較而選擇一或多個節目。舉例言之, 節目選擇模組28可利用加權平均統計分析(包含但非限於加權算術平均、加權幾何平均、及/或加權調和平均)。
節目選擇模組28可基於消費者特性30及目前正在的特定節目及/或節目剪影32更新消費者剪影32。舉例言之,節目選擇模組28可更新消費者剪影32來反映出如於對特定節目及節目的相對應消費者剪影32之消費者特性30中識別的消費者反應(例如喜歡、不喜歡等)。消費者反應可與藉手部檢測模組25檢測得的手勢27有直接相關性。
節目選擇模組28也可經組配來傳輸全部或部分消費者剪影32(1)-32(n)給內容提供者16。如此處使用,「內容提供者」一詞包括廣播電台、廣告公司、製作公司、及廣告商。然後內容提供者16可基於可能的觀眾群而運用此項資訊來發展未來節目。舉例言之,節目選擇模組28可經組配來加密與封包化相對應於消費者剪影32(1)-32(n)的資料用來透過網路36傳輸給內容提供者16。須瞭解網路36可包括有線及/或無線通訊路徑諸如但非限於網際網路、衛星路徑、光纖路徑、纜線路徑、或任何其它適當有線或無線通訊路徑,或此等路徑的組合。
節目剪影34(1)-34(n)可由內容提供者16(例如透過網路36)提供,及可包括節目識別符/類別符及/或節目人口統計學參數。節目識別符/類別符可用來將一特定節目識別及/或分類成為一或多個預先界定的類別。舉例言之,節目識別符/類別符可用來將一特定節目分類成寬廣類別,諸如但非限於「喜劇」、「家庭改善」、「戲劇」、「運動」等。節目 識別符/類別符也可/另可用來將一特定節目歸類成更狹窄的類別,諸如但非限於「棒球」、「足球」、「遊戲類節目」、「動作片」、「劇情片」、「喜劇片」等。節目人口統計學參數可包括各種人口統計學參數,諸如但非限於性別、種族、年齡或年齡特性、收入、傷殘、遷移率(以旅行時間對工作時間或使用的交通工具數目表示)、教育程度、自有房屋或租賃、職業狀態、及/或所在地。內容提供者16可加權及/或優先排序該等節目人口統計學參數。
媒體裝置18係經組配來顯示已經藉節目選擇系統12選出的得自內容提供者16之一節目。媒體裝置18可包括任一型顯示裝置,包含但非限於電視機、電子告示板、數位招牌、個人電腦(例如桌上型電腦、膝上型電腦、小筆電、平板電腦等)、行動電話(例如智慧型手機等)、音樂播放器等。
節目選擇系統12(或其部分)可整合於機上盒(STB),包含但非限於纜線STB、衛星STB、IP-STB、地面STB、綜合接取裝置(IAD)、數位視訊記錄器(DVR)、智慧型手機(例如但非限於iPhone、Trio、黑莓機、Droid等)、個人電腦(例如桌上型電腦、膝上型電腦、小筆電、平板電腦等(例如但非限於iPad、Galazy Tab等)等。
現在轉向參考第2圖,大致上例示說明依據本文揭示之面部檢測模組22a的一個實施例。面部檢測模組22a可經組配來接收影像20及識別影像20中的面部(或多張臉)至某個程度。面部檢測模組22a也可經組配來識別影像20中的一或多個面部特性及決定一或多個消費者特性30(也可包括如 此處討論之手勢資訊)。消費者特性30可至少部分基於如此處討論的由面部檢測模組22a所識別之面部參數中之一或多者而產生。消費者特性30可包含但非限於消費者身分(例如與消費者相聯結的識別符)及/或面部特性(例如但非限於消費者年齡、消費者年齡類別(例如兒童或成人)、消費者性別、消費者種族)、及/或消費者表情識別(例如快樂、悲傷、微笑、皺眉、驚訝、興奮等))。
舉例言之,面部檢測模組22a之一個實施例可包含面部檢測/追蹤模組40、顯著特徵檢測模組44、面部標準化模組42、及面部型樣模組46。面部檢測/追蹤模組40可包含客製化的、專有的、已知的及/或後發展的面部追蹤代碼(或指令集),其通常係經明確地界定且可操作來檢測與識別接收自相機的靜像或視訊串流中之人臉的大小及位置至少至某個程度。此種已知之面部檢測/追蹤系統包括例如維拉及瓊斯技術,公開為Paul Viola及Michael Jones,運用簡單特徵之提昇串級的快速物件檢測,電腦視覺及型樣辨識上的容許會議,2001年。此等技術係藉掃描一視窗排它地通過一影像使用適應性提升(AdaBoost)分類器串級檢測一臉部。面部檢測/追蹤模組40也可橫過多個影像20追蹤面部或面部區域。
面部標準化模組42可包含客製化的、專有的、已知的及/或後發展的面部標準化代碼(或指令集),其通常係經明確地界定且可操作來標準化於影像20中所識別的臉部。舉例言之,面部標準化模組42可經組配來旋轉該影像而對齊 眼睛(若眼睛座標為已知),收穫影像成為大致上相對應於臉部大小的較小型尺寸,定標該影像使得雙眼間距為恆定,施加一遮罩將不在容納典型臉部的一橢圓中的像素歸零,直方圖等化該影像來平滑化未被遮罩的像素之灰階值分布,及/或標準化該影像使得未被遮罩的像素具有均值零及標準差1。
顯著特徵檢測模組44可包含客製化的、專有的、已知的及/或後發展的顯著特徵檢測代碼(或指令集),其通常係經明確地界定且可操作來檢測與識別影像20中的面部之多個面部特徵至少至某個程度。於顯著特徵檢測中隱含面部已經經檢測至少至某個程度。可已經進行(例如藉面部標準化模組42)某個程度的定位(例如粗定位)來識別/聚焦在潛在發現顯著特徵的影像20之該等區段/區域。舉例言之,顯著特徵檢測模組44可植基於啟發式分析,且可經組配來識別及/或分析眼睛、鼻子(例如鼻梢)、下巴(例如下巴梢端)、顴骨、及口部的相對位置、大小、及/或形狀(及/或眼睛的角度)。此等已知之顯著特徵檢測系統包括六-面部點(亦即左/右眼之眼睛角度、及嘴巴角度)及六個面部點(亦即綠點)。眼睛角度及嘴巴角度也可使用以維拉瓊斯為基礎的分類器檢測。幾何限制可結合至六個面部點來反映出其幾何形狀關係。
面部型樣模組46可包含客製化的、專有的、已知的及/或後發展的面部型樣代碼(或指令集),其通常係經明確地界定且可操作來識別及/或產生基於影像20中的經識別的面 部顯著特徵。如所瞭解,面部型樣模組46可視為面部檢測/追蹤模組40的一部分。
面部檢測模組22a可包括面部辨識模組48、性別/年齡識別模組50、及/或面部表情檢測模組52。更明確言之,面部辨識模組48可包含客製化的、專有的、已知的及/或後發展的面部識別代碼(或指令集),其通常係經明確地界定且可操作來匹配一面部型樣與儲存在資料庫的相對應面部型樣。舉例言之,面部辨識模組48可經組配來比較由面部型樣模組46所識別的面部型樣,且比較已識別的面部型樣與在消費者剪影資料庫24中與消費者剪影32(1)-32(n)相聯結的面部型樣來決定於該影像20中的該消費者身分。面部辨識模組48可利用幾何分析(注視區別特徵)及/或照相分析(此乃統計學辦法,將一影像提取成為數值且比較該等數值與樣板來消除變因)比較該等型樣。有些面部辨識技術包含但非限於使用特徵臉之主要成分分析(Principal Component Analysis with Eigenface)、線性甄別分析(Linear Discriminate Analysis)、彈性串圖形匹配特徵臉(Elastic Bunch Graph Matching fisherface)、隱藏馬爾可夫模型、及神經元激勵動態鏈路匹配。
面部辨識模組48可經組配來若未找到與既有消費者剪影32匹配,則使得在消費者剪影資料庫24中產生一新消費者剪影32。舉例言之,面部辨識模組48可經組配來轉移表示經識別的消費者特性30之資料給消費者剪影資料庫24。然後可形成與新的消費者剪影32相聯結的識別符。
性別/年齡識別模組50可包含客製化的、專有的、已知的及/或後發展的性別及/或年齡識別代碼(或指令集),其通常係經明確地界定且可操作來識別及/或產生在該影像20中的人性別及/或檢測與識別在該影像20中的人的年齡至少至某個程度。舉例言之,性別/年齡識別模組50可經組配來分析從影像20所產生的面部型樣來識別在該影像20中的人性別。所識別的面部型樣可與包括各種面部型樣與性別間之相關性的性別資料庫作比較。
性別/年齡識別模組50也可經組配來決定及/或估算在該影像20中的人的年齡及/或年齡類別。舉例言之,性別/年齡識別模組50可經組配來將所識別的面部型樣與包括各種面部型樣與年齡間之相關性的年齡資料庫作比較。該年齡資料庫可經組配來估算個別實際年齡及/或歸類個人成為一或多個年齡群組。年齡群組之實例包含但非限於成人、兒童、青少年、老人/年長者等。
面部表情檢測模組52可包含客製化的、專有的、已知的及/或後發展的面部表情檢測及/或識別代碼(或指令集),其通常係經明確地界定且可操作來檢測及/或識別在影像20中的人的面部表情。舉例言之,面部表情檢測模組52可決定面部特徵(例如眼、口、面頰、牙齒等)的大小及/或位置,及比較該等面部特徵與包括多個樣本面部特徵與相對應面部特徵類別(例如微笑、皺眉、興奮、悲傷等)的面部特徵資料庫。
於一個具體實施例中,面部檢測模組22a之一或多個構 面(例如但非限於面部檢測/追蹤模組40、辨識模組48、性別/年齡模組50、及/或面部表情檢測模組52)可運用多層感知器(MLP)模型,迭代重複地對映一或多個輸入至一或多個輸出。MLP模型之一般框架為已知且經明確地界定,及通常包括藉區別非可線性分離資料的標準線性感知器模型上改良的前饋神經網路。於本實例中,MLP模型之輸入可包括由顯著特徵檢測模組44所產生的一或多個形狀特徵。MLP模型可包括由多個輸入節點所界定的輸入層。各個節點可包含該面部影像之一個形狀特徵。MLP模型也可包括由「隱藏」神經元所界定的「隱藏」層或迭代重複層。典型地M係小於N,及該輸入層之各個節點係連結至「隱藏」層的各個神經元。
MLP模型也可包含由多個輸出神經元所界定的輸出層。各個輸出神經元可連結至「隱藏」層的各個神經元。一輸出神經元通常係表示預先界定輸出之機率。輸出數目可經預先界定,及於本文揭示之脈絡中可匹配藉面部檢測/追蹤模組40、辨識模組48、性別/年齡模組50、及/或面部表情檢測模組52所識別的面部及/或面部動作數目。如此,舉例言之,各個輸出神經元可指示面部及/或面部動作影像之匹配機率,而最末輸出指示具有最高機率。
於MLP模型之各層中,給定層m之輸入xj、層n+1之輸出Li係計算為:
y i =f(u i )………EQ.2
假設S形激勵函式之f函式可定義為:f(x)=β.(1-e -αx )/(1+e -αx )………EQ.3
可使得MLP模型運用反傳播技術學習,可用來產生從訓練過程所習得的參數α、β。各個輸入xj可經加權,或施加偏移值來指示面部及/或面部動作型別的更強力指示。MLP模型也可包括訓練過程,可包括例如識別已知之面部及/或面部動作,使得MLP模型在各次迭代重複期間可「靶定」於此等已知之面部及/或面部動作。
面部檢測/追蹤模組40、辨識模組48、性別/年齡模組50、及/或面部表情檢測模組52之輸出可包括指示已識別的面部及/或面部動作型別的信號或資料集合。如此轉而可用來產生消費者特性資料/信號30之一部分。由面部檢測模組22a所產生的消費者特性30可傳送至手部檢測模組25,可檢測在該影像20中的手(若存在),及更新消費者特性30,可用來選擇一或多個消費者剪影32(1)-32(n),如此處討論。
現在轉向參考第3圖,大致上例示說明手部檢測模組25a之一個實施例。手部檢測模組25a通常可經組配來透過一串列影像(例如於每秒24圖框的視訊圖框)來追蹤手區(由手部檢測模組88所界定)。手部追蹤模組80可包含客製化的、專有的、已知的及/或後發展的追蹤代碼(或指令集),其通常係經明確地界定且可操作來接收一串列影像(例如RGB彩色影像)且追蹤該串列影像中之一手部至少至某個程度。此種已知追蹤系統包含粒子過濾、光流、卡門(Kalman) 過濾等,其各自可利用邊緣分析、平方和差異分析、特徵點分析、平均移位技術(或其推衍)等。
手部檢測模組25a也可包含皮膚分節模組82,大致上經組配來識別在影像的手區內部的手部皮膚色澤(藉手部檢測模組88及/或手部追蹤模組80界定)。皮膚分節模組82可包含客製化的、專有的、已知的及/或後發展的皮膚識別代碼(或指令集),其通常係經明確地界定且可操作來區別與手部其它區域的皮膚色調或色彩。此等已知之皮膚識別系統包含色相飽和度色彩成分、HSV色彩統計資料、色澤質感模型化等的臨界值。於一個具體實施例中,皮膚分節模組82可使用普及化統計上膚色模型,諸如多變數高斯模型(及其推衍)。
手部檢測模組25a也可包含形狀特徵擷取模組84,大致上經組配來識別在由皮膚分節模組82所產生的二進制影像中之一或多個形狀特徵。概略言之,形狀特徵包含二進制影像中手部形狀的特有性質及/或「記號」,且可用來改良手勢辨識模組86識別影像中的手勢之效率。形狀特徵可包含例如偏心性、緊密性、方向性、垂直性、寬度中心、高度中心、缺陷數目、左部與右部間之差、頂部與底部間之差等。
舉例言之,手勢辨識模組86通常可經組配來基於例如藉形狀特徵擷取模組84所識別的手部形狀特徵而以影像的手區識別手勢27,容後詳述。手勢辨識模組86可包含客製化的、專有的、已知的及/或後發展的皮膚識別代碼(或指令 集),其通常係經明確地界定且可操作來識別影像內部的手勢。依據本文揭示之教示可使用的已知之手勢辨識系統包含例如型樣辨識系統、伯修斯模型(及其推衍)、隱藏馬爾可夫模型(及其推衍)、支援向量機器、線性甄別分析、決策樹等。舉例言之,手勢辨識模組86可運用多層感知器(MLP)模型或其推衍,其迭代重複地對映一或多個輸入至一或多個輸出。MLP模型之一般框架為已知且經明確地界定,及通常包括藉區別非可線性分離資料的標準線性感知器模型上改良的前饋神經網路。於本實例中,MLP模型之輸入可包括前述由形狀特徵擷取模組84所產生的一或多個形狀特徵。
可藉相機14拍攝的手勢27之實例包括「停止」手83A、「拇指向右」手83B、「拇指向左」手83C、「拇指向上」手83D、「拇指向下」手83E、及「OK符號」手83F。當然,影像83A-83F只是可用於依據本文揭示之手勢27型別的實例,此等並非意圖成為可用於依據本文揭示之手勢型別的排它列表。
手勢辨識模組86之輸出可包含指示經識別的手勢型別之信號或資料集。如此又轉而可用來產生消費者特性資料30部分。
第4圖闡釋依據本文揭示之一個實施例「拇指向上」手勢(左手)之影像。原先影像91(相對應於第1圖之影像27)乃RGB格式彩色影像。藉第3圖之皮膚分節模組82所產生的二進制影像92係闡釋為非皮膚像素顯示為黑而皮膚像素顯示 為白。第3圖之形狀特徵擷取模組84可經組配來產生在二進制影像中環繞或部分地環繞該手部的邊界形狀,如影像93顯示。如圖所示,邊界形狀可以是矩形,於其它實施例中,邊界形狀可可包括圓形、卵形、方形及/或其它規則或不規則形狀,取決於例如在該影像中該手的幾何形狀。基於邊界形狀,形狀特徵擷取模組84可經組配來決定在該邊界形狀內部的該影像之偏心性、垂直性、緊密性及中心,及也決定面積為影像中的白像素數目及邊長為在邊緣的白像素數目(例如直接緊鄰黑像素的白像素)。偏心性可決定為邊界形狀寬度乘以邊界形狀高度;垂直性可決定為面積除以邊界框面積;及緊密性可決定為邊長(平方)除以面積。此外,形狀特徵擷取模組84可經組配來決定在邊界形狀內部之該手的中心,如影像94所示。該中心可決定為沿橫軸(例如x軸)及縱軸(例如y軸)二者之邊界形狀中央。
形狀特徵擷取模組84也可經組配來識別手部輪廓,如影像95所示。輪廓可藉決定從二進制1(白)至二進制0(黑)的相鄰像素間的過渡而予識別,於該處邊界上的像素界定該輪廓。形狀特徵擷取模組84也可經組配來決定輪廓沿線的缺陷數目,影像96中闡釋四個此種缺陷。缺陷可定義為局部凸起缺陷,例如凹部區有一或多個凸起像素的像素位置。形狀特徵擷取模組84也可經組配來決定包封輪廓(95)的最小形狀,如影像97闡釋。最小形狀(於本實例為矩形)可藉該影像中的最左、最右、最高及最低白像素界定,且如圖所示可相對於影像軸為傾斜。最小形狀相對於影像橫 軸的角度可藉形狀特徵擷取模組84決定。此外,形狀特徵擷取模組84可決定最小框寬度對高度比,定義為最小框寬度除以最小框高度。基於最小形狀相對於影像橫軸的角度,形狀特徵擷取模組84也可決定在邊界形狀內部之該手的方向性。此處,方向性可定義為取自最小形狀的寬度中心且為法線方向之線,如影像98闡釋。
形狀特徵擷取模組84也可經組配來將邊界形狀(影像93)劃分成多個實質上相等節段,如影像99闡釋。於本實例中,邊界形狀係劃分成四個相等矩形小塊,標示為A、B、C及D。基於小塊,形狀特徵擷取模組84也可經組配來決定各個小塊中的白像素數目、該影像之左半與右半中之像素數目差(例如(A+C)-(B+D)),及該影像之上半與下半中之像素數目差(例如(A+B)-(C+D))。
前述形狀特徵擷取模組84之操作實例及所述形狀特徵絕非意圖為排它性列表,也非全部前述形狀特徵皆為決定影像中所述手勢為有用或需要使用。如此,於若干實施例中,及針對其它手勢,可決定額外形狀特徵或可決定所述形狀特徵之一子集。
現在轉向參考第5圖,大致上描述依據本文揭示之節目選擇模組28a之一個實施例。節目選擇模組28a係經組配來至少部分基於節目資料庫26中的節目剪影34(1)-34(n)與藉面部檢測模組22及/或手部檢測模組25所識別的消費者特性資料30間之比較而從節目資料庫26中選擇至少一個節目。節目選擇模組28a可使用特性資料30來從消費者剪影資 料庫24中識別一消費者剪影32。消費者剪影32也可包括由節目選擇模組28a用在如此處所述之節目的選擇上之參數。節目選擇模組28a可使用特性資料30更新及/或產生在該消費者剪影資料庫24及相聯結的消費者剪影32中的一個新消費者剪影32。
依據一個實施例,節目選擇模組28a包括一或多個推薦模組(例如性別及/或年齡推薦模組60、消費者識別推薦模組62、消費者表情推薦模組64、及/或姿勢推薦模組66)及決定模組68。如此處討論,決定模組68係經組配來基於推薦模組60、62、64、及66之集合分析而選擇一或多個程式。
性別及/或年齡推薦模組60可經組配來至少部分基於節目剪影32(1)-32(n)與消費者的年齡(或其約略年齡)、年齡類別/組群(例如成人、兒童、青少年、老人等)及/或性別(後文合稱為「年齡/性別資料」)作比較,而識別及/或排序得自節目資料庫26之一或多個節目。舉例言之,如此處討論,性別及/或年齡推薦模組60可從特性資料30及/或從經識別的消費者剪影32中識別消費者年齡/性別資料。節目剪影32(1)-32(n)也可包含表示如由內容提供者及/或廣告公司供給的各個節目相對於一或多個年齡/性別資料型別(亦即一個目標觀眾)之相關性的分類、排名、及/或權值。然後性別及/或年齡推薦模組60可比較消費者年齡/性別資料與廣告剪影32(1)-32(n)來識別及/或排名一或多個節目。
消費者識別推薦模組62可經組配來至少部分基於節目剪影32(1)-32(n)與經識別的消費者剪影32的比較而識別及/ 或排名得自節目資料庫26之一或多個節目。舉例言之,消費者識別推薦模組62可基於如此處討論的與經識別之消費者剪影32相聯結的先前觀賞歷史及其反應而識別消費者偏好及/或習慣。消費者偏好及/或習慣可包含但非限於消費者觀看一特定節目的時間長度(亦即節目觀看時間),消費者觀看哪些類型的節目,消費者觀看一節目的日期、星期幾、月份、及/或時間,及/或消費者的面部表情(微笑、皺眉、興奮、凝視等)等。消費者識別推薦模組62也可儲存所識別的消費者偏好及/或習慣與所識別的消費者剪影32供後來使用。因此消費者識別推薦模組62可比較與一特定消費者剪影32相聯結的的消費史來決定欲推薦哪些節目剪影32(1)-32(n)。
消費者識別推薦模組62識別欲推薦的節目之先決要件為消費者須以一個特定既有的消費者剪影32識別。但該識別並非必要要求內容選擇模組28a知曉消費者名稱或使用者名稱,反而可以是匿名,表示內容選擇模組28a只需能夠辨識/聯結在影像20中的該消費者與在消費者剪影資料庫24中相聯結的消費者剪影32即可。因此,雖然消費者本身可在相聯結的消費者剪影32註冊但非必要。
消費者表情推薦模組64係經組配來比對消費者特性資料30中的消費者表情與消費者目前正在觀看的該節目相聯結的節目剪影32。舉例言之,若消費者特性資料30指示消費者正在微笑或凝視(例如如藉面部表情檢測模組52所決定),則消費者表情推薦模組64可推論消費者正在觀看的該 節目之節目剪影32為感興趣。因此消費者表情推薦模組64可識別與正在觀看的該節目之節目剪影32相似的一或多個額外節目剪影32(1)-32(n)。此外,消費者表情推薦模組64也可更新經識別的消費者剪影32(假設消費者剪影32已經識別)。
姿勢推薦模組66係經組配來比較於該消費者特性資料30中的手勢資訊與消費者目前正在觀看的該節目相聯結的節目檔案32。舉例言之,若消費者特性資料30指示消費者豎起大拇指(如藉手部檢測模組25決定),則姿勢推薦模組66可推論消費者正在觀看的該節目之節目剪影32為感興趣。因此姿勢推薦模組66可識別與正在觀看的該節目之節目剪影32相似的一或多個額外節目剪影32(1)-32(n)。同理,若消費者特性資料30指示消費者的手勢為大拇指向下,則姿勢推薦模組66可推論消費者正在觀看的該節目之節目剪影32為不感興趣,因而減少及/或預先排除與正在觀看的該節目之節目剪影32相似的其它節目剪影32(1)-32(n)。此外,姿勢推薦模組66也可以所識別的所觀看節目剪影32間之相關性來更新經識別的消費者剪影32(假設消費者剪影32已經識別)。
決定模組68可經組配來加權及/或排行得自各個推薦模組60、62、64、及66的推薦。舉例言之,決定模組68可基於針對由推薦模組60、62、64、及66所推薦的有關節目剪影34之啟發式分析、最佳匹配型別分析、迴歸分析、統計推論、統計歸納、及/或推論統計學而選擇一或多個節 目,來識別及/或排行一或多個節目剪影32來呈現給消費者。須瞭解決定模組68並非必要考慮全部消費者資料30。此外,決定模組68可比較針對同時觀賞的多個消費者所識別之推薦節目剪影32。舉例言之,決定模組68可基於觀賞的多個消費者之數目、年齡、性別等而利用不同的分析技術。舉例言之,決定模組68可基於觀賞的消費者群組之特性而減少及/或忽略一或多個參數及/或升高一或多個參數的相關性。舉例言之,若識別有兒童,則決定模組68可內設來呈現節目給兒童,即便同時也有大人亦復如此。又更舉例說明,若檢測得女性多於男性,則決定模組68可呈現節目給女性。
此外,決定模組68可基於總手勢而選擇節目剪影32。舉例言之,若面部檢測模組22決定目前正在觀看顯示裝置18的觀賞者身分,則決定模組68可基於藉手部檢測模組25檢知的手勢而選擇相似的節目剪影32。因此消費者可評級他/她對正在觀看的節目的偏好,而該評級可用來選擇未來節目。當然,此等實例並非排它性,決定模組68可利用其它選擇技術及/或選擇標準。
依據一個實施例,內容選擇模組28a可傳輸表示欲呈現給消費者的一或多個擇定節目之一信號給內容提供者16。然後內容提供者16可以相對應節目信號發送給媒體裝置18。另外,節目可在本地儲存(例如儲存於與媒體裝置18及/或節目選擇系統12相聯結的記憶體),及內容選擇模組28a可經組配來使得所選節目呈示在媒體裝置18上。
內容選擇模組28a也可經組配來傳輸所收集的消費者剪影資料(或其部分)給內容提供者16。然後內容提供者16可重新銷售此項資訊及/或使用該項資訊來基於可能的觀眾而發展未來的節目。
現在轉向參考第6圖,例示說明一流程圖,例示說明用以選擇與顯示節目之方法600之一個實施例。方法600包含拍攝消費者的一或多幅影像(操作610)。影像可利用一或多部相機拍攝。面部及/或面部區域可在所拍攝的影像內部識別,及可決定至少一個消費者特性(操作620)。更明確言之,影像可經分析來決定下列消費者特性中之一或多者:消費者年齡、消費者年齡類別(例如兒童或成人)、消費者性別、消費者種族、消費者情緒識別(例如快樂、悲傷、微笑、皺眉、驚訝、興奮等)、及/或消費者身分(例如與消費者相聯結的識別符)。舉例言之,方法600可包含比較在該影像中識別的一或多個面部顯著特徵型樣與儲存在消費者剪影資料庫中的消費者剪影集合而來識別特定消費者。若未見匹配,則方法600可包含在消費者剪影資料庫中產生一個新的消費者剪影。
方法600也可包含從所拍攝的影像中識別一或多個手勢(操作630)。手勢可包含但非限於拇指向上、拇指向下等。表示所識別的手勢之資訊可添加至該等消費者特性。
方法600進一步包含基於消費者特性識別欲呈現給消費者的一或多個節目(操作640)。例如,方法600可比較消費者特性與儲存在節目資料庫裡的節目剪影集合來識別欲呈 現給消費者的一個特定節目。另外(或此外),方法600可比較消費者剪影(及消費者人口統計學資料之相對應集合)與節目剪影來識別欲呈現給消費者的一個特定節目。舉例言之,方法600可運用消費者特性來識別儲存在消費者剪影資料庫裡的特定消費者剪影。
方法600更進一步包含顯示該所選節目給消費者(操作650)。然後方法600可自行重複。方法600可基於與正在觀看的一個特定節目有關的消費者特性而更新在消費者剪影資料庫裡的消費者剪影。此項資訊可結合至儲存在消費者剪影資料庫裡的消費者剪影且用於識別未來節目。
現在參考第7圖,例示說明基於在觀賞環境中所拍攝的消費者影像,用來選擇及顯示節目之操作700之另一流程圖。依據此一實施例之操作包含使用一或多部相機拍攝一或多幅影像(操作710)。一旦已經拍攝影像,則在影像上進行面部分析(操作512)。面部分析512包含在所拍攝的影像中存在有(與否)面部或面部區域,及若檢測得面部/面部區域,則決定與該影像相關的一或多個特性。舉例言之,可識別消費者的性別及/或年齡(或年齡類別)(操作714),可識別消費者的表情(操作716),及/或可識別消費者的身分(操作718)。
操作700也包含執行在一或多幅影像上的手部分析來識別及/或歸類其中的手勢(操作719)。手勢可包含但非限於拇指向上、拇指向下等。表示經識別的手勢之資訊可增加至該等消費者特性。
一旦已經執行面部分析及手勢分析,則可基於面部及手部分析而產生消費者特性資料(操作720)。然後消費者特性資料與多個不同節目相聯結的多個節目剪影作比較來推薦一或多個節目(操作722)。舉例言之,消費者特性資料與多個不同節目相聯結的多個節目剪影作比較來基於消費者的性別及/或年齡而推薦一或多個節目(操作724)。消費者特性資料可基於所識別的消費者剪影而與節目剪影作比較來推薦一或多個節目(操作726)。消費者特性資料可基於所識別的面部表情而與節目剪影作比較來推薦一或多個節目(操作728)。消費者特性資料可基於所識別的手勢而與節目剪影作比較來推薦一或多個節目(操作729)。方法700也包含基於該所推薦的節目剪影的比較來選擇欲呈現給消費者的一或多個節目(操作730)。節目的選擇可基於各項選擇標準724、726、728、及729的加權及/或排行。然後選定的節目顯示給消費者(操作732)。
然後方法700可始於操作710重複地執行。基於所拍攝影像而選擇一節目的操作可實質上連續地執行。另外,基於所拍攝影像(例如面部分析512及/或手部分析719)而選擇一節目的操作中之一或多者可週期性地及/或以少數圖框(例如30個圖框)區間定期執行。如此特別適合用於其中節目選擇系統12係整合入具有減低的運算能力(例如具有比個人電腦更低能力)之應用用途。
下列為依據本文揭示之假代碼之一個實施例的具體實施例:
雖然第6及7圖例示說明依據多個實施例之方法操作,但須瞭解於任一個實施例中並非全部此等操作皆屬必要。確實,此處全然預期於本文揭示之其它實施例中第6及7圖闡釋之操作可以圖式中之任一者未特別地顯示之方式組合,但仍然全然地符合本文揭示。如此,針對一幅圖式中未確切地顯示的特徵及/或操作的申請專利範圍各項被視為落入於本發明之精髓及範圍內。
此外地,實施例之操作已經參考前述各幅圖式及隨附之實例進一步描述。若干圖式可包含邏輯流程。雖然此處呈示之此等圖式可包含一特定邏輯流程,但可瞭解邏輯流程只提供如何體現如此處所述之一般功能的實例。又復,除非另行指示否則給定的邏輯流程並非必要以所呈示之順序執行。此外,給定之邏輯流程可藉硬體元件、由處理器執行的軟體元件、或其任一項組合體現。但實施例並非限於此一脈絡。
如此處所述,多個實施例可運用硬體元件、軟體元件、或其任一項組合體現。硬體元件之實例可包含處理器、微處理器、電路、電路元件(例如電晶體、電阻器、電容器、電感器等)、積體電路、特定應用積體電路(ASIC)、可程式規劃邏輯裝置(PLD)、數位信號處理器(DSP)、可現場程式規劃閘陣列(FPGA)、邏輯閘、暫存器、半導體裝置、晶片、微晶片、晶片組等。
如用於此處之任一個實施例,「模組」一詞係指執行所陳述之操作的軟體、韌體及/或電路。軟體可實施為套裝軟 體、代碼及/或指令集或指令,及「電路」一詞如用於此處之任一個實施例,例如單獨或呈任一項組合可包含有線電路、可程式規劃電路、狀態機電路、及/或儲存藉可程式規劃電路執行的指令之韌體。模組可集合地或個別地實施為電路形成更大型系統的一部分,例如積體電路(IC)、單晶片系統(SoC)等。
此處所述某些實施例可提供為一種儲存電腦可執行指令的具體有形機器可讀取媒體,該等指令當由該電腦執行時,使得該電腦執行此處所述之方法及/或操作。該具體有形電腦可讀取媒體可包含但非限於任一型碟片包含軟碟、光碟、光碟-唯讀記憶體(CD-ROM)、光碟可覆寫式(CD-RW)、及磁光碟、半導體裝置諸如唯讀記憶體(ROM)、隨機存取記憶體(RAM)諸如動態及靜態RAM、可抹除可規劃唯讀記憶體(EPROM)、可電氣抹除可規劃唯讀記憶體(EEPROM)、快閃記憶體、磁卡或光卡、及適用以儲存電子指令之任一型具體有形媒體。電腦可包含任何適當處理平台、裝置或系統、運算平台、裝置或系統且可使用硬體及/或軟體之任何適當組合體現。該等指令可包括任何適當型別的代碼,且可使用任何適當程式語言體現。
如此,於一個實施例中,本文揭示提出一種選擇一節目呈現給一消費者之方法。該方法包含藉一面部檢測模組來檢測於一影像中之一面部區域;藉一手部檢測模組來檢測於該影像中之一手部姿勢;藉該面部及該手部檢測模組,基於該消費者之該經檢測的面部區域及該經檢測的手 部姿勢,來識別一或多個消費者特性;藉一節目選擇模組,基於該等消費者特性與包括多個節目剪影之一節目資料庫之一比較而識別欲呈現給該消費者的一或多個節目;及於一媒體裝置上呈現該經識別的節目中之一選定者給該消費者。
於另一個實施例中,本文揭示提出一種選擇一節目呈現給於一影像中的一消費者之設備。該設備包含一面部檢測模組經組配來檢測於該影像中之一面部區域及識別於該影像中之該消費者的一或多個消費者特性;一手部檢測模組經組配來識別於該影像中之一手部姿勢及更新該等消費者特性;一節目資料庫包括多個節目剪影;及一節目選擇模組經組配來基於該等消費者特性與該等多個節目剪影之一比較而選擇欲呈現給該消費者的一或多個節目。
於又另一個實施例中,本文揭示提出一種包括儲存於其上之指令的有形電腦可讀取媒體,該等指令當由一或多個處理器執行時,使得該電腦系統執行操作包含檢測於一影像中之一面部區域;檢測於該影像中之一手部姿勢;基於該消費者之該經檢測的面部區域及該經檢測的手部姿勢而識別一或多個消費者特性;及基於該等消費者特性與包括多個節目剪影之一節目資料庫之一比較而識別欲呈現給該消費者的一或多個節目。
本說明書全文中述及「一個實施例」或「一實施例」表示聯結該實施例所述特定特徵、結構、或特性係含括於至少一個實施例。於本說明書全文各處出現「於一個實施 例中」或「於一實施例中」等詞並非必要全部皆係指相同實施例。又復,於一或多個實施例中該等特定特徵、結構、或特性可以任一種適當方式組合。
此處已經採用的術語及表示法係用作為說明性而非限制性術語,在此等術語及表示法之使用中,排除任何所顯示與描述的特徵(或其部分)之相當物,已認知在申請專利範圍內多項修正係屬可能。因此,申請專利範圍意圖涵蓋全部此等相當物。
此處已經描述多個特徵、構面、及實施例。如熟諳技藝人士將瞭解此等特徵、構面、及實施例對彼此的組合以及對變化與修正為敏感。因此本發明之範疇及範圍並非受前述具體實施例中之任一者所限,反而只係依據如下申請專利範圍及其相當物界定。
10‧‧‧系統
12‧‧‧節目選擇系統
14‧‧‧相機
16‧‧‧內容提供者
18‧‧‧媒體裝置、顯示裝置
20‧‧‧影像
22、22a‧‧‧面部檢測模組
23‧‧‧矩形框、面部
23b、27a‧‧‧插入部
24‧‧‧消費者剪影資料庫
25、25a、88‧‧‧手部檢測模組
26‧‧‧節目資料庫
27‧‧‧手勢
28、28a‧‧‧節目選擇模組、內容選擇模組
30‧‧‧消費者特性、消費者特性資料、消費者資料
32、32(1)-32(n)‧‧‧消費者剪影
34、34(1)-34(n)‧‧‧節目剪影
36‧‧‧網路
40‧‧‧面部檢測/追蹤模組
42‧‧‧面部標準化模組
44‧‧‧顯著特徵檢測模組
46‧‧‧面部型樣模組
48‧‧‧面部辨識模組
50‧‧‧性別/年齡識別模組
52‧‧‧面部表情檢測模組
60‧‧‧性別及/或年齡推薦模組
62‧‧‧消費者識別推薦模組
64‧‧‧消費者表情推薦模組
66‧‧‧姿勢推薦模組
68‧‧‧決定模組
80‧‧‧手部追蹤模組
82‧‧‧皮膚分節模組
83A‧‧‧「停止」手
83B‧‧‧「拇指向右」手
83C‧‧‧「拇指向左」手
83D‧‧‧「拇指向上」手
83E‧‧‧「拇指向下」手
83F‧‧‧「OK符號」手
84‧‧‧形狀特徵擷取模組
86‧‧‧手勢辨識模組
91‧‧‧原先影像
92‧‧‧二進制影像
93-99‧‧‧影像
600‧‧‧方法
610-650、700、710-732‧‧‧操作
第1圖顯示依據本文揭示之多個實施例,基於消費者之面部分析用以選擇及顯示節目給一消費者之系統的一個實施例;第2圖顯示依據本文揭示之多個實施例面部檢測模組之一個實施例;第3圖顯示依據本文揭示之多個實施例手部檢測模組之一個實施例;第4圖顯示依據本文揭示之一個實施例「拇指向上」手部姿勢(左手)之影像;第5圖顯示依據本文揭示之多個實施例節目選擇模組 之一個實施例;第6圖為流程圖顯示依據本文揭示用以選擇及顯示節目之一個實施例;及第7圖為流程圖顯示依據本文揭示用以選擇及顯示節目之另一個實施例。
10‧‧‧系統
12‧‧‧節目選擇系統
14‧‧‧相機
16‧‧‧內容提供者
18‧‧‧媒體裝置
20‧‧‧影像
22‧‧‧面部分析模組
23‧‧‧矩形框、面部
23a、27a‧‧‧插入部
25‧‧‧手部檢測模組
26‧‧‧節目資料庫
27‧‧‧手勢
28‧‧‧節目選擇模組
30‧‧‧消費者特性
32、32(1)-32(n)‧‧‧消費者剪影
34、34(1)-34(n)‧‧‧節目剪影
36‧‧‧網路

Claims (19)

  1. 一種用以選擇一節目來呈現給一消費者之方法,該方法係包含:藉一面部檢測模組來檢測於一影像中之一面部區域;藉一手部檢測模組來檢測於該影像中之一手部姿勢;藉該面部及該手部檢測模組,基於該消費者之該經檢測的面部區域及該經檢測的手部姿勢,來識別一或多個消費者特性;藉一節目選擇模組,基於該等消費者特性與包括多個節目剪影之一節目資料庫之一比較而識別欲呈現給該消費者的一或多個節目;及於一媒體裝置上呈現該經識別的節目中之一選定者給該消費者。
  2. 如申請專利範圍第1項之方法,其中該等消費者特性係選自於由在該影像中之該消費者的年齡、年齡類別、性別、及一面部表情所組成之組群。
  3. 如申請專利範圍第1項之方法,其中該等消費者特性係包括表示一手部姿勢的資料。
  4. 如申請專利範圍第3項之方法,其係進一步包含藉該面部檢測模組識別儲存於一消費者剪影資料庫中相對應於該影像中之該面部區域的一消費者剪影,其中該消費者剪影係包括該消費者之一觀賞歷史。
  5. 如申請專利範圍第4項之方法,其係進一步包含基於該手部姿勢與呈現給該消費者的一節目之一節目剪影間的一相關性而更新該消費者剪影。
  6. 如申請專利範圍第1項之方法,其中該等消費者特性係選自於由在該影像中之該消費者的年齡、年齡類別、性別、一面部表情、及包括表示一手部姿勢的資料之消費者特性所組成之組群,及其中該等消費者特性與該節目資料庫之該比較係進一步包含該消費者的該等年齡、年齡類別、性別、該消費者剪影、及該面部表情中之一或多者的排序。
  7. 如申請專利範圍第4項之方法,其係進一步包含傳輸該消費者剪影中之至少一部分給一內容提供者。
  8. 一種用以選擇欲呈現給一消費者之一節目的設備,該設備係包含:一面部檢測模組,係經組配來檢測於一影像中之一面部區域及識別於該影像中之該消費者的一或多個消費者特性;一手部檢測模組,係經組配來識別於該影像中之一手部姿勢及更新該等消費者特性;一節目資料庫,係包括多個節目剪影;及一節目選擇模組,係經組配來基於該等消費者特性與該等多個節目剪影之一比較而選擇欲呈現給該消費者的一或多個節目。
  9. 如申請專利範圍第8項之設備,其中該等消費者特性係 選自於由在該影像中之該消費者的年齡、年齡類別、性別、及一面部表情所組成之組群。
  10. 如申請專利範圍第8項之設備,其中該面部檢測模組係進一步經組配來識別儲存於一消費者剪影資料庫中相對應於該影像中之該面部區域的一消費者剪影,其中該消費者剪影係包括該消費者之一觀賞歷史。
  11. 如申請專利範圍第8項之設備,其中該節目選擇模組係進一步經組配來基於該手部姿勢與呈現給該消費者的一節目之一節目剪影間的一相關性而更新該消費者剪影。
  12. 如申請專利範圍第8項之設備,其中該等消費者特性係包含於該影像中之該消費者的至少一個面部表情。
  13. 如申請專利範圍第9項之設備,其中該等消費者特性係選自於由在該影像中之該消費者的年齡、年齡類別、性別、一面部表情、及包括表示一手部姿勢的資料之消費者特性所組成之組群,及其中該節目選擇模組係進一步經組配來基於該消費者的該等年齡、年齡類別、性別、該消費者剪影、該面部表情、及該手部姿勢中之一或多者的一排序而比較該等消費者特性與該節目資料庫。
  14. 如申請專利範圍第11項之設備,其中該系統係經組配來傳輸該消費者剪影中之至少一部分給一內容提供者。
  15. 一種包括儲存於其上之指令的有形電腦可讀取媒體,該等指令當由一或多個處理器執行時,使得該電腦系統執行操作包含: 檢測於一影像中之一面部區域;檢測於該影像中之一手部姿勢;基於該消費者之該經檢測的面部區域及該經檢測的手部姿勢而識別一或多個消費者特性;及基於該等消費者特性與包括多個節目剪影之一節目資料庫之一比較而識別欲呈現給該消費者的一或多個節目。
  16. 如申請專利範圍第15項之有形電腦可讀取媒體,其中該等經識別的消費者特性係包含在該影像中之該消費者的一年齡、年齡類別、一性別、及至少一個面部表情中之至少一者。
  17. 如申請專利範圍第15項之有形電腦可讀取媒體,其中該等指令當藉該等處理器中之一或多者執行時導致下列額外操作係包含:識別儲存於一消費者剪影資料庫中相對應於該影像中之該面部區域之一消費者剪影,其中該消費者剪影係包括該消費者之一觀賞歷史。
  18. 如申請專利範圍第15項之有形電腦可讀取媒體,其中該等消費者特性係選自於由在該影像中之該消費者的年齡、年齡類別、性別、一面部表情、及包括表示一手部姿勢的資料之消費者特性所組成之組群,及其中該等指令當由該等處理器中之一或多者執行時導致下列額外操作係包含該消費者的該年齡、年齡類別、性別、該消費者剪影、及該面部表情中之一或多者的排序。
  19. 如申請專利範圍第17項之有形電腦可讀取媒體,其中該等指令當藉該等處理器中之一或多者執行時導致下列額外操作係包含:基於該手部姿勢與呈現給該消費者的一節目之一節目剪影間的一相關性而更新該消費者剪影。
TW101110104A 2011-04-11 2012-03-23 個人化節目選擇系統及方法 TW201310357A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/000620 WO2012139242A1 (en) 2011-04-11 2011-04-11 Personalized program selection system and method

Publications (1)

Publication Number Publication Date
TW201310357A true TW201310357A (zh) 2013-03-01

Family

ID=47008761

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101110104A TW201310357A (zh) 2011-04-11 2012-03-23 個人化節目選擇系統及方法

Country Status (7)

Country Link
US (1) US20140310271A1 (zh)
EP (1) EP2697741A4 (zh)
JP (1) JP2014516490A (zh)
KR (1) KR20130136574A (zh)
CN (1) CN103098079A (zh)
TW (1) TW201310357A (zh)
WO (1) WO2012139242A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050443A (zh) * 2013-03-13 2014-09-17 英特尔公司 使用肤色检测的视频流的姿势预处理
US9104240B2 (en) 2013-01-09 2015-08-11 Intel Corporation Gesture pre-processing of video stream with hold-off period to reduce platform power
US9720507B2 (en) 2012-12-13 2017-08-01 Intel Corporation Gesture pre-processing of video stream using a markered region
TWI755287B (zh) * 2021-02-24 2022-02-11 國立中興大學 防欺騙之人臉身分驗證系統
TWI792035B (zh) * 2019-09-03 2023-02-11 財團法人工業技術研究院 製作產品之材料推薦系統與材料推薦方法

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140094336A (ko) * 2013-01-22 2014-07-30 삼성전자주식회사 사용자 감정 추출이 가능한 전자기기 및 전자기기의 사용자 감정 추출방법
JP5783385B2 (ja) * 2013-02-27 2015-09-24 カシオ計算機株式会社 データ処理装置及びプログラム
US20150082330A1 (en) * 2013-09-18 2015-03-19 Qualcomm Incorporated Real-time channel program recommendation on a display device
US10013892B2 (en) * 2013-10-07 2018-07-03 Intel Corporation Adaptive learning environment driven by real-time identification of engagement level
CN103716702A (zh) * 2013-12-17 2014-04-09 三星电子(中国)研发中心 电视节目推荐装置和方法
EP2905678A1 (en) * 2014-02-06 2015-08-12 Université catholique de Louvain Method and system for displaying content to a user
JP6326847B2 (ja) * 2014-02-14 2018-05-23 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9449221B2 (en) * 2014-03-25 2016-09-20 Wipro Limited System and method for determining the characteristics of human personality and providing real-time recommendations
CN104202640B (zh) 2014-08-28 2016-03-30 深圳市国华识别科技开发有限公司 基于图像识别的智能电视交互控制系统和方法
US9710071B2 (en) * 2014-09-22 2017-07-18 Rovi Guides, Inc. Methods and systems for recalibrating a user device based on age of a user and received verbal input
GB2530515A (en) * 2014-09-24 2016-03-30 Sony Comp Entertainment Europe Apparatus and method of user interaction
KR101541254B1 (ko) * 2014-11-13 2015-08-03 이호석 의인화된 캐릭터 이미지를 이용한 서비스 제공 시스템 및 방법
US10928914B2 (en) * 2015-01-29 2021-02-23 Misapplied Sciences, Inc. Individually interactive multi-view display system for non-stationary viewing locations and methods therefor
WO2016141248A1 (en) 2015-03-03 2016-09-09 Misapplied Sciences, Inc. System and method for displaying location dependent content
CN104768309B (zh) * 2015-04-23 2017-10-24 天脉聚源(北京)传媒科技有限公司 一种根据用户情绪调节灯光的方法及装置
US9600715B2 (en) * 2015-06-26 2017-03-21 Intel Corporation Emotion detection system
WO2017035790A1 (zh) * 2015-09-01 2017-03-09 深圳好视网络科技有限公司 电视节目定制方法、机顶盒系统和智能终端系统
KR102339478B1 (ko) * 2015-09-08 2021-12-16 한국과학기술연구원 Dna 정보를 이용한 얼굴 추정 방법, 이를 수행하기 위한 기록 매체 및 장치
CN106547337A (zh) * 2015-09-17 2017-03-29 富泰华工业(深圳)有限公司 使用手势的拍照方法、系统与电子装置
CN105426850B (zh) * 2015-11-23 2021-08-31 深圳市商汤科技有限公司 一种基于人脸识别的关联信息推送设备及方法
US10410045B2 (en) 2016-03-23 2019-09-10 Intel Corporation Automated facial recognition systems and methods
KR20170134256A (ko) * 2016-05-26 2017-12-06 주식회사 시어스랩 얼굴 윤곽 보정 방법 및 장치
US10289900B2 (en) * 2016-09-16 2019-05-14 Interactive Intelligence Group, Inc. System and method for body language analysis
CN107800499A (zh) * 2017-11-09 2018-03-13 周小凤 一种收音机节目播控方法
CN109768840A (zh) * 2017-11-09 2019-05-17 周小凤 收音机节目播控系统
US10558849B2 (en) * 2017-12-11 2020-02-11 Adobe Inc. Depicted skin selection
CN108182624A (zh) * 2017-12-26 2018-06-19 努比亚技术有限公司 商品推荐方法、服务器及计算机可读存储介质
CN108260008A (zh) * 2018-02-11 2018-07-06 北京未来媒体科技股份有限公司 一种视频推荐方法、装置及电子设备
FR3078369B1 (fr) 2018-02-23 2020-03-20 Safran Aircraft Engines Turbomachine comportant un echangeur de chaleur constitue d'au moins une plateforme inter aubes
CN110263599A (zh) * 2018-03-12 2019-09-20 鸿富锦精密工业(武汉)有限公司 信息传送系统及信息传送方法
CN108763423A (zh) * 2018-05-24 2018-11-06 哈工大机器人(合肥)国际创新研究院 一种基于用户照片的玉石推荐方法及装置
CN111079474A (zh) * 2018-10-19 2020-04-28 上海商汤智能科技有限公司 乘客状态分析方法和装置、车辆、电子设备、存储介质
US10885322B2 (en) 2019-01-31 2021-01-05 Huawei Technologies Co., Ltd. Hand-over-face input sensing for interaction with a device having a built-in camera
CN111417017A (zh) * 2020-04-28 2020-07-14 安徽国广数字科技有限公司 基于人体识别的iptv节目推荐方法及系统
CN111782878B (zh) * 2020-07-06 2023-09-19 聚好看科技股份有限公司 服务器、显示设备及其视频搜索排序方法
WO2022060357A1 (en) * 2020-09-16 2022-03-24 Viasat, Inc. Personalized connectivity user-specific content offerings

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8751957B1 (en) * 2000-11-22 2014-06-10 Pace Micro Technology Plc Method and apparatus for obtaining auditory and gestural feedback in a recommendation system
US20020178440A1 (en) * 2001-03-28 2002-11-28 Philips Electronics North America Corp. Method and apparatus for automatically selecting an alternate item based on user behavior
US20020194586A1 (en) * 2001-06-15 2002-12-19 Srinivas Gutta Method and system and article of manufacture for multi-user profile generation
AU2002353289A1 (en) * 2001-12-13 2003-06-23 Koninklijke Philips Electronics N.V. Recommending media content on a media system
US7606790B2 (en) * 2003-03-03 2009-10-20 Digimarc Corporation Integrating and enhancing searching of media content and biometric databases
US20060018522A1 (en) * 2004-06-14 2006-01-26 Fujifilm Software(California), Inc. System and method applying image-based face recognition for online profile browsing
US20070073799A1 (en) * 2005-09-29 2007-03-29 Conopco, Inc., D/B/A Unilever Adaptive user profiling on mobile devices
US20070140532A1 (en) * 2005-12-20 2007-06-21 Goffin Glen P Method and apparatus for providing user profiling based on facial recognition
JP2007207153A (ja) * 2006-02-06 2007-08-16 Sony Corp 通信端末装置、情報提供システム、サーバ装置、情報提供方法および情報提供プログラム
JP4162015B2 (ja) * 2006-05-18 2008-10-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP4539712B2 (ja) * 2007-12-03 2010-09-08 ソニー株式会社 情報処理端末、情報処理方法、およびプログラム
CN103369391B (zh) * 2007-11-21 2016-12-28 高通股份有限公司 基于媒体偏好控制电子设备的方法和系统
CN101482772B (zh) * 2008-01-07 2011-02-09 纬创资通股份有限公司 电子装置及其操作方法
JP4609556B2 (ja) * 2008-08-29 2011-01-12 ソニー株式会社 情報処理装置及び情報処理方法
US9077951B2 (en) * 2009-07-09 2015-07-07 Sony Corporation Television program selection system, recommendation method and recording method
US8428368B2 (en) * 2009-07-31 2013-04-23 Echostar Technologies L.L.C. Systems and methods for hand gesture control of an electronic device

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9720507B2 (en) 2012-12-13 2017-08-01 Intel Corporation Gesture pre-processing of video stream using a markered region
US10146322B2 (en) 2012-12-13 2018-12-04 Intel Corporation Gesture pre-processing of video stream using a markered region
US10261596B2 (en) 2012-12-13 2019-04-16 Intel Corporation Gesture pre-processing of video stream using a markered region
US9104240B2 (en) 2013-01-09 2015-08-11 Intel Corporation Gesture pre-processing of video stream with hold-off period to reduce platform power
CN104050443A (zh) * 2013-03-13 2014-09-17 英特尔公司 使用肤色检测的视频流的姿势预处理
US9292103B2 (en) 2013-03-13 2016-03-22 Intel Corporation Gesture pre-processing of video stream using skintone detection
TWI792035B (zh) * 2019-09-03 2023-02-11 財團法人工業技術研究院 製作產品之材料推薦系統與材料推薦方法
TWI755287B (zh) * 2021-02-24 2022-02-11 國立中興大學 防欺騙之人臉身分驗證系統

Also Published As

Publication number Publication date
CN103098079A (zh) 2013-05-08
EP2697741A4 (en) 2014-10-22
KR20130136574A (ko) 2013-12-12
US20140310271A1 (en) 2014-10-16
JP2014516490A (ja) 2014-07-10
EP2697741A1 (en) 2014-02-19
WO2012139242A1 (en) 2012-10-18

Similar Documents

Publication Publication Date Title
TW201310357A (zh) 個人化節目選擇系統及方法
CN103493068B (zh) 个性化广告选择系统和方法
CN104732413B (zh) 一种智能个性化视频广告推送方法及系统
US10579860B2 (en) Learning model for salient facial region detection
US10019653B2 (en) Method and system for predicting personality traits, capabilities and suggested interactions from images of a person
US10939165B2 (en) Facilitating television based interaction with social networking tools
US20110243461A1 (en) Methods, Systems, and Media for Automatically Classifying Face Images
US20170098122A1 (en) Analysis of image content with associated manipulation of expression presentation
US20150313530A1 (en) Mental state event definition generation
CN106687989A (zh) 使用标志子集内的线性关系进行面部表情识别的方法和系统
US9013591B2 (en) Method and system of determing user engagement and sentiment with learned models and user-facing camera images
CN105979366A (zh) 智能电视及其内容推荐的方法、装置
JP5339631B2 (ja) ディスプレイを有するデジタル写真表示装置、システム及びプログラム
Singla et al. Age and gender detection using Deep Learning
Gowda Age estimation by LS-SVM regression on facial images
Vadathya et al. Development of Family Level Assessment of screen use in the home for television (FLASH-TV)
AU2021100211A4 (en) Predict Gender: Detect Faces and Predict their Gender, Age and Country Using Machine Learning Programming
Miyahara et al. Tagging video contents with positive/negative interest based on user’s facial expression
Russel et al. Masked face recognition with dual-stream LBP–CNN for human identity, age group, and gender classification
En A Deep Learning Approach for Facial Detection in Targeted Billboard Advertising
Sheikh et al. Towards Retrieval of Human Face from Video Database: A novel framework
Cheng et al. Digital interactive kanban advertisement system using face recognition methodology