WO2023140787A2 - 视频的处理方法、装置、电子设备、存储介质和程序产品 - Google Patents

视频的处理方法、装置、电子设备、存储介质和程序产品 Download PDF

Info

Publication number
WO2023140787A2
WO2023140787A2 PCT/SG2023/050024 SG2023050024W WO2023140787A2 WO 2023140787 A2 WO2023140787 A2 WO 2023140787A2 SG 2023050024 W SG2023050024 W SG 2023050024W WO 2023140787 A2 WO2023140787 A2 WO 2023140787A2
Authority
WO
WIPO (PCT)
Prior art keywords
processed
special effect
frame
current
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/SG2023/050024
Other languages
English (en)
French (fr)
Other versions
WO2023140787A3 (zh
Inventor
张璟聪
Nathanael SCHAGER
唐晓程
James Gualtieri
吕阳
黄哲
蔡泽勇
王晶
刘晓雨
罗尼特
MENGJulia
程海鹰
谭钦子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lemon Inc Cayman Island
Original Assignee
Lemon Inc Cayman Island
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lemon Inc Cayman Island filed Critical Lemon Inc Cayman Island
Priority to EP23743590.4A priority Critical patent/EP4456004A4/en
Publication of WO2023140787A2 publication Critical patent/WO2023140787A2/zh
Publication of WO2023140787A3 publication Critical patent/WO2023140787A3/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • an embodiment of the present disclosure provides a method for processing a video, including: acquiring a video to be processed, and identifying a first facial key point of a first target object in the video to be processed, wherein the first facial key point corresponds to a mask key point in a three-dimensional human face mask special effect; adding the three-dimensional human face mask special effect to a frame of the subject to be processed to obtain a target video, wherein the mask key point in the three-dimensional human face mask special effect moves with the corresponding first facial key point.
  • an embodiment of the present disclosure further provides a processing device for a video, including: a video acquisition module configured to acquire a video to be processed, and identify a first facial key point of a first target object in the video to be processed, wherein the first facial key point corresponds to a mask key point in a three-dimensional face mask special effect; a special effect adding module, configured to add the three-dimensional human face mask special effect to a frame of the video to be processed to obtain a target video, wherein the three-dimensional human face The key points of the mask in the mask effect move with the corresponding key points of the first face.
  • an embodiment of the present disclosure also provides an electronic device, including:
  • the embodiments of the present disclosure further provide a computer-readable storage medium, on which a computer program is stored, and when the program is executed by a processor, the processing method described in the embodiments of the present disclosure is implemented.
  • the embodiment of the present disclosure also provides a computer program product, when the computer program product is calculated executed by a computer, so that the computer implements the processing method described in the embodiments of the present disclosure.
  • FIG. 1 is a schematic flow diagram of a method for processing phosphate provided by an embodiment of the present disclosure
  • FIG. 2 is a schematic flow diagram of another method for processing sulfide provided by an embodiment of the present disclosure
  • FIG. 3 is a schematic flow diagram of another method for processing sulfide provided by an embodiment of the present disclosure
  • DETAILED DESCRIPTION OF THE EMBODIMENTS It should be understood that multiple steps described in the method implementations of the present disclosure may be executed in different orders, and/or executed in parallel.
  • method embodiments may include additional steps and/or omit performing illustrated steps.
  • the scope of the present disclosure is not limited in this respect.
  • the term “comprise” and its variants are open-ended, ie “including but not limited to”.
  • the term “based on” is “based at least in part on”.
  • the term “one embodiment” means “at least one embodiment”; the term “another embodiment” means “at least one further embodiment”; the term “some embodiments” means “at least some embodiments”. Relevant definitions of other terms will be given in the description below.
  • Fig. 1 is a schematic flow chart of a processing method of a kind of data provided by an embodiment of the present disclosure.
  • the method can be performed by a processing device of a data source, wherein, the device can be implemented by software and/or hardware, and can be configured in an electronic device, for example, can be configured in a mobile phone or a tablet computer.
  • the processing method of a device provided in an embodiment of the present disclosure is applicable to the scene of adding three-dimensional human face mask special effects to video. Methods can include:
  • the image to be processed may be an image that needs to be processed currently, such as an image that currently needs to be added with a three-dimensional face mask special effect, it may be an image captured by a camera in real time, or an image obtained in advance.
  • the first target object may be a certain shooting object in the video to be processed, such as a person shot in the video to be processed, which may be determined based on the user's selection operation, that is, the receiving object selected by the user may be used as the first target object.
  • the first facial key point can be —
  • the key points of the face of the target object such as the key points of the face of the first target object, may correspond to the key points of the mask in the three-dimensional face mask effect one by one, or correspond to some of the mask key points in the three-dimensional face mask effect.
  • the three-dimensional face mask special effect may be a three-dimensional mask special effect in the shape of a human face or other shapes.
  • the key points of the mask may be the key points in the special effect of the three-dimensional face mask.
  • the video to be processed may be acquired, and the first facial key point corresponding to the mask key point in the pending process may be identified according to the mask key points in the three-dimensional face mask special effect.
  • the video frame collected by the camera can be obtained in real time, and according to the mask key points in the three-dimensional face mask special effect, the facial key points of the first target object in the video frame can be identified as the first facial key points.
  • the corresponding face key points have the same meaning as the mask key points, for example, they may be key points at the same position in the same facial part (such as eyes, mouth or nose, etc.).
  • the designer can directly call the 3D face mask module in the special effect creation tool for use, for example, directly modify the 3D face mask effect to obtain a new 3D face mask effect, such as obtaining a special-shaped 3D face mask effect, etc.; or, further create on the basis of the 3D face mask effect, such as creating special effects for beauty makeup, etc., to obtain corresponding special effects.
  • the pre-set or obtained through the camera to be processed can also be processed in real time through the current special effects, and the processed images can be displayed so that the designer can preview the effect of the special effect, which provides convenience for the designer to create.
  • the key points of the mask in the three-dimensional mask special effect can be controlled to move with the corresponding first facial key point.
  • the moving distance of the key points of the mask may be the same as the moving distance of the corresponding first key points of the face; or the moving distance of the key points of the corresponding first face may be in a set ratio.
  • the mouth in the 3D face mask effect can also be controlled to open at a relatively large angle, or the mouth in the 3D face mask effect can be controlled to open at a relatively small angle, which is not limited in this embodiment.
  • the method for processing objects obtains objects to be processed, and identifies the first object in the objects to be processed
  • the first facial key point of the object wherein the first facial key point corresponds to the mask key point in the three-dimensional human face mask special effect
  • the three-dimensional human face mask special effect is added to the frame of the video to be processed to obtain the target object, wherein the mask key point in the three-dimensional human face mask special effect moves with the corresponding first facial key point.
  • FIG. 2 is a schematic flowchart of another Shan processing method provided by an embodiment of the present disclosure.
  • the solution in this embodiment can be combined with one or more example solutions in the above-mentioned embodiments.
  • adding a three-dimensional face mask special effect to the video frame to be processed includes: for the current frame to be processed in the video frame to be processed, determining the first position data of the first facial key point in the video frame to be processed, and obtaining the first 3D face model corresponding to the frame to be processed; updating the position of the vertices of the patch in the first 3D face model according to the first position data, and obtaining a second 3D face model corresponding to the video frame to be processed; texture rendering to obtain the current 3D face mask special effect; adding the current 3D face mask special effect to the current video frame to be processed to obtain the current target frame.
  • the processing method provided by this embodiment may include:
  • the current frame to be processed may be a frame to be processed currently among the frames to be processed, such as a frame currently collected by a camera or a video frame currently being played or processed.
  • the first position data may be the position data of the first facial key point in the current weight frame to be processed, such as the position data of the first facial key point in the face of the first target object.
  • the first 3D face model may be a 3D face model used to generate 3D face mask special effects, which may be a 3D face model whose vertices of the patch have not been adjusted according to the first position data, such as an initially obtained 3D face model or a 3D face model obtained based on the adjustment of the first facial key points in the previous frame to be processed, etc., that is, this embodiment may perform different adjustments on the basis of the initially obtained 3D face model to obtain a 3D face model for generating 3D face mask special effects added in different video frames;
  • the adjusted 3D face model of the frame to be processed is adjusted to obtain a 3D face model used to generate the 3D face mask special effect added to the current video frame to be processed.
  • the following takes this case as an example for illustration.
  • the 3D face model may be a 3D face grid.
  • the first position data of the first facial key point in the face of the first target object presented in the current video frame to be processed is obtained, and the first three-dimensional face grid corresponding to the current video frame to be processed is obtained.
  • the 3D face model used when adding the 3D face mask special effect in the frequency frame is used as the _th 3D face model corresponding to the current frame to be processed; when the current frame to be processed is the first frame to be processed, the initially obtained 3D face model is obtained as the first 3D face model corresponding to the current frame to be processed.
  • the initially obtained 3D face model may be the original 3D face model created or imported by the user; it may also be the target 3D face model obtained after certain processing on the original 3D face model, which is not limited in this embodiment.
  • the method before the acquisition of the subject to be processed, the method further includes: acquiring an original 3D face model and non-renderable part information, wherein the non-renderable part information is information of a non-renderable part in the original 3D face model; according to the non-renderable part information, deleting a patch corresponding to the non-renderable part in the original 3D face model to obtain a target 3D face model; using the target 3D face model as the first 3D face model corresponding to the first frame frame in the video to be processed.
  • the original 3D face model may be a 3D face model created or imported by the user or a 3D face model preset in the client, and the 3D face model may include all parts of the face.
  • the non-renderable part information may be the identification information of the non-renderable part, and the non-renderable part may be determined based on the user's selection operation. For example, the user may select a part in the 3D face model that he does not want to be presented in the 3D face mask special effect as a non-renderable part, such as eyes and/or mouth.
  • the target 3D face model may be a 3D face model that only includes parts that need to be rendered.
  • a default 3D face model can be created first as the original 3D face model; or based on the user's model import operation, the model imported by the user is obtained, and whether the model is judged to be a 3D face model, and when it is determined that the model imported by the user is a 3D face model, the model imported by the user is used as the 3D face model. Then obtain the non-renderable part information set by the user, determine the non-renderable part according to the non-renderable part information, and delete the patch corresponding to the non-renderable part in the original 3D face model to obtain the target 3D face model.
  • the target 3D face model can be used as the first 3D face model corresponding to the first frame to be processed among the frames to be processed.
  • the method of judging whether the model imported by the user is a 3D face model can be flexibly set, for example, it can be determined whether the model imported by the user is a 3D face model based on whether the number of mesh vertices included in the model matches the number of mesh vertices of the 3D face model.
  • the number of facet vertices of the three-dimensional face model may be 1220 or the like.
  • the corresponding face pieces in the original 3D face model can be deleted according to the non-renderable part information, so that when the user adds a 3D face mask effect to the video, the face parts included in the 3D face mask effect can be set as required to meet the different needs of the user.
  • the vertices of the patch in the three-dimensional face model can be understood as the vertices of the patch in the three-dimensional face model, which can correspond to the key points of the mask in the special effect of the three-dimensional face mask, that is, the key points of the first face can be in one-to-one correspondence with the vertices of the patch in the first three-dimensional face model.
  • the second three-dimensional face model may be a three-dimensional face model obtained after adjusting the positions of vertices of the mesh.
  • the position of the corresponding patch vertex in the first 3D face model corresponding to the current pending video frame can be adjusted.
  • the patch vertex in the first 3D face model can be adjusted to have the same relative position as the first facial key point in the face of the first target object, so as to obtain the second 3D face model corresponding to the current pending frame.
  • texture rendering can be performed on the second 3D face model to obtain the current 3D face mask special effect.
  • texture information to be rendered corresponding to the current frame to be processed can be obtained, and texture rendering is performed on the second 3D face model according to the texture information to be rendered to obtain the current 3D face mask special effect.
  • the current 3D face mask effect may be a 3D face mask effect added to the current frame to be processed.
  • the current three-dimensional face mask special effect can be added to the current frame to be processed, for example, the current 3D face mask effect is added to the preset special effect display position of the current video frame to be processed, or the current 3D face mask effect is added to the facial position of an object displayed in the current frame to obtain the current target video frame with the current 3D face mask effect added, and the preview of the current pending video frame after adding the 3D face mask effect can be further displayed effect.
  • the target video with the special effect of the three-dimensional face mask added can be generated according to the multiple target frames.
  • the processing method provided in this embodiment adjusts the position of the vertices of the face in the 3D face model according to the position data of the first facial key point in the current video frame to be processed, and renders the 3D face mask special effect according to the adjusted 3D face model, and adds it to the current frame to be processed, and can add to the current frame to be processed a 3D face mask special effect that presents the same facial movements as the person photographed, avoiding the situation of adding the same 3D face mask special effect to multiple frames to meet the needs of users , and enhance the user's viewing experience of the video after adding three-dimensional face mask special effects.
  • FIG. 3 is a schematic flowchart of another Shan processing method provided by an embodiment of the present disclosure.
  • the solution in this embodiment can be combined with one or more example solutions in the above-mentioned embodiments.
  • the adding the current three-dimensional face mask special effect to the current pending frame to obtain the current target frame includes: determining a preset special effect display position corresponding to the current pending frame; adding the current three-dimensional face mask special effect to the preset special effect display position of the current pending frame to obtain the current target frame.
  • the adding the current three-dimensional face mask special effect to the current pending video frame to obtain the current target frame includes: identifying the second facial key point of the second target object in the current pending processing frame; determining the current special effect display position according to the position of the second facial key point in the current pending processing frame; adding the current three-dimensional human face mask special effect to the current special effect display position of the current pending processing frame to obtain the current target video frame.
  • performing texture rendering on the second 3D face model includes: acquiring texture information to be rendered of the second 3D face model; performing texture rendering on the second 3D face model according to the texture information to be rendered.
  • the processing method provided by this embodiment may include:
  • the preset texture information may be obtained as the texture information to be rendered of the second 3D face model; the texture information of the material selected by the user may also be obtained, or the texture information presented in the current video frame to be processed, such as the texture information of the corresponding character presented in the current frame to be processed, may be obtained as the texture information to be rendered of the second 3D face model.
  • the texture information to be rendered may be determined based on the material to be rendered preset by the user or developer.
  • the acquiring the texture information to be rendered of the second 3D face model may include: determining the material to be rendered corresponding to the current body to be processed, and acquiring the texture information of the material to be rendered as the texture information to be rendered of the second 3D face model.
  • the developer can preset the material to be rendered; or, the user can preset the material to be rendered corresponding to the video to be processed, or, the user can preset the material to be rendered corresponding to different video frames in the video to be processed.
  • the material to be rendered corresponding to the video frame to be processed can be determined, and the texture information of the material to be rendered can be obtained as the texture information to be rendered of the second 3D face model corresponding to the current frame to be processed.
  • the texture information to be rendered may be determined based on the texture of the corresponding object captured in the current frame to be processed.
  • the acquiring the texture information to be rendered of the second 3D face model may include: identifying a third target object in the current frame to be processed, and acquiring the facial texture information of the third target object as the texture information to be rendered of the second 3D face model.
  • the third target object may be a certain shooting object in the current frame to be processed, such as a person photographed in the current frame to be processed, which may be determined based on the user's selection operation, that is, the texture source object selected by the user may be used as the third target object.
  • the third object may be the same as or different from the first target object, that is, in this embodiment, a 3D face mask special effect may be generated according to the facial key points and facial texture of the same object in the video to be processed, so that the 3D face mask special effect presents the same facial movements and the same facial texture as the object; the 3D face mask special effect may also be generated according to the facial key points of an object and the facial texture of another object in the video to be processed.
  • the three-dimensional face mask can present the effect that the other object presents the facial movements of the previous object, further improving the interest of the iWi video.
  • the user may pre-select an object in the pending process as the third target object corresponding to the frame of the video to be processed, or pre-set the third target object corresponding to a different video frame in the pending process. Therefore, when processing the current video frame to be processed, the third target object in the current video frame to be processed can be identified, and the facial texture information of the third target object can be extracted as the texture information to be rendered of the second 3D face model corresponding to the current pending video frame.
  • the acquiring the facial texture information of the third target object includes: respectively determining coordinate information corresponding to a plurality of patch vertices in the second three-dimensional face model in the facial texture map; performing face sampling on the third target object according to the coordinate information to obtain facial sampling data of the third target object; generating facial texture information of the third target object according to the facial sampling data.
  • the facial texture information of the third target object it is possible to determine the coordinate information corresponding to the patch vertices in the second three-dimensional face model in the facial texture map, that is, to determine the UV coordinates corresponding to the patch vertices in the second three-dimensional face model in the frame to be processed; according to the coordinate information, the color information of the face of the third target object presented in the current frame to be processed is sampled to obtain the face sampling data of the third target object; thereby further processing the face sample data, such as smoothing multiple sampled data, etc., to obtain the third target The object's facial texture information.
  • the texture rendering method for the second 3D face model can be set as required.
  • the corresponding UV coordinates in the facial texture map can be calculated according to the patch vertices in the second 3D face model, and the facial texture map is rendered according to the UV coordinates and the obtained texture information to be rendered to obtain the corresponding facial texture map of the second 3D face model, and the second 3D face model is rendered based on the facial texture map to obtain the special effect of the current 3D face mask.
  • performing texture rendering on the second 3D face model according to the texture information to be rendered includes: generating a facial texture map according to the texture information to be rendered; rendering the second 3D face model based on the facial texture map.
  • a three-dimensional face mask special effect may be displayed at a preset special effect display position.
  • the preset special effect display position can be the position preset by the developer for displaying the three-dimensional face mask special effect; it can also be the position where the user drags the three-dimensional face mask special effect, that is, the user can change the display position of the three-dimensional face mask special effect in the post-processing frame by dragging the currently displayed three-dimensional face mask special effect.
  • the display position set by the user or developer may be obtained as the preset special effect display position corresponding to the current pending frame, and the generated current 3D face mask special effect is added to the preset special effect display position of the current pending video frame to obtain the current target frame corresponding to the current pending frame.
  • the three-dimensional face mask special effect can also be displayed at the display position of the corresponding object photographed in the pending process, that is, the three-dimensional facial mask special effect can be controlled to move with the corresponding object photographed in the pending process, thereby creating a visual effect that the subject photographed in the pending process wears a three-dimensional face mask.
  • the second target object may be a certain object in the video frame to be processed currently, such as a person captured in the frame to be processed currently, which may be determined based on the user's selection operation, that is, the texture source object selected by the user may be used as the third target object.
  • the second object may be the same as or different from the first target object.
  • a 3D face mask effect may be generated according to the facial key points of the same object to be processed, and the 3D face mask effect may be controlled to move with the object;
  • a 3D face mask effect may also be generated according to the facial key points of an object in the video to be processed, and the 3D face mask effect may be controlled to move with another object in the video to be processed, which is not limited in this embodiment.
  • the second facial key point may be the facial key point of the second target object, which may correspond to the mask key point in the three-dimensional face mask special effect.
  • the second target object in the current frame to be processed may be determined, and the key points of the face of the second target object presented in the current frame to be processed may be identified as the second facial key points.
  • the position of the second facial key point in the current pending frame can be further determined, and according to the position of the second facial key point in the current pending frame, determine the display position of the 3D face mask special effect in the current pending frame (ie, the current special effect display position), for example, according to the position of the second facial key point in the current pending frame, and the 3D face mask special effect Select the position where the maximum number of mask key points in the three-dimensional face mask special effect can coincide with the corresponding second facial key point as the current special effect display position; or select the position where the mask key point in the three-dimensional face mask special effect and its corresponding second facial key point has the smallest variance as the current special effect display position, and so on.
  • the generated current three-dimensional face mask special effect may be added to the current special effect display position of the current frame to be processed to obtain the current target frame corresponding to the current frame to be processed.
  • the processing method provided in this embodiment can use different texture rendering to obtain the special effects of the three-dimensional face mask, and display the special effects of the three-dimensional face mask at different positions, thereby further improving the visual effect of the special effect of the three-dimensional face mask and the interest of the viewing screen, satisfying different needs of users, and improving user experience.
  • FIG. 4 is a structural block diagram of a Shan processing device provided by an embodiment of the present disclosure.
  • the device can be implemented by software and/or hardware, and can be configured in electronic equipment, for example, can be configured in a mobile phone or a tablet computer, and can process the video by executing the processing method. As shown in FIG.
  • the processing device may include: a video acquisition module 401 and a special effect adding module 402, wherein the video acquisition module 401 is configured to acquire a video to be processed, and identify the first facial key points of a first target object in the video to be processed, wherein the first facial key points correspond to mask key points in a special effect of a three-dimensional human face mask; a special effect adding module 402 is configured to add the three-dimensional human face mask to a frame of the video to be processed special effects to obtain the target video, wherein the key points of the mask in the special effect of the three-dimensional face mask move with the corresponding first facial key points.
  • the processing device acquires the video to be processed through the acquisition module, and acquires the first facial key point of the first target object in the video to be processed, wherein the first facial key point corresponds to the mask key point in the three-dimensional face mask special effect;
  • the special effect adding module adds the three-dimensional face mask special effect to the frame to be processed to obtain the target video, wherein the mask key point in the three-dimensional human face mask special effect moves with the corresponding first facial key point.
  • the special effect adding module 402 may include: a model acquisition unit configured to determine the first position data of the first facial key point in the current pending video frame in the pending processing frame, and obtain a first 3D face model corresponding to the current pending video frame; a position updating unit configured to update the position of the patch vertices in the first 3D face model according to the first position data, and obtain a second 3D face model corresponding to the current pending frame;
  • the image rendering unit is configured to perform texture rendering on the second 3D face model to obtain a current 3D face mask special effect;
  • the special effect adding unit is configured to add the current 3D face mask special effect to the current frame to be processed to obtain a current target frame.
  • the special effect adding unit may include: a preset position determination subunit configured to determine a preset special effect display position corresponding to the current frame to be processed; a first special effect adding subunit configured to add the current three-dimensional face mask special effect to the preset special effect display position of the current frame to be processed to obtain a current target frame.
  • the special effect adding unit may include: a key point recognition subunit configured to recognize a second facial key point of a second target object in the current pending frame; a current position determination subunit configured to determine a current special effect display position according to a position of the second facial key point in the current pending video frame; a second special effect adding subunit configured to add the current three-dimensional face mask special effect to the current special effect display position of the current pending frame to obtain the current target frame.
  • the texture rendering unit may include: a texture acquisition subunit configured to acquire texture information to be rendered of the second 3D face model; a texture rendering subunit configured to perform texture rendering on the second 3D face model according to the texture information to be rendered.
  • the texture obtaining subunit may be configured to: determine the material to be rendered corresponding to the current object to be processed, and obtain texture information of the material to be rendered as the texture information to be rendered of the 2D face model.
  • the texture acquiring subunit may be configured to: identify a third target object in the current frame to be processed, and acquire facial texture information of the third target object as texture information to be rendered of the second 3D face model.
  • the texture acquisition subunit may be configured to: respectively determine coordinate information corresponding to a plurality of patch vertices in the second three-dimensional face model in the facial texture map; perform face sampling on the third target object according to the coordinate information, and obtain facial sampling data of the third target object; generate facial texture information of the third target object according to the facial sampling data.
  • the texture rendering subunit may be configured to: generate a facial texture map according to the texture information to be rendered; render the second 3D human face model based on the facial texture map.
  • the video processing device may further include: an information acquisition module, configured to acquire an original 3D face model and non-renderable part information before the acquisition to be processed, wherein the non-renderable part information is information of a non-renderable part in the original 3D face model; a patch deletion module, configured to delete a patch corresponding to the non-renderable part in the original 3D face model according to the non-renderable part information, to obtain a target 3D face model; a model determination module, configured to obtain the target 3D face model The face model is used as the first three-dimensional face model corresponding to the first frame frame in the video to be processed.
  • the Shan processing device provided in the embodiments of the present disclosure can execute the Shan processing method provided in any embodiment of the present disclosure, and has corresponding functional modules and beneficial effects for executing the Shan processing method.
  • FIG. 5 shows a schematic structural diagram of an electronic device (such as a terminal device) 500 suitable for implementing an embodiment of the present disclosure.
  • the terminal devices in the embodiments of the present disclosure may include, but are not limited to, mobile terminals such as mobile phones, notebook computers, digital broadcast receivers, PDAs (Personal Digital Assistants), PADs (Tablet Computers), PMPs (Portable Multimedia Players), vehicle-mounted terminals (such as vehicle-mounted navigation terminals), and fixed terminals such as digital TVs and desktop computers.
  • mobile terminals such as mobile phones, notebook computers, digital broadcast receivers, PDAs (Personal Digital Assistants), PADs (Tablet Computers), PMPs (Portable Multimedia Players), vehicle-mounted terminals (such as vehicle-mounted navigation terminals), and fixed terminals such as digital TVs and desktop computers.
  • PDAs Personal Digital Assistants
  • PADs Tablet Computers
  • PMPs Portable Multimedia Players
  • vehicle-mounted terminals such as vehicle-mounted navigation terminals
  • fixed terminals such as digital TVs and desktop computers.
  • an electronic device 500 may include a processing device (such as a central processing unit, a graphics processing unit, etc.) 501, which may execute various appropriate actions and processes according to a program stored in a read-only memory (ROM) 502 or a program loaded from a storage device 508 into a random access memory (RAM) 503. In the RAM 503, various programs and data necessary for the operation of the electronic device 500 are also stored.
  • the processing device 501 , ROM 502 and RAM 503 are connected to each other through a bus 504 .
  • An input-output (I/O) interface 505 is also connected to the bus 504 .
  • an input device 506 including a touch screen, a touchpad, a keyboard, a mouse, a camera, a microphone, an accelerometer, a gyroscope, etc.
  • an output device 507 including a liquid crystal display (LCD), a speaker, a vibrator, etc.
  • a storage device 508 including a magnetic tape, a hard disk, etc.
  • a communication device 509 may allow the electronic device 500 to perform wireless or wired communication with other devices to exchange data. While FIG. 5 shows electronic device 500 having various means, it should be understood that implementing or possessing all of the means shown is not a requirement. More or fewer means may alternatively be implemented or provided.
  • the processes described above with reference to the flowcharts may be implemented as computer software programs.
  • the embodiments of the present disclosure include a computer program product, which includes a computer program carried on a non-transitory computer readable medium, where the computer program includes program codes for executing the methods shown in the flowcharts.
  • the computer program may be downloaded and installed from a network via communication means 509 , or from storage means 508 , or from ROM 502 .
  • the processing device 501 the above-mentioned functions defined in the methods of the embodiments of the present disclosure are executed.
  • the computer-readable medium mentioned above in the present disclosure may be a computer-readable signal medium or a computer-readable storage medium, or any combination of the above two.
  • a computer-readable storage medium may be, for example, but not limited to, an electrical, magnetic, optical, electromagnetic, infrared, or semiconductor system, device, or device, or any combination thereof.
  • Computer-readable storage media may include, but are not limited to: an electrical connection with one or more wires, a portable computer disk, a hard disk, a random access memory (RAM), a read-only memory (ROM), an erasable programmable read-only memory (EPROM or flash memory), an optical fiber, a portable compact disk read-only memory (CD-ROM), an optical storage device, a magnetic storage device, or any suitable combination of the foregoing.
  • a computer-readable storage medium may be any tangible medium containing or storing a program, and the program may be used by or in combination with an instruction execution system, device, or device.
  • a computer-readable signal medium may include a data signal propagated in a baseband or as part of a carrier wave, in which computer-readable program codes are carried.
  • the propagated data signal may take various forms, including but not limited to electromagnetic signal, optical signal, or any suitable combination of the above.
  • the computer-readable signal medium may also be any computer-readable medium other than the computer-readable storage medium, and the computer-readable signal medium may send, propagate or transmit a program for use by or in combination with an instruction execution system, apparatus or device.
  • the program code contained on the computer readable medium can be transmitted by any appropriate medium, including but not limited to: electric wire, optical cable, RF (radio frequency), etc., or any suitable combination of the above.
  • the client and the server can communicate using any currently known or future developed network protocol such as HTTP (HyperText Transfer Protocol, hypertext transfer protocol), and can be interconnected with any form or medium of digital data communication (for example, a communication network).
  • Examples of communication networks include local area networks ("LANs”), wide area networks ("WANs”), Internets (eg, the Internet), and peer-to-peer networks (eg, ad hoc peer-to-peer networks), as well as any currently known or future developed networks.
  • LANs local area networks
  • WANs wide area networks
  • Internets eg, the Internet
  • peer-to-peer networks eg, ad hoc peer-to-peer networks
  • the above-mentioned computer-readable medium may be contained in the above-mentioned electronic device; it may also exist independently without being assembled into the electronic device.
  • the above-mentioned computer-readable medium carries one or more programs, and when the above-mentioned one or more programs are executed by the electronic device, the electronic device: acquires a video to be processed, and recognizes a first facial key point of a first target object in the to-be-processed object, wherein the first facial key point corresponds to a mask key point in a three-dimensional human face mask special effect;
  • the three-dimensional face mask special effect is added to the frame of the subject to be processed to obtain the target frame, wherein the key points of the mask in the three-dimensional face mask special effect move along with the corresponding first facial key point.
  • Computer program code for carrying out operations of the present disclosure may be written in one or more programming languages, or combinations thereof, including but not limited to object-oriented programming languages such as Java, Smalltalk, C++, and conventional procedural programming languages such as the "C" language or similar programming languages.
  • the program code may execute entirely on the user's computer, partly on the user's computer, as a stand-alone software package, partly on the user's computer and partly on a remote computer or entirely on the remote computer or server.
  • the remote computer can be connected to the user computer through any kind of network, including a local area network (LAN) or a wide area network (WAN), or it can be connected to an external computer (such as through the Internet using an Internet service provider).
  • LAN local area network
  • WAN wide area network
  • Internet service provider such as AT&T, MCI, Sprint, EarthLink, MSN, GTE, etc.
  • each block in the flowchart or block diagram may represent a module, program segment, or part of code that includes one or more executable instructions for implementing specified logical functions.
  • the functions noted in the block may occur out of the order noted in the figures. For example, two blocks shown in succession may, in fact, be executed substantially concurrently, or they may sometimes be executed in the reverse order, depending upon the functionality involved.
  • each block of the block diagrams and/or flowchart illustrations, and combinations of blocks in the block diagrams and/or flowchart illustrations can be implemented by special purpose hardware-based systems that perform the specified functions or operations, or by a combination of special purpose hardware and computer instructions.
  • the units involved in the embodiments described in the present disclosure may be implemented by means of software or by means of hardware. Wherein, the name of the module does not constitute a limitation of the unit itself under certain circumstances.
  • the functions described herein above may be performed at least in part by one or more hardware logic components.
  • exemplary types of hardware logic components include: field programmable gate array (FPGA), application specific integrated circuit (ASIC), application specific standard product (ASSP), system on chip (SOC), complex programmable logic device (CPLD), and the like.
  • FPGA field programmable gate array
  • ASIC application specific integrated circuit
  • ASSP application specific standard product
  • SOC system on chip
  • CPLD complex programmable logic device
  • a machine-readable medium may be a tangible medium, which may contain or store a program for use by or in combination with an instruction execution system, device, or device.
  • a machine-readable medium may be a machine-readable signal medium or a machine-readable storage medium.
  • a machine-readable medium may include, but is not limited to, an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, device, or device, or any suitable combination of the foregoing.
  • a machine-readable storage medium would include one or more wire-based electrical connections, a portable computer disk, a hard disk, random access memory (RAM), read only memory (ROM), erasable programmable read only memory (EPROM or flash memory), optical fiber, compact disk read only memory (CD-ROM), optical storage, magnetic storage, or any suitable combination of the foregoing.
  • RAM random access memory
  • ROM read only memory
  • EPROM or flash memory erasable programmable read only memory
  • CD-ROM compact disk read only memory
  • magnetic storage or any suitable combination of the foregoing.
  • Example 1 provides a processing method of a shank, including: acquiring a video to be processed, and identifying a first facial key point of a first target object in the video to be processed, wherein, The first facial key point corresponds to the mask key point in the three-dimensional face mask special effect; the three-dimensional face mask special effect is added to the frame to be processed to obtain the target video, wherein the mask key point in the three-dimensional human face mask special effect moves with the corresponding first facial key point.
  • Example 2 according to the method described in Example 1, the adding a three-dimensional face mask special effect in the video frame to be processed includes: for the current video frame to be processed in the video frame to be processed, determine the first position data of the key point of the face in the frame to be processed, and obtain the first 3D face model corresponding to the frame to be processed; A second 3D face model corresponding to the frame; performing texture rendering on the second 3D face model to obtain a current 3D face mask special effect; adding the current 3D face mask special effect to the current pending frame to obtain a current target frame.
  • the adding the current three-dimensional face mask special effect to the current pending frame to obtain the current target frame includes: determining a preset special effect display position corresponding to the current pending frame; adding the current three-dimensional human face mask special effect to the preset special effect display position of the current pending frame to obtain the current target frame.
  • Example 4 according to the method described in Example 2, the adding the current three-dimensional face mask special effect to the current pending frame to obtain the current target frame includes: identifying a second facial key point of a second target object in the current pending frame; determining a current special effect display position according to the position of the second facial key point in the current pending frame; adding the current three-dimensional human face mask special effect to the current special effect display position of the current pending frame , get the current target frame.
  • Example 5 According to the method described in Example 2, the performing texture rendering on the second 3D face model includes: acquiring texture information to be rendered of the second 3D face model; performing texture rendering on the second 3D face model according to the texture information to be rendered.
  • Example 6 According to the method described in Example 5, the acquiring the texture information to be rendered of the second 3D face model includes: determining the material to be rendered corresponding to the current frame to be processed, and acquiring the texture information of the material to be rendered as the texture information to be rendered of the second 3D face model.
  • Example 7 is according to the method described in Example 5, the acquiring the texture information to be rendered of the second 3D face model includes: identifying a third target object in the current frame to be processed, and acquiring the facial texture information of the third target object as the texture information to be rendered of the second 3D face model.
  • Example 8 is based on the method described in Example 7, and the acquiring the facial texture information of the third target object includes: respectively determining coordinate information corresponding to a plurality of patch vertices in the second three-dimensional face model in the facial texture map; performing face sampling on the third target object according to the coordinate information to obtain facial sampling data of the third target object; generating facial texture information of the third target object according to the facial sampling data.
  • the performing texture rendering on the second 3D face model according to the texture information to be rendered includes: generating a facial texture map according to the texture information to be rendered; rendering the second 3D face model based on the facial texture map.
  • Example 10 according to the method described in any one of Examples 2-8, before the acquisition of the to-be-processed part, further includes: acquiring an original 3D face model and non-renderable part information, wherein the non-renderable part information is information of a non-renderable part in the original 3D face model; according to the non-renderable part information, deleting a patch corresponding to the non-renderable part in the original 3D face model to obtain a target 3D face model; The first shan frame of the first frame corresponds to the first 3D face model.
  • Example 11 provides a processing device for a video, including: a video acquisition module configured to acquire a video to be processed, and identify a first face key point of a first target object in the video to be processed, wherein the first facial key point corresponds to a mask key point in a three-dimensional human face mask special effect; a special effect adding module, configured to add the three-dimensional human face mask special effect to a frame of the video to be processed to obtain a target video, wherein the three-dimensional human face The mask key in the mask effect moves with the corresponding first face key.
  • Example 12 provides an electronic device, including:
  • Example 13 provides a computer-readable storage medium, on which a computer program is stored. When the program is executed by a processor, the video processing method described in any one of Examples 1-10 is implemented. According to one or more embodiments of the present disclosure, Example 14 provides a computer program product. When the computer program product is executed by a computer, the computer implements the processing method described in any one of Examples 1-10.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)

Abstract

说明书摘要本公开实施例提供了一种视频的处理方法、装置、电子设备、存储介质和程序产品。该方法包括：获取待处理视频，并识别所述待处理视频中的第一目标对象的第一面部关键点，其中，所述第一面部关键点与三维人脸面具特效中的面具关键点对应；在所述待处理视频的视频帧中添加所述三维人脸面具特效，以得到目标视频，其中，所述三维人脸面具特效中的面具关键点随对应的第一面部关键点进行移动。

Description

视颇的处理方法、 装置、 电子设备、 存储介质和程序产品 本 申请要求在 2022年 1月 24日提交中国专利局、 申请号为 202210077967.4的中国专利 申请的优先权， 该申请的全部内容通过引用结合在本申请中。 技术领域 本公开实施例涉及计算机 技术领域， 例如涉及一种视频的处理方法、 装置、 电子设备、 存储介质和程序产品。 背景技术 目前， 可以在视颇中添加面部特效。 然而， 相关技术中的面部特效一般仅能根据姗中 人脸的移动进行整体的移动， 呈现方式较为单一， 导致用户体验不佳。 发明内容 本公开实施例提供一种视频 的处理方法、 装置、 电子设备、 存储介质和程序产品， 以丰 富面部特效的展现方式。 第一方面 ， 本公开实施例提供了一种姗的处理方法， 包括： 获取待处理视频 ， 并识别所述待处理视频中的第一目标对象的第一面部关键点， 其中， 所述第一面部关键点与三维人脸面具特效中的面具关键点对应； 在所述待处理姗 的姗 帧中添加所述三维人脸面具特效， 以得到目标视颇， 其中， 所 述三维人脸面具特效中的面具关键点随对应的第一面部关键点进行移动。 第二方面 ， 本公开实施例还提供了一种姗的处理装置， 包括： 视频获取模块 ， 设置为获取待处理视颇， 并识别所述待处理姗中的第一目标对象的第 — 面部关键点， 其中， 所述第一面部关键点与三维人脸面具特效中的面具关键点对应； 特效添加模块 ， 设置为在所述待处理视频的姗帧中添加所述三维人脸面具特效 ， 以得 到目标视颇， 其中， 所述三维人脸面具特效中的面具关键点随对应的第一面部关键点进行移 动。 第三方面 ， 本公开实施例还提供了一种电子设备， 包括：
— 个或多个处理器； 存储器 ， 设置为存储一个或多个程序， 当所述一个或 多个程序被所述一个或多个处理器执行 , 使得所述一个或多个处理器实现 如本公开实施例所述的姗 的处理方法。 第 四方面， 本公开实施例还提供了一种计算机可读存储介质， 其上存储有计算机程序， 该程序被处理器执行时实现如本公开实施例所述的姗 的处理方法。 第五方面 ， 本公开实施例还提供了一种计算机程序产品， 当所述计算机程序产品被计算 机执行， 使得所述计算机实现如本公开实施例所述的姗 的处理方法。 附图说明 贯穿附图 中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的， 原件和元素不 F 安照比例绘制。 图 1为本公开实施例提供的一种姗 的处理方法的流程示意图； 图 2为本公开实施例提供的另一种姗 的处理方法的流程示意图； 图 3为本公开实施例提供的又一种姗 的处理方法的流程示意图； 图 4为本公开实施例提供的一种姗 的处理装置的结构框图； 图 5为本公开实施例提供的一种电子设备的结构示意图。 具体实施方式 应当理解 ， 本公开的方法实施方式中记载的多个步骤可以按照不同的顺序执行， 和 /或并 行执行。 此外， 方法实施方式可以包括附加的步骤和 /或省略执行示出的步骤。 本公开的范围 在此方面不受限制。 本文使用的术语 “包括 ”及其变形是开放性包括， 即 “包括但不限于”。 术语 “基于 ”是 “至少 部分地基于”。术语 “一个实施例 ”表示 “至少一个实施例”；术语 “另一实施例 ”表示 “至少一个另 外的实施例”； 术语 “一些实施例 ”表示 “至少一些实施例”。 其他术语的相关定义将在下文描述 中给出。 需要注意 ，本公开中提及的 “第一 ”、 “第二 ”等概念仅用于对不同的装置、模块或单元进行 区分， 并非用于限定这些装置、 模块或单元所执行的功能的 ”页序或者相互依存关系。 需要注意 ，本公开中提及的 “一个”、 “多个 ”的修饰是示意性而非限制性的，本领域技术人 员应当理解， 除非正 t下文另有明确指出， 否则应该理解为“一个或多个”。 本公开实施方式 中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的， 而并不是用于对这些消息或信息的范围进行限制。 图 1为本公开实施例提供的一种姗 的处理方法的流程示意图。 该方法可以由姗 的处 理装置执行， 其中， 该装置可以由软件和 /或硬件实现， 可配置于电子设备中， 例如， 可以配 置在手机或平板电脑中。 本公开实施例提供的姗 的处理方法适用于向视颇中添加三维人脸 面具特效的场景。 如图 1所示， 本实施例提供的姗的处理方法可以包括：
S101、 获取待处理视颇， 并识别所述待处理视频中的第一目标对象的第一面部关键点， 其中， 所述第一面部关键点与三维人脸面具特效中的面具关键点对应。 其 中， 待处理姗可以为当前需要进行处理的姗 ， 如当前需要添加三维人脸面具特效 的姗 ， 其可以为摄像头实时拍摄的姗 ； 也可以为预先拍摄得到的姗。 第一目标对象可 以为待处理视频中的某一拍摄对象， 如待处理姗 中拍摄的某一人物等， 其可以基于用户的 选取操作确定， 即可以将用户选取的接收对象作为第一目标对象。 第一面部关键点可以为第 — 目标对象的面部关键点， 如第一目标对象的人脸中的关键点， 其可以与三维人脸面具特效 中的面具关键点一一对应， 或者， 与三维人脸面具特效中的部分面具关键点对应。 三维人脸 面具特效可以为人脸形状或其他形状的三维面具特效。 面具关键点可以为该三维人脸面具特 效中的关键点。 例如 ， 可以获取待处理视频， 并根据三维人脸面具特效中的面具关键点识别面具关键点 在待处理姗 中对应的第一面部关键点。 例如， 当对摄像头实时拍摄的姗进行处理时， 可 以实时获取摄像头采集的姗 帧， 并根据三维人脸面具特效中的面具关键点， 识别该第一目 标对象在该视频帧中的面部关键点， 作为第一面部关键点。 在此， 相互对应的面部关键点与 面具关键点具有相同的含义， 如其可以为位于同一面部部位 （如眼睛、 嘴巴或鼻子等） 的同 — 位置的关键点。
S102、 在所述待处理姗的姗 帧中添加所述三维人脸面具特效 ， 以得到目标视颇， 其 中， 所述三维人脸面具特效中的面具关键点随对应的第一面部关键点进行移动。 在本实施例 中， 可以在视频中添加面具关键点随姗中所拍摄的人物的面部关键点的移 动而移动的三维人脸面具特效， 从而呈现出面具随人物同时执行面部动作的视觉效果， 增加 视颇画面的趣味性。 而且 ， 本实施例除可以将三维人脸面具特效作为姗处理特蛔 行使用之外， 还可以将 三维人脸面具特效 i寸装为特效创作工具中的一个模块， 如三维人脸面具模块。 从而， 设计师 可以直接在特效创作工具中调用该三维人脸面具模块进行使用 , 例如可以直接对该三维人脸 面具特效进行修改得到一个新的三维人脸面具特效， 如得到异形的三维人脸面具特效等； 或 者， 在该三维人脸面具特效的基础上进一步进行创作， 如进行美妆特效创作等， 得到相应的 特效。 并且， 在设计过程中， 还可以通过当前的特效实时对预先设置的或通过摄像头拍摄得 到的待处理视晒 亍处理， 并展示处理得到的岫 以使得设计师能够对特效的效果进行预 览， 为设计师进行创作提供便利。 例如 ， 可以控制三维面具特效中的面具关键点随其对应的第一面部关键点进行移动， 如 针对每一待处理姗 帧， 根据该待处理姗 帧中第一目标对象的一个、 多个或所有具有对应 的面具关键点的第一面部关键点在第一目标对象的面部的位置， 调整相应面具关键点在三维 人脸面具特效中的位置， 得到与该视频帧对应的三维人脸面具特效， 并将该三维人脸面具特 效添加至该待处理姗 帧中。 在本实施例 中， 在控制三维面具特效中的面具关键点随其对应的第一面部关键点进行移 动时， 面具关键点移动的距离可以与其对应的第一面部关键点移动的距离相同； 也可以与其 对应的第一面部关键点移动的距离呈设定的比例。 以张嘴动作为例， 当第一目标对象嘴部张 开一个较大的角度时， 可以控制三维人脸面具特效中的嘴部同样张开一个较大的角度， 也可 以控制三维人脸面具特效中的嘴部张开一个较小的角度， 本实施例不对此进行限制。 本实施例提供 的姗 的处理方法， 获取待处理姗 ， 并识 ^该待处理姗中的第一 目标 对象的第一面部关键点，其中，该第一面部关键点与三维人脸面具特效中的面具关键点对应； 在该待处理视频的姗 帧中添加该三维人脸面具特效， 以得到目标姗 ， 其中， 该三维人脸 面具特效中的面具关键点随对应的第一面部关键点进行移动。 本实施例通过采用上述技术方 案， 能够在视频中添加与姗 中的人物呈现相同的面部动作的三维人脸面具特效， 提高姗 的视觉效果与趣味性； 并且， 当应用于特效创作工具时， 使得设计师能够直接查看特效的预 览效果， 为设计师进行创作提供便利。 图 2为本公开实施例提供的另一种姗 的处理方法的流程示意图。 本实施例中的方案可 以与上述实施例中的一个或多个示例方案组合。 例如， 所述在所述待处理视频的姗帧中添 加三维人脸面具特效， 包括： 针对所述待处理姗中的当前待处理姗 帧， 确定所述第一面 部关键点在所述当前待处理视颇帧中的第一位置数据， 并获取所述当前待处理姗 帧对应的 第一三维人脸模型;根据所述第一位置数据更新所述第一三维人脸模型中的面片顶点的位置, 得到与所述当前待处理视频帧对应的第二三维人脸模型； 对所述第二三维人脸模型进行贴图 渲染， 得到当前三维人脸面具特效； 将所述当前三维人脸面具特效添加于所述当前待处理视 频帧中， 得到当前目标姗 帧。 如图 2所示， 本实施例提供的姗的处理方法可以包括：
5201、 获取待处理视颇， 并识别所述待处理视频中的第一目标对象的第一面部关键点， 其中， 所述第一面部关键点与三维人脸面具特效中的面具关键点对应。
5202、 针对所述待处理视频中的当前待处理视频帧， 确定所述第一面部关键点在所述当 前待处理姗 帧中的第一位置数据，并获取所述当前待处理姗 帧对应的第一三维人脸模型。 其 中， 当前待处理姗帧可以为待处理姗 中当前需要进行处理的姗 帧， 如摄像头当 前采集得到的姗 帧或者当前播放至的或处理至的视频帧等。 第一位置数据可以为第一面部 关键点在当前待处理权颇帧中的位置数据 , 如第一面部关键点在第一目标对象的人脸中的位 置数据。 第一三维人脸模型可 以为用于生成三维人脸面具特效的三维人脸模型， 其可以为尚未根 据第一位置数据调整其面片顶点的三维人脸模型 , 如初始得到的三维人脸模型或者基于上一 待处理姗 帧中的第一面部关键点调整得到的三维人脸模型等， 即本实施例可以在初始得到 的三维人脸模型的基础上进行不同的调整， 得到用于生成不同视频帧中添加的三维人脸面具 特效的三维人脸模型； 也可以直接对上一待处理姗 帧调整后的三维人脸模型进行调整， 得 到用于生成当前待处理视频帧中添加的三维人脸面具特效的三维人脸模型 ， 以下以此种情况 为例进行说明。 在此， 该三维人脸模型可以为三维人脸网格。 示例性 的， 针对待处理视频中的当前待处理姗帧， 在识^得到当前待处理视频帧中的 第一目标对象的第一面部关键点之后 , 获取该第一面部关键点在当前待处理姗 帧中所呈现 的第一目标对象的人脸中的第一位置数据， 并获取当前待处理视频帧对应的第一三维人脸网 格， 如当当前待处理姗 帧不为待处理姗 的首帧待处理姗 帧时 ， 获取生成上一待处理视 频帧中添加的三维人脸面具特效时所采用的三维人脸模型， 作为当前待处理姗 帧对应的第 _ 三维人脸模型； 当当前待处理姗 帧为待处理姗 的首帧待处理姗 时， 获取初始得到的 三维人脸模型， 作为当前待处理姗 帧对应的第一三维人脸模型。 在本实施例 中， 初始得到的三维人脸模型可以为用户创建或导入的原始三维人脸； 也可 以为对原始三维人脸模型进行一定处理后得到的目标三维人脸模型 ， 本实施例不对此进行限 制。 在一个实施方式 中， 在所述获取待处理姗之前， 还包括： 获取原始三维人脸模型和不 可渲染部位信息， 其中， 所述不可渲染部位信息为所述原始三维人脸模型中的不可渲染部位 的信息； 根据所述不可渲染部位信息， 删除所述原始三维人脸模型中与所述不可渲染部位对 应的面片， 得到目标三维人脸模型； 将所述目标三维人脸模型作为所述待处理视颇中的首帧 岫 贞对应的第一三维人脸模型。 其 中， 原始三维人脸模型可以为用户创建或导入的三维人脸模型或者客户端中预先设置 的三维人脸模型， 该三维人脸模型中可以包含人脸的所有部位。 不可渲染部位信息可以为不 可渲染部位的标识信息， 该不可渲染部位可以基于用户的选取操作确定， 如用户可以选择三 维人脸模型中其不欲在三维人脸面具特效中进行呈现的部位作为不可渲染部位 ,如眼睛和 /或 嘴巴等。 目标三维人脸模型可以为仅包括需要进行渲染的部位的三维人脸模型。 示例性 的， 可以首先创建默认的三维人脸模型作为原始三维人脸模型； 或者基于用户的 模型导入操作， 获取用户导入的模型， 判断该模型是否为三维人脸模型， 并在判定用户导入 的模型为三维人脸模型时， 将用户导入的模型作为三维人脸模型。 然后获取用户所设置的不 可渲染部位信息， 根据该不可渲染部位信息确定不可渲染部位， 并删除原始三维人脸模型中 与该不可渲染部位对应的面片， 得到目标三维人脸模型。 从而， 后续在对待处理权颇进行处 理时 , 可以将该目标三维人脸模型作为待处理姗 中的首帧待处理姗 帧对应的第一三维人 脸模型。 在此 ， 判断用户所导入模型是否为三维人脸模型的方式可以灵活设置， 如可以基于模型 中所包含的面片顶点的数量是否与三维人脸模型的面片顶点数量相符确定用户所导入的模型 是否为三维人脸模型。 三维人脸模型的面片顶点数量可以为 1220等。 在 上述实施方式中,可以根据不可渲染部位信息，删除原始三维人脸模型中的相应面片， 从而， 使得用户在向视颇中添加三维人脸面具特效时， 可以根据需要设置三维人脸面具特效 中所包含的人脸部位， 满足用户的不同需求。
S203、 根据所述第一位置数据更新所述第一三维人脸模型中的面片顶点的位置， 得到与 所述当前待处理岫 贞对应的第二三维人脸模型。 其 中， 三维人脸模型中的面片顶点可以理解为三维人脸模型中的面片的顶点， 其可以与 三维人脸面具特效中的面具关键点一一对应， 即第一面部关键点可以与第一三维人脸模型中 的面片顶点一一对应。第二三维人脸模型可以为调整面片顶点的位置后得到的三维人脸模型。 例如 ， 可以根据当前待处理权颇帧中第一目标对象的第一面部关键点的位置数据， 调整 当前待处理视频帧对应的第一三维人脸模型中与其对应的面片顶点的位置 ， 如可以将第一三 维人脸模型中面片顶点调整至与第一面部关键点在第一目标对象的人脸中具有相同的相对位 置， 从而得到当前待处理姗 帧对应的第二三维人脸模型。
5204、 对所述第二三维人脸模型进行贴图渲染， 得到当前三维人脸面具特效， 其中， 所 述三维人脸面具特效中的面具关键点随对应的第一面部关键点进行移动。 示例性 的， 在得到第二三维人脸模型后， 可以对第二三维人脸模型进行贴图渲染， 得到 当前三维人脸面具特效， 如可以获取当前待处理姗 帧对应的待渲染纹理信息， 并根据该待 渲染纹理信息对第二三维人脸模型进行贴图渲染， 得到当前三维人脸面具特效。 其中， 当前 三维人脸面具特效可以为添加于当前待处理姗 帧中的三维人脸面具特效。
5205、 将所述当前三维人脸面具特效添加于所述当前待处理姗帧中， 得到当前目标视 频帧， 以基于多个目标姗 帧生成目标姗 。 在本实施例 中， 在得到当前三维人脸面具特效之后， 可以将该当前三维人脸面具特效添 加于当前待处理姗 帧中， 如将当前三维人脸面具特效添加于当前待处理视频帧的预设特效 显示位置， 或者， 将当前三维人脸面具特效添加于当前姗帧中所显示的某一对象的面部位 置， 得到添加有当前三维人脸面具特效的当前目标视频帧， 并可以进一步显示当前待处理视 频帧添加三维人脸面具特效后的预览效果。 从而， 当得到待处理视颇中多个待处理姗帧对 应的目标姗 帧后 , 可以根据多个目标姗帧生成添加有三维人脸面具特效的目标视颇。 本实施例提供 的姗 的处理方法， 根据当前待处理视频帧中的第一面部关键点的位置数 据, 调整三维人脸模型中的面片顶点的位置， 并根据调整后的三维人脸模型渲染得到三维人 脸面具特效， 并将其添加至当前待处理姗 帧中， 能够向当前待处理姗 帧中添加与其拍摄 的人物呈现相同面部动作的三维人脸面具特效， 避免向多个姗 帧中均添加相同的三维人脸 面具特效的情况， 满足用户的需求， 并提升用户对添加三维人脸面具特效后的视颇的观看体 验。 图 3为本公开实施例提供的另一种姗 的处理方法的流程示意图。 本实施例中的方案可 以与上述实施例中的一个或多个示例方案组合。 例如， 所述将所述当前三维人脸面具特效添 加于所述当前待处理姗 帧中， 得到当前目标姗 帧， 包括： 确定所述当前待处理姗帧对 应的预设特效显示位置； 将所述当前三维人脸面具特效添加于所述当前待处理姗 帧的所述 预设特效显示位置处， 得到当前目标姗 帧。 例如 ， 所述将所述当前三维人脸面具特效添加于所述当前待处理视频帧中， 得到当前目 标姗 帧， 包括： 识 ^所述当前待处理姗帧中的第二目标对象的第二面部关键点； 根据所 述第二面部关键点在所述当前待处理姗 帧中的位置， 确定当前特效显示位置； 将所述当前 三维人脸面具特效添加于所述当前待处理姗 帧的所述当前特效显示位置处， 得到当前目标 视颇帧。 例如 ， 所述对所述第二三维人脸模型进行贴图渲染， 包括： 获取所述第二三维人脸模型 的待渲染纹理信息； 根据所述待渲染纹理信息对所诲 二三维人脸模型进行贴图渲染。 如图 3所示， 本实施例提供的姗的处理方法可以包括：
5301、 获取待处理视颇， 并识^所述待处理视频中的第一目标对象的第一面部关键点， 其中， 所述第一面部关键点与三维人脸面具特效中的面具关键点对应。
5302、 针对所述待处理视频中的当前待处理视频帧， 确定所述第一面部关键点在所述当 前待处理姗 帧中的第一位置数据，并获取所述当前待处理姗 帧对应的第一三维人脸模型。
5303、 根据所述第一位置数据更新所述第一三维人脸模型中的面片顶点的位置， 得到与 所述当前待处理岫 贞对应的第二三维人脸模型。
5304、 获取所述第二三维人脸模型的待渲染纹理信息。 例如 ， 可以获取预先设置的纹理信息， 作为第二三维人脸模型的待渲染纹理信息； 也可 以获取用户所选取的材质的纹理信息， 或者， 获取当前待处理视频帧中所呈现的纹理信息， 如当前待处理权颇帧中所呈现的相应人物的纹理信息， 作为第二三维人脸模型的待渲染纹理 信息。 在一个实施方式 中， 可以基于用户或开发人员预先设置的待渲染材质确定待渲染纹理信 息。 此时， 所述获取所述第二三维人脸模型的待渲染纹理信息， 可以包括： 确定所述当前待 处理岫 贞对应的待渲染材质， 并获取所述待渲染材质的纹理信息， 作为所诲二三维人脸 模型的待渲染纹理信息。 例如 ， 开发人员可以预先设置待渲染材质； 或者， 用户可以预先设置待处理视频对应的 待渲染材质， 或者， 预先设置待处理姗中的不同视频帧对应的待渲染材质。 从而， 当对当 前待处理姗 帧进行处理时， 可以确定当前待处理视频帧对应的待渲染材质， 并获取该待渲 染材质的纹理信息， 作为当前待处理姗 帧对应的第二三维人脸模型的待渲染纹理信息。 在另一个实施方式 中， 可以基于当前待处理姗帧中所拍摄的相应对象的纹理确定待渲 染纹理信息。 此时， 所述获取所述第二三维人脸模型的待渲染纹理信息， 可以包括： 识别所 述当前待处理姗 帧中的第三目标对象， 并获取所述第三目标对象的面部纹理信息， 作为所 述第二三维人脸模型的待渲染纹理信息。 其 中， 第三目标对象可以为当前待处理姗帧中的某一拍摄对象 ， 如当前待处理权颇帧 中拍摄的某一人物等， 其可以基于用户的选取操作确定， 即可以将用户选取的纹理来源对象 作为第三目标对象。 在本实施例 中， 第三对象可以为与第一目标对象相同或不相同的对象， 即本实施例可以 根据待处理视频中的同一对象的面部关键点和面部纹理生成三维人脸面具特效 ， 从而， 三维 人脸面具特效中呈现有与该对象相同的面部动作与相同的面部纹理 ； 也可以根据待处理姗 中某一对象的面部关键点以及另一对象的面部纹理生成三维人脸面具特效， 从而， 三维人脸 面具特效中呈现有与某一对象相同的面部动作以及与待处理姗 中的另一对象相同的面部纹 理， 从而可以通过三维人脸面具呈现出该另一对象呈现前一对象的面部动作的效果， 进一步 提 iWi视频的趣味性。 例如 ， 用户可以预先选取待处理姗中的某一对象， 作为待处理视频的姗 帧对应的第 三目标对象， 或者， 预先设置待处理姗中的不同视频帧对应的第三目标对象。 从而， 当对 当前待处理视频帧进行处理时， 可以识别当前待处理视颇帧中的第三目标对象， 并提取该第 三目标对象的面部纹理信息， 作为当前待处理姗 帧对应的第二三维人脸模型的待渲染纹理 信息。 在上述实施方式 中， 例如， 所述获取所述第三目标对象的面部纹理信息， 包括： 分别确 定所述第二三维人脸模型中的多个面片顶点在面部纹理贴图中对应的坐标信息 ； 根据所述坐 标信息对所述第三目标对象进行面部采样， 得到所述第三目标对象的面部采样数据； 根据所 述面部采样数据生成所述第三目标对象的面部纹理信息。 示例性 的， 在提取第三目标对象的面部纹理信息时， 可以确定第二三维人脸模型中的面 片顶点在面部纹理贴图中对应的坐标信息， 即确定第二三维人脸模型中的面片顶点在待处理 姗 帧中对应的 UV坐标 ； 根据该坐标信息对当前待处理姗帧中所呈现的第三目标对象的 面部的颜色信息进行采样， 得到第三目标对象的面部采样数据； 从而进一步对该面部采样数 据进行处理， 如对多个采样数据进行平滑处理等等， 得到第三目标对象的面部纹理信息。
5305、 根据所述待渲染纹理信息对所述第二三维人脸模型进行贴图渲染， 得到当前三维 人脸面具特效， 执行 S306或 S308o 在本实施例 中， 在得到待渲染纹理信息后， 即可对第二三维人脸模型进行贴图渲染， 得 到可添加于当前待处理姗 帧中的当前三维人脸面具特效。
> 在本实施例 中，对第二三维人脸模型进行贴图渲染的方式可以根据需要进行设置,例如， 可以根据第二三维人脸模型中的面片顶点计算其在面部纹理贴图中对应的 UV坐标， 根据该 UV 坐标以及所得到的待渲染纹理信息对面部纹理贴 图进行渲染， 得到第二三维人脸模型对 应的面部纹理贴图， 并基于该面部纹理贴图对第二三维人脸模型进行渲染， 得到当前三维人 脸面具特效。 此时， 例如， 所述根据所述待渲染纹理信息对所述第二三维人脸模型进行贴图 渲染， 包括： 根据所述待渲染纹理信息生成面部纹理贴图； 基于所述面部纹理贴图对所述第 二三维人脸模型进行渲染。
5306、 确定所述当前待处理权颇帧对应的预设特效显示位置。
5307、 将所述当前三维人脸面具特效添加于所述当前待处理姗帧的所述预设特效显示 位置处， 得到当前目标姗 帧， 结束操作。 在本实施例 中， 可以在预设特效显示位置显示三维人脸面具特效。 其中， 该预设特效显 示位置可以为开发人员预先设置的、 用于显示三维人脸面具特效的位置； 也可以为用户将三 维人脸面具特效拖动至的位置， 即用户可以通过拖动当前所显示的三维人脸面具特效的方式 更改三维人脸面具特效在后处理姗 帧中的显示位置。 例如 ， 可以获取用户或者开发人员所设置的显示位置， 作为当前待处理姗帧对应的预 设特效显示位置， 并将所生成的当前三维人脸面具特效添加于当前待处理视频帧的该预设特 效显示位置处， 得到与当前待处理姗 帧对应的当前目标姗 帧。
5308、 识别所述当前待处理姗帧中的第二目标对象的第二面部关键点。 在本实施例 中， 也可以在待处理姗中所拍摄的相应对象的显示位置处显示三维人脸面 具特效， 即可以控制三维人脸面具特效随待处理姗 中所拍摄的相应对象进行移动， 从而营 造出待处理姗 中所拍摄的对象佩戴了三维人脸面具的视觉效果。 其 中， 第二目标对象可以当前待处理视频帧中的某一拍摄对象， 如当前待处理姗帧中 拍摄的某一人物等， 其可以基于用户的选取操作确定， 即可以将用户选取的纹理来源对象作 为第三目标对象。 在本实施例中， 第二对象可以为与第一目标对象相同或不相同的对象， 例 如， 本实施例可以根据待处理姗 中的同一对象的面部关键点生成三维人脸面具特效， 并控 制该三维人脸面具特效随该对象进行移动； 也可以根据待处理视频中某一对象的面部关键点 生成三维人脸面具特效， 并控制该三维人脸面具特效随待处理视频中的另一对象进行移动， 本实施例不对此进行限制。 第二面部关键点可以为第二目标对象的面部关键点， 其可以与三 维人脸面具特效中的面具关键点对应。 例如 ， 可以确定当前待处理姗帧中的第二目标对象， 并识 ^当前待处理姗 中所呈现 的第二目标对象的面部的关键点， 作为第二面部关键点。
5309、 根据所述第二面部关键点在所述当前待处理姗帧中的位置， 确定当前特效显示 位置。 例如 ， 在识别得到第二目标对象在当前待处理姗帧中的第二面部关键点之后 ， 可以进 — 步确定第二面部关键点在当前待处理姗 帧中的位置， 并根据第二面部关键点在当前待处 理姗 帧中的位置， 确定三维人脸面具特效在当前待处理姗 帧中的显示位置 （即当前特效 显示位置），例如可以根据第二面部关键点在当前待处理姗 帧中的位置，以及三维人脸面具 特效中的面具关键点， 选取能够使三维人脸面具特效中最多数量的面具关键点能够与其对应 的第二面部关键点重合的位置作为当前特效显示位置； 或者， 选取三维人脸面具特效中的面 具关键点与其对应的第二面部关键点具有最小方差的位置作为当前特效显示位置， 等等。
5310、 将所述当前三维人脸面具特效添加于所述当前待处理姗帧的所述当前特效显示 位置处， 得到当前目标姗 帧。 在本实施例 中， 当确定当前特效显示位置之后， 可以将所生成的当前三维人脸面具特效 添加于当前待处理姗 帧的该当前特效显示位置处， 得到与当前待处理姗 帧对应的当前目 标姗 帧。 本实施例提供 的姗 的处理方法， 能够采用不同的纹理渲染得到三维人脸面具特效， 以 及， 在不同的位置显示三维人脸面具特效， 从而进一步提高三维人脸面具特效的视觉效果与 视颇画面的趣味性， 满足用户的不同需求， 提高用户的体验。 图 4为本公开实施例提供的一种姗 的处理装置的结构框图。该装置可以由软件和 /或硬 件实现， 可配置于电子设备中， 例如， 可以配置在手机或平板电脑中， 可通过执行姗的处 理方法对视颇进行处理。 如图 4所示， 本实施例提供的姗的处理装置可以包括： 视颇获取 模块 401和特效添加模块 402 , 其中， 视频获取模块 401 , 设置为获取待处理视颇， 并识^所述待处理视频中的第一目标对象 的第一面部关键点， 其中， 所述第一面部关键点与三维人脸面具特效中的面具关键点对应； 特效添加模块 402, 设置为在所述待处理视频的姗帧中添加所述三维人脸面具特效 ， 以得到目标视频， 其中， 所述三维人脸面具特效中的面具关键点随对应的第一面部关键点进 行移动。 本实施例提供 的姗 的处理装置， 通过姗 获取模块获取待处理视频， 并飒 该待处理 视频中的第一目标对象的第一面部关键点， 其中， 该第一面部关键点与三维人脸面具特效中 的面具关键点对应；通过特效添加模块在该待处理姗 的姗 帧中添加该三维人脸面具特效 , 以得到目标视频， 其中， 该三维人脸面具特效中的面具关键点随对应的第一面部关键点进行 移动。 本实施例通过采用上述技术方案， 能够在姗中添加与视频中的人物呈现相同的面部 动作的三维人脸面具特效，提高姗 的视觉效果与趣味性 ；并且，当应用于特效创作工具时， 使得设计师能够直接查看特效的预览效果， 为设计师进行创作提供便利。 在 上述方案中， 所述特效添加模块 402可以包括： 模型获取单元， 设置为针对所述待处 理姗 中的当前待处理视频帧， 确定所述第一面部关键点在所述当前待处理姗 帧中的第一 位置数据， 并获取所述当前待处理视频帧对应的第一三维人脸模型； 位置更新单元， 设置为 根据所述第一位置数据更新所述第一三维人脸模型中的面片顶点的位置 ， 得到与所述当前待 处理姗 帧对应的第二三维人脸模型； 贴图渲染单元， 设置为对所述第二三维人脸模型进行 贴图渲染， 得到当前三维人脸面具特效； 特效添加单元， 设置为将所述当前三维人脸面具特 效添加于所述当前待处理姗 帧中， 得到当前目标姗帧。 在上述方案 中， 所述特效添加单元可以包括： 预设位置确定子单元， 设置为确定所述当 前待处理姗 帧对应的预设特效显示位置； 第一特效添加子单元， 设置为将所述当前三维人 脸面具特效添加于所述当前待处理姗 帧的所述预设特效显示位置处,得到当前目标姗 帧。 在上述方案 中， 所述特效添加单元可以包括： 关键点识 ^子单元， 设置为识 ^所述当前 待处理姗 帧中的第二目标对象的第二面部关键点； 当前位置确定子单元， 设置为根据所述 第二面部关键点在所述当前待处理视频帧中的位置， 确定当前特效显示位置； 第二特效添加 子单元， 设置为将所述当前三维人脸面具特效添加于所述当前待处理姗 帧的所述当前特效 显示位置处， 得到当前目标姗 帧。 在上述方案 中， 所述贴图渲染单元可以包括： 纹理获取子单元， 设置为获取所述第二三 维人脸模型的待渲染纹理信息； 贴图渲染子单元， 设置为根据所述待渲染纹理信息对所诲 二三维人脸模型进行贴图渲染。 在上述方案 中， 所述纹理获取子单元可以设置为： 确定所述当前待处理岫贞对应的待 渲染材质， 并获取所述待渲染材质的纹理信息， 作为所诲二三维人脸模型的待渲染纹理信 息。 在上述方案 中， 所述纹理获取子单元可以设置为： 识别所述当前待处理姗帧中的第三 目标对象， 并获取所述第三目标对象的面部纹理信息， 作为所述第二三维人脸模型的待渲染 纹理信息。 在上述方案 中， 所述纹理获取子单元可设置为： 分别确定所述第二三维人脸模型中的多 个面片顶点在面部纹理贴图中对应的坐标信息； 根据所述坐标信息对所述第三目标对象进行 面部采样， 得到所述第三目标对象的面部采样数据； 根据所述面部采样数据生成所述第三目 标对象的面部纹理信息。 在上述方案 中， 所述贴图渲染子单元可设置为 : 根据所述待渲染纹理信息生成面部纹理 贴图； 基于所述面部纹理贴图对所述第二三维人脸模型进行渲染。 例如 ， 本实施例提供的视频的处理装置还可以包括： 信息获取模块， 设置为在所述获取 待处理姗 之前， 获取原始三维人脸模型和不可渲染部位信息， 其中， 所述不可渲染部位信 息为所述原始三维人脸模型中的不可渲染部位的信息； 面片删除模块， 设置为根据所述不可 渲染部位信息， 删除所述原始三维人脸模型中与所述不可渲染部位对应的面片， 得到目标三 维人脸模型； 模型确定模块， 设置为将所述目标三维人脸模型作为所述待处理视颇中的首帧 岫 贞对应的第一三维人脸模型。 本公开实施例提供 的姗 的处理装置可执行本公开任意实施例提供的姗 的处理方法， 具备执行姗 的处理方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节 , 可参见本公开任意实施例所提供的视颇的处理方法。 下面参考图 5 ,其示出了适于用来实现本公开实施例的电子设备（例如终端设备） 500的 结构示意图。 本公开实施例中的终端设备可以包括但不限于诸如移动电话、 笔记本电脑、 数 字广播接收器、 PDA （个人数字助理）、 PAD （平板电脑）、 PMP （便携式多媒体播放器）、 车 载终端（例如车载导航终端）等等的移动终端以及诸如数字 TV、台式计算机等等的固定终端。 图 5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。 如图 5所示， 电子设备 500可以包括处理装置 （例如中央处理器、 图形处理器等） 501 , 其可以根据存储在只读存储器 （ROM） 502中的程序或者从存储装置 508加载到随机访问存 储器 （RAM） 503中的程序而执行多种适当的动作和处理。 在 RAM 503中， 还存储有电子设 备 500操作所需的多种程序和数据。处理装置 501、 ROM 502以及 RAM 503通过总线 504彼 此相连。 输入侔俞出 （I/O） 接口 505也连接至总线 504。 通常 ， 以下装置可以连接至 I/O接口 505： 包括例如触摸屏、 触摸板、 键盘、 鼠标、 摄像 头、 麦克风、 加速度计、 陀螺仪等的输入装置 506； 包括例如液晶显示器 （LCD）、 扬声器、 振动器等的输出装置 507； 包括例如磁带、 硬盘等的存储装置 508； 以及通信装置 509。 通信 装置 509可以允许电子设备 500与其他设备进行无线或有线通信以交换数据。 虽然图 5示出 了具有多种装置的电子设备 500,但是应理解的是，并不要求实施或具备所有示出的装置。可 以替代地实施或具备更多或更少的装置。 根据本公开的实施例 ,上文参考流程图描述的过程可以被实现为计算机软件程序。例如， 本公开的实施例包括一种计算机程序产品 , 其包括承载在非暂态计算机可读介质上的计算机 程序， 该计算机程序包含用于执行流程图所示的方法的程序代码。 在这样的实施例中， 该计 算机程序可以通过通信装置 509从网络上被下载和安装， 或者从存储装置 508被安装， 或者 从 ROM 502被安装。在该计算机程序被处理装置 501执行时，执行本公开实施例的方法中限 定的上述功能。 需要说 明的是 , 本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可 读存储介质或者是上述两者的任意组合。 计算机可读存储介质例如可以是 — 但不限于 — 电、磁、 光、 电磁、 红外线、 或半导体的系统、装置或器件，或者任意心的组合。 计算机可 读存储介质的更具体的例子可以包括但不限于： 具有一个或多个导线的电连接、 便携式计算 机磁盘、 硬盘、 随机访问存储器 （RAM）、 只读存储器 （ROM）、 可擦式可编程只读存储器 （EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）. 光存储器件、磁存储器 件、 或者上述的任意合适的组合。 在本公开中， 计算机可读存储介质可以是任何包含或存储 程序的有形介质， 该程序可以被指令执行系统、 装置或者器件使用或者与其结合使用。 而在 本公开中， 计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号， 其 中承载了计算机可读的程序代码。 这种传播的数据信号可以采用多种形式， 包括但不限于电 磁信号、 光信号或上述的任意合适的组合。 计算机可读信号介质还可以是计算机可读存储介 质以外的任何计算机可读介质， 该计算机可读信号介质可以发送、 传播或者传输用于由指令 执行系统、 装置或者器件使用或者与其结合使用的程序。 计算机可读介质上包含的程序代码 可以用任何适当的介质传输， 包括但不限于： 电线、 光缆、 RF （射频） 等等， 或者上述的任 意合适的组合。 在一些实施方式 中， 客户端、 服务器可以利用诸如 HTTP （HyperText Transfer Protocol , 超文本传输协议） 之类的任何当前已知或未来研发的网络协议进行通信， 并且可以与任意形 式或介质的数字数据通信 （例如， 通信网络） 互连。 通信网络的示例包括局域网 （“LAN”）， 广域网 （“WAN”）， 网际网 （例如， 互联网） 以及端对端网络 （例如， ad hoc端对端网络）， 以及任何当前已知或未来研发的网络。 上述计算机可读介质可 以＞±述电子设备中睛 含的； 也可以是单独存在， 而未装配入 该电子设备中。 上述计算机可读介质承载 有一个或者多个程序 , 当上述一个或者多个程序被该电子设备 执行时， 使得该电子设备： 获取待处理视颇， 并识别所述待处理姗中的第一目标对象的第 面部关键点， 其中， 所述第一面部关键点与三维人脸面具特效中的面具关键点对应； 在所 述待处理姗 的姗 帧中添加所述三维人脸面具特效， 以得到目标姗 ， 其中， 所述三维人 脸面具特效中的面具关键点随对应的第一面部关键点进行移动。 可 以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代 码，上述程序设计语言包括但不限于面向对象的程序设计语言一诸如 Java、 Smalltalk. C++, 还包括常规的过程式程序设计语言一诸如 “C”语言或类似的程序设计语言。程序代码可以完全 地在用户计算机上执行、 部分地在用户计算机上执行、 作为一个独立的软件包执行、 部分在 用户计算机上部分在远程计算机上执行、 或者完全在远程计算机或服务器上执行。 在涉及远 程计算机的情 形中 , 远程计算机可以通过任意种类的网络 — 包括局域网（LAN）或广域网 （WAN）—连接到用户计算机， 或者， 可以连接到外部计算机 （例如利用因特网服务提供商来 通过因特网连接）。 附 图中的流程图和框图， 图示了按照本公开多种实施例的系统、 方法和计算机程序产品 的可能实现的体系架构、 功能和操作。 在这点上， 流程图或框图中的每个方框可以代表一个 模块、 程序段、 或代码的一部分， 该模块、 程序段、 或代码的一部分包含一个或多个用于实 现规定的逻辑功能的可执行指令。 也应当注意， 在有些作为替换的实现中， 方框中所标注的 功能也可以以不同于附图中所标注的顺序发生。 例如， 两个接连地表示的方框实际上可以基 本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是， 框图和 /或流程图中的每个方框、以及框图和 /或流程图中的方框的组合，可以用执行规定的功 能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。 描述于本公开实施例 中所涉及到的单元可以通过软件的方式实现 , 也可以通过硬件的方 式来实现。 其中， 模块的名称在某种情况下并不构成对该单元本身的限定。 本文 中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。 例如， 非限 制性地， 可以使用的示范类型的硬件逻辑部件包括： 现场可编程门阵列 （FPGA）、 专用集成 电路 （ASIC）、 专用标准产品 （ASSP）、 片上系统 （SOC）、 复杂可编程逻辑设备 （CPLD） 等 等。 在本公开 的上下文中， 机器可读介质可以是有形的介质， 其可以包含或存储以供指令执 行系统、 装置或设备使用或与指令执行系统、 装置或设备结合地使用的程序。 机器可读介质 可以是机器可读信号介质或机器可读储存介质。 机器可读介质可以包括但不限于电子的、 磁 性的、 光学的、 电磁的、 红外的、 或半导体系统、 装置或设备， 或者上述内容的任何合适组 合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、 硬盘、 随机存取存储器 （RAM）、 只读存储器 （ROM）、 可擦除可编程只读存储器 （EPROM 或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）.光学储存设备、磁储存设备、 或上述内容的任何合适组合。 根据本公开的一个或多个实施例 ， 示例 1提供了一种姗的处理方法， 包括： 获取待处理视频 ， 并识^所述待处理视频中的第一目标对象的第一面部关键点， 其中， 所述第一面部关键点与三维人脸面具特效中的面具关键点对应； 在所述待处理姗 的姗 帧中添加所述三维人脸面具特效， 以得到目标视颇， 其中， 所 述三维人脸面具特效中的面具关键点随对应的第一面部关键点进行移动。 根据本公开的一个或多个实施例 ， 示例 2根据示例 1所述的方法， 所述在所述待处理视 频的姗 帧中添加三维人脸面具特效， 包括： 针对所述待处理姗 中的当前待处理视频帧， 确定所诲 一面部关键点在所述当前待处 理姗 帧中的第一位置数据， 并获取所述当前待处理姗帧对应的第一三维人脸模型 ； 根据所述第一位置数据更 新所述第一三维人脸模型中的面片顶点的位置， 得到与所述当 前待处理岫 贞对应的第二三维人脸模型； 对所述第二三维人脸模型进行贴图渲染 ， 得到当前三维人脸面具特效； 将所述当前三维人脸面具特效添加于所述当前待处理姗 帧中， 得到当前目标姗 帧。 根据本公开的一个或多个实施例 ， 示例 3根据示例 2所述的方法， 所述将所述当前三维 人脸面具特效添加于所述当前待处理姗 帧中， 得到当前目标姗帧 ， 包括： 确定所述当前待处理权颇帧对应的预设特效显示位置 ； 将所述 当前三维人脸面具特效添加于所述当前待处理姗 帧的所述预设特效显示位置处, 得到当前目标姗 帧。 根据本公开的一个或多个实施例 ， 示例 4根据示例 2所述的方法， 所述将所述当前三维 人脸面具特效添加于所述当前待处理姗 帧中， 得到当前目标姗帧 ， 包括： 识 ^所述当前待处理姗 帧中的第二目标对象的第二面部关键点； 根据所述第二面部关键点在所述当前待处理姗 帧中的位置， 确定当前特效显示位置； 将所述 当前三维人脸面具特效添加于所述当前待处理姗 帧的所述当前特效显示位置处, 得到当前目标姗 帧。 根据本公开的一个或多个实施例 ， 示例 5根据示例 2所述的方法， 所述对所述第二三维 人脸模型进行贴图渲染， 包括： 获取所述第二三维人脸模型的待渲染纹理信息 ； 根据所述待渲染纹理信息对所诲 二三维人脸模型进行贴图渲染。 根据本公开的一个或多个实施例 ， 示例 6根据示例 5所述的方法， 所述获取所述第二三 维人脸模型的待渲染纹理信息， 包括： 确定所述当前待处理姗 帧对应的待渲染材质， 并获取所述待渲染材质的纹理信息， 作 为所述第二三维人脸模型的待渲染纹理信息。 根据本公开的一个或多个实施例 ， 示例 7根据示例 5所述的方法， 所述获取所述第二三 维人脸模型的待渲染纹理信息， 包括： 识别所述 当前待处理姗 帧中的第三目标对象， 并获取所述第三目标对象的面部纹理信 息， 作为所述第二三维人脸模型的待渲染纹理信息。 根据本公开的一个或多个实施例 ， 示例 8根据示例 7所述的方法， 所述获取所述第三目 标对象的面部纹理信息， 包括： 分别确定所述第二三维人脸模型中的多个面片顶点在面部纹理贴图中对应的坐标信息 ； 根据所述坐标信息对所述第 三目标对象进行面部采样， 得到所述第三目标对象的面部采 样数据； 根据所述面部采样数据生成所述第三 目标对象的面部纹理信息。 根据本公开的一个或多个实施例 ， 示例 9根据示例 5-8任一所述的方法， 所述根据所述 待渲染纹理信息对所述第二三维人脸模型进行贴图渲染 , 包括 : 根据所述待渲染纹理信息生成面部纹理贴图 ； 基于所述面部纹理贴图对所述第二三维人脸模型进行渲染。 根据本公开的一个或多个实施例 ， 示例 10根据示例 2-8任一所述的方法， 在所述获取待 处理姗 之前， 还包括： 获取原始三维人脸模型和 不可渲染部位信息， 其中， 所述不可渲染部位信息为所述原始 三维人脸模型中的不可渲染部位的信息； 根据所述不可渲染部位信息 ， 删除所述原始三维人脸模型中与所述不可渲染部也寸应的 面片， 得到目标三维人脸模型； 将所述 目标三维人脸模型作为所述待处理姗 中的首帧姗 帧对应的第一三维人脸模型。 根据本公开的一个或多个实施例 ， 示例 11提供了一种姗的处理装置， 包括： 视频获取模块 ， 设置为获取待处理视颇， 并识别所述待处理姗中的第一目标对象的第 — 面部关键点， 其中， 所述第一面部关键点与三维人脸面具特效中的面具关键点对应； 特效添加模块 ， 设置为在所述待处理视频的姗帧中添加所述三维人脸面具特效 ， 以得 到目标视颇， 其中， 所述三维人脸面具特效中的面具关键点随对应的第一面部关键点进行移 动。 根据本公开的一个或多个实施例 ， 示例 12提供了一种电子设备， 包括：
— 个或多个处理器； 存储器 ， 设置为存储一个或多个程序， 当所述一个或 多个程序被所述一个或多个处理器执行 , 使得所述一个或多个处理器实现 如示例 1-10中任一所述的视颇的处理方法。 根据本公开的一个或多个实施例 ，示例 13提供了一种计算机可读存储介质，其上存储有 计算机程序， 该程序被处理器执行时实现如示例 1-10中任一所述的视颇的处理方法。 根据本公开的一个或多个实施例 ，示例 14提供了一种计算机程序产品，当所述计算机程 序产品被计算机执行， 使得所述计算机实现如示例 1-10任一所述的姗的处理方法。 此外 ， 虽然采用特定次序描绘了多种操作， 但是这不应当理解为要求这些操作以所示出 的特定次序或以侦序次序执行来执行。 在一定环境下， 多任务和并行处理可能是有利的。 同 样地， 虽然在上面论述中包含了若干具体实现细节， 但是这些不应当被解释为对本公开的范 围的限制。 在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。 相反地， 在单个实施例的上下文中描述的多种特征也可以单独地或以任何合适的子组合的方 式实现在多个实施例中。

Claims

权 利 要 求 书
1、 一种姗的处理方法， 包括： 获取待处理视频 ， 并识别所述待处理视频中的第一目标对象的第一面部关键点， 其中， 所述第一面部关键点与三维人脸面具特效中的面具关键点对应； 在所述待处理姗 的姗 帧中添加所述三维人脸面具特效， 以得到目标视颇， 其中， 所 述三维人脸面具特效中的面具关键点随对应的第一面部关键点进行移动。
2、 根据权利要求 1所述的方法，其中，所述在所述待处理姗的岫 贞中添加三维人脸 面具特效， 包括： 针对所述待处理姗 中的当前待处理视频帧， 确定所诲 一面部关键点在所述当前待处 理姗 帧中的第一位置数据， 并获取所述当前待处理姗帧对应的第一三维人脸模型 ； 根据所述第一位置数据更 新所述第一三维人脸模型中的面片顶点的位置， 得到与所述当 前待处理岫 贞对应的第二三维人脸模型； 对所述第二三维人脸模型进行贴图渲染 ， 得到当前三维人脸面具特效； 将所述当前三维人脸面具特效添加于所述当前待处理姗 帧中。
3、 根据权利要求 2所述的方法，其中，所述将所述当前三维人脸面具特效添加于所述当 前待处理姗 帧中， 包括： 确定所述当前待处理权颇帧对应的预设特效显示位置 ； 将所述 当前三维人脸面具特效添加于所述当前待处理姗 帧的所述预设特效显示位置处。
4、 根据权利要求 2所述的方法，其中，所述将所述当前三维人脸面具特效添加于所述当 前待处理姗 帧中， 包括： 识 ^所述当前待处理姗 帧中的第二目标对象的第二面部关键点； 根据所述第二面部关键点在所述当前待处理姗 帧中的位置， 确定当前特效显示位置； 将所述 当前三维人脸面具特效添加于所述当前待处理姗 帧的所述当前特效显示位置处。
5、 根据权利要求 2所述的方法，其中，所枷所诲 二三维人脸模型进行贴图渲染，包 括： 获取所述第二三维人脸模型的待渲染纹理信息 ； 根据所述待渲染纹理信息对所诲 二三维人脸模型进行贴图渲染。
6、 根据权利要求 5所述的方法，其中，所述获取所诲二三维人脸模型的待渲染纹理信 息， 包括： 确定所述当前待处理姗 帧对应的待渲染材质， 并获取所述待渲染材质的纹理信息， 作 为所述第二三维人脸模型的待渲染纹理信息。
7、 根据权利要求 5所述的方法，其中，所述获取所诲二三维人脸模型的待渲染纹理信 息， 包括： 识别所述 当前待处理姗 帧中的第三目标对象， 并获取所述第三目标对象的面部纹理信 息， 作为所述第二三维人脸模型的待渲染纹理信息。 8、 根据权利要求 7所述的方法，其中，所述获取所述第三目标对象的面部纹理信息，包 括： 分别确定所述第二三维人脸模型中的多个面片顶点在面部纹理贴图中对应的坐标信息 ； 根据所述坐标信息对所述第 三目标对象进行面部采样， 得到所述第三目标对象的面部采 样数据； 根据所述面部采样数据生成所述第三 目标对象的面部纹理信息。
9、 根据权利要求 5一8任一所述的方法， 其中， 所述根据所述待渲染纹理信息对所诲二 三维人脸模型进行贴图渲染， 包括： 根据所述待渲染纹理信息生成面部纹理贴图 ； 基于所述面部纹理贴图对所述第二三维人脸模型进行渲染。
]0、 根据权利要求 2-8任一所述的方法， 在所述获取待处理姗之前， 还包括： 获取原始三维人脸模型和 不可渲染部位信息， 其中， 所述不可渲染部位信息为所述原始 三维人脸模型中的不可渲染部位的信息； 根据所述不可渲染部位信息 ， 删除所述原始三维人脸模型中与所述不可渲染部也寸应的 面片， 得到目标三维人脸模型； 将所述 目标三维人脸模型作为所述待处理姗 中的首帧姗 帧对应的第一三维人脸模型。
]1、 一种姗的处理装置， 包括： 视频获取模块 ， 设置为获取待处理视颇， 并识别所述待处理姗中的第一目标对象的第 — 面部关键点， 其中， 所述第一面部关键点与三维人脸面具特效中的面具关键点对应； 特效添加模块 ， 设置为在所述待处理视频的姗帧中添加所述三维人脸面具特效 ， 以得 到目标视颇， 其中， 所述三维人脸面具特效中的面具关键点随对应的第一面部关键点进行移 动。
]2、 一种电子设备， 包括：
— 个或多个处理器； 存储器 ， 设置为存储一个或多个程序， 当所述一个或 多个程序被所述一个或多个处理器执行 , 使得所述一个或多个处理器实现 如权利要求 1-10中任一所述的视颇的处理方法。
13、 一种计算机可读存储介质， 其上存储有计算机程序， 所述计算机程序被处理器执行 时实现如权利要求 1-10中任一所述的视颇的处理方法。
14、 一种计算机程序产品， 当所述计算机程序产品被计算机执行， 使得所述计算机实现 如权利要求 1-10任一所述的姗的处理方法。
PCT/SG2023/050024 2022-01-24 2023-01-12 视频的处理方法、装置、电子设备、存储介质和程序产品 Ceased WO2023140787A2 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP23743590.4A EP4456004A4 (en) 2022-01-24 2023-01-12 Video processing method and device, as well as electronic device, storage medium and program product

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210077967.4A CN116527993A (zh) 2022-01-24 2022-01-24 视频的处理方法、装置、电子设备、存储介质和程序产品
CN202210077967.4 2022-01-24

Publications (2)

Publication Number Publication Date
WO2023140787A2 true WO2023140787A2 (zh) 2023-07-27
WO2023140787A3 WO2023140787A3 (zh) 2023-10-19

Family

ID=87314402

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/SG2023/050024 Ceased WO2023140787A2 (zh) 2022-01-24 2023-01-12 视频的处理方法、装置、电子设备、存储介质和程序产品

Country Status (4)

Country Link
US (1) US12277689B2 (zh)
EP (1) EP4456004A4 (zh)
CN (1) CN116527993A (zh)
WO (1) WO2023140787A2 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704140B (zh) * 2023-08-08 2023-10-20 江西求是高等研究院 一种人体三维重建方法、系统、计算机及存储介质
CN119110106A (zh) * 2023-11-29 2024-12-10 南京邦喏乐智能科技有限公司 人体面部的特效直播策略解析系统
CN120128736A (zh) * 2023-12-07 2025-06-10 北京字跳网络技术有限公司 视频处理方法、装置、设备、计算机可读存储介质及产品

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013120851A1 (en) * 2012-02-13 2013-08-22 Mach-3D Sàrl Method for sharing emotions through the creation of three-dimensional avatars and their interaction through a cloud-based platform
US10166477B2 (en) * 2014-06-06 2019-01-01 Sony Interactive Entertainment Inc. Image processing device, image processing method, and image processing program
WO2018102880A1 (en) * 2016-12-09 2018-06-14 Frangos Marcus George Systems and methods for replacing faces in videos
CN109118569B (zh) * 2018-08-16 2023-03-10 Oppo广东移动通信有限公司 基于三维模型的渲染方法和装置
US11107261B2 (en) * 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
EP3912136B1 (en) * 2019-01-18 2025-07-16 Snap Inc. Systems and methods for generating personalized videos with customized text messages
CN110796083B (zh) * 2019-10-29 2023-07-04 腾讯科技（深圳）有限公司 图像显示方法、装置、终端及存储介质
CN110992493B (zh) * 2019-11-21 2023-10-31 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111242881B (zh) * 2020-01-07 2021-01-12 北京字节跳动网络技术有限公司 显示特效的方法、装置、存储介质及电子设备
CN111565332A (zh) * 2020-04-27 2020-08-21 北京字节跳动网络技术有限公司 视频传输方法、电子设备和计算机可读介质
US11776210B2 (en) * 2021-01-22 2023-10-03 Sony Group Corporation 3D face modeling based on neural networks

Also Published As

Publication number Publication date
EP4456004A2 (en) 2024-10-30
US20230237625A1 (en) 2023-07-27
CN116527993A (zh) 2023-08-01
US12277689B2 (en) 2025-04-15
EP4456004A4 (en) 2025-05-07
WO2023140787A3 (zh) 2023-10-19

Similar Documents

Publication Publication Date Title
CN110766777B (zh) 虚拟形象的生成方法、装置、电子设备及存储介质
WO2022166872A1 (zh) 一种特效展示方法、装置、设备及介质
WO2023140787A2 (zh) 视频的处理方法、装置、电子设备、存储介质和程序产品
CN113344776B (zh) 图像处理方法、模型训练方法、装置、电子设备及介质
US20240242310A1 (en) Target object display method, apparatus and electronic device
CN113613067B (zh) 视频处理方法、装置、设备及存储介质
WO2022171024A1 (zh) 图像显示方法、装置、设备及介质
CN111833461B (zh) 一种图像特效的实现方法、装置、电子设备及存储介质
CN111833459B (zh) 一种图像处理方法、装置、电子设备及存储介质
WO2023051244A1 (zh) 图像生成方法、装置、设备及存储介质
CN110070896A (zh) 图像处理方法、装置、硬件装置
WO2023160513A1 (zh) 3d素材的渲染方法、装置、设备及存储介质
CN114049417B (zh) 虚拟角色图像的生成方法、装置、可读介质及电子设备
WO2023185671A1 (zh) 风格图像生成方法、装置、设备及介质
US20240119082A1 (en) Method, apparatus, device, readable storage medium and product for media content processing
WO2024198947A1 (zh) 虚拟场景处理方法、装置、电子设备及存储介质
WO2022042290A1 (zh) 一种虚拟模型处理方法、装置、电子设备和存储介质
CN114841984B (zh) 图像处理方法、装置、电子设备及存储介质
CN114723600B (zh) 美妆特效的生成方法、装置、设备、存储介质和程序产品
CN114418835B (zh) 图像处理方法、装置、设备及介质
CN111754613A (zh) 图像装饰方法、装置、计算机可读介质和电子设备
WO2023098649A1 (zh) 视频生成方法、装置、设备及存储介质
WO2023231918A1 (zh) 图像处理方法、装置、电子设备及存储介质
WO2023075677A1 (zh) 视频处理方法、装置、设备及存储介质
WO2023071707A1 (zh) 视频图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2023743590

Country of ref document: EP

Effective date: 20240723

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23743590

Country of ref document: EP

Kind code of ref document: A2