WO2023040743A1 - 一种视频处理方法、装置、设备及存储介质 - Google Patents

一种视频处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
WO2023040743A1
WO2023040743A1 PCT/CN2022/117803 CN2022117803W WO2023040743A1 WO 2023040743 A1 WO2023040743 A1 WO 2023040743A1 CN 2022117803 W CN2022117803 W CN 2022117803W WO 2023040743 A1 WO2023040743 A1 WO 2023040743A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
script
multimedia
sub
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2022/117803
Other languages
English (en)
French (fr)
Inventor
汪弈天
何沃洲
陈明杰
于培华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to EP22869112.7A priority Critical patent/EP4340372A4/en
Priority to JP2023577720A priority patent/JP7822405B2/ja
Publication of WO2023040743A1 publication Critical patent/WO2023040743A1/zh
Priority to US18/536,092 priority patent/US12192594B2/en
Anticipated expiration legal-status Critical
Priority to US18/970,775 priority patent/US20250097546A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier

Definitions

  • the present disclosure relates to the field of computer technology, and in particular to a video processing method, device, equipment and storage medium.
  • embodiments of the present disclosure provide a video processing method, device, device, and storage medium.
  • the present disclosure provides a video processing method, the method comprising:
  • the material editing area of the video clip is displayed; wherein, the material editing area is divided into a plurality of sub-areas, and one of the sub-areas corresponds to a script node in the first script structure, and the The first script structure is used to indicate the content paragraph structure of the target video, and one of the script nodes is used to indicate a content paragraph of the target video;
  • the target multimedia material is displayed according to the time axis track; wherein, the target multimedia material is a multimedia material selected for a target script node, and the target script node is the first script a script node in the structure corresponding to said target sub-area;
  • the interface layout of the multiple sub-areas in the material editing area is vertically aligned.
  • the multimedia segment in the multimedia material is edited.
  • a multimedia segment corresponding to the text content is added at the position of the time axis in the multimedia material.
  • the order adjustment operation the order of the multimedia materials in the sub-areas respectively corresponding to the second script node and the third script node in the material clipping area is adjusted.
  • the target multimedia material has an alternative multimedia material, and before generating the target video according to the multimedia material displayed in the material editing area, further includes:
  • the target multimedia material displayed in the target sub-area is switched to the alternative multimedia material.
  • the present disclosure also provides a video processing device, the device comprising:
  • the first display module is used to display the material editing area of the video clip according to the first script structure; wherein, the material editing area is divided into a plurality of sub-areas, one of the sub-areas and one of the first script structure Corresponding to the script node, the first script structure is used to indicate the content paragraph structure of the target video, and one of the script nodes is used to indicate a content paragraph of the target video;
  • the second display module is used to display the target multimedia material according to the time axis track in the target sub-area among the plurality of sub-areas; wherein, the target multimedia material is a multimedia material selected for a target script node, and the target script The node is a script node corresponding to the target sub-area in the first script structure;
  • a generation module configured to generate the target video according to the multimedia materials displayed in the material editing area; wherein, the target content paragraphs of the target video are filled with the target multimedia materials, and the target content paragraphs are identical to the target content paragraphs corresponding to the target script node described above.
  • the present disclosure provides a computer-readable storage medium, where instructions are stored in the computer-readable storage medium, and when the instructions are run on a terminal device, the terminal device is made to implement the above method.
  • the present disclosure provides a device, including: a memory, a processor, and a computer program stored on the memory and operable on the processor, when the processor executes the computer program, Implement the above method.
  • the present disclosure provides a computer program product, where the computer program product includes a computer program/instruction, and when the computer program/instruction is executed by a processor, the above method is implemented.
  • An embodiment of the present disclosure provides a video processing method, which displays a material editing area of a video clip according to a first script structure, so that sub-areas in the material editing area correspond to script nodes in the first script structure.
  • the multimedia material selected for the target script node corresponding to the target sub-area is displayed according to the time axis track, and then the target video is generated according to the multimedia material displayed in the material editing area.
  • the embodiments of the present disclosure can realize video editing based on a material editing area including multiple sub-areas corresponding to script nodes, enrich video processing methods, and further meet people's diverse video editing needs.
  • FIG. 1 is a schematic flowchart of a video processing method provided by an embodiment of the present disclosure
  • FIG. 2 is a schematic diagram of the relationship between a script node, a content paragraph, and a sub-area provided by an embodiment of the present disclosure
  • Fig. 3a is a schematic diagram of an alignment method of a material editing area provided by an embodiment of the present disclosure
  • Fig. 3b is a schematic diagram of an alignment method of another material editing area provided by an embodiment of the present disclosure.
  • Fig. 4a is a schematic diagram of a material editing area and a first script structure provided by an embodiment of the present disclosure
  • Fig. 4b is a schematic diagram of another material editing area and a first script structure provided by an embodiment of the present disclosure
  • Fig. 4c is a schematic diagram of another material editing area and a first script structure provided by an embodiment of the present disclosure
  • FIG. 5 is a schematic diagram of the relationship between a target script node, a target sub-area, a target content paragraph, and a target multimedia material provided by an embodiment of the present disclosure
  • Fig. 6a is a schematic diagram showing a target multimedia material provided by an embodiment of the present disclosure.
  • FIG. 6b is a schematic diagram showing another target multimedia material provided by an embodiment of the present disclosure.
  • FIG. 7 is a schematic diagram of generating a target video provided by an embodiment of the present disclosure.
  • FIG. 8 is a schematic diagram of switching between a target multimedia material and an alternative multimedia material according to an embodiment of the present disclosure
  • FIG. 9 is a schematic structural diagram of a video processing device provided by an embodiment of the present disclosure.
  • Fig. 10 is a schematic structural diagram of a video processing device provided by an embodiment of the present disclosure.
  • an embodiment of the present disclosure proposes a video processing method.
  • the material editing area of the video clip is displayed; wherein, the material editing area Be divided into a plurality of subregions, a subregion corresponds to a script node in the first script structure, the first script structure indicates the content paragraph structure of the target video, and a script node indicates a content paragraph of the target video;
  • the target multimedia material is displayed according to the time axis track; wherein, the target multimedia material is a multimedia material selected for a target script node, and the target script node is the same as the first script node in the first script structure.
  • the script node corresponding to the target sub-area and then, generate the target video according to the multimedia material displayed in the material editing area; wherein, the target content paragraph of the target video is filled with the target multimedia material, and the target content paragraph is consistent with the target Corresponds to script nodes.
  • the embodiment of the present disclosure displays the material editing area of the video clip according to the first script structure, so that the sub-areas in the material editing area correspond to the script nodes in the first script structure.
  • the multimedia material selected for the target script node corresponding to the target sub-area is displayed according to the time axis track, and then the target video is generated according to the multimedia material displayed in the material editing area.
  • the embodiments of the present disclosure can realize video editing based on a material editing area including multiple sub-areas corresponding to script nodes, enrich video processing methods, and further meet people's diverse video editing needs.
  • FIG. 1 it is a schematic flowchart of a video processing method provided by an embodiment of the present disclosure.
  • the method can be executed by a video processing device, wherein the device can use software And/or hardware implementation, generally can be integrated in electronic equipment.
  • the method may include:
  • Step 101 according to the structure of the first script, display the material editing area of the video clip.
  • the material editing area is divided into a plurality of sub-areas, one sub-area corresponds to a script node in the first script structure, the first script structure is used to indicate the content paragraph structure of the target video, and one script node is used to indicate the content paragraph structure of the target video A content paragraph of .
  • the script is the draft in the process of film and television creation, and usually the script includes the description content of multiple screens to guide the photographer to shoot and generate corresponding film and television works.
  • the script includes the relevant description content of a picture, which is used to indicate the shooting of the first shot, and the relevant description content of the b picture, which is used to indicate the shooting of the second shot, etc.
  • the shooting The operator can shoot according to the description content of frame a to obtain the first shot containing video clip A, shoot according to the description content of frame b to obtain the second shot containing video clip B, and then splicing the second shot on the first shot Afterwards, the film and television works corresponding to the script are obtained.
  • the first script structure may refer to the structure of the script above, such as the paragraph structure of the description content.
  • the description content of the first shot corresponds to the first script node in the first script structure
  • the description content of the second shot corresponds to the second script in the first script structure node.
  • the material editing area of the video clip is displayed according to the first script structure, and the multimedia material to be edited can be displayed in the material editing area.
  • the material editing area may be divided according to the script nodes in the first script structure to obtain sub-areas corresponding to each script node. Wherein, each sub-area corresponds to a script node in the first script structure.
  • the description may be made in conjunction with the content shown in FIG. 2 .
  • the first script structure in Fig. 2 includes Q script nodes, wherein Q is a positive integer, based on the first script structure including Q script nodes, the material editing area can be divided into Q sub-areas, and each script node corresponds to A subarea within the material editing area of the .
  • the vertical alignment as shown in FIG. 3a means that different rows are vertically aligned.
  • each sub-area is aligned to the left, or each sub-area may also be aligned to the right.
  • the horizontal alignment as shown in FIG. 3 b that is, different columns are aligned in the horizontal direction.
  • each sub-region is aligned upward, or each sub-region can also be aligned downward.
  • the script nodes in the first script structure may include: script comments and/or script paragraphs in the script, that is, the script node and the script comments and/or script paragraphs in the script have a corresponding relationship.
  • the script annotation is used to generally represent the content of the multimedia material corresponding to the script node
  • the script paragraph includes the detailed text content corresponding to the script node.
  • the detailed text content included in the script paragraph may be text information obtained through speech recognition of the video.
  • an example of a material editing area displaying a video clip according to the structure of the first script is as follows:
  • Example 1 The script node in the first script structure includes script comments, as shown in Figure 4a, assuming that the first script structure includes the first script comment and the second script comment, wherein the first script comment is "//opening remarks" , the second script comment is "//environment introduction”.
  • the first sub-area of the material editing area corresponds horizontally to "//opening remarks”
  • the second sub-area of the material editing area corresponds horizontally to "//environment introduction”.
  • Example 2 The script nodes in the first script structure include script paragraphs, as shown in Figure 4b, assuming that the first script structure includes a first script paragraph and a second script paragraph, wherein the first script paragraph is obtained through speech recognition
  • the opening text the second script paragraph is the environment introduction text obtained through speech recognition
  • the material editing area displayed according to the structure of the first script the first sub-area of the material editing area corresponds horizontally to the opening text script paragraph
  • the second sub-area is horizontally corresponding to the environment introduction text script paragraph.
  • Example 3 The script nodes in the first script structure include script comments and script paragraphs, as shown in Figure 4c, assuming that the first script structure includes the first script node and the second script node, wherein the first script node includes the first Script comment and the first script paragraph, the first script comment is "//opening remarks", the first script paragraph is the opening text obtained by speech recognition, the second script node includes the second script comment and the second script paragraph, the second script comment It is "//environment introduction", the second script paragraph is the environment introduction text obtained by speech recognition, the first sub-area in the material editing area displayed according to the first script structure and the opening text script paragraph in the first script structure and The first script annotations correspond horizontally, and the second sub-area in the material editing area corresponds horizontally to the environment introduction text script paragraph and the second script annotation in the first script structure.
  • step 102 After the material editing area is displayed according to the first script structure, the following step 102 is continued.
  • Step 102 in a target sub-area among the multiple sub-areas, display the target multimedia material according to the track of the time axis.
  • the target multimedia material is a multimedia material selected for the target script node
  • the target script node is a script node corresponding to the target sub-area in the first script structure.
  • the target sub-area may be any one of multiple sub-areas in the material editing area, and the target sub-area has a corresponding target script node in the first script structure, and can be based on the target script node Select the corresponding target multimedia material.
  • the target multimedia material may be voice recognized, and the voice recognition result is text-matched with each script node in the first script structure, To determine the target script node corresponding to the target multimedia material, and then display the target multimedia material according to the time axis track in the target sub-area corresponding to the target script node.
  • the target multimedia material in the embodiments of the present disclosure may be the entire video obtained by shooting, or may be a segment of the entire video obtained by shooting, which is not limited in this embodiment.
  • the target multimedia material is selected according to the target script node, and the target node also corresponds to the target sub-area, so that the target multimedia material displayed in the target sub-area can be determined.
  • the first sub-area in the material editing area is the target sub-area
  • the method for selecting the multimedia material according to the target script node may include, by performing image recognition and/or speech recognition on the multimedia material to be selected, determining the multimedia material with the highest matching degree with the "//opening remarks" script node as the target multimedia material , to display the target multimedia material in the first sub-area.
  • the multimedia material includes the video material of the prologue
  • speech recognition is performed on the prologue material to obtain the corresponding prologue text
  • use the prologue text as the target script node in the first script structure select the target multimedia material with the highest matching degree among the multimedia materials according to the prologue text, for example: select the prologue video material as the target multimedia material, and then select the target multimedia material in the first sub-area
  • the opening video material is displayed according to the timeline track in .
  • Step 103 generate a target video according to the multimedia material displayed in the material editing area.
  • the target content paragraph of the target video is filled with the target multimedia material, and the target content segment corresponds to the target script node.
  • the target video can be generated according to the multimedia materials displayed in the material editing area.
  • the target video includes Q content paragraphs, where Q is a positive integer, each content paragraph has a corresponding relationship with a script node in the first script structure, and each content paragraph can be filled with the content
  • the multimedia material selected by the script node corresponding to the paragraph, the multimedia material includes but not limited to: any one or more of video and audio.
  • the first script structure is used to indicate the content paragraph structure of the target video
  • a script node in the first script structure is used to indicate a content paragraph of the target video, that is, the content paragraph corresponding to the script node conforms to
  • content paragraphs can be adjusted according to the script nodes in the first script structure, so as to generate a target video conforming to the first script structure.
  • the first script structure includes Q script nodes, where Q is a positive integer, and each script node has a corresponding content paragraph, and the target sub-area, target content paragraph, and target can be determined according to the target script node Correspondence among the three multimedia materials, and furthermore, each content paragraph is filled with the corresponding target multimedia material, and each content paragraph is spliced according to the first script structure, so as to obtain the corresponding target video.
  • the first sub-area of the material editing area displays the opening video material
  • the opening video material includes n frames
  • the second sub-area of the material editing area displays the environment introduction material
  • the The environment introduction video material includes m frames, wherein n and m are positive integers, according to the first script structure, determine the first content paragraph of the corresponding target video of the first sub-region, and the second content paragraph of the corresponding target video of the second sub-region, thereby Use n frames of prologue video material to fill the first content paragraph, use m frames of environment introduction video material to fill the second content paragraph, and then generate a target video.
  • the video processing method of the embodiment of the present disclosure displays the material editing area of the video clip according to the first script structure, so that the sub-areas in the material editing area correspond to the script nodes in the first script structure.
  • the multimedia material selected for the target script node corresponding to the target sub-area is displayed according to the time axis track, and then the target video is generated according to the multimedia material displayed in the material editing area.
  • the embodiments of the present disclosure can realize video editing based on a material editing area including multiple sub-areas corresponding to script nodes, enrich video processing methods, and further meet people's diverse video editing needs.
  • a video work is generated by multiple sub-video clips.
  • the sub-videos need to be edited according to the time axis corresponding to the sub-videos, and the sub-videos should be spliced according to the time axis corresponding to the total video.
  • this timeline-based editing method is complex in the editing process related to language content, and needs to repeatedly compare the contents of each picture frame in the sub-video timeline, so this technical solution cannot realize fast and convenient video editing.
  • Clipping operation so the clipping operation of the video can be realized based on the above-mentioned embodiments. Specifically, before the target video is generated according to the multimedia material displayed in the material editing area, corresponding operation steps can be added according to the requirements.
  • the examples are as follows:
  • the steps that need to be added before step 103 of the above-mentioned embodiment include:
  • the first script node in the first script structure has a corresponding multimedia material
  • the first script node is the text content corresponding to the multimedia material.
  • manually configured subtitles, etc. The user can adjust the target text content in the first script node according to requirements, and in response to the adjustment, determine the multimedia material corresponding to the first script node in the material editing area, and in order to determine the content that needs to be adjusted, it is also necessary to determine A multimedia segment corresponding to the target text content in the multimedia material.
  • the multimedia segment in the multimedia material is edited.
  • the editing includes but is not limited to: deletion, shifting, etc.
  • the target text content is "Good morning and noon”
  • the multimedia material is a greeting video
  • the corresponding relationship between the target text content and the multimedia material is: "Morning” corresponds to the first frame of the greeting video, and “Up” corresponds to the second frame of the greeting video frame, “middle” corresponds to the third frame of the greeting video, “noon” corresponds to the fourth frame of the greeting video, and "good” corresponds to the fifth frame of the greeting video.
  • “morning” is a slip of the tongue and needs to be deleted in the target video Corresponding segment, so the target text content can be operated, delete "morning” in "good morning, noon", and the first frame and second frame in the corresponding greeting video will also be deleted.
  • the target text content can be associated with the multimedia material through the time stamp, and the time stamp can establish a relationship between the text content and the time axis of the multimedia material.
  • the target text The content is "morning”
  • the multimedia material is a greeting video
  • the corresponding relationship between the text content and the multimedia material is: “morning” corresponds to the 0th to 1.5th second of the multimedia material, and “noon” corresponds to the 1.5th to the 3rd of the multimedia material Seconds, "good” corresponds to the 3rd to 4th second of the multimedia material, operate on the target text content, delete the "morning" in "good morning, noon", and correspond to the 0th to 1.5th second of the greeting video been deleted.
  • the troublesome operation of manually positioning the text to be processed on the time axis of the multimedia material is avoided, and the efficiency and accuracy of video processing are improved.
  • step 103 of the above-mentioned embodiment includes:
  • the second script node is the text content corresponding to the multimedia material.
  • the text content there are many ways to obtain the text content, including: according to the speech recognition technology Identify the acquired text information, manually configured subtitles, etc.
  • the user can add text content at the target text position of the second script node according to requirements, and in response to the adjustment, determine the multimedia material corresponding to the second script node in the material editing area, and in order to determine the position where the multimedia segment needs to be added, it is also required Determine the time axis position corresponding to the target text position in the multimedia material.
  • a multimedia segment corresponding to the text content is added at the position of the time axis in the multimedia material.
  • the multimedia material before the time axis position can be determined as the front multimedia material
  • the multimedia material after the time axis position can be determined as the rear multimedia material
  • the adding operation can be the front multimedia material Connect the multimedia clip after the material, and connect the rear multimedia clip after the multimedia clip.
  • the second script node is "Hello everyone"
  • the multimedia material is a greeting video
  • the corresponding relationship between the target text content and the multimedia material is: “big” corresponds to the first frame of the greeting video, and "home” corresponds to the second frame of the greeting video Frame, "good” corresponds to the third frame of the greeting video.
  • "noon” needs to be added between “home” and "good”.
  • the "noon” "The corresponding video segment includes the first frame of the noon video and the second frame of the noon video, so the first frame and the second frame of the noon video are connected after the second frame of the greeting video, and the second frame of the noon video is connected Frame 3 of the greeting video.
  • step 103 of the above embodiment when the multimedia material is edited, the script node corresponding to the multimedia material will also change accordingly.
  • the steps that need to be added before step 103 of the above embodiment include :
  • the user performs an editing operation on the target multimedia segment in the first multimedia material in the material editing area, in response to this operation, it is necessary to perform corresponding operations on the first script structure, so it is necessary to determine the first multimedia
  • the script node corresponding to the body material is determined, and the text content corresponding to the target multimedia segment in the script node is determined. Furthermore, the text content in the script node is adjusted accordingly according to the clipping operation on the first multimedia material.
  • the corresponding relationship between the text content in the script node and the greeting video is as follows: “early” corresponds to the first frame of the greeting video, “up” corresponds to the second frame of the greeting video, and “middle” corresponds to the second frame of the greeting video. " corresponds to the third frame of the greeting video, " ⁇ ” corresponds to the fourth frame of the greeting video, and "good” corresponds to the fifth frame of the greeting video.
  • the third and fourth frames of the greeting video are deleted, and according to the The deletion operation of the 3rd and 4th frames of the video correspondingly deletes " ⁇ " and " ⁇ ” in the text content of the script node, and the script node after processing is "Good morning".
  • the changes of the multimedia material and the corresponding script node are unified, and the consistency of the multimedia material and the script node is maintained.
  • the order of the multimedia material can be adjusted based on the first script structure, then the steps that need to be added before step 103 of the above-mentioned embodiment include:
  • the user When the user needs to adjust the order of multimedia materials, he can adjust the second script node and the third script node in the first script structure, and the second script node has a corresponding second sub-area, and the third script node also has a corresponding
  • the second sub-area and the third sub-area are determined in the material editing area, and the second sub-area and the third sub-area are adjusted according to the user's adjustment to the script structure.
  • the sequence of multimedia materials can be adjusted by adjusting the structure of the first script, which improves the efficiency of video processing, and also saves the step of manually viewing multimedia materials to determine the content of multimedia materials, making video processing more intuitive.
  • the second script node in the first script structure is "//Introduction”
  • the third script node is "//Environment Introduction Video”
  • “//Introduction” is located in “//Environment Introduction Video ”
  • the prologue material in the corresponding material editing area is located after the environment introduction material.
  • the user needs to move the prologue video to before the environment introduction video.
  • "//prologue” can be moved to before "//environment introduction video”.
  • the prologue material in the material editing area is moved to Before the environment introduces the material.
  • step 103 of the above-mentioned embodiment in order to improve the quality of the generated target video when shooting, multiple similar types of videos will be shot, so the target multimedia material has alternative multimedia materials, and then selected from the alternative multimedia materials If the one with the best effect is obtained, the steps that need to be added before step 103 of the above-mentioned embodiment include:
  • the target multimedia material displayed in the target sub-area is switched to the alternative multimedia material.
  • the candidate multimedia material can be set by the user, or it can be obtained by comparing the similarity between the target multimedia material and the image recognition or speech recognition technology.
  • the user can switch the target multimedia material to the candidate multimedia material.
  • the switching operation switches the target multimedia material displayed in the material editing area to an alternative multimedia material.
  • the target script node corresponding to the target sub-region in the first script structure may be adjusted to the text information corresponding to the candidate multimedia material according to the candidate multimedia material.
  • the alternative operation can conveniently and quickly select the one that best meets the user's needs from a plurality of multimedia materials, thereby improving the efficiency of video processing.
  • the target sub-area is the first sub-area
  • the target multimedia material in the first sub-area is the target prologue material
  • the alternative multimedia materials are the first alternative prologue material and the second prologue material.
  • the alternative opening remarks material, in the material alternative area also includes an alternative display control, the alternative display control will display the alternative multimedia material in the first sub-area in response to the user's touch operation, in this example, the user touches the alternative Display controls, and click the second alternative opening material to switch with the target multimedia material, and then display the second alternative opening material in the first sub-area.
  • the video processing method of the embodiment of the present disclosure can intuitively and conveniently adjust the target video and/or the first script structure based on the corresponding relationship between sub-regions, content paragraphs, and multimedia materials established by the first script structure. , and at the same time reduce the complexity of editing and processing videos with language content or plot as the core, and improve video processing efficiency.
  • the present disclosure also provides a video processing device.
  • FIG. 9 it is a schematic structural diagram of a video processing device provided by an embodiment of the present disclosure, and the device includes:
  • the first display module 901 is configured to display the material editing area of the video clip according to the first script structure; wherein, the material editing area is divided into a plurality of sub-areas, and one of the sub-areas is related to the first script structure.
  • the first script structure is used to indicate the content paragraph structure of the target video
  • one script node is used to indicate a content paragraph of the target video;
  • the second display module 902 is configured to display the target multimedia material according to the time axis track in the target sub-area of the plurality of sub-areas; wherein, the target multimedia material is a multimedia material selected for the target script node, and the target The script node is a script node corresponding to the target sub-area in the first script structure;
  • the generating module 903 is configured to generate the target video according to the multimedia material displayed in the material editing area; wherein, the target content paragraph of the target video is filled with the target multimedia material, and the target content paragraph is related to The target script node corresponds.
  • the interface layout of the multiple sub-areas in the material editing area is vertically aligned.
  • the device further includes:
  • a first determining module configured to determine the multimedia material corresponding to the first script node in the material editing area in response to an adjustment operation on the target text content of the first script node in the first script structure, and determining a multimedia segment corresponding to the target text content in the multimedia material;
  • the clipping module is configured to clip the multimedia segment in the multimedia material according to the adjustment operation.
  • the device further includes:
  • the second determining module is configured to determine the multimedia corresponding to the second script node in the material editing area in response to the operation of adding text content to the target text position of the second script node in the first script structure material, and determining a time axis position corresponding to the target text position in the multimedia material;
  • An adding module configured to add a multimedia segment corresponding to the text content at the position of the time axis in the multimedia material according to the operation of adding text content.
  • the device further includes:
  • a third determining module configured to determine a script node corresponding to the first multimedia material and determine the script in response to an editing operation on a target multimedia segment of the first multimedia material in the material editing area Text content corresponding to the target multimedia segment in the node;
  • the first adjustment module is configured to adjust the text content in the script node according to the editing operation.
  • the device further includes:
  • a fourth determining module configured to determine the second script node and the third script node in the material clipping area in response to the order adjustment operation between the second script node and the third script node in the first script structure.
  • the sub-areas respectively corresponding to the third script node;
  • the second adjustment module is configured to adjust the order of the multimedia materials in the sub-areas respectively corresponding to the second script node and the third script node in the material editing area according to the order adjustment operation.
  • the target multimedia material has an alternative multimedia material
  • the device further includes:
  • a switching module configured to switch the target multimedia material displayed in the target sub-area to the alternative multimedia material in response to a switching operation on the target multimedia material and the alternative multimedia material in the target sub-area material.
  • the material editing area of the video clip is displayed according to the first script structure, so that the sub-areas in the material editing area correspond to the script nodes in the first script structure.
  • the multimedia material selected for the target script node corresponding to the target sub-area is displayed according to the time axis track, and then the target video is generated according to the multimedia material displayed in the material editing area.
  • an embodiment of the present disclosure also provides a computer-readable storage medium, where instructions are stored in the computer-readable storage medium, and when the instructions are run on a terminal device, the terminal device realizes this The video processing method described in the embodiment is disclosed.
  • the embodiment of the present disclosure also provides a computer program product, the computer program product includes a computer program/instruction, and when the computer program/instruction is executed by a processor, the video processing method described in the embodiment of the present disclosure is implemented.
  • an embodiment of the present disclosure also provides a video processing device, as shown in FIG. 10 , which may include:
  • Processor 1001 , memory 1002 , input device 1003 and output device 1004 The number of processors 1001 in the video processing device may be one or more, and one processor is taken as an example in FIG. 10 .
  • the processor 1001 , the memory 1002 , the input device 1003 and the output device 1004 may be connected through a bus or in other ways, wherein connection through a bus is taken as an example in FIG. 10 .
  • the memory 1002 can be used to store software programs and modules, and the processor 1001 executes various functional applications and data processing of the video processing device by running the software programs and modules stored in the memory 1002 .
  • the memory 1002 may mainly include a program storage area and a data storage area, wherein the program storage area may store an operating system, an application program required by at least one function, and the like.
  • the memory 1002 may include a high-speed random access memory, and may also include a non-volatile memory, such as at least one magnetic disk storage device, flash memory device, or other volatile solid-state storage devices.
  • the input device 1003 can be used to receive input numbers or character information, and generate signal input related to user settings and function control of the video processing device.
  • the processor 1001 will load the executable files corresponding to the process of one or more application programs into the memory 1002 according to the following instructions, and the processor 1001 will run the executable files stored in the memory 1002.
  • Application programs so as to realize various functions of the above-mentioned video processing device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Studio Circuits (AREA)

Abstract

本公开提供了一种视频处理方法、装置、设备及存储介质，方法包括：按照第一脚本结构，展示视频剪辑的素材编辑区域；其中，素材编辑区域被划分为多个子区域，一个子区域与第一脚本结构中的一个脚本节点相对应，第一脚本结构指示目标视频的内容段落结构，一个脚本节点指示目标视频的一个内容段落；在多个子区域中的目标子区域中，按照时间轴轨道展示目标多媒体素材；按照素材编辑区域中展示的多媒体素材，生成目标视频；其中，在目标视频的目标内容段落中填充有目标多媒体素材。可见，本公开实施例能够基于包含有与脚本节点相对应的多个子区域的素材编辑区域，实现对视频的剪辑，丰富了视频处理的方式，进一步满足了人们多样化的视频剪辑需求。

Description

一种视频处理方法、装置、设备及存储介质
相关申请的交叉引用
本申请要求于2021年09月15日提交的，申请号为202111081785.6、发明名称为“一种视频处理方法、装置、设备及存储介质”的中国专利申请的优先权，该申请的全部内容通过引用结合在本申请中。
技术领域
本公开涉及计算机技术领域，尤其涉及一种视频处理方法、装置、设备及存储介质。
背景技术
随着计算机技术的发展，视频在工作和生活中的应用场景越来越广泛，人们对视频的剪辑需求也越来越多样化。
因此，如何满足人们对视频多样化的剪辑需求，是目前亟需解决的技术问题。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开实施例提供了一种视频处理方法、装置、设备及存储介质。
第一方面，本公开提供了一种视频处理方法，所述方法包括：
按照第一脚本结构，展示视频剪辑的素材编辑区域；其中，所述素材编辑区域被划分为多个子区域，一个所述子区域与所述第一脚本结构中的一个脚本节点相对应，所述第一脚本结构用于指示目标视频的内容段落结构，一个所述脚本节点用于指示所述目标视频的一个内容段落；
在所述多个子区域中的目标子区域中，按照时间轴轨道展示目标多媒体素材；其中，所述目标多媒体素材为针对目标脚本节点选取的多媒体素材，所述目标脚本节点为所述第一脚本结构中与所述目标子区域对应的脚本节点；
按照所述素材编辑区域中展示的多媒体素材，生成所述目标视频；其中，在所述目标视频的目标内容段落中填充有所述目标多媒体素材，所述目标内容段落与所述目标脚本节点相对应。
一种可选的实施方式中，所述素材编辑区域中的所述多个子区域的界面布局方式为纵向对齐排列。
一种可选的实施方式中，所述按照所述素材编辑区域中展示的多媒体素材，生成所述 目标视频之前，还包括：
响应于针对所述第一脚本结构中的第一脚本节点的目标文本内容的调整操作，在所述素材编辑区域中确定所述第一脚本节点对应的多媒体素材，以及确定所述多媒体素材中与所述目标文本内容对应的多媒体片段；
根据所述调整操作，对所述多媒体素材中的所述多媒体片段进行剪辑。
一种可选的实施方式中，所述按照所述素材编辑区域中展示的多媒体素材，生成所述目标视频之前，还包括：
响应于在所述第一脚本结构中的第二脚本节点的目标文本位置增加文本内容的操作，在所述素材编辑区域中确定与所述第二脚本节点对应的多媒体素材，以及确定所述多媒体素材中与所述目标文本位置对应的时间轴位置；
根据所述增加文本内容的操作，在所述多媒体素材中的所述时间轴位置添加与所述文本内容对应的多媒体片段。
一种可选的实施方式中，所述按照所述素材编辑区域中展示的多媒体素材，生成所述目标视频之前，还包括：
响应于针对所述素材编辑区域中的第一多媒体素材的目标多媒体片段的剪辑操作，确定所述第一多媒体素材对应的脚本节点，并确定所述脚本节点中与所述目标多媒体片段对应的文本内容；
根据所述剪辑操作，对所述脚本节点中的所述文本内容进行调整。
一种可选的实施方式中，所述按照所述素材编辑区域中展示的多媒体素材，生成所述目标视频之前，还包括：
响应于针对所述第一脚本结构中的第二脚本节点和第三脚本节点之间的顺序调整操作，在所述素材剪辑区域中确定所述第二脚本节点和所述第三脚本节点分别对应的子区域；
根据所述顺序调整操作，对所述素材剪辑区域中与所述第二脚本节点和所述第三脚本节点分别对应的子区域中的多媒体素材进行顺序调整。
一种可选的实施方式中，所述目标多媒体素材具有备选多媒体素材，所述按照所述素材编辑区域中展示的多媒体素材，生成所述目标视频之前，还包括：
响应于针对所述目标子区域中的所述目标多媒体素材与所述备选多媒体素材的切换操作，将所述目标子区域中展示的目标多媒体素材切换为所述备选多媒体素材。
第二方面，本公开还提供了一种视频处理装置，所述装置包括：
第一展示模块，用于按照第一脚本结构，展示视频剪辑的素材编辑区域；其中，所述素材编辑区域被划分为多个子区域，一个所述子区域与所述第一脚本结构中的一个脚本节点相对应，所述第一脚本结构用于指示目标视频的内容段落结构，一个所述脚本节点用于 指示所述目标视频的一个内容段落；
第二展示模块，用于在所述多个子区域中的目标子区域中，按照时间轴轨道展示目标多媒体素材；其中，所述目标多媒体素材为针对目标脚本节点选取的多媒体素材，所述目标脚本节点为所述第一脚本结构中与所述目标子区域对应的脚本节点；
生成模块，用于按照所述素材编辑区域中展示的多媒体素材，生成所述目标视频；其中，在所述目标视频的目标内容段落中填充有所述目标多媒体素材，所述目标内容段落与所述目标脚本节点相对应。
第三方面，本公开提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现上述的方法。
第四方面，本公开提供了一种设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的方法。
第五方面，本公开提供了一种计算机程序产品，所述计算机程序产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述的方法。
本公开实施例提供的技术方案与现有技术相比至少具有如下优点：
本公开实施例提供了一种视频处理方法，按照第一脚本结构展示视频剪辑的素材编辑区域，使得素材编辑区域中的子区域与第一脚本结构中的脚本节点相对应。另外，在素材编辑区域的目标子区域中，按照时间轴轨道展示为该目标子区域对应的目标脚本节点选取的多媒体素材，进而，按照素材编辑区域中展示的多媒体素材，生成目标视频。本公开实施例能够基于包含有与脚本节点相对应的多个子区域的素材编辑区域，实现对视频的剪辑，丰富了视频处理的方式，进一步满足了人们多样化的视频剪辑需求。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种视频处理方法的流程示意图；
图2为本公开实施例提供的一种脚本节点、内容段落、子区域的关系示意图；
图3a为本公开实施例提供的一种素材编辑区域的对齐方式示意图；
图3b为本公开实施例提供的另一种素材编辑区域的对齐方式示意图；
图4a为本公开实施例提供的一种素材编辑区域和第一脚本结构的示意图；
图4b为本公开实施例提供的另一种素材编辑区域和第一脚本结构的示意图；
图4c为本公开实施例提供的又一种素材编辑区域和第一脚本结构的示意图；
图5为本公开实施例提供的一种目标脚本节点、目标子区域、目标内容段落以及目标多媒体素材的关系示意图；
图6a为本公开实施例提供的一种目标多媒体素材的展示示意图；
图6b为本公开实施例提供的另一种目标多媒体素材的展示示意图；
图7为本公开实施例提供的一种生成目标视频的示意图；
图8为本公开实施例提供的一种目标多媒体素材与备选多媒体素材进行切换的示意图；
图9为本公开实施例提供的一种视频处理装置的结构示意图；
图10为本公开实施例提供的一种视频处理设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
为了满足用户对视频剪辑的多样化需求，丰富视频处理的方式，本公开实施例提出了一种视频处理方法，首先，按照第一脚本结构，展示视频剪辑的素材编辑区域；其中，素材编辑区域被划分为多个子区域，一个子区域与第一脚本结构中的一个脚本节点相对应，第一脚本结构指示目标视频的内容段落结构，一个脚本节点指示目标视频的一个内容段落；然后，在多个子区域中的目标子区域中，按照时间轴轨道展示目标多媒体素材；其中，所述目标多媒体素材为针对目标脚本节点选取的多媒体素材，所述目标脚本节点为所述第一脚本结构中与所述目标子区域对应的脚本节点；进而，按照素材编辑区域中展示的多媒体素材，生成目标视频；其中，在目标视频的目标内容段落中填充有目标多媒体素材，所述目标内容段落与所述目标脚本节点相对应。
可见，本公开实施例按照第一脚本结构展示视频剪辑的素材编辑区域，使得素材编辑区域中的子区域与第一脚本结构中的脚本节点相对应。另外，在素材编辑区域的目标子区 域中，按照时间轴轨道展示为该目标子区域对应的目标脚本节点选取的多媒体素材，进而，按照素材编辑区域中展示的多媒体素材，生成目标视频。本公开实施例能够基于包含有与脚本节点相对应的多个子区域的素材编辑区域，实现对视频的剪辑，丰富了视频处理的方式，进一步满足了人们多样化的视频剪辑需求。
基于此，本公开实施例提供了一种视频处理方法，参考图1，为本公开实施例提供的一种视频处理方法的流程示意图，该方法可以由视频处理装置执行，其中该装置可以采用软件和/或硬件实现，一般可集成在电子设备中。
如图1所示，该方法可以包括：
步骤101，按照第一脚本结构，展示视频剪辑的素材编辑区域。
其中，素材编辑区域被划分为多个子区域，一个子区域与第一脚本结构中的一个脚本节点相对应，第一脚本结构用于指示目标视频的内容段落结构，一个脚本节点用于指示目标视频的一个内容段落。
脚本为进行影视创作过程中的底稿，通常脚本中包括多个画面的描述内容，以指导拍摄者进行拍摄生成对应的影视作品。例如：脚本中包括a画面的相关描述内容，用于指示第一个镜头的拍摄，还包括b画面的相关描述内容，用于指示第二个镜头的拍摄等等，在进行影视创作时，拍摄者可以根据a画面的描述内容拍摄获得包含A视频片段的第一个镜头，根据b画面的描述内容拍摄获得包含B视频片段的第二个镜头，进而将第二个镜头拼接在第一个镜头之后，获得该脚本对应的影视作品。
本实施例中，第一脚本结构可以指上述脚本的结构，如描述内容段落结构等，可以理解的是，上述例子中脚本包括的第一个镜头和第二个镜头分别对应的描述内容与第一脚本结构中的脚本节点相对应，例如，第一个镜头的描述内容对应于第一脚本结构中的第一脚本节点，第二个镜头的描述内容对应于第一脚本结构中的第二脚本节点。
本实施例中，在确定第一脚本结构之后，按照第一脚本结构展示视频剪辑的素材编辑区域，并且可以在该素材编辑区域展示待剪辑的多媒体素材。具体的，可以按照第一脚本结构中的脚本节点，对该素材编辑区域进行划分，得到与每个脚本节点分别对应的子区域。其中，每个子区域与第一脚本结构中的一个脚本节点相对应。
为了更形象的对本公开实施例中的子区域与脚本节点之间关系等进行理解，可以结合图2所示的内容进行说明。其中，图2中的第一脚本结构包括Q个脚本节点，其中Q为正整数，基于包含Q个脚本节点的第一脚本结构，素材编辑区域可以被划分为Q个子区域，每个脚本节点对应的素材编辑区域中的一个子区域。
需要说明的是，该素材编辑区域中的多个子区域的界面布局方式有多种，可以根据需 求进行选择，本实施例不做限制。例如，如图3a所示的纵向对齐排列，即不同行在竖向对齐排列。图3a中，各个子区域为左侧对齐，或者，各个子区域也可以右侧对齐。另外，如图3b所示的横向对齐排列，即不同列在横向对齐排列，图3b中，各个子区域为向上对齐，或者，各个子区域也可以向下对齐。
需要说明的是，一种可选的实施方式中，第一脚本结构中的脚本节点可以包括：脚本中的脚本批注和/或脚本段落，即脚本节点与脚本中的脚本批注和/或脚本段落具有对应关系。其中，脚本批注用于概括的表示脚本节点对应的多媒体素材内容，脚本段落包括脚本节点对应的详细文本内容。一种可选的实施方式中，脚本段落中包括的详细文本内容可以为通过对视频进行语音识别后获取到的文字信息。
具体的，按照第一脚本结构展示视频剪辑的素材编辑区域示例说明如下：
示例一：第一脚本结构中的脚本节点包括脚本批注，如图4a所示，假设第一脚本结构中包括第一脚本批注和第二脚本批注，其中，第一脚本批注为“//开场白”，第二脚本批注为“//环境介绍”。按照该第一脚本结构展示的素材编辑区域中，素材编辑区域的第一子区域与“//开场白”横向对应，素材编辑区域的第二子区域与“//环境介绍”横向对应。
示例二：第一脚本结构中的脚本节点包括脚本段落，如图4b所示，假设第一脚本结构中包括第一脚本段落和第二脚本段落，其中，第一脚本段落为通过语音识别获得的开场白文字，第二脚本段落为通过语音识别获得的环境介绍文字，在按照第一脚本结构展示的素材编辑区域中，素材编辑区域的第一子区域与开场白文字脚本段落横向对应，素材编辑区域的第二子区域与环境介绍文字脚本段落横向对应。
示例三：第一脚本结构中的脚本节点包括脚本批注和脚本段落，如图4c所示，假设第一脚本结构中包括第一脚本节点和第二脚本节点，其中，第一脚本节点包括第一脚本批注和第一脚本段落，第一脚本批注为“//开场白”，第一脚本段落为语音识别获得的开场白文字，第二脚本节点包括第二脚本批注和第二脚本段落，第二脚本批注为“//环境介绍”，第二脚本段落为语音识别获得的环境介绍文字，按照该第一脚本结构展示的素材编辑区域中的第一子区域与第一脚本结构中的开场白文字脚本段落和第一脚本批注均横向对应，素材编辑区域中的第二子区域与第一脚本结构中的环境介绍文字脚本段落和第二脚本批注均横向对应。
在按照第一脚本结构展示素材编辑区域之后，继续执行下述步骤102。
步骤102，在多个子区域中的目标子区域中，按照时间轴轨道展示目标多媒体素材。
其中，目标多媒体素材为针对目标脚本节点选取的多媒体素材，目标脚本节点为第一脚本结构中与目标子区域对应的脚本节点。
在本实施例中，目标子区域可以为素材编辑区域中的多个子区域中的任一个子区域， 该目标子区域在第一脚本结构中存在对应的目标脚本节点，并且能够基于该目标脚本节点选取对应的目标多媒体素材。
一种可选的实施方式中，在获取到用户导入的目标多媒体素材之后，可以通过对该目标多媒体素材进行语音识别，并将语音识别结果与第一脚本结构中的各个脚本节点进行文本匹配，以确定与该目标多媒体素材对应的目标脚本节点，然后，在该目标脚本节点对应的目标子区域中，按照时间轴轨道对该目标多媒体素材进行展示。本公开实施例中的目标多媒体素材可以为拍摄获得的整段视频，也可以为拍摄获得的整段视频中的一个片段，本实施例不做限制。
为了便于理解，参考图5，根据目标脚本节点选取目标多媒体素材，该目标节点还与目标子区域对应，进而能够确定该目标子区域中展示的目标多媒体素材。
一种可选的实施方式中，如图6a所示，假设素材编辑区域中的第一子区域为目标子区域，首先确定第一脚本结构中第一子区域对应的目标脚本节点为“//开场白”，然后根据目标脚本节点选取多媒体素材，作为目标多媒体素材，进而将目标多媒体素材展示在第一子区域中。
其中，根据目标脚本节点选取多媒体素材的方法可以包括，通过对待选的多媒体素材进行图像识别和/或语音识别等，确定与“//开场白”脚本节点匹配度最高的多媒体素材，作为目标多媒体素材，在第一子区域中展示目标多媒体素材。
另一种可选的实施方式中，如图6b所示，假设素材编辑区域中的第一子区域为目标子区域，多媒体素材包括开场白视频素材，对开场白素材进行语音识别，获取对应的开场白文字，将该开场白文字作为第一脚本结构中的目标脚本节点，根据该开场白文字在多媒体素材中选取匹配度最高的目标多媒体素材，例如：选取开场白视频素材作为目标多媒体素材，进而在第一子区域中按照时间轴轨道展示开场白视频素材。
步骤103，按照素材编辑区域中展示的多媒体素材，生成目标视频。
其中，在目标视频的目标内容段落中填充有目标多媒体素材，目标内容段落与目标脚本节点相对应。
在本实施例中，在各个子区域中展示有多媒体素材之后，能够按照素材编辑区域中展示的多媒体素材生成目标视频。
为了便于理解，参见图5，目标视频包括Q段内容段落，其中Q为正整数，每个内容段落与第一脚本结构中的一个脚本节点具有对应关系，每个内容段落中可以填充有该内容段落对应的脚本节点选取的多媒体素材，该多媒体素材包括但不限于：视频、音频中的任一种或多种。
本实施例中，第一脚本结构用于指示该目标视频的内容段落结构，具体的，第一脚本 结构中的一个脚本节点用于指示目标视频的一个内容段落，即脚本节点对应的内容段落符合该脚本节点的需求，因而能够根据第一脚本结构中的脚本节点对内容段落进行调整，从而生成符合第一脚本结构的目标视频。
继续以图5为例，第一脚本结构中包括Q个脚本节点，其中Q为正整数，并且每个脚本节点存在对应的内容段落，根据目标脚本节点能够确定目标子区域、目标内容段落以及目标多媒体素材三者间的对应关系，进而，对各个内容段落填充对应的目标多媒体素材，并将各个内容段落按照第一脚本结构进行拼接，从而获得对应的目标视频。
一种可选的实施方式中，如图7所示，素材编辑区域的第一子区域展示开场白视频素材，该开场白视频素材包括n帧，素材编辑区域的第二子区域展示环境介绍素材，该环境介绍视频素材包括m帧，其中n、m为正整数，根据第一脚本结构，确定第一子区域对应目标视频的第一内容段落，第二子区域对应目标视频的第二内容段落，从而使用n帧开场白视频素材填充第一内容段落，使用m帧环境介绍视频素材填充第二内容段落，进而生成目标视频。
综上，本公开实施例的视频处理方法，按照第一脚本结构展示视频剪辑的素材编辑区域，使得素材编辑区域中的子区域与第一脚本结构中的脚本节点相对应。另外，在素材编辑区域的目标子区域中，按照时间轴轨道展示为该目标子区域对应的目标脚本节点选取的多媒体素材，进而，按照素材编辑区域中展示的多媒体素材，生成目标视频。本公开实施例能够基于包含有与脚本节点相对应的多个子区域的素材编辑区域，实现对视频的剪辑，丰富了视频处理的方式，进一步满足了人们多样化的视频剪辑需求。
通常，一个视频作品是由多个子视频剪辑生成的，在进行剪辑的过程中，需要按照子视频对应的时间轴对子视频进行剪辑，并按照总视频对应的时间轴对子视频进行拼接。但是，该种基于时间轴的剪辑方法在进行语言内容相关的剪辑处理时操作复杂，需要反复对比子视频时间轴中各个画面帧的内容，因而该种技术方案无法实现对视频进行快速、便捷的剪辑操作，因而可以基于上述实施例实现对视频的剪辑操作，具体的，在所述按照素材编辑区域中展示的多媒体素材，生成目标视频之前，可以根据需求添加对应的操作步骤，示例说明如下：
一种可选的实施方式中，由于多媒体素材中出现口误等情况，要剪辑掉多媒体素材中对应的片段，则在上述实施例的步骤103前需要添加的步骤包括：
首先，响应于针对第一脚本结构中的第一脚本节点的目标文本内容的调整操作，在素材编辑区域中确定第一脚本节点对应的多媒体素材，以及确定多媒体素材中与目标文本内容对应的多媒体片段。
本示例中，第一脚本结构中的第一脚本节点存在对应的多媒体素材，并且该第一脚本节点为多媒体素材对应的文本内容，该文本内容的获取方式包括：根据语音识别技术识别获取文字信息、人工配置的字幕等。用户可以根据需求对第一脚本节点中的目标文本内容进行调整，响应于该调整，在素材编辑区域中确定该第一脚本节点对应的多媒体素材，并且为了确定需要进行调整的内容，还需要确定该多媒体素材中与目标文本内容对应的多媒体片段。
进一步的，根据该调整操作，对多媒体素材中的多媒体片段进行剪辑。其中，该剪辑包括但不限于：删减、移位等。
举例说明，目标文本内容为“早上中午好”，多媒体素材为打招呼视频，目标文本内容与多媒体素材的对应关系为：“早”对应打招呼视频的第1帧，“上”对应打招呼视频的第2帧，“中”对应打招呼视频的第3帧，“午”对应打招呼视频的第4帧，“好”对应打招呼视频的第5帧，本例中，“早上”为口误，目标视频中需要删除对应的片段，因而可以对目标文本内容进行操作，删除掉“早上中午好”中的“早上”，对应的打招呼视频中的第1帧和第2帧也会被删除。
另一个示例中，目标文本内容分可以与多媒体素材通过时间戳建立对应关系，时间戳能够将文本内容和多媒体素材的时间轴建立联系，具体的，假设文本内容为“早上中午好”，目标文本内容为“早上”，多媒体素材为打招呼视频，文本内容和多媒体素材的对应关系为：“早上”对应多媒体素材的第0秒到第1.5秒，“中午”对应多媒体素材的第1.5秒到第3秒，“好”对应多媒体素材的第3秒到第4秒，对目标文本内容进行操作，删除掉“早上中午好”中的“早上”，对应打招呼视频的第0秒到第1.5秒也会被删除。
本实施方式中，通过对第一脚本结构进行操作，避免了将需要处理的文本在多媒体素材的时间轴上通过人工进行定位的麻烦操作，提高了视频处理的效率和准确性。
另一种可选的实施方式中，需要在目标视频中增加多媒体片段，则在上述实施例的步骤103前需要添加的步骤包括：
首先，响应于在第一脚本结构中的第二脚本节点的目标文本位置增加文本内容的操作，在素材编辑区域中确定与第二脚本节点对应的多媒体素材，以及确定多媒体素材中与目标文本位置对应的时间轴位置。
本示例中，第一脚本结构中的第二脚本节点存在对应的多媒体素材，并且该第二脚本节点为多媒体素材对应的文本内容，该文本内容的获取方式有多种，包括：根据语音识别技术识别获取的文字信息、人工配置的字幕等。用户可以根据需求在第二脚本节点的目标文本位置增加文本内容，响应于该调整，在素材编辑区域中确定该第二脚本节点对应的多媒体素材，并且为了确定需要添加多媒体片段的位置，还需要确定该多媒体素材中与目标 文本位置对应的时间轴位置。
进一步的，根据增加文本内容的操作，在多媒体素材中的时间轴位置添加与文本内容对应的多媒体片段。
一种可选的实施方式中，可以将时间轴位置前的多媒体素材确定为前部多媒体素材，将时间轴位置后的多媒体素材确定为后部多媒体素材，则该添加操作可以为在前部多媒体素材后连接多媒体片段，在多媒体片段后连接后部多媒体素材。通过对第一脚本结构进行操作，避免了将需要添加的文本在多媒体素材的时间轴上通过人工进行定位的麻烦操作，提高了视频处理的效率和准确性。
举例说明，第二脚本节点为“大家好”，多媒体素材为打招呼视频，目标文本内容与多媒体素材的对应关系为：“大”对应打招呼视频的第1帧，“家”对应打招呼视频的第2帧，“好”对应打招呼视频的第3帧，本例中，需要在“家”和“好”中间添加“中午”，响应于在第二脚本节点中添加“中午”的操作，获取“中午”对应的视频片段包括中午视频的第1帧和中午视频的第2帧，因而在打招呼视频的第2帧之后连接中午视频的第1帧和第2帧，在中午视频的第2帧之后连接打招呼视频的第3帧。
另一种可选的实施方式中，对多媒体素材进行剪辑操作，该多媒体素材对应的脚本节点也会发生对应的变化，该种应用场景中，在上述实施例的步骤103前需要添加的步骤包括：
首先，响应于针对素材编辑区域中的第一多媒体素材的目标多媒体片段的剪辑操作，确定第一多媒体素材对应的脚本节点，并确定脚本节点中与目标多媒体片段对应的文本内容。进一步的，根据剪辑操作，对脚本节点中的文本内容进行调整。
本示例中，若用户在素材编辑区域对第一多媒体素材中的目标多媒体片段进行剪辑操作，响应于该操作，需要对第一脚本结构进行相应的操作，因而需要确定该第一多媒体素材对应的脚本节点，并确定脚本节点中与目标多媒体片段对应的文本内容。进而根据对第一多媒体素材的剪辑操作对脚本节点中的文本内容进行相应调整。
举例说明，第一多媒体素材为打招呼视频，脚本节点中的文本内容与打招呼视频对应关系为：“早”对应打招呼视频的第1帧，“上”对应打招呼视频的第2帧，“中”对应打招呼视频的第3帧，“午”对应打招呼视频的第4帧，“好”对应打招呼视频的第5帧，本例中，删除打招呼视频的第3帧和第4帧，根据对打招呼视频的第3帧和第4帧的删除操作，相应的在脚本节点的文本内容中删除“中”和“午”，处理之后的脚本节点为“早上好”。从而统一了多媒体素材和对应的脚本节点的变化情况，保持了多媒体素材和脚本节点的一致性。
另一种可选的实施方式中，能够基于第一脚本结构调整多媒体素材的顺序，则在上述 实施例的步骤103前需要添加的步骤包括：
首先，响应于针对第一脚本结构中的第二脚本节点和第三脚本节点之间的顺序调整操作，在素材剪辑区域中确定第二脚本节点和第三脚本节点分别对应的子区域。进一步的，根据所述顺序调整操作，对所述素材剪辑区域中与所述第二脚本节点和所述第三脚本节点分别对应的子区域中的多媒体素材进行顺序调整。
用户需要对多媒体素材进行顺序调整时，可以对第一脚本结构中的第二脚本节点和第三脚本节点进行调整，并且第二脚本节点存在对应的第二子区域，第三脚本节点也存在对应的第三子区域，响应于该调整，在素材编辑区域中确定第二子区域和第三子区域，根据用户对脚本结构的调整对第二子区域和第三子区域进行调整。本示例中，通过调整第一脚本结构能够调整多媒体素材的顺序，提高了视频处理的效率，同时也省去了为了确定多媒体素材的内容人工查看多媒体素材的步骤，使视频处理更加直观。
举例说明，本例中，第一脚本结构中的第二脚本节点为“//开场白”，第三脚本节点为“//环境介绍视频”，并且“//开场白”位于“//环境介绍视频”之后，对应的素材剪辑区域中开场白素材位于环境介绍素材之后。用户需要将开场白视频移动到环境介绍视频之前，可以将第一脚本结构中“//开场白”移动到“//环境介绍视频”之前，响应于用户的该操作，素材编辑区域的开场白素材移动到环境介绍素材之前。
另一种可选的实施方式中，在进行拍摄时为了提高生成的目标视频的质量，相似类型的视频会拍摄多条，因而目标多媒体素材具有备选多媒体素材，进而从备选多媒体素材中选取出效果最佳的一条，则在上述实施例的步骤103前需要添加的步骤包括：
响应于针对所述目标子区域中的所述目标多媒体素材与所述备选多媒体素材的切换操作，将目标子区域中展示的目标多媒体素材切换为备选多媒体素材。
本例中，备选多媒体素材可以是用户设置的，也可以是通过图像识别、语音识别技术与目标多媒体素材进行相似度对比获取的，用户可以将目标多媒体素材切换为备选多媒体素材，响应于该切换操作，将素材编辑区域中展示的目标多媒体素材切换为备选多媒体素材。需要说明的是，第一脚本结构中与目标子区域对应的目标脚本节点可以根据备选多媒体素材调整为该备选多媒体素材对应的文字信息。通过备选操作能够方便快捷的从多个多媒体素材中选取最符合用户需求的，提高了视频处理的效率。
举例说明，本例中，如图8所示，目标子区域为第一子区域，第一子区域中的目标多媒体素材为目标开场白素材，备选多媒体素材为第一备选开场白素材和第二备选开场白素材，在素材备选区域中还包括备选展示控件，该备选展示控件响应于用户的触控操作会在第一子区域展示备选多媒体素材，本示例中用户触控备选展示控件，并点选第二备选开场白素材与目标多媒体素材进行切换，进而在第一子区域中展示第二备选开场白素材。
综上，本公开实施例的视频处理方法，基于第一脚本结构建立的子区域、内容段落以及多媒体素材之间的对应关系，能够直观而便捷地对目标视频和/或第一脚本结构进行调整，同时降低了对以语言内容或剧情为核心的视频进行剪辑处理的复杂程度，提高了视频处理效率。
基于上述方法实施例，本公开还提供了一种视频处理装置，参考图9，为本公开实施例提供的一种视频处理装置的结构示意图，所述装置包括：
第一展示模块901，用于按照第一脚本结构，展示视频剪辑的素材编辑区域；其中，所述素材编辑区域被划分为多个子区域，一个所述子区域与所述第一脚本结构中的一个脚本节点相对应，所述第一脚本结构用于指示目标视频的内容段落结构，一个所述脚本节点用于指示所述目标视频的一个内容段落；
第二展示模块902，用于在所述多个子区域中的目标子区域中，按照时间轴轨道展示目标多媒体素材；其中，所述目标多媒体素材为针对目标脚本节点选取的多媒体素材，所述目标脚本节点为所述第一脚本结构中与所述目标子区域对应的脚本节点；
生成模块903，用于按照所述素材编辑区域中展示的多媒体素材，生成所述目标视频；其中，在所述目标视频的目标内容段落中填充有所述目标多媒体素材，所述目标内容段落与所述目标脚本节点相对应。
一种可选的实施方式中，所述素材编辑区域中的所述多个子区域的界面布局方式为纵向对齐排列。
一种可选的实施方式中，所述装置还包括：
第一确定模块，用于响应于针对所述第一脚本结构中的第一脚本节点的目标文本内容的调整操作，在所述素材编辑区域中确定所述第一脚本节点对应的多媒体素材，以及确定所述多媒体素材中与所述目标文本内容对应的多媒体片段；
剪辑模块，用于根据所述调整操作，对所述多媒体素材中的所述多媒体片段进行剪辑。
一种可选的实施方式中，所述装置还包括：
第二确定模块，用于响应于在所述第一脚本结构中的第二脚本节点的目标文本位置增加文本内容的操作，在所述素材编辑区域中确定与所述第二脚本节点对应的多媒体素材，以及确定所述多媒体素材中与所述目标文本位置对应的时间轴位置；
添加模块，用于根据所述增加文本内容的操作，在所述多媒体素材中的所述时间轴位置添加与所述文本内容对应的多媒体片段。
一种可选的实施方式中，所述装置还包括：
第三确定模块，用于响应于针对所述素材编辑区域中的第一多媒体素材的目标多媒体 片段的剪辑操作，确定所述第一多媒体素材对应的脚本节点，并确定所述脚本节点中与所述目标多媒体片段对应的文本内容；
第一调整模块，用于根据所述剪辑操作，对所述脚本节点中的所述文本内容进行调整。
一种可选的实施方式中，所述装置还包括：
第四确定模块，用于响应于针对所述第一脚本结构中的第二脚本节点和第三脚本节点之间的顺序调整操作，在所述素材剪辑区域中确定所述第二脚本节点和所述第三脚本节点分别对应的子区域；
第二调整模块，用于根据所述顺序调整操作，对所述素材剪辑区域中与所述第二脚本节点和所述第三脚本节点分别对应的子区域中的多媒体素材进行顺序调整。
一种可选的实施方式中，所述目标多媒体素材具有备选多媒体素材，所述装置还包括：
切换模块，用于响应于针对所述目标子区域中的所述目标多媒体素材与所述备选多媒体素材的切换操作，将所述目标子区域中展示的目标多媒体素材切换为所述备选多媒体素材。
本公开实施例提供的视频处理装置中，按照第一脚本结构展示视频剪辑的素材编辑区域，使得素材编辑区域中的子区域与第一脚本结构中的脚本节点相对应。另外，在素材编辑区域的目标子区域中，按照时间轴轨道展示为该目标子区域对应的目标脚本节点选取的多媒体素材，进而，按照素材编辑区域中展示的多媒体素材，生成目标视频。本公开实施例能够基于包含有与脚本节点相对应的多个子区域的素材编辑区域，实现对视频的剪辑，丰富了视频处理的方式，进一步满足了人们多样化的视频剪辑需求。
除了上述方法和装置以外，本公开实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现本公开实施例所述的视频处理方法。
本公开实施例还提供了一种计算机程序产品，所述计算机程序产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现本公开实施例所述的视频处理方法。
另外，本公开实施例还提供了一种视频处理设备，参见图10所示，可以包括：
处理器1001、存储器1002、输入装置1003和输出装置1004。视频处理设备中的处理器1001的数量可以一个或多个，图10中以一个处理器为例。在本公开的一些实施例中，处理器1001、存储器1002、输入装置1003和输出装置1004可通过总线或其它方式连接，其中，图10中以通过总线连接为例。
存储器1002可用于存储软件程序以及模块，处理器1001通过运行存储在存储器1002 的软件程序以及模块，从而执行视频处理设备的各种功能应用以及数据处理。存储器1002可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等。此外，存储器1002可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。输入装置1003可用于接收输入的数字或字符信息，以及产生与视频处理设备的用户设置以及功能控制有关的信号输入。
具体在本实施例中，处理器1001会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器1002中，并由处理器1001来运行存储在存储器1002中的应用程序，从而实现上述视频处理设备的各种功能。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

  1. 一种视频处理方法，其特征在于，所述方法包括：
    按照第一脚本结构，展示视频剪辑的素材编辑区域；其中，所述素材编辑区域被划分为多个子区域，一个所述子区域与所述第一脚本结构中的一个脚本节点相对应，所述第一脚本结构用于指示目标视频的内容段落结构，一个所述脚本节点用于指示所述目标视频的一个内容段落；
    在所述多个子区域中的目标子区域中，按照时间轴轨道展示目标多媒体素材；其中，所述目标多媒体素材为针对目标脚本节点选取的多媒体素材，所述目标脚本节点为所述第一脚本结构中与所述目标子区域对应的脚本节点；
    按照所述素材编辑区域中展示的多媒体素材，生成所述目标视频；其中，在所述目标视频的目标内容段落中填充有所述目标多媒体素材，所述目标内容段落与所述目标脚本节点相对应。
  2. 根据权利要求1所述的方法，其特征在于，所述素材编辑区域中的所述多个子区域的界面布局方式为纵向对齐排列。
  3. 根据权利要求1所述的方法，其特征在于，所述按照所述素材编辑区域中展示的多媒体素材，生成所述目标视频之前，还包括：
    响应于针对所述第一脚本结构中的第一脚本节点的目标文本内容的调整操作，在所述素材编辑区域中确定所述第一脚本节点对应的多媒体素材，以及确定所述多媒体素材中与所述目标文本内容对应的多媒体片段；
    根据所述调整操作，对所述多媒体素材中的所述多媒体片段进行剪辑。
  4. 根据权利要求1所述的方法，其特征在于，所述按照所述素材编辑区域中展示的多媒体素材，生成所述目标视频之前，还包括：
    响应于在所述第一脚本结构中的第二脚本节点的目标文本位置增加文本内容的操作，在所述素材编辑区域中确定与所述第二脚本节点对应的多媒体素材，以及确定所述多媒体素材中与所述目标文本位置对应的时间轴位置；
    根据所述增加文本内容的操作，在所述多媒体素材中的所述时间轴位置添加与所述文本内容对应的多媒体片段。
  5. 根据权利要求1所述的方法，其特征在于，所述按照所述素材编辑区域中展示的多媒体素材，生成所述目标视频之前，还包括：
    响应于针对所述素材编辑区域中的第一多媒体素材的目标多媒体片段的剪辑操作，确定所述第一多媒体素材对应的脚本节点，并确定所述脚本节点中与所述目标多媒体片段对应的文本内容；
    根据所述剪辑操作，对所述脚本节点中的所述文本内容进行调整。
  6. 根据权利要求1所述的方法，其特征在于，所述按照所述素材编辑区域中展示的多媒体素材，生成所述目标视频之前，还包括：
    响应于针对所述第一脚本结构中的第二脚本节点和第三脚本节点之间的顺序调整操作，在所述素材剪辑区域中确定所述第二脚本节点和所述第三脚本节点分别对应的子区域；
    根据所述顺序调整操作，对所述素材剪辑区域中与所述第二脚本节点和所述第三脚本节点分别对应的子区域中的多媒体素材进行顺序调整。
  7. 根据权利要求1所述的方法，其特征在于，所述目标多媒体素材具有备选多媒体素材，所述按照所述素材编辑区域中展示的多媒体素材，生成所述目标视频之前，还包括：
    响应于针对所述目标子区域中的所述目标多媒体素材与所述备选多媒体素材的切换操作，将所述目标子区域中展示的目标多媒体素材切换为所述备选多媒体素材。
  8. 一种视频处理装置，其特征在于，所述装置包括：
    第一展示模块，用于按照第一脚本结构，展示视频剪辑的素材编辑区域；其中，所述素材编辑区域被划分为多个子区域，一个所述子区域与所述第一脚本结构中的一个脚本节点相对应，所述第一脚本结构用于指示目标视频的内容段落结构，一个所述脚本节点用于指示所述目标视频的一个内容段落；
    第二展示模块，用于在所述多个子区域中的目标子区域中，按照时间轴轨道展示目标多媒体素材；其中，所述目标多媒体素材为针对目标脚本节点选取的多媒体素材，所述目标脚本节点为所述第一脚本结构中与所述目标子区域对应的脚本节点；
    生成模块，用于按照所述素材编辑区域中展示的多媒体素材，生成所述目标视频；其中，在所述目标视频的目标内容段落中填充有所述目标多媒体素材，所述目标内容段落与所述目标脚本节点相对应。
  9. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现如权利要求1-7任一项所述的方法。
  10. 一种设备，其特征在于，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-7任一项所述的方法。
  11. 一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现如权利要求1-7任一项所述的方法。
PCT/CN2022/117803 2021-09-15 2022-09-08 一种视频处理方法、装置、设备及存储介质 Ceased WO2023040743A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP22869112.7A EP4340372A4 (en) 2021-09-15 2022-09-08 VIDEO PROCESSING METHOD, APPARATUS, AND DEVICE, AND STORAGE MEDIUM
JP2023577720A JP7822405B2 (ja) 2021-09-15 2022-09-08 映像処理方法、映像処理装置、機器、記憶媒体及びコンピュータプログラム
US18/536,092 US12192594B2 (en) 2021-09-15 2023-12-11 Method, apparatus, device, and storage medium of video processing
US18/970,775 US20250097546A1 (en) 2021-09-15 2024-12-05 Method, apparatus, device, and storage medium of video processing

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111081785.6A CN115811632B (zh) 2021-09-15 2021-09-15 一种视频处理方法、装置、设备及存储介质
CN202111081785.6 2021-09-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/536,092 Continuation US12192594B2 (en) 2021-09-15 2023-12-11 Method, apparatus, device, and storage medium of video processing

Publications (1)

Publication Number Publication Date
WO2023040743A1 true WO2023040743A1 (zh) 2023-03-23

Family

ID=85481875

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/117803 Ceased WO2023040743A1 (zh) 2021-09-15 2022-09-08 一种视频处理方法、装置、设备及存储介质

Country Status (5)

Country Link
US (2) US12192594B2 (zh)
EP (1) EP4340372A4 (zh)
JP (1) JP7822405B2 (zh)
CN (1) CN115811632B (zh)
WO (1) WO2023040743A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116647714A (zh) * 2023-05-31 2023-08-25 北京达佳互联信息技术有限公司 视频生成方法、装置、电子设备以及存储介质
CN117009574B (zh) * 2023-07-20 2024-05-28 天翼爱音乐文化科技有限公司 热点视频模板的生成方法、系统、设备及存储介质
EP4525459A4 (en) * 2023-07-26 2025-07-09 Beijing Zitiao Network Technology Co Ltd VIDEO EDITING METHOD AND APPARATUS, AND DEVICE AND MEDIUM
CN120881334A (zh) * 2024-04-29 2025-10-31 北京字跳网络技术有限公司 视频编辑的方法、装置、设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100322589A1 (en) * 2007-06-29 2010-12-23 Russell Henderson Non sequential automated production by self-interview kit of a video based on user generated multimedia content
CN108259965A (zh) * 2018-03-31 2018-07-06 湖南广播电视台广播传媒中心 一种视频剪辑方法和剪辑系统
CN109756751A (zh) * 2017-11-07 2019-05-14 腾讯科技（深圳）有限公司 多媒体数据处理方法及装置、电子设备、存储介质
CN109889882A (zh) * 2019-01-24 2019-06-14 北京亿幕信息技术有限公司 一种视频剪辑合成方法和系统
CN111711855A (zh) * 2020-05-27 2020-09-25 北京奇艺世纪科技有限公司 视频生成方法及装置
CN112040142A (zh) * 2020-07-08 2020-12-04 智者四海（北京）技术有限公司 用于移动终端上的视频创作的方法
CN112579826A (zh) * 2020-12-07 2021-03-30 北京字节跳动网络技术有限公司 视频显示及处理方法、装置、系统、设备、介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050235198A1 (en) 2004-04-16 2005-10-20 Howard Johnathon E Editing system for audiovisual works and corresponding text for television news
JP2006054517A (ja) 2004-08-09 2006-02-23 Bank Of Tokyo-Mitsubishi Ltd 情報提示装置、方法及びプログラム
US7512537B2 (en) * 2005-03-22 2009-03-31 Microsoft Corporation NLP tool to dynamically create movies/animated scenes
JP2007052626A (ja) 2005-08-18 2007-03-01 Matsushita Electric Ind Co Ltd メタデータ入力装置およびコンテンツ処理装置
JP2009507453A (ja) 2005-09-07 2009-02-19 ポータルビデオ・インコーポレーテッド ビデオ編集方法および装置におけるテキスト位置の時間見積もり
JP2007336283A (ja) 2006-06-15 2007-12-27 Toshiba Corp 情報処理装置、情報処理方法および情報処理プログラム
US20100153520A1 (en) * 2008-12-16 2010-06-17 Michael Daun Methods, systems, and media for creating, producing, and distributing video templates and video clips
CA2787380C (en) 2010-01-26 2017-05-09 Francois Beaumier Digital jukebox device with improved user interfaces, and associated methods
US10140259B2 (en) * 2016-04-28 2018-11-27 Wipro Limited Method and system for dynamically generating multimedia content file
JP7086331B2 (ja) * 2018-04-16 2022-06-20 株式会社Ｎｈｋテクノロジーズ ダイジェスト映像生成装置およびダイジェスト映像生成プログラム
US20200126583A1 (en) * 2018-10-19 2020-04-23 Reduct, Inc. Discovering highlights in transcribed source material for rapid multimedia production
KR101994592B1 (ko) 2018-10-19 2019-06-28 인하대학교 산학협력단 비디오 콘텐츠의 메타데이터 자동 생성 방법 및 시스템
US11049525B2 (en) * 2019-02-21 2021-06-29 Adobe Inc. Transcript-based insertion of secondary video content into primary video content
US11126856B2 (en) * 2019-10-11 2021-09-21 Adobe Inc. Contextualized video segment selection for video-filled text
CN113364999B (zh) * 2021-05-31 2022-12-27 北京达佳互联信息技术有限公司 视频生成方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100322589A1 (en) * 2007-06-29 2010-12-23 Russell Henderson Non sequential automated production by self-interview kit of a video based on user generated multimedia content
CN109756751A (zh) * 2017-11-07 2019-05-14 腾讯科技（深圳）有限公司 多媒体数据处理方法及装置、电子设备、存储介质
CN108259965A (zh) * 2018-03-31 2018-07-06 湖南广播电视台广播传媒中心 一种视频剪辑方法和剪辑系统
CN109889882A (zh) * 2019-01-24 2019-06-14 北京亿幕信息技术有限公司 一种视频剪辑合成方法和系统
CN111711855A (zh) * 2020-05-27 2020-09-25 北京奇艺世纪科技有限公司 视频生成方法及装置
CN112040142A (zh) * 2020-07-08 2020-12-04 智者四海（北京）技术有限公司 用于移动终端上的视频创作的方法
CN112579826A (zh) * 2020-12-07 2021-03-30 北京字节跳动网络技术有限公司 视频显示及处理方法、装置、系统、设备、介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4340372A4 *

Also Published As

Publication number Publication date
JP2024521502A (ja) 2024-05-31
US20240114216A1 (en) 2024-04-04
EP4340372A1 (en) 2024-03-20
JP7822405B2 (ja) 2026-03-02
US12192594B2 (en) 2025-01-07
CN115811632B (zh) 2025-07-15
CN115811632A (zh) 2023-03-17
EP4340372A4 (en) 2024-10-16
US20250097546A1 (en) 2025-03-20

Similar Documents

Publication Publication Date Title
WO2023040743A1 (zh) 一种视频处理方法、装置、设备及存储介质
CN110928468B (zh) 智能交互平板的页面显示方法、装置、设备和存储介质
CN101453567B (zh) 拍摄和编辑运动图像的设备和方法
CN110928460B (zh) 智能交互平板的操作方法、装置、终端设备和存储介质
US8205159B2 (en) System, method and medium organizing templates for generating moving images
KR102590100B1 (ko) 비디오 처리 방법 및 장치, 디바이스 및 저장 매체
CN108920057B (zh) 电子白板的连接节点控制方法、装置、设备及存储介质
US11941728B2 (en) Previewing method and apparatus for effect application, and device, and storage medium
US12154596B2 (en) Video editing method and apparatus
WO2023104078A1 (zh) 一种视频编辑模板的生成方法、装置、设备及存储介质
CN112584208B (zh) 一种基于人工智能的视频浏览编辑方法和系统
JP2024502754A (ja) シミュレートされた撮影用特殊効果の生成方法、装置、機器及び媒体
CN116916092A (zh) 视频处理方法、装置、电子设备和存储介质
CN110880197B (zh) 信息处理装置、存储介质及信息处理方法
JP4129162B2 (ja) コンテンツ作成実演システム及びコンテンツ作成実演方法
WO2022194070A1 (zh) 应用程序的视频处理方法和电子设备
CN115202543B (zh) 书籍式导航栏的生成、切换方法、装置、设备及存储介质
US12155926B2 (en) Video generation method and apparatus for guiding users to take high-quality videos
EP4525459A1 (en) Video editing method and apparatus, and device and medium
CN121334419A (zh) 一种视频生成方法、装置、设备、介质及程序产品
WO2025056071A1 (zh) 一种多媒体资源处理方法、装置、设备及存储介质
CN121126086A (zh) 一种视频生成方法、装置、设备及存储介质
CN119893160A (zh) 多媒体显示方法、电子设备及程序产品

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22869112

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022869112

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2023577720

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2022869112

Country of ref document: EP

Effective date: 20231213

NENP Non-entry into the national phase

Ref country code: DE