WO2019052301A1 - 视频分类的方法、信息处理的方法以及服务器 - Google Patents

视频分类的方法、信息处理的方法以及服务器 Download PDF

Info

Publication number
WO2019052301A1
WO2019052301A1 PCT/CN2018/100733 CN2018100733W WO2019052301A1 WO 2019052301 A1 WO2019052301 A1 WO 2019052301A1 CN 2018100733 W CN2018100733 W CN 2018100733W WO 2019052301 A1 WO2019052301 A1 WO 2019052301A1
Authority
WO
WIPO (PCT)
Prior art keywords
video frame
video
feature
feature sequence
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/100733
Other languages
English (en)
French (fr)
Inventor
唐永毅
马林
刘威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to JP2020515067A priority Critical patent/JP7127120B2/ja
Priority to KR1020197032023A priority patent/KR102392943B1/ko
Priority to EP18855424.0A priority patent/EP3683723A4/en
Publication of WO2019052301A1 publication Critical patent/WO2019052301A1/zh
Priority to US16/558,015 priority patent/US10956748B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences

Definitions

  • the present invention relates to the field of computer technologies, and in particular, to video classification techniques.
  • the video classification method mainly adopts the feature extraction of each video frame in the marked video, and then transforms the feature of the frame level into the feature of the video level by the average feature method, and finally transmits the feature of the video level to the classification. Classification in the network.
  • the embodiment of the present invention provides a video classification method, an information processing method, and a server.
  • a feature change of a video in a time dimension is also considered, so that the video content can be better expressed. Improve the accuracy of video classification and improve the effect of video classification.
  • the first aspect of the present invention provides a method for video classification, which is performed by a computer device, and includes:
  • time feature sampling rule is a correspondence between a time feature and a video frame feature sequence
  • the first neural network model Processing, by the first neural network model, the at least one video frame feature sequence to obtain a feature expression result corresponding to the at least one video frame feature sequence;
  • the first neural network model is a recurrent neural network model;
  • a second aspect of the present invention provides a method of information processing, which is performed by a computer device, and includes:
  • time feature sampling rule is a correspondence between a time feature and a video frame feature sequence
  • the first neural network model Processing, by the first neural network model, the at least one video frame feature sequence to obtain a feature expression result corresponding to the at least one video frame feature sequence;
  • the first neural network model is a recurrent neural network model;
  • a third aspect of the present invention provides a server, including:
  • a first acquiring module configured to acquire a video to be processed, where the to-be-processed video includes multiple video frames, and each video frame corresponds to a time feature;
  • a second acquiring module configured to sample the to-be-processed video acquired by the first acquiring module according to a time feature sampling rule, and acquire at least one video frame feature sequence, where the time feature sampling rule is a time feature and Correspondence between video frame feature sequences;
  • the first neural network model is a recurrent neural network model
  • a second input module configured to process a feature expression result corresponding to the at least one video frame feature sequence obtained by inputting the first input module by using a second neural network model, to obtain the at least one video frame feature sequence Corresponding prediction result, wherein the prediction result is used to determine a category of the to-be-processed video.
  • a fourth aspect of the present invention provides a server, including: a memory, a processor, and a bus system;
  • the memory is used to store a program
  • the processor is configured to execute the program in the memory, and specifically includes the following steps:
  • time feature sampling rule is a correspondence between a time feature and a video frame feature sequence
  • the first neural network model Processing, by the first neural network model, the at least one video frame feature sequence to obtain a feature expression result corresponding to the at least one video frame feature sequence;
  • the first neural network model is a recurrent neural network model;
  • the bus system is configured to connect the memory and the processor to cause the memory and the processor to communicate.
  • a fifth aspect of the invention provides a computer readable storage medium for storing program code for performing the method of the above aspects.
  • a sixth aspect of the invention provides a computer program product comprising instructions which, when run on a computer, cause the computer to perform the methods described in the various aspects above.
  • a method for information processing is provided.
  • a computer device acquires a video to be processed, where the video to be processed includes multiple video frames, each video frame corresponds to a time feature, and then is treated according to a time feature sampling rule.
  • the first neural network model is a recurrent neural network model
  • the computer device uses at least one video frame feature sequence corresponding to the feature expression result by the second neural network model
  • Processing is performed to obtain a prediction result corresponding to at least one video frame feature sequence, and the prediction result is used to determine a category of the to-be-processed video.
  • the feature change of the video in the time dimension is also considered, so that the video content can be better expressed, the accuracy of the video classification is improved, and the effect of the video classification is improved.
  • FIG. 1 is a schematic structural diagram of information processing in an embodiment of the present invention.
  • FIG. 2 is a schematic diagram of an embodiment of a method for processing information according to an embodiment of the present invention
  • FIG. 3 is a schematic diagram of a video to be processed in an embodiment of the present invention.
  • FIG. 4 is a schematic diagram of a convolutional neural network having an idea structure according to an embodiment of the present invention.
  • FIG. 5 is a schematic structural diagram of a first neural network model according to an embodiment of the present invention.
  • FIG. 6 is a schematic structural diagram of a second neural network model according to an embodiment of the present invention.
  • FIG. 7 is a schematic diagram of an embodiment of a server according to an embodiment of the present invention.
  • FIG. 8 is a schematic diagram of another embodiment of a server according to an embodiment of the present invention.
  • FIG. 9 is a schematic diagram of another embodiment of a server according to an embodiment of the present invention.
  • FIG. 10 is a schematic diagram of another embodiment of a server according to an embodiment of the present invention.
  • FIG. 11 is a schematic diagram of another embodiment of a server according to an embodiment of the present invention.
  • FIG. 12 is a schematic diagram of another embodiment of a server according to an embodiment of the present invention.
  • FIG. 13 is a schematic diagram of another embodiment of a server according to an embodiment of the present invention.
  • FIG. 14 is a schematic diagram of another embodiment of a server according to an embodiment of the present invention.
  • FIG. 15 is a schematic structural diagram of a server according to an embodiment of the present invention.
  • the embodiment of the present invention provides a video classification method, an information processing method, and a server.
  • a feature change of a video in a time dimension is also considered, so that the video content can be better expressed. Improve the accuracy of video classification and improve the effect of video classification.
  • the solution is mainly used for providing a video content classification service, performing feature extraction, time series modeling and feature compression on a background computer device, and finally classifying video features by a hybrid expert model, thereby implementing video on a computer device.
  • Automate classification and labeling This solution can be deployed on video websites to add keyword words to videos in video websites. It can also be used to quickly search and match content. In addition, it can be used for video personalized recommendations.
  • FIG. 1 is a schematic structural diagram of information processing according to an embodiment of the present invention.
  • a computer device acquires a to-be-processed video.
  • the to-be-processed video includes Multiple video frames, and each video frame corresponds to a time feature, and different time features can be represented by t.
  • the computer device uses a convolutional neural network to process each video frame in the processed video to obtain a temporal feature corresponding to each video frame, and then the computer device determines to be processed according to the time characteristic corresponding to each video frame.
  • a temporal feature sequence of a video that is, a deep learning expression at the frame level.
  • the computer device can sample the processed video according to the temporal feature sampling rule, wherein the temporal feature sampling rule refers to sampling the video feature in the time dimension at different frame rates, and acquiring at least one video.
  • Frame feature sequences these video frame feature sequences correspond to different time scales.
  • the computer device inputs the video frame feature sequence corresponding to different time scales into the bidirectional recurrent neural network, and obtains a feature expression result corresponding to at least one video frame feature sequence, and the feature expression result is a video feature expression on a time scale.
  • the computer device inputs all the feature expression results into the second neural network, that is, the hybrid expert model, and obtains a prediction result corresponding to each video frame feature sequence, and according to the prediction results, the category of the to-be-processed video can be determined, This classifies the videos to be processed.
  • the second neural network that is, the hybrid expert model
  • An embodiment of the method of information processing in an example includes:
  • FIG. 3 is a schematic diagram of a video to be processed according to an embodiment of the present invention.
  • the video to be processed includes multiple video frames, as shown in FIG. Each picture is a video frame, and each video frame corresponds to a time feature.
  • the video to be processed corresponds to a playback time, so each frame of the video frame corresponds to a different playback time, and the time feature of the first video frame in the to-be-processed video is “1”, then the second video frame is The time characteristic is "2”, and so on, and the temporal feature of the Tth video frame is "T".
  • the video to be processed is sampled according to a time feature sampling rule, and at least one video frame feature sequence is obtained, where the time feature sampling rule is a correspondence between a time feature and a video frame feature sequence;
  • the server needs to perform sampling processing on the to-be-processed video according to the temporal feature sampling rule.
  • the time feature sampling rule includes a relationship between a preset time feature and a video frame feature sequence; in an actual application, a video frame feature sequence may be acquired, and at least two different time scale video frames may also be acquired. a sequence of features; a sequence of video frame features corresponding to different time scales, wherein the number of temporal features corresponding to each video frame feature included is different, and correspondingly, the lengths of the video frame feature sequences corresponding to different time scales are also different.
  • a video to be processed has a total of 1000 video frames, and the 1000 video frames respectively correspond to a time feature of 1 to 1000.
  • the temporal feature sampling rule is that each time feature corresponds to one video frame feature, then 1000 times of the video to be processed.
  • the feature will correspond to 1000 video frame features, and correspondingly, the length of the video frame feature sequence consisting of the 1000 video frame features is 1000.
  • the time feature sampling rule corresponds to one video frame feature per 100 time features, then 1000 time features of the to-be-processed video will correspond to 10 video frame features, and correspondingly, the video frame feature sequence composed of the 10 video frame features The length is 10.
  • the at least one video frame feature sequence is processed by the first neural network model to obtain a feature expression result corresponding to the at least one video frame feature sequence; wherein each video frame feature sequence has a feature expression corresponding to each result;
  • the server may input the video frame feature sequence corresponding to different time scales to the first neural network model, where the first neural network model is a recurrent neural network model, and then The input at least one video frame feature sequence is recursively processed by the first neural network model, and the feature expression results of the respective video frame feature sequences are outputted accordingly.
  • the different time scales are different video frame feature sequence lengths. As described in step 102, it is assumed that the total length of the video is T. If each time feature corresponds to one video frame feature, then the video frame feature sequence length is It is T/1. If every 10 time features correspond to one video frame feature, then the video frame feature sequence length is T/10.
  • the second neural network model processes the feature expression result corresponding to the at least one video frame feature sequence to obtain a prediction result corresponding to the at least one video frame feature sequence, where the prediction result is used to determine a category of the to-be-processed video.
  • Each of the video frame feature sequences respectively has a prediction result.
  • the server may separately input the feature expression result corresponding to each video frame feature sequence to the second neural network model, and then pass through the second neural network. After the model processes the input expression results of each feature, the prediction result corresponding to each feature expression result is output. Finally, the server can determine the category of the video to be processed based on the prediction results.
  • the categories of the videos to be processed may include “sports”, “news”, “music”, “anime” and “games”, etc., which are not limited herein.
  • a server acquires a video to be processed, where the video to be processed includes multiple video frames, each video frame corresponds to a time feature, and then is processed according to a time feature sampling rule.
  • the video is sampled, and at least one video frame feature sequence is obtained, wherein the time feature sampling rule is a correspondence between the time feature and the video frame feature sequence, and the server inputs the at least one video frame feature sequence to the first neural network model.
  • the first neural network model is a recurrent neural network model
  • the server inputs at least a feature expression result corresponding to the video frame feature sequence to the second neural network model, to obtain each The prediction result corresponding to the video frame feature sequence, and the prediction result is used to determine the category of the video to be processed.
  • the feature change of the video in the time dimension is also considered, so that the video content can be better expressed, the accuracy of the video classification is improved, and the effect of the video classification is improved.
  • the method may further include:
  • a time feature sequence of the video to be processed is determined according to a temporal feature corresponding to each video frame, wherein the time feature sequence is used for sampling.
  • the server may process each video frame in the processed video by using a convolutional neural network (CNN) having an inception structure, and then extract each video.
  • CNN convolutional neural network
  • the server determines the temporal feature sequence of the video to be processed based on the temporal characteristics of each video frame. Assuming that the first video frame of the video to be processed is 1, the second video frame is 2, and so on, and the last video frame is T, it can be determined that the time feature sequence of the video to be processed is T (seconds).
  • FIG. 4 is a schematic diagram of a convolutional neural network having an idea structure according to an embodiment of the present invention.
  • the inception structure includes three convolutions of different sizes, that is, 1 ⁇ 1 convolutional layer, 3 ⁇ 3 convolutional layer, 5 ⁇ 5 convolutional layer, and 3 ⁇ 3 maximum pooling layer, removing the last fully connected layer, and using the global average pooling layer (changing the image size 1 ⁇ 1) replaces the fully connected layer.
  • the convolutional neural network may also process each video frame in the to-be-processed video, and obtain time features corresponding to the respective video frames. A sequence of time features that make up the entire video to be processed.
  • each time window includes at least one video frame in the to-be-processed video
  • a video frame feature sequence corresponding to each time window is extracted from the time feature sequence.
  • At least one time window is first defined according to a temporal feature sampling rule to perform multi-scale video frame feature sequence sampling.
  • the time window size can be artificially defined. The more the number of video frames in a time window, the larger the granularity. For each content in the time window, we do it as an average operation. Into a "one frame" of content.
  • a method for extracting a video frame feature sequence at different time scales is described, that is, at least one time window is first determined according to a temporal feature sampling rule, wherein each time window includes at least one video in a to-be-processed video.
  • the frame then extracts a sequence of video frame features corresponding to each time window from the temporal feature sequence.
  • the at least one video frame feature sequence is configured by using the first neural network model.
  • Performing processing to obtain a feature expression result corresponding to each video frame feature sequence may include:
  • FIG. 5 is a schematic structural diagram of a first neural network model according to an embodiment of the present invention.
  • the entire first neural network model includes two parts, namely, a forward recurrent neural network and The backward recurrent neural network inputs each video frame feature sequence to the forward recurrent neural network, and then outputs a corresponding first expression result.
  • each video frame feature sequence is input to a backward recurrent neural network, and then a corresponding second expression result is output.
  • the recursive neural network based on the recursive gate unit can be used to time series modeling the video frame feature sequence, and further, in order to better serve different time scales.
  • the information is characterized.
  • the first neural network model can also be used for video feature compression.
  • feature compression and expression are performed from the forward and backward to the time center point position of the video to be processed, respectively, using the bidirectional recurrent neural network. In this way, the operability of the solution is improved.
  • the first expression result and the second expression result are calculated.
  • the feature expression result corresponding to the at least one video frame feature sequence may include:
  • the feature expression corresponding to the at least one video frame feature sequence is calculated by the following formula:
  • h represents the feature expression result of a video frame feature sequence
  • x t represents the video frame feature sequence at time t
  • GRU() represents the GRU neural network processing using gated loop unit
  • T represents the total time of the video to be processed
  • t represents one of 1 to T Integer.
  • the bidirectional recurrent neural network can be used to perform feature compression and expression from the forward and backward video time center point positions, respectively. Specifically, for a certain scale video frame feature sequence x t , t ⁇ [1, T].
  • the forward recurrent neural network is:
  • the backward recurrent neural network is:
  • GRU() is a recursive gate unit function whose specific form is:
  • ⁇ g represents the sigmoid function
  • ⁇ h represents the inverse tangent function
  • W z , W r , W t , U z , U r and U h are linear transformation parameter matrices, and different subscripts respectively represent different “ The gate”
  • b z , b r and b h are offset parameter vectors. Represents the calculation of a composite function.
  • the embodiment of the present invention specifically describes how to calculate the feature expression result corresponding to each video frame feature sequence according to the first expression result and the second expression result.
  • the prediction result can be calculated by using the relevant formula, which provides a feasible way for the realization of the scheme, thereby improving the feasibility and operability of the scheme.
  • the at least one video frame feature sequence is configured by the second neural network model.
  • the corresponding feature expression result is processed to obtain a prediction result corresponding to the at least one video frame feature sequence, which may include:
  • FIG. 6 is a schematic structural diagram of a second neural network model according to an embodiment of the present invention.
  • the entire second neural network model includes two parts, namely a first sub-model and The second sub-model, which may be referred to as a "gate expression”, may also be referred to as an "activating expression.”
  • the feature expression result corresponding to each video frame feature sequence is input to the "gate expression”, and then the corresponding third expression result is output.
  • the feature expression result corresponding to each video frame feature sequence is input to the "activation expression”, and then the corresponding fourth expression result is output.
  • Each third expression result and each fourth expression result are multiplied and then added to obtain a prediction result of the video frame feature sequence.
  • the second neural network model may be further used to classify the feature expression result.
  • the feature expression results can be obtained by nonlinear transformation to obtain the gate expression and the activation expression respectively, and then the two expressions are multiplied and added to obtain the final feature expression for classification, thereby facilitating the classification accuracy.
  • the third expression result and the fourth expression result are calculated according to the fifth embodiment corresponding to FIG.
  • the prediction result corresponding to the at least one video frame feature sequence may include:
  • the prediction result corresponding to the at least one video frame feature sequence is calculated by the following formula:
  • g n ⁇ g (W g h+b g ),n ⁇ [1,N];
  • a n ⁇ a (W a h+b a ),n ⁇ [1,N];
  • lable represents the prediction result of a video frame feature sequence
  • g n represents the third expression result
  • a n represents the fourth expression result
  • ⁇ g represents the softmax function
  • ⁇ a represents the sigmoid function
  • h represents the characteristic expression of the video frame feature sequence.
  • W g and b g represent the parameters in the first sub-model
  • W a and b a represent the parameters of the second sub-model
  • N represents the total number of calculations obtained by nonlinearly transforming the feature expression results
  • n represents from 1 to An integer in N.
  • the product operation After obtaining two ways of expression, the product operation will be performed, and then the addition operation will be performed to obtain a prediction result of a video frame feature sequence.
  • how to calculate the prediction result corresponding to each video frame feature sequence is calculated according to the third expression result and the fourth expression result.
  • the prediction result can be calculated by using the relevant formula, which provides a feasible way for the realization of the scheme, thereby improving the feasibility and operability of the scheme.
  • the second neural network model may further include:
  • the videos to be processed are classified according to the category of the video to be processed.
  • the server may further calculate a category of the to-be-processed video according to the prediction result corresponding to each video frame feature sequence and the weight value corresponding to each video frame feature sequence, and perform the to-be-processed video according to the classification result. classification.
  • the prediction result is represented by a “0 and 1” code of length 5.
  • the code with the prediction result of 1 is 00001
  • the code with the prediction result of 3 is 00100, and so on. If a pending video contains both prediction result 1 and prediction result 3, the pending video is represented as 00101.
  • each prediction result is not more than 1, and the prediction result can represent the possibility that the video to be processed belongs to this category.
  • ⁇ 0.01, 0.02, 0.9, 0.005, 1.0 ⁇ is a reasonable prediction result, meaning that the probability that the pending video belongs to the first category is 1.0 or 100%, and the probability of belonging to the second category is 0.005 or 0.5%.
  • the probability of belonging to the third category is 0.9 or 90%, the probability of belonging to the fourth category is 0.02 or 2%, and the probability of belonging to the fifth category is 0.01 or 1%.
  • the prediction result is calculated by using the preset weight value, and the calculation may adopt a weighting algorithm, and each weight value is learned by linear regression, which is a value representing the importance of each video frame feature sequence, and The sum of the weight values is 1, such as ⁇ 0.1, 0.4, 0.5 ⁇ .
  • linear regression which is a value representing the importance of each video frame feature sequence
  • the sum of the weight values is 1, such as ⁇ 0.1, 0.4, 0.5 ⁇ .
  • the prediction result of video frame feature sequence 1 is ⁇ 0.01, 0.02, 0.9, 0.005, 1.0 ⁇
  • the prediction result of video frame feature sequence 2 is ⁇ 0.02, 0.01, 0.9, 0.000. 0.9 ⁇
  • the prediction result of video frame feature sequence 3 is ⁇ 0.2, 0.3, 0.8, 0.01 0.7 ⁇
  • the category of the video to be processed is expressed as:
  • the probability that the pending video belongs to the third category is the largest, followed by the first category, so the pending video can be preferentially displayed in the video list of the third category.
  • the server may further perform a prediction result corresponding to each video frame feature sequence and a weight corresponding to each video frame feature sequence.
  • the value, the category of the video to be processed is calculated, and finally the video to be processed is classified according to the category of the video to be processed.
  • FIG. 7 is a schematic diagram of an embodiment of a server according to an embodiment of the present invention.
  • the server 20 includes:
  • the first obtaining module 201 is configured to acquire a video to be processed, where the to-be-processed video includes multiple video frames, and each video frame corresponds to one time feature;
  • the second obtaining module 202 is configured to sample the to-be-processed video acquired by the first acquiring module 201 according to a temporal feature sampling rule, and acquire at least one video frame feature sequence, where the time feature sampling rule is time Correspondence between features and video frame feature sequences;
  • the first input module 203 is configured to process, by using the first neural network model, the at least one video frame feature sequence acquired by the second acquiring module 202, to obtain a feature expression result corresponding to the at least one video frame feature sequence.
  • the first neural network model is a recurrent neural network model;
  • a second input module 204 configured to process, by using the second neural network model, the feature input result corresponding to the at least one video frame feature sequence by the first input module 203, to obtain the at least one video frame feature sequence Corresponding prediction result, wherein the prediction result is used to determine a category of the to-be-processed video.
  • the first obtaining module 201 acquires a to-be-processed video, where the to-be-processed video includes multiple video frames, each video frame corresponding to one time feature, and the second obtaining module 202 performs the The to-be-processed video acquired by the first acquiring module 201 is sampled, and at least one video frame feature sequence is acquired, where the time feature sampling rule is a correspondence between a time feature and a video frame feature sequence, and the first input module 203: processing, by using the first neural network model, the at least one video frame feature sequence acquired by the second acquiring module 202, to obtain a feature expression result corresponding to at least one video frame feature sequence, where the first neural network model is recursive a neural network model, the second input module 204 processes, by using the second neural network model, the feature expression result corresponding to the at least one video frame feature sequence obtained by the first input module 203, to obtain the at least one video frame feature.
  • a prediction result corresponding to the sequence wherein the prediction result is used to
  • a server acquires a video to be processed, where the video to be processed includes multiple video frames, each video frame corresponds to a time feature, and then the video to be processed is processed according to a time feature sampling rule. Sampling, and acquiring at least one video frame feature sequence, wherein the time feature sampling rule is a correspondence between the time feature and the video frame feature sequence, and the server further inputs at least one video frame feature sequence to the first neural network model to obtain each The feature expression result corresponding to the video frame feature sequence is finally input by the server to the second neural network model corresponding to the feature expression result corresponding to each video frame feature sequence, and the prediction result corresponding to each video frame feature sequence is obtained, and the prediction result is obtained.
  • the category used to determine the video to be processed is also considered, so that the video content can be better expressed, the accuracy of the video classification is improved, and the effect of the video classification is improved.
  • the server 20 further includes:
  • the processing module 205 is configured to process, by using the convolutional neural network CNN, each video frame in the to-be-processed video, to obtain a corresponding video frame, The time characteristic;
  • the determining module 206 is configured to determine a time feature sequence of the to-be-processed video according to a time feature corresponding to the video frame processed by the processing module 205, where the time feature sequence is used for sampling.
  • the convolutional neural network may also process each video frame in the to-be-processed video, and obtain time features corresponding to the respective video frames. A sequence of time features that make up the entire video to be processed.
  • the second obtaining module 202 includes:
  • a determining unit 2021 configured to determine, according to the temporal feature sampling rule, at least one time window, where each time window includes at least one video frame in the to-be-processed video;
  • the extracting unit 2022 is configured to extract, from the temporal feature sequence, a video frame feature sequence corresponding to each time window determined by the determining unit 2021.
  • a method for extracting a video frame feature sequence at different scales is described, that is, at least one time window is first determined according to a temporal feature sampling rule, wherein each time window includes at least one video frame in a to-be-processed video. And then extracting a video frame feature sequence corresponding to each time window from the time feature sequence.
  • the video frame feature sequences at different scales can be obtained, thereby obtaining a plurality of different samples for feature training, which is beneficial to improve the accuracy of the video classification result.
  • the first input module 203 includes:
  • a first acquiring unit 2031 configured to input the at least one video frame feature sequence into a forward recurrent neural network in the first neural network model, to obtain a first expression result
  • a second obtaining unit 2032 configured to input the video frame feature sequence into a backward recurrent neural network in the first neural network model, to obtain a second expression result
  • the first calculating unit 2033 is configured to calculate the at least one video frame feature sequence according to the first expression result acquired by the first acquiring unit 2031 and the second expression result acquired by the second acquiring unit 2032. Corresponding feature expression results.
  • the recursive neural network based on the recursive gate unit can be used to time series modeling the video frame feature sequence, and further, in order to better serve different time scales.
  • the information is characterized.
  • the first neural network model can also be used for video feature compression.
  • feature compression and expression are performed from the forward and backward to the time center point position of the video to be processed, respectively, using the bidirectional recurrent neural network. In this way, the operability of the solution is improved.
  • the first calculating unit 2033 includes:
  • the first calculating subunit 20331 is configured to calculate a feature expression result corresponding to the at least one video frame feature sequence by using the following formula:
  • h represents a feature expression result of a video frame feature sequence
  • Representing the first expression result the Representing the second expression result
  • the x t represents the video frame feature sequence at the time t
  • the GRU() represents a GRU neural network process using a gated loop unit
  • the T represents the video to be processed The total time
  • the t represents an integer from 1 to the T.
  • the embodiment of the present invention specifically describes how to calculate the feature expression result corresponding to each video frame feature sequence according to the first expression result and the second expression result.
  • the prediction result can be calculated by using the relevant formula, which provides a feasible way for the realization of the scheme, thereby improving the feasibility and operability of the scheme.
  • the second input module 204 includes:
  • the third obtaining unit 2041 is configured to input a feature expression result corresponding to each video frame feature sequence to a first sub-model in the second neural network model to obtain a third expression result;
  • a fourth obtaining unit 2042 configured to input a feature expression result corresponding to each video frame feature sequence to a second sub-model in the second neural network model, to obtain a fourth expression result;
  • a second calculating unit 2043 configured to calculate, according to the third expression result acquired by the third acquiring unit 2041 and the fourth expression result acquired by the fourth acquiring unit 2042, the video sequence of each video frame The corresponding prediction result.
  • the second neural network model may be further used to classify the feature expression result.
  • the feature expression results can be obtained by nonlinear transformation to obtain the gate expression and the activation expression respectively, and then the two expressions are multiplied and added to obtain the final feature expression for classification, thereby facilitating the classification accuracy.
  • the second calculating unit 2043 includes:
  • the second calculating subunit 20431 is configured to calculate a prediction result corresponding to each video frame feature sequence by using the following formula:
  • g n ⁇ g (W g h+b g ),n ⁇ [1,N];
  • a n ⁇ a (W a h+b a ),n ⁇ [1,N];
  • the lable represents a prediction result of a video frame feature sequence
  • the g n represents the third expression result
  • the a n represents the fourth expression result
  • the ⁇ g represents a softmax function
  • the ⁇ a represents a sigmoid function
  • the h represents a feature expression result of the video frame feature sequence
  • the W g and the b g represent parameters in the first sub-model
  • the W a and the b a represent a parameter of the second sub-model
  • N represents a total number of calculations obtained by nonlinearly transforming the feature expression result
  • the n represents an integer from 1 to the N.
  • how to calculate the prediction result corresponding to each video frame feature sequence is calculated according to the third expression result and the fourth expression result.
  • the prediction result can be calculated by using the relevant formula, which provides a feasible way for the realization of the scheme, thereby improving the feasibility and operability of the scheme.
  • the server 20 further includes:
  • the calculation module 207 is configured to process, by the second input module 204, a feature expression result corresponding to the at least one video frame feature sequence by using a second neural network model, to obtain a prediction corresponding to the at least one video frame feature sequence After the result, the category of the to-be-processed video is calculated according to the prediction result corresponding to the at least one video frame feature sequence and the weight value corresponding to the at least one video frame feature sequence;
  • the classification module 208 is configured to classify the to-be-processed video according to the category of the to-be-processed video calculated by the calculation module 207.
  • the server may further perform a prediction result corresponding to each video frame feature sequence and a weight corresponding to each video frame feature sequence.
  • the value, the category of the video to be processed is calculated, and finally the video to be processed is classified according to the category of the video to be processed.
  • FIG. 15 is a schematic structural diagram of a server according to an embodiment of the present invention.
  • the server 300 may have a large difference due to different configurations or performances, and may include one or more central processing units (CPUs) 322 (for example, One or more processors and memory 332, one or more storage media 330 storing application 342 or data 344 (eg, one or one storage device in Shanghai).
  • the memory 332 and the storage medium 330 may be short-term storage or persistent storage.
  • the program stored on storage medium 330 may include one or more modules (not shown), each of which may include a series of instruction operations in the server.
  • the central processor 322 can be configured to communicate with the storage medium 330 to perform a series of instruction operations in the storage medium 330 on the server 300.
  • Server 300 may also include one or more power sources 326, one or more wired or wireless network interfaces 350, one or more input and output interfaces 358, and/or one or more operating systems 341, such as Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM and more.
  • the steps performed by the server in the above embodiment may be based on the server structure shown in FIG.
  • the CPU 322 included in the server has the following functions:
  • time feature sampling rule is a correspondence between a time feature and a video frame feature sequence
  • the first neural network model Processing, by the first neural network model, the at least one video frame feature sequence to obtain a feature expression result corresponding to the at least one video frame feature sequence;
  • the first neural network model is a recurrent neural network model;
  • the CPU 322 is further configured to perform the following steps:
  • the CPU 322 is specifically configured to perform the following steps:
  • each time window includes at least one video frame in the to-be-processed video
  • the CPU 322 is specifically configured to perform the following steps:
  • the CPU 322 is specifically configured to perform the following steps:
  • h represents a feature expression result of a video frame feature sequence
  • Representing the first expression result the Representing the second expression result
  • the x t represents the video frame feature sequence at the time t
  • the GRU() represents a GRU neural network process using a gated loop unit
  • the T represents the video to be processed The total time
  • the t represents an integer from 1 to the T.
  • the CPU 322 is specifically configured to perform the following steps:
  • the CPU 322 is specifically configured to perform the following steps:
  • g n ⁇ g (W g h+b g ),n ⁇ [1,N];
  • a n ⁇ a (W a h+b a ),n ⁇ [1,N];
  • the lable represents a prediction result of a video frame feature sequence
  • the g n represents the third expression result
  • the a n represents the fourth expression result
  • the ⁇ g represents a softmax function
  • the ⁇ a represents a sigmoid function
  • the h represents a feature expression result of the video frame feature sequence
  • the W g and the b g represent parameters in the first sub-model
  • the W a and the b a represent a parameter of the second sub-model
  • N represents a total number of calculations obtained by nonlinearly transforming the feature expression result
  • the n represents an integer from 1 to the N.
  • the CPU 322 is further configured to perform the following steps:
  • the to-be-processed video is classified according to the category of the to-be-processed video.
  • the embodiment of the present invention further provides a storage medium for storing program code, which is used to execute any one of the information processing methods described in the foregoing embodiments.
  • the computer program product includes one or more computer instructions.
  • the computer can be a general purpose computer, a special purpose computer, a computer network, or other programmable device.
  • the computer instructions can be stored in a computer readable storage medium or transferred from one computer readable storage medium to another computer readable storage medium, for example, the computer instructions can be from a website site, computer, server or data center Transmission to another website site, computer, server, or data center by wire (eg, coaxial cable, fiber optic, digital subscriber line (DSL), or wireless (eg, infrared, wireless, microwave, etc.).
  • wire eg, coaxial cable, fiber optic, digital subscriber line (DSL), or wireless (eg, infrared, wireless, microwave, etc.).
  • the readable storage medium can be any available media that can be stored by the computer or a data storage device such as a server, data center, or the like that includes one or more available media.
  • the available media can be magnetic media (eg, floppy disk, hard disk, tape) ), an optical medium (for example, a digital versatile disc (DVD)), or a semiconductor medium (for example, a solid state disk (SSD) or the like.
  • the disclosed system, apparatus, and method may be implemented in other manners.
  • the device embodiments described above are merely illustrative.
  • the division of the unit is only a logical function division.
  • there may be another division manner for example, multiple units or components may be combined or Can be integrated into another system, or some features can be ignored or not executed.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be an indirect coupling or communication connection through some interface, device or unit, and may be in an electrical, mechanical or other form.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution of the embodiment.
  • each functional unit in each embodiment of the present invention may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.
  • the above integrated unit can be implemented in the form of hardware or in the form of a software functional unit.
  • the integrated unit if implemented in the form of a software functional unit and sold or used as a standalone product, may be stored in a computer readable storage medium.
  • the technical solution of the present invention which is essential or contributes to the prior art, or all or part of the technical solution, may be embodied in the form of a software product stored in a storage medium.
  • a number of instructions are included to cause a computer device (which may be a personal computer, server, or network device, etc.) to perform all or part of the steps of the methods described in various embodiments of the present invention.
  • the foregoing storage medium includes: a U disk, a mobile hard disk, a read-only memory (ROM), a random access memory (RAM), a magnetic disk, or an optical disk, and the like, which can store program code. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Library & Information Science (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种信息处理的方法，获取待处理视频；根据时间特征采样规则对待处理视频进行采样，并获取至少一个视频帧特征序列，时间特征采样规则为时间特征与视频帧特征序列之间的对应关系；通过第一神经网络模型对至少一个视频帧特征序列进行处理，得到至少一个视频帧特征序列的特征表达结果，该第一神经网络模型为递归神经网络模型；通过第二神经网络模型对至少一个视频帧特征序列的特征表达结果进行处理，得到至少一个视频帧特征序列所对应的预测结果，预测结果用于确定待处理视频的类别。本申请在对视频进行分类的过程中，还考虑到视频在时间维度上的特征变化，从而能够更好地表达视频内容，提高视频分类的准确率，提升视频分类的效果。

Description

视频分类的方法、信息处理的方法以及服务器
本申请要求于2017年9月15日提交中国专利局、申请号2017108336688、发明名称为“视频分类的方法、信息处理的方法以及服务器”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明涉及计算机技术领域，尤其涉及视频分类技术。
背景技术
随着网络多媒体技术的飞速发展，各式各样的多媒体信息不断涌现。越来越多的用户习惯于在网络上观看视频，为了使用户能够从大量的视频中选择自己想观看的内容，服务器通常会对视频进行分类，视频分类对于实现视频的管理以及兴趣推荐具有十分重要的作用。
目前所采用的视频分类方法主要为，先对待标记视频中的每一个视频帧进行特征提取，然后通过平均特征方法将帧级别的特征变换为视频级别的特征，最后将视频级别的特征传输到分类网络中进行分类。
然而，在目前的视频分类方法中，仅采用平均特征方法对帧级别的特征进行变换是较为单一的，在对视频进行分类的过程中，忽略了其他维度的变化对视频帧特征变换的影响，不利于保证视频分类的准确性。
发明内容
本发明实施例提供了一种视频分类的方法、信息处理的方法以及服务器，在对视频进行分类的过程中，还考虑到视频在时间维度上的特征变化，从而能够更好地表达视频内容，提高视频分类的准确率，提升视频分类的效果。
有鉴于此，本发明第一方面提供了一种视频分类的方法，该方法由计算机设备执行，包括：
获取待处理视频，其中，所述待处理视频包含多个视频帧，每个视频帧对应一个时间特征；
根据时间特征采样规则对所述待处理视频进行采样，并获取至少一个视频帧特征序列，其中，所述时间特征采样规则为时间特征与视频帧特征序列之间的对应关系；
通过第一神经网络模型对所述至少一个视频帧特征序列进行处理，得到所述至少一个视频帧特征序列所对应的特征表达结果；所述第一神经网络模型为递归神经网络模型；
通过第二神经网络模型对所述至少一个视频帧特征序列所对应的特征表达结果进行处理，得到所述至少一个视频帧特征序列所对应的预测结果；
根据所述至少一个视频帧特征序列所对应的预测结果确定所述待处理视 频的类别。
本发明第二方面提供了一种信息处理的方法，该方法由计算机设备执行，包括：
获取待处理视频，其中，所述待处理视频包含多个视频帧，每个视频帧对应一个时间特征；
根据时间特征采样规则对所述待处理视频进行采样，并获取至少一个视频帧特征序列，其中，所述时间特征采样规则为时间特征与视频帧特征序列之间的对应关系；
通过第一神经网络模型对所述至少一个视频帧特征序列进行处理，得到所述至少一个视频帧特征序列所对应的特征表达结果；所述第一神经网络模型为递归神经网络模型；
通过第二神经网络模型对所述至少一个视频帧特征序列所对应的特征表达结果进行处理，得到所述至少一个视频帧特征序列所对应的预测结果，其中，所述预测结果用于确定所述待处理视频的类别。
本发明第三方面提供了一种服务器，包括：
第一获取模块，用于获取待处理视频，其中，所述待处理视频包含多个视频帧，每个视频帧对应一个时间特征；
第二获取模块，用于根据时间特征采样规则对所述第一获取模块获取的所述待处理视频进行采样，并获取至少一个视频帧特征序列，其中，所述时间特征采样规则为时间特征与视频帧特征序列之间的对应关系；
第一输入模块，用于通过第一神经网络模型对所述第二获取模块获取的所述至少一个视频帧特征序列进行处理，得到所述至少一个视频帧特征序列所对应的特征表达结果；所述第一神经网络模型为递归神经网络模型；
第二输入模块，用于通过第二神经网络模型对所述第一输入模块输入后得到的所述至少一个视频帧特征序列所对应的特征表达结果进行处理，得到所述至少一个视频帧特征序列所对应的预测结果，其中，所述预测结果用于确定所述待处理视频的类别。
本发明第四方面提供了一种服务器，包括：存储器、处理器以及总线系统；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，具体包括如下步骤：
获取待处理视频，其中，所述待处理视频包含多个视频帧，每个视频帧对应一个时间特征；
根据时间特征采样规则对所述待处理视频进行采样，并获取至少一个视频帧特征序列，其中，所述时间特征采样规则为时间特征与视频帧特征序列之间的对应关系；
通过第一神经网络模型对所述至少一个视频帧特征序列进行处理，得到 所述至少一个视频帧特征序列所对应的特征表达结果；所述第一神经网络模型为递归神经网络模型；
通过第二神经网络模型对所述至少一个视频帧特征序列所对应的特征表达结果进行处理，得到所述至少一个视频帧特征序列所对应的预测结果，其中，所述预测结果用于确定所述待处理视频的类别；
所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
本发明的第五方面提供了一种计算机可读存储介质，所述计算机存储介质用于存储程序代码，所述程序代码用于执行上述各方面所述的方法。
本发明的第六方面提供了一种计算机程序产品，包括指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明实施例中，提供了一种信息处理的方法，首先计算机设备获取待处理视频，其中，待处理视频包含多个视频帧，每个视频帧对应一个时间特征，然后根据时间特征采样规则对待处理视频进行采样，并获取至少一个视频帧特征序列，其中，时间特征采样规则为时间特征与视频帧特征序列之间的对应关系，计算机设备通过第一神经网络模型对至少一个视频帧特征序列进行处理，得到至少一个视频帧特征序列所对应的特征表达结果，该第一神经网络模型为递归神经网络模型，最后计算机设备通过第二神经网络模型对至少一个视频帧特征序列所对应的特征表达结果进行处理，得到至少一个视频帧特征序列所对应的预测结果，预测结果用于确定待处理视频的类别。通过上述方式，在对视频进行分类的过程中，还考虑到视频在时间维度上的特征变化，从而能够更好地表达视频内容，提高视频分类的准确率，提升视频分类的效果。
附图说明
图1为本发明实施例中信息处理的架构示意图；
图2为本发明实施例中信息处理的方法一个实施例示意图；
图3为本发明实施例中待处理视频的一个示意图；
图4为本发明实施例中具有意念结构的卷积神经网络示意图；
图5为本发明实施例中第一神经网络模型的一个结构示意图；
图6为本发明实施例中第二神经网络模型的一个结构示意图；
图7为本发明实施例中服务器一个实施例示意图；
图8为本发明实施例中服务器另一个实施例示意图；
图9为本发明实施例中服务器另一个实施例示意图；
图10为本发明实施例中服务器另一个实施例示意图；
图11为本发明实施例中服务器另一个实施例示意图；
图12为本发明实施例中服务器另一个实施例示意图；
图13为本发明实施例中服务器另一个实施例示意图；
图14为本发明实施例中服务器另一个实施例示意图；
图15为本发明实施例中服务器一个结构示意图。
具体实施方式
本发明实施例提供了一种视频分类的方法、信息处理的方法以及服务器，在对视频进行分类的过程中，还考虑到视频在时间维度上的特征变化，从而能够更好地表达视频内容，提高视频分类的准确率，提升视频分类的效果。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应理解，本方案主要用于提供视频内容分类服务，在后台计算机设备对视频进行特征提取，时间序列建模与特征压缩，最后通过混合专家模型对视频特征进行分类，从而实现在计算机设备对视频进行自动化分类与标签。可以将本方案部署在视频类网站，为视频类网站中视频添加关键字词，还可以用于快速搜索与匹配内容，此外，又可以用于视频个性化推荐。
为了便于介绍，请参阅图1，图1为本发明实施例中信息处理的架构示意图，如图1所示，首先，计算机设备获取待处理视频，从图1可以看出，待处理视频包含了多个视频帧，而且每个视频帧对应一个时间特征，不同的时间特征可以用t来表示。接下来，计算机设备采用卷积神经网络对待处理视频中的每个视频帧进行处理，得到每个视频帧所对应的时间特征，然后计算机设备根据每个视频帧所对应的时间特征，确定待处理视频的时间特征序列，该时间特征序列也就是帧级别的深度学习表达。
紧接着，请继续参阅图1，计算机设备可以根据时间特征采样规则对待处理视频进行采样，其中，时间特征采样规则是指以不同帧率对视频特征在时间维度上进行采样，并获取至少一个视频帧特征序列，这些视频帧特征序列对应不同的时间尺度。计算机设备在将不同时间尺度对应的视频帧特征序列输入分别输入至双向递归神经网络，得到至少一个视频帧特征序列所对应的特征表达结果，该特征表达结果即为时间尺度上的视频特征表达。最后，计算机设备将所有的特征表达结果输入至第二神经网络，即混合专家模型中，并得到每个视频帧特征序列所对应的预测结果，根据这些预测结果可以确定待处理视频的类别，以此来对待处理视频进行分类。
在常见的视频数据中，用户常常会对视频信息进行描述、评论以及提供个性化的标签数据，由此形成与在线视频相关的丰富的文本信息。这些文本信息也可以作为视频分类的依据。
下面以服务器作为执行主体，对本发明中信息处理的方法进行介绍，应理解，本发明中信息处理的方法除了可以应用于服务器外，还可以应用于其他计算机设备，请参阅图2，本发明实施例中信息处理的方法一个实施例包括：
101、获取待处理视频，其中，待处理视频包含多个视频帧，每个视频帧对应一个时间特征；
本实施例中，服务器先要获取待处理视频，具体地，请参阅图3，图3为本发明实施例中待处理视频的一个示意图，待处理视频包含了多个视频帧，如图3中每张图即为一个视频帧，每个视频帧会对应一个时间特征。
其中，由于待处理视频对应于一段播放时间，因此每一帧视频帧都对应不同的播放时刻，假设待处理视频中第一个视频帧的时间特征为“1”，那么第二个视频帧的时间特征为“2”，以此类推，第T个视频帧的时间特征为“T”。
102、根据时间特征采样规则对待处理视频进行采样，并获取至少一个视频帧特征序列，其中，时间特征采样规则为时间特征与视频帧特征序列之间的对应关系；
本实施例中，接下来，服务器需要根据时间特征采样规则对该待处理视频进行采样处理。其中，时间特征采样规则中包含了预先设定的时间特征和视频帧特征序列之间的关系；在实际应用中，可以获取一个视频帧特征序列，也可以获取至少两个不同时间尺度的视频帧特征序列；对应于不同时间尺度的视频帧特征序列，其中所包括的每个视频帧特征对应的时间特征的数量不同，相应地，对应于不同的时间尺度的视频帧特征序列的长度也不同。例如，一个待处理视频共有1000个视频帧，这1000个视频帧分别对应1至1000的时间特征，如果时间特征采样规则为每个时间特征对应一个视频帧特征，那么待处理视频的1000个时间特征将对应1000个视频帧特征，相应地，由这1000个视频帧特征构成的视频帧特征序列的长度为1000。如果时间特征采样规则为每100个时间特征对应一个视频帧特征，那么待处理视频的1000个时间特征将对应10个视频帧特征，相应地，由这10个视频帧特征构成的视频帧特征序列的长度为10。以此类推，此处不作赘述。
103、通过第一神经网络模型对所述至少一个视频帧特征序列进行处理，得到所述至少一个视频帧特征序列所对应的特征表达结果；其中，每个视频帧特征序列各自对应有一个特征表达结果；
本实施例中，服务器在得到至少一个视频帧特征序列之后，可以分别将不同时间尺度所对应的视频帧特征序列输入至第一神经网络模型，该第一神经网络模型为递归神经网络模型，然后由该第一神经网络模型对输入的至少 一个视频帧特征序列进行递归处理，相应地输出各个视频帧特征序列的特征表达结果。
其中，不同的时间尺度也就是不同的视频帧特征序列长度，如步骤102中所介绍的，假设视频的总长度为T，如果每个时间特征对应一个视频帧特征，那么就是视频帧特征序列长度就是T/1。如果每10个时间特征对应一个视频帧特征，那么视频帧特征序列长度就是T/10。
104、通过第二神经网络模型对至少一个视频帧特征序列所对应的特征表达结果进行处理，得到至少一个视频帧特征序列所对应的预测结果，其中，预测结果用于确定待处理视频的类别。其中，每个视频帧特征序列各自对应有一个预测结果；本实施例中，服务器可以分别将每个视频帧特征序列所对应的特征表达结果输入至第二神经网络模型，然后经第二神经网络模型对输入的各个特征表达结果进行处理后，输出各个特征表达结果所对应的预测结果。最后，服务器可以根据预测结果来确定待处理视频的类别。
可以理解的是，待处理视频的类别可以有“体育”、“新闻”、“音乐”“动漫”和“游戏”等，此处不做限定。
本发明实施例中，提供了一种信息处理的方法，首先服务器获取待处理视频，其中，待处理视频包含多个视频帧，每个视频帧对应一个时间特征，然后根据时间特征采样规则对待处理视频进行采样，并获取至少一个视频帧特征序列，其中，时间特征采样规则为时间特征与视频帧特征序列之间的对应关系，服务器再将至少一个视频帧特征序列输入至第一神经网络模型，得到至少一个视频帧特征序列所对应的特征表达结果，该第一神经网络模型为递归神经网络模型，最后服务器将至少视频帧特征序列所对应的特征表达结果输入至第二神经网络模型，得到每个视频帧特征序列所对应的预测结果，预测结果用于确定待处理视频的类别。通过上述方式，在对视频进行分类的过程中，还考虑到视频在时间维度上的特征变化，从而能够更好地表达视频内容，提高视频分类的准确率，提升视频分类的效果。
可选地，在上述图2对应的实施例的基础上，本发明实施例提供的信息处理的方法第一个可选实施例中，获取待处理视频之后，还可以包括：
采用卷积神经网络CNN对待处理视频中的每个视频帧进行处理，得到每个视频帧所对应的时间特征；
根据每个视频帧所对应的时间特征，确定待处理视频的时间特征序列，其中，时间特征序列用于进行采样。
本实施例中，服务器在获取待处理视频之后，可以采用具有意念(inception)结构的卷积神经网络(convolutional neural network，CNN)对待处理视频中的每个视频帧进行处理，然后提取每个视频帧所对应的时间特征。最后，服务器根据每个视频帧的时间特征，确定待处理视频的时间特征序列。假设待处理视频的第一个视频帧为1，第二个视频帧为2，以此类推，最后一 个视频帧为T，那么可以确定待处理视频的时间特征序列为T(秒)。
下面将介绍inception结构的CNN，请参阅图4，图4为本发明实施例中具有意念结构的卷积神经网络示意图，如图4所示，inception结构包含了3个不同尺寸的卷积，即1×1卷积层、3×3卷积层、5×5卷积层以及3×3最大池化层，去除了最后的全连接层，而使用全局平均池化层(将图片尺寸变为1×1)取代全连接层。
要想增强网络能力，可以增加网络深度，增加网络宽度。但是为了减少过拟合，也要减少自由参数。因此，在inception结构的同一层里中，有卷积1×1卷积层、3×3卷积层和5×5卷积层三个不同的卷积模板，他们可以在不同尺寸下做特征提取，也是一种混合模型。因为最大池化层本身也有特征提取的作用，而且和卷积不同，没有参数不会过拟合，也作为一个分支。但是直接这样做，整个网络计算量会较大，且层次并没有变深，因此，在3×3卷积和5×5卷积前面先做1×1的卷积，降低输入的通道的数量，这样既使得网络变深，同时计算量反而小了。
其次，本发明实施例中，服务器获取待处理视频之后，还可以采用卷积神经网络对该待处理视频中的每个视频帧进行处理，并且得到各个视频帧对应的时间特征，这些时间特征用于构成整个待处理视频的时间特征序列。通过上述方式，利用卷积神经网络对每个视频帧进行训练和处理，有利于提升时间特征提取的准确性和效果。
可选地，在上述图2对应的第一个实施例的基础上，本发明实施例提供的信息处理的方法第二个可选实施例中，根据时间特征采样规则对待处理视频进行采样，并获取至少一个视频帧特征序列，可以包括：
根据时间特征采样规则确定至少一个时间窗口，其中，每个时间窗口包含待处理视频中的至少一个视频帧；
从时间特征序列中提取每个时间窗口对应的视频帧特征序列。
本实施例中，将介绍服务器如何获取至少一个视频帧特征序列的。
具体地，首先根据时间特征采样规则定义至少一个时间窗口，以进行多尺度的视频帧特征序列采样。假设待处理视频共有T秒，分别以1帧视频帧、5帧视频帧和10帧视频帧为时间窗口，对该时间窗口内的视频帧特征做平均，得到三个不同尺度下的视频帧特征序列。如果T秒等于100帧，我们以1帧为时间窗口，那么视频帧特征序列长度就是T/1＝T。如果我们以10帧为时间窗口，那么最后得到的就是视频帧特征序列长度就是T/10。因此，视频帧特征序列长度与时间窗口的大小有关。
其中，时间窗口大小可以是人为预先定义的，一个时间窗口内视频帧的数量越多，颗粒度也就越大，对于每个时间窗口中的内容我们是把它做一个平均操作，以此变成“一帧”的内容。
再次，本发明实施例中，说明了提取不同时间尺度下视频帧特征序列的 方法，即先根据时间特征采样规则确定至少一个时间窗口，其中，每个时间窗口包含待处理视频中的至少一个视频帧，然后从时间特征序列中提取每个时间窗口对应的视频帧特征序列。通过上述方式，能够获得不同尺度下的视频帧特征序列，以此得到多个不同的样本来进行特征训练，这样的话，有利于提高视频分类结果的准确性。
可选地，在上述图2对应的实施例的基础上，本发明实施例提供的信息处理的方法第三个可选实施例中，通过第一神经网络模型对所述至少一个视频帧特征序列进行处理，得到每个视频帧特征序列所对应的特征表达结果，可以包括：
将至少一个视频帧特征序列输入至第一神经网络模型中的前向递归神经网络，以获取第一表达结果；
将至少一个视频帧特征序列输入至第一神经网络模型中的后向递归神经网络，以获取第二表达结果；
根据第一表达结果和第二表达结果，计算至少一个视频帧特征序列所对应的特征表达结果。
本实施例中，将介绍如何利用第一神经网络模型得到每个视频帧特征序列所对应的特征表达结果。
具体地，请参阅图5，图5为本发明实施例中第一神经网络模型的一个结构示意图，如图5所示，整个第一神经网络模型包括两个部分，即前向递归神经网络和后向递归神经网络，将每个视频帧特征序列输入至前向递归神经网络，然后输出相应的第一表达结果。与此同时，将每个视频帧特征序列输入至后向递归神经网络，然后输出相应的第二表达结果。
最后，直接拼接第一表达结果和第二表达结果，即可得到视频帧特征序列所对应的特征表达结果。
其次，本发明实施例中，在提取视频帧特征序列的基础上，可以使用基于递归门单元的递归神经网络对视频帧特征序列进行时序建模，进一步地，为了更好地对不同时间规模的信息进行特征表达，本方案中还可以使用第一神经网络模型进行视频特征压缩。通过上述方式，对于递归神经网络，由于大多数视频的主要内容是发生在视频时间中部，因此使用双向递归神经网络分别从前向和后向往待处理视频的时间中心点位置进行特征压缩与表达。以此，提升方案的可操作性。
可选地，在上述图2对应的第三个实施例的基础上，本发明实施例提供的信息处理的方法第四个可选实施例中，根据第一表达结果和第二表达结果，计算至少一个视频帧特征序列所对应的特征表达结果，可以包括：
采用如下公式计算至少一个视频帧特征序列所对应的特征表达结果：
Figure PCTCN2018100733-appb-000001
Figure PCTCN2018100733-appb-000002
其中，h表示一个视频帧特征序列的特征表达结果，
Figure PCTCN2018100733-appb-000003
表示第一表达结果，
Figure PCTCN2018100733-appb-000004
表示第二表达结果，x t表示第t时刻的视频帧特征序列，GRU()表示采用门控循环单元GRU神经网络处理，T表示待处理视频的总时间，t表示从1至T中的一个整数。
本实施例中，可以使用双向递归神经网络分别从前向和后向往视频时间中心点位置进行特征压缩与表达。具体为，对于某个尺度的视频帧特征序列x t，t∈[1,T]。
前向递归神经网络为：
Figure PCTCN2018100733-appb-000005
后向递归神经网络为：
Figure PCTCN2018100733-appb-000006
其中，
Figure PCTCN2018100733-appb-000007
为前向递归神经网络的中间层特征表达，也可表达为第一表达结果
Figure PCTCN2018100733-appb-000008
为后向递归神经网络的中间层特征表达，也可表达为第二表达结果
Figure PCTCN2018100733-appb-000009
GRU()为递归门单元函数，其具体形式为：
z t＝σ g(W zx t+U zh t-1+b z)；
r t＝σ g(W rx t+U rh t-1+b r)；
Figure PCTCN2018100733-appb-000010
其中，σ g表示sigmoid函数，σ h表示反正切函数，此外，W z、W r、W t、U z、U r和U h均为线性变换参数矩阵，不同的下角标分别表示不同的“门”，b z、b r和b h为偏置参数向量。
Figure PCTCN2018100733-appb-000011
表示复合函数的计算。
由此，我们可以将第一表达结果和第二表达结果拼接起来，得到某个尺度对应的特征表达结果，即
Figure PCTCN2018100733-appb-000012
再次，本发明实施例中，具体介绍了如何根据第一表达结果和第二表达结果，计算每个视频帧特征序列所对应的特征表达结果。通过上述方式，可以利用相关公式计算得到预测结果，为方案的实现提供了可行的方式，从而可以提升方案的可行性和可操作性。
可选地，在上述图2对应的实施例的基础上，本发明实施例提供的信息处理的方法第五个可选实施例中，通过第二神经网络模型对所述至少一个视频帧特征序列所对应的特征表达结果进行处理，得到至少一个视频帧特征序 列所对应的预测结果，可以包括：
将至少一个视频帧特征序列所对应的特征表达结果输入至第二神经网络模型中的第一子模型，以获取第三表达结果；
将至少一个视频帧特征序列所对应的特征表达结果输入至第二神经网络模型中的第二子模型，以获取第四表达结果；
根据第三表达结果和第四表达结果，计算至少一个视频帧特征序列所对应的预测结果。
本实施例中，将介绍如何利用第二神经网络模型得到每个视频帧特征序列所对应的预测结果。
具体地，请参阅图6，图6为本发明实施例中第二神经网络模型的一个结构示意图，如图6所示，整个第二神经网络模型包括两个部分，分别为第一子模型和第二子模型，第一子模型又可以称为“门表达”，第二子模型又可以称为“激活表达”。将每个视频帧特征序列所对应的特征表达结果输入至“门表达”，然后输出相应的第三表达结果。与此同时，将每个视频帧特征序列所对应的特征表达结果输入至“激活表达”，然后输出相应的第四表达结果。
将每个第三表达结果和每个第四表达结果进行相乘，再进行相加，即可得到该视频帧特征序列的预测结果。
其次，本发明实施例中，在使用第一神经网络模型获得特征表达结果之后，还可以进一步采用第二神经网络模型来对该特征表达结果进行分类。通过上述方式，可以将特征表达结果经过非线性变换分别获得门表达和激活表达，然后将两路表达进行乘积操作并进行相加，获得最终特征表达用于分类，从而有利于提升分类的准确度。
可选地，在上述图2对应的第五个实施例的基础上，本发明实施例提供的信息处理的方法第六个可选实施例中，根据第三表达结果和第四表达结果，计算至少一个视频帧特征序列所对应的预测结果，可以包括：
采用如下公式计算至少一个视频帧特征序列所对应的预测结果：
Figure PCTCN2018100733-appb-000013
g n＝σ g(W gh+b g),n∈[1,N]；
a n＝σ a(W ah+b a),n∈[1,N]；
其中，lable表示一个视频帧特征序列的预测结果，g n表示第三表达结果，a n表示第四表达结果，σ g表示softmax函数，σ a表示sigmoid函数，h表示视频帧特征序列的特征表达结果，W g和b g表示第一子模型中的参数，W a和b a表示第二子模型的参数，N表示对特征表达结果进行非线性变换后得到的计算总数，n表示从1至N中的一个整数。
本实施例中，具体介绍了如何采用相应的公式计算得到每个视频帧特征 序列所对应的预测结果。
首先，利用获取对特征表达结果进行非线性变换得到的N路门表达(gate representation)和激活表达(activation representation)，然后计算gate representation对应的第三表达结果g n，以及计算activation representation对应的第四表达结果a n，需要说明的是，计算第三表达结果g n和第四表达结果a n的时候不分计算顺序。
得到两路表达后，将进行乘积操作，再进行相加操作，即可得到一个视频帧特征序列的预测结果。
再次，本发明实施例中，具体介绍了如何根据第三表达结果和第四表达结果，计算每个视频帧特征序列所对应的预测结果。通过上述方式，可以利用相关公式计算得到预测结果，为方案的实现提供了可行的方式，从而可以提升方案的可行性和可操作性。
可选地，在上述图2以及图2对应的第一个至第六个实施例中任一项的基础上，本发明实施例提供的信息处理的方法第七个可选实施例中，通过第二神经网络模型对至少一个视频帧特征序列所对应的特征表达结果进行处理，得到至少一个视频帧特征序列所对应的预测结果之后，还可以包括：
根据至少一个视频帧特征序列所对应的预测结果以及至少一个视频帧特征序列所对应的权重值，计算待处理视频的类别；
根据待处理视频的类别对待处理视频进行分类。
本实施例中，服务器还可以根据每个视频帧特征序列所对应的预测结果以及每个视频帧特征序列所对应的权重值，计算待处理视频的类别，并且根据分类结果对该待处理视频进行分类。
具体地，假设预测结果最多有5个，以长度为5的“0和1”编码来表示预测结果，比如说预测结果为1的编码为00001，预测结果为3的编码为00100，以此类推，如果一个待处理视频同时包含预测结果1和预测结果3，那么该待处理视频表示为00101。
但是对于整个待处理视频而言，我们得到的是对于每个视频帧特征序列所对应的预测结果，所以每个预测结果不大于1，预测结果可以代表待处理视频属于这个类别的可能性。比如{0.01,0.02,0.9,0.005,1.0}是一个合理的预测结果，意思是该待处理视频属于第一个类别的概率为1.0即100％，属于第二个类别的概率为0.005即0.5％，属于第三个类别的概率为0.9即90％，属于第四个类别的概率为0.02即2％，属于第五个类别的概率为0.01即1％。
此时，利用预先设置的权重值对预测结果进行计算，计算可以采用加权算法，每个权重值是通过线性回归学习到的，是一个数值，代表着每个视频帧特征序列的重要性，且权重值之和为1，比如{0.1,0.4,0.5}。下面将具体说明如何计算得到待处理视频的类别。
若权重值为{0.2,0.3,0.5}，视频帧特征序列1的预测结果为{0.01,0.02,0.9, 0.005,1.0}，视频帧特征序列2的预测结果为{0.02,0.01,0.9,0.000 0.9}，视频帧特征序列3的预测结果为{0.2,0.3,0.8,0.01 0.7}，则待处理视频的类别表示为：
0.2×0.01+0.3×0.02+0.5×0.2,0.2×0.02+0.3×0.01+0.5×0.3,0.2×0.9+0.3×0.9+0.5×0.8,0.2×0.005+0.3×0.000+0.5×0.01,0.2×1.0+0.3×0.9+0.5×0.7
＝{0.108,0.157,0.85,0.0075,0.82}
从上式的结果可以看出，待处理视频属于第三个类别的概率最大，其次是第一个类别，因此，可以将待处理视频优先显示在第三个类别的视频列表中。
进一步地，本发明实施例中，服务器在得到每个视频帧特征序列所对应的预测结果之后，还可以根据每个视频帧特征序列所对应的预测结果以及每个视频帧特征序列所对应的权重值，计算出待处理视频的类别，最后根据待处理视频的类别对待处理视频进行分类。通过上述方式，由于预测结果参考了时间特征，在分析待处理视频的时候，能够提升视频分类的能力，从而实现个性化推荐，具有较好的实用性。
下面对本发明中的服务器进行详细描述，请参阅图7，图7为本发明实施例中服务器一个实施例示意图，服务器20包括：
第一获取模块201，用于获取待处理视频，其中，所述待处理视频包含多个视频帧，每个视频帧对应一个时间特征；
第二获取模块202，用于根据时间特征采样规则对所述第一获取模块201获取的所述待处理视频进行采样，并获取至少一个视频帧特征序列，其中，所述时间特征采样规则为时间特征与视频帧特征序列之间的对应关系；
第一输入模块203，用于通过第一神经网络模型对所述第二获取模块202获取的所述至少一个视频帧特征序列进行处理，得到所述至少一个视频帧特征序列所对应的特征表达结果；所述第一神经网络模型为递归神经网络模型；
第二输入模块204，用于通过第二神经网络模型对所述第一输入模块203得到所述至少一个视频帧特征序列所对应的特征表达结果进行处理，得到所述至少一个视频帧特征序列所对应的预测结果，其中，所述预测结果用于确定所述待处理视频的类别。
本实施例中，第一获取模块201获取待处理视频，其中，所述待处理视频包含多个视频帧，每个视频帧对应一个时间特征，第二获取模块202根据时间特征采样规则对所述第一获取模块201获取的所述待处理视频进行采样，并获取至少一个视频帧特征序列，其中，所述时间特征采样规则为时间特征与视频帧特征序列之间的对应关系，第一输入模块203通过第一神经网络模型对所述第二获取模块202获取的所述至少一个视频帧特征序列进行处理，得到至少一个视频帧特征序列所对应的特征表达结果，该第一神经网络模型为递归神经网络模型，第二输入模块204通过第二神经网络模型对所述 第一输入模块203得到的所述至少一个视频帧特征序列所对应的特征表达结果进行处理，得到所述至少一个视频帧特征序列所对应的预测结果，其中，所述预测结果用于确定所述待处理视频的类别。
本发明实施例中，提供了一种服务器，首先该服务器获取待处理视频，其中，待处理视频包含多个视频帧，每个视频帧对应一个时间特征，然后根据时间特征采样规则对待处理视频进行采样，并获取至少一个视频帧特征序列，其中，时间特征采样规则为时间特征与视频帧特征序列之间的对应关系，服务器再将至少一个视频帧特征序列输入至第一神经网络模型，得到每个视频帧特征序列所对应的特征表达结果，最后服务器将每个视频帧特征序列所对应的特征表达结果输入至第二神经网络模型，得到每个视频帧特征序列所对应的预测结果，预测结果用于确定待处理视频的类别。通过上述方式，在对视频进行分类的过程中，还考虑到视频在时间维度上的特征变化，从而能够更好地表达视频内容，提高视频分类的准确率，提升视频分类的效果。
可选地，在上述图7所对应的实施例的基础上，请参阅图8，本发明实施例提供的服务器20的另一实施例中，所述服务器20还包括：
处理模块205，用于所述第一获取模块201获取待处理视频之后，采用卷积神经网络CNN对所述待处理视频中的每个视频帧进行处理，得到所述每个视频帧所对应的所述时间特征；
确定模块206，用于根据所述处理模块205处理的所述每个视频帧所对应的时间特征，确定所述待处理视频的时间特征序列，其中，所述时间特征序列用于进行采样。
其次，本发明实施例中，服务器获取待处理视频之后，还可以采用卷积神经网络对该待处理视频中的每个视频帧进行处理，并且得到各个视频帧对应的时间特征，这些时间特征用于构成整个待处理视频的时间特征序列。通过上述方式，利用卷积神经网络对每个视频帧进行训练和处理，有利于提升时间特征提取的准确性和效果。
可选地，在上述图8所对应的实施例的基础上，请参阅图9，本发明实施例提供的服务器20的另一实施例中，
所述第二获取模块202包括：
确定单元2021，用于根据所述时间特征采样规则确定至少一个时间窗口，其中，每个时间窗口包含所述待处理视频中的至少一个视频帧；
提取单元2022，用于从所述时间特征序列中提取所述所述确定单元2021确定的每个时间窗口对应的视频帧特征序列。
再次，本发明实施例中，说明了提取不同尺度下视频帧特征序列的方法，即先根据时间特征采样规则确定至少一个时间窗口，其中，每个时间窗口包含待处理视频中的至少一个视频帧，然后从时间特征序列中提取每个时间窗口对应的视频帧特征序列。通过上述方式，能够获得不同尺度下的视频帧特 征序列，以此得到多个不同的样本来进行特征训练，这样的话，有利于提高视频分类结果的准确性。
可选地，在上述图9所对应的实施例的基础上，请参阅图10，本发明实施例提供的服务器20的另一实施例中，
所述第一输入模块203包括：
第一获取单元2031，用于将所述至少一个视频帧特征序列输入至所述第一神经网络模型中的前向递归神经网络，获取第一表达结果；
第二获取单元2032，用于将所述每个视频帧特征序列输入至所述第一神经网络模型中的后向递归神经网络，获取第二表达结果；
第一计算单元2033，用于根据所述第一获取单元2031获取的所述第一表达结果和所述第二获取单元2032获取的所述第二表达结果，计算所述至少一个视频帧特征序列所对应的特征表达结果。
其次，本发明实施例中，在提取视频帧特征序列的基础上，可以使用基于递归门单元的递归神经网络对视频帧特征序列进行时序建模，进一步地，为了更好地对不同时间规模的信息进行特征表达，本方案中还可以使用第一神经网络模型进行视频特征压缩。通过上述方式，对于递归神经网络，由于大多数视频的主要内容是发生在视频时间中部，因此使用双向递归神经网络分别从前向和后向往待处理视频的时间中心点位置进行特征压缩与表达。以此，提升方案的可操作性。
可选地，在上述图10所对应的实施例的基础上，请参阅图11，本发明实施例提供的服务器20的另一实施例中，所述第一计算单元2033包括：
第一计算子单元20331，用于采用如下公式计算至少一个视频帧特征序列所对应的特征表达结果：
Figure PCTCN2018100733-appb-000014
其中，所述h表示一个视频帧特征序列的特征表达结果，所述
Figure PCTCN2018100733-appb-000015
表示所述第一表达结果，所述
Figure PCTCN2018100733-appb-000016
表示所述第二表达结果，所述x t表示第t时刻的所述视频帧特征序列，所述GRU()表示采用门控循环单元GRU神经网络处理，所述T表示所述待处理视频的总时间，所述t表示从1至所述T中的一个整数。
再次，本发明实施例中，具体介绍了如何根据第一表达结果和第二表达结果，计算每个视频帧特征序列所对应的特征表达结果。通过上述方式，可以利用相关公式计算得到预测结果，为方案的实现提供了可行的方式，从而 可以提升方案的可行性和可操作性。
可选地，在上述图7所对应的实施例的基础上，请参阅图12，本发明实施例提供的服务器20的另一实施例中，
所述第二输入模块204包括：
第三获取单元2041，用于将所述每个视频帧特征序列所对应的特征表达结果输入至所述第二神经网络模型中的第一子模型，以获取第三表达结果；
第四获取单元2042，用于将所述每个视频帧特征序列所对应的特征表达结果输入至所述第二神经网络模型中的第二子模型，以获取第四表达结果；
第二计算单元2043，用于根据所述第三获取单元2041获取的所述第三表达结果和所述第四获取单元2042获取的所述第四表达结果，计算所述每个视频帧特征序列所对应的预测结果。
其次，本发明实施例中，在使用第一神经网络模型获得特征表达结果之后，还可以进一步采用第二神经网络模型来对该特征表达结果进行分类。通过上述方式，可以将特征表达结果经过非线性变换分别获得门表达和激活表达，然后将两路表达进行乘积操作并进行相加，获得最终特征表达用于分类，从而有利于提升分类的准确度。
可选地，在上述图12所对应的实施例的基础上，请参阅图13，本发明实施例提供的服务器20的另一实施例中，
所述第二计算单元2043包括：
第二计算子单元20431，用于采用如下公式计算所述每个视频帧特征序列所对应的预测结果：
Figure PCTCN2018100733-appb-000017
g n＝σ g(W gh+b g),n∈[1,N]；
a n＝σ a(W ah+b a),n∈[1,N]；
其中，所述lable表示一个视频帧特征序列的预测结果，所述g n表示所述第三表达结果，所述a n表示所述第四表达结果，所述σ g表示softmax函数，所述σ a表示sigmoid函数，所述h表示所述视频帧特征序列的特征表达结果，所述W g和所述b g表示所述第一子模型中的参数，所述W a和所述b a表示所述第二子模型的参数，所述N表示对所述特征表达结果进行非线性变换后得到的计算总数，所述n表示从1至所述N中的一个整数。
再次，本发明实施例中，具体介绍了如何根据第三表达结果和第四表达结果，计算每个视频帧特征序列所对应的预测结果。通过上述方式，可以利用相关公式计算得到预测结果，为方案的实现提供了可行的方式，从而可以提升方案的可行性和可操作性。
可选地，在上述图7至图13中任一项所对应的实施例的基础上，请参阅 图14，本发明实施例提供的服务器20的另一实施例中，
所述服务器20还包括：
计算模块207，用于所述第二输入模块204通过第二神经网络模型对所述至少一个视频帧特征序列所对应的特征表达结果进行处理，得到所述至少一个视频帧特征序列所对应的预测结果之后，根据所述至少一个视频帧特征序列所对应的所述预测结果以及所述至少一个视频帧特征序列所对应的权重值，计算所述待处理视频的类别；
分类模块208，用于根据所述计算模块207计算的所述待处理视频的类别对所述待处理视频进行分类。
进一步地，本发明实施例中，服务器在得到每个视频帧特征序列所对应的预测结果之后，还可以根据每个视频帧特征序列所对应的预测结果以及每个视频帧特征序列所对应的权重值，计算出待处理视频的类别，最后根据待处理视频的类别对待处理视频进行分类。通过上述方式，由于预测结果参考了时间特征，在分析待处理视频的时候，能够提升视频分类的能力，从而实现个性化推荐，具有较好的实用性。
图15是本发明实施例提供的一种服务器结构示意图，该服务器300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)322(例如，一个或一个以上处理器)和存储器332，一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中，存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储介质330通信，在服务器300上执行存储介质330中的一系列指令操作。
服务器300还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图15所示的服务器结构。
在本发明实施例中，该服务器所包括的CPU 322具有以下功能：
获取待处理视频，其中，所述待处理视频包含多个视频帧，每个视频帧对应一个时间特征；
根据时间特征采样规则对所述待处理视频进行采样，并获取至少一个视频帧特征序列，其中，所述时间特征采样规则为时间特征与视频帧特征序列之间的对应关系；
通过第一神经网络模型对所述至少一个视频帧特征序列进行处理，得到 所述至少一个视频帧特征序列所对应的特征表达结果；所述第一神经网络模型为递归神经网络模型；
通过第二神经网络模型对所述至少一个视频帧特征序列所对应的特征表达结果进行处理，得到所述至少一个视频帧特征序列所对应的预测结果，其中，所述预测结果用于确定所述待处理视频的类别。
可选地，CPU 322还用于执行如下步骤：
采用卷积神经网络CNN对所述待处理视频中的每个视频帧进行处理，得到所述每个视频帧所对应的时间特征；
根据所述每个视频帧所对应的时间特征，确定所述待处理视频的时间特征序列，其中，所述时间特征序列用于进行采样。
可选地，CPU 322具体用于执行如下步骤：
根据所述时间特征采样规则确定至少一个时间窗口，其中，每个时间窗口包含所述待处理视频中的至少一个视频帧；
从所述时间特征序列中提取所述每个时间窗口对应的视频帧特征序列。
可选地，CPU 322具体用于执行如下步骤：
将所述至少一个视频帧特征序列输入至所述第一神经网络模型中的前向递归神经网络，获取第一表达结果；
将所述至少一个视频帧特征序列输入至所述第一神经网络模型中的后向递归神经网络，获取第二表达结果；
根据所述第一表达结果和所述第二表达结果，计算所述至少一个视频帧特征序列所对应的特征表达结果。
可选地，CPU 322具体用于执行如下步骤：
采用如下公式计算所述至少一个视频帧特征序列所对应的特征表达结果：
Figure PCTCN2018100733-appb-000018
其中，所述h表示一个视频帧特征序列的特征表达结果，所述
Figure PCTCN2018100733-appb-000019
表示所述第一表达结果，所述
Figure PCTCN2018100733-appb-000020
表示所述第二表达结果，所述x t表示第t时刻的所述视频帧特征序列，所述GRU()表示采用门控循环单元GRU神经网络处理，所述T表示所述待处理视频的总时间，所述t表示从1至所述T中的一个整数。
可选地，CPU 322具体用于执行如下步骤：
将所述至少一个视频帧特征序列所对应的特征表达结果输入至所述第二 神经网络模型中的第一子模型，获取第三表达结果；
将所述至少一个视频帧特征序列所对应的特征表达结果输入至所述第二神经网络模型中的第二子模型，获取第四表达结果；
根据所述第三表达结果和所述第四表达结果，计算所述至少一个视频帧特征序列所对应的预测结果。
可选地，CPU 322具体用于执行如下步骤：
采用如下公式计算所述至少一个视频帧特征序列所对应的预测结果：
Figure PCTCN2018100733-appb-000021
g n＝σ g(W gh+b g),n∈[1,N]；
a n＝σ a(W ah+b a),n∈[1,N]；
其中，所述lable表示一个视频帧特征序列的预测结果，所述g n表示所述第三表达结果，所述a n表示所述第四表达结果，所述σ g表示softmax函数，所述σ a表示sigmoid函数，所述h表示所述视频帧特征序列的特征表达结果，所述W g和所述b g表示所述第一子模型中的参数，所述W a和所述b a表示所述第二子模型的参数，所述N表示对所述特征表达结果进行非线性变换后得到的计算总数，所述n表示从1至所述N中的一个整数。
可选地，CPU 322还用于执行如下步骤：
根据所述至少一个视频帧特征序列所对应的所述预测结果以及所述至少一个视频帧特征序列所对应的权重值，计算所述待处理视频的类别；
根据所述待处理视频的类别对所述待处理视频进行分类。
本发明实施例还提供一种存储介质，用于存储程序代码，该程序代码用于执行前述各个实施例所述的一种信息处理方法中的任意一种实施方式。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传 输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(digital versatile disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD)等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (16)

  1. 一种视频分类的方法，所述方法由计算机设备执行，包括：
    获取待处理视频，其中，所述待处理视频包含多个视频帧，每个视频帧对应一个时间特征；
    根据时间特征采样规则对所述待处理视频进行采样，并获取至少一个视频帧特征序列，其中，所述时间特征采样规则为时间特征与视频帧特征序列之间的对应关系；
    通过第一神经网络模型对所述至少一个视频帧特征序列进行处理，得到所述至少一个视频帧特征序列所对应的特征表达结果；所述第一神经网络模型为递归神经网络模型；
    通过第二神经网络模型对所述至少一个视频帧特征序列所对应的特征表达结果进行处理，得到所述至少一个视频帧特征序列所对应的预测结果；
    根据所述至少一个视频帧特征序列所对应的预测结果确定所述待处理视频的类别。
  2. 一种信息处理的方法，所述方法由计算机设备执行，包括：
    获取待处理视频，其中，所述待处理视频包含多个视频帧，每个视频帧对应一个时间特征；
    根据时间特征采样规则对所述待处理视频进行采样，并获取至少一个视频帧特征序列，其中，所述时间特征采样规则为时间特征与视频帧特征序列之间的对应关系；
    通过第一神经网络模型对所述至少一个视频帧特征序列进行处理，得到所述至少视频帧特征序列所对应的特征表达结果；所述第一神经网络模型为递归神经网络模型；
    通过第二神经网络模型对所述至少一个视频帧特征序列所对应的特征表达结果进行处理，得到所述至少一个视频帧特征序列所对应的预测结果，其中，所述预测结果用于确定所述待处理视频的类别。
  3. 根据权利要求2所述的方法，所述获取待处理视频之后，所述方法还包括：
    采用卷积神经网络CNN对所述待处理视频中的每个视频帧进行处理，得到所述每个视频帧所对应的时间特征；
    根据所述每个视频帧所对应的时间特征，确定所述待处理视频的时间特征序列，其中，所述时间特征序列用于进行采样。
  4. 根据权利要求3所述的方法，所述根据时间特征采样规则对所述待处理视频进行采样，并获取至少一个视频帧特征序列，包括：
    根据所述时间特征采样规则确定至少一个时间窗口，其中，每个时间窗口包含所述待处理视频中的至少一个视频帧；
    从所述时间特征序列中提取所述每个时间窗口对应的视频帧特征序列。
  5. 根据权利要求2所述的方法，所述通过第一神经网络模型对所述至少一个视频帧特征序列进行处理，得到每个视频帧特征序列所对应的特征表达结果，包括：
    将所述至少一个视频帧特征序列输入至所述第一神经网络模型中的前向递归神经网络，获取第一表达结果；
    将所述至少一个视频帧特征序列输入至所述第一神经网络模型中的后向递归神经网络，获取第二表达结果；
    根据所述第一表达结果和所述第二表达结果，计算所述至少一个视频帧特征序列所对应的特征表达结果。
  6. 根据权利要求5所述的方法，所述根据所述第一表达结果和所述第二表达结果，计算所述至少一个视频帧特征序列所对应的特征表达结果，包括：
    采用如下公式计算所述至少一个视频帧特征序列所对应的特征表达结果：
    Figure PCTCN2018100733-appb-100001
    Figure PCTCN2018100733-appb-100002
    Figure PCTCN2018100733-appb-100003
    其中，所述h表示一个视频帧特征序列的特征表达结果，所述
    Figure PCTCN2018100733-appb-100004
    表示所述第一表达结果，所述
    Figure PCTCN2018100733-appb-100005
    表示所述第二表达结果，所述x t表示第t时刻的所述视频帧特征序列，所述GRU( )表示采用门控循环单元GRU神经网络处理，所述T表示所述待处理视频的总时间，所述t表示从1至所述T中的一个整数。
  7. 根据权利要求2所述的方法，所述通过第二神经网络模型对所述至少一个视频帧特征序列所对应的特征表达结果进行处理，得到所述至少一个视频帧特征序列所对应的预测结果，包括：
    将所述至少一个视频帧特征序列所对应的特征表达结果输入至所述第二神经网络模型中的第一子模型，获取第三表达结果；
    将所述至少一个视频帧特征序列所对应的特征表达结果输入至所述第二神经网络模型中的第二子模型，获取第四表达结果；
    根据所述第三表达结果和所述第四表达结果，计算所述至少一个视频帧特征序列所对应的预测结果。
  8. 根据权利要求7所述的方法，所述根据所述第三表达结果和所述第四表达结果，计算所述至少一个视频帧特征序列所对应的预测结果，包括：
    采用如下公式计算所述至少一个视频帧特征序列所对应的预测结果：
    Figure PCTCN2018100733-appb-100006
    g n＝σ g(W gh+b g),n∈[1,N]；
    a n＝σ a(W ah+b a),n∈[1,N]；
    其中，所述lable表示一个视频帧特征序列的预测结果，所述g n表示所述第三表达结果，所述a n表示所述第四表达结果，所述σ g表示softmax函数，所述σ a表示sigmoid函数，所述h表示所述视频帧特征序列的特征表达结果，所述W g和所述b g表示所述第一子模型中的参数，所述W a和所述b a表示所述第二子模型的参数，所述N表示对所述特征表达结果进行非线性变换后得到的计算总数，所述n表示从1至所述N中的一个整数。
  9. 根据权利要求1至8中任一项所述的方法，所述通过第二神经网络模型对所述至少一个视频帧特征序列所对应的特征表达结果进行处理，得到所述至少一个视频帧特征序列所对应的预测结果之后，所述方法还包括：
    根据所述至少一个视频帧特征序列所对应的所述预测结果以及所述至少一个视频帧特征序列所对应的权重值，计算所述待处理视频的类别；
    根据所述待处理视频的类别对所述待处理视频进行分类。
  10. 一种服务器，包括：
    第一获取模块，用于获取待处理视频，其中，所述待处理视频包含多个视频帧，每个视频帧对应一个时间特征；
    第二获取模块，用于根据时间特征采样规则对所述第一获取模块获取的所述待处理视频进行采样，并获取至少一个视频帧特征序列，其中，所述时间特征采样规则为时间特征与视频帧特征序列之间的对应关系；
    第一输入模块，用于通过第一神经网络模型对所述第二获取模块获取的所述至少一个视频帧特征序列进行处理，得到所述至少一个视频帧特征序列所对应的特征表达结果；所述第一神经网络模型为递归神经网络模型；
    第二输入模块，用于通过第二神经网络模型对所述第一输入模块输入后得到的所述至少一个视频帧特征序列所对应的特征表达结果进行处理，得到所述至少一个视频帧特征序列所对应的预测结果，其中，所述预测结果用于确定所述待处理视频的类别。
  11. 根据权利要求10所述的服务器，所述服务器还包括：
    计算模块，用于所述第二输入模块通过第二神经网络模型对所述至少一个视频帧特征序列所对应的特征表达结果进行处理，得到所述至少一个视频帧特征序列所对应的预测结果之后，根据所述至少一个视频帧特征序列所对应的所述预测结果以及所述至少一个视频帧特征序列所对应的权重值，计算所述待处理视频的类别；
    分类模块，用于根据所述计算模块计算的所述待处理视频的类别对所述 待处理视频进行分类。
  12. 一种服务器，包括：存储器、处理器以及总线系统；
    其中，所述存储器用于存储程序；
    所述处理器用于执行所述存储器中的程序，具体包括如下步骤：
    获取待处理视频，其中，所述待处理视频包含多个视频帧，每个视频帧对应一个时间特征；
    根据时间特征采样规则对所述待处理视频进行采样，并获取至少一个视频帧特征序列，其中，所述时间特征采样规则为时间特征与视频帧特征序列之间的对应关系；
    通过第一神经网络模型对所述至少一个视频帧特征序列进行处理，得到所述至少一个视频帧特征序列所对应的特征表达结果；所述第一神经网络模型为递归神经网络模型；
    通过第二神经网络模型对所述至少一个视频帧特征序列所对应的特征表达结果进行处理，得到所述至少一个视频帧特征序列所对应的预测结果，其中，所述预测结果用于确定所述待处理视频的类别；
    所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
  13. 根据权利要求12所述的服务器，所述处理器具体用于执行如下步骤：
    将所述至少一个视频帧特征序列输入至所述第一神经网络模型中的前向递归神经网络，获取第一表达结果；
    将所述至少一个视频帧特征序列输入至所述第一神经网络模型中的后向递归神经网络，获取第二表达结果；
    根据所述第一表达结果和所述第二表达结果，计算所述至少一个视频帧特征序列所对应的特征表达结果。
  14. 根据权利要求12所述的服务器，所述处理器具体用于执行如下步骤：
    将所述至少一个视频帧特征序列所对应的特征表达结果输入至所述第二神经网络模型中的第一子模型，获取第三表达结果；
    将所述至少一个视频帧特征序列所对应的特征表达结果输入至所述第二神经网络模型中的第二子模型，获取第四表达结果；
    根据所述第三表达结果和所述第四表达结果，计算所述至少一个视频帧特征序列所对应的预测结果。
  15. 一种计算机可读存储介质，所述计算机存储介质用于存储程序代码，所述程序代码用于执行权利要求2-9任一项所述的方法。
  16. 一种计算机程序产品，包括指令，当其在计算机上运行时，使得计算机执行权利要求2-9任一项所述的方法。
PCT/CN2018/100733 2017-09-15 2018-08-16 视频分类的方法、信息处理的方法以及服务器 Ceased WO2019052301A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020515067A JP7127120B2 (ja) 2017-09-15 2018-08-16 ビデオ分類の方法、情報処理の方法及びサーバー、並びにコンピュータ可読記憶媒体及びコンピュータプログラム
KR1020197032023A KR102392943B1 (ko) 2017-09-15 2018-08-16 비디오 분류 방법, 정보 처리 방법 및 서버
EP18855424.0A EP3683723A4 (en) 2017-09-15 2018-08-16 VIDEO CLASSIFICATION PROCEDURES, INFORMATION PROCESSING PROCEDURES AND SERVER
US16/558,015 US10956748B2 (en) 2017-09-15 2019-08-30 Video classification method, information processing method, and server

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710833668.8 2017-09-15
CN201710833668.8A CN109508584B (zh) 2017-09-15 2017-09-15 视频分类的方法、信息处理的方法以及服务器

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/558,015 Continuation US10956748B2 (en) 2017-09-15 2019-08-30 Video classification method, information processing method, and server

Publications (1)

Publication Number Publication Date
WO2019052301A1 true WO2019052301A1 (zh) 2019-03-21

Family

ID=65723493

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/100733 Ceased WO2019052301A1 (zh) 2017-09-15 2018-08-16 视频分类的方法、信息处理的方法以及服务器

Country Status (7)

Country Link
US (1) US10956748B2 (zh)
EP (1) EP3683723A4 (zh)
JP (1) JP7127120B2 (zh)
KR (1) KR102392943B1 (zh)
CN (2) CN109508584B (zh)
MA (1) MA50252A (zh)
WO (1) WO2019052301A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428660A (zh) * 2020-03-27 2020-07-17 腾讯科技（深圳）有限公司 视频剪辑方法和装置、存储介质及电子装置
KR20200140589A (ko) * 2019-06-07 2020-12-16 국방과학연구소 순환 신경망을 이용한 코덱 분류 시스템 및 코덱 분류 방법
CN113010735A (zh) * 2019-12-20 2021-06-22 北京金山云网络技术有限公司 一种视频分类方法、装置、电子设备及存储介质

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11636681B2 (en) * 2018-11-21 2023-04-25 Meta Platforms, Inc. Anticipating future video based on present video
JP7352369B2 (ja) * 2019-03-29 2023-09-28 株式会社日立システムズ 予測モデル評価システム、予測モデル評価方法
CN111782734B (zh) * 2019-04-04 2024-04-12 华为技术服务有限公司 数据压缩、解压方法和装置
CN110162669B (zh) * 2019-04-04 2021-07-02 腾讯科技（深圳）有限公司 视频分类处理方法、装置、计算机设备及存储介质
CN110263216B (zh) * 2019-06-13 2022-01-28 腾讯科技（深圳）有限公司 一种视频分类的方法、视频分类模型训练的方法及装置
CN111144508A (zh) * 2019-12-30 2020-05-12 中国矿业大学(北京) 煤矿副井轨道运输自动控制系统与控制方法
CN111190600B (zh) * 2019-12-31 2023-09-19 中国银行股份有限公司 基于gru注意力模型的前端代码自动生成的方法及系统
CN111104930B (zh) * 2019-12-31 2023-07-11 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及存储介质
CN111209439B (zh) * 2020-01-10 2023-11-21 北京百度网讯科技有限公司 视频片段检索方法、装置、电子设备及存储介质
CN111259779B (zh) * 2020-01-13 2023-08-01 南京大学 一种基于中心点轨迹预测的视频动作检测方法
CN111209883B (zh) * 2020-01-13 2023-08-04 南京大学 一种基于多源运动特征融合的时序自适应视频分类方法
US11354906B2 (en) * 2020-04-13 2022-06-07 Adobe Inc. Temporally distributed neural networks for video semantic segmentation
CN111489378B (zh) * 2020-06-28 2020-10-16 腾讯科技（深圳）有限公司 视频帧特征提取方法、装置、计算机设备及存储介质
CN111737521B (zh) * 2020-08-04 2020-11-24 北京微播易科技股份有限公司 一种视频分类方法和装置
DE102020212515A1 (de) * 2020-10-02 2022-04-07 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Trainieren eines maschinellen Lernsystems
US12058321B2 (en) * 2020-12-16 2024-08-06 Tencent America LLC Method and apparatus for video coding
US11943271B2 (en) * 2020-12-17 2024-03-26 Tencent America LLC Reference of neural network model by immersive media for adaptation of media for streaming to heterogenous client end-points
CN114764859A (zh) * 2020-12-30 2022-07-19 Tcl科技集团股份有限公司 视频特征提取方法、装置、终端设备及存储介质
CN113204992B (zh) * 2021-03-26 2023-10-27 北京达佳互联信息技术有限公司 视频质量确定方法、装置、存储介质及电子设备
CN115205723A (zh) * 2021-04-13 2022-10-18 影石创新科技股份有限公司 视频精彩片段的检测方法、装置、计算机设备和存储介质
CN113349791B (zh) * 2021-05-31 2024-07-16 平安科技（深圳）有限公司 异常心电信号的检测方法、装置、设备及介质
CN113204655B (zh) * 2021-07-02 2021-11-23 北京搜狐新媒体信息技术有限公司 多媒体信息的推荐方法、相关装置及计算机存储介质
CN113779472B (zh) * 2021-07-30 2024-10-01 淘宝（中国）软件有限公司 内容审核方法、装置及电子设备
KR102430989B1 (ko) 2021-10-19 2022-08-11 주식회사 노티플러스 인공지능 기반 콘텐츠 카테고리 예측 방법, 장치 및 시스템
CN114443896B (zh) * 2022-01-25 2023-09-15 百度在线网络技术（北京）有限公司 数据处理方法和用于训练预测模型的方法
CN114611584B (zh) * 2022-02-21 2024-07-02 上海市胸科医院 Cp-ebus弹性模式视频的处理方法、装置、设备与介质
CN114764898A (zh) * 2022-03-31 2022-07-19 阿依瓦（北京）技术有限公司 一种视频分析方法及装置
CN115424172A (zh) * 2022-08-25 2022-12-02 高新兴科技集团股份有限公司 一种交通事件检测方法、装置、设备及存储介质
KR102806775B1 (ko) * 2023-12-27 2025-05-16 한국과학기술원 자연어와 스케치 기반의 비디오 편집 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331442A (zh) * 2014-10-24 2015-02-04 华为技术有限公司 视频分类方法和装置
US8990132B2 (en) * 2010-01-19 2015-03-24 James Ting-Ho Lo Artificial neural networks based on a low-order model of biological neural networks
CN104966104A (zh) * 2015-06-30 2015-10-07 孙建德 一种基于三维卷积神经网络的视频分类方法
CN106503723A (zh) * 2015-09-06 2017-03-15 华为技术有限公司 一种视频分类方法及装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100656373B1 (ko) 2005-12-09 2006-12-11 한국전자통신연구원 시간구간별 우선순위와 판별정책을 적용하는 유해 동영상판별 방법 및 그 장치
CN103544498B (zh) * 2013-09-25 2017-02-08 华中科技大学 基于自适应抽样的视频内容检测方法与系统
US10762894B2 (en) * 2015-03-27 2020-09-01 Google Llc Convolutional neural networks
JP6556509B2 (ja) 2015-06-16 2019-08-07 Cyberdyne株式会社 光音響画像化装置および光源ユニット
CN104951965B (zh) * 2015-06-26 2017-04-19 深圳市腾讯计算机系统有限公司 广告投放方法及装置
US9697833B2 (en) * 2015-08-25 2017-07-04 Nuance Communications, Inc. Audio-visual speech recognition with scattering operators
CN105550699B (zh) * 2015-12-08 2019-02-12 北京工业大学 一种基于cnn融合时空显著信息的视频识别分类方法
JP6517681B2 (ja) * 2015-12-17 2019-05-22 日本電信電話株式会社 映像パターン学習装置、方法、及びプログラム
US11055537B2 (en) * 2016-04-26 2021-07-06 Disney Enterprises, Inc. Systems and methods for determining actions depicted in media contents based on attention weights of media content frames
CN106131627B (zh) * 2016-07-07 2019-03-26 腾讯科技（深圳）有限公司 一种视频处理方法、装置及系统
US10402697B2 (en) * 2016-08-01 2019-09-03 Nvidia Corporation Fusing multilayer and multimodal deep neural networks for video classification
CN106779467A (zh) * 2016-12-31 2017-05-31 成都数联铭品科技有限公司 基于自动信息筛选的企业行业分类系统
US11263525B2 (en) * 2017-10-26 2022-03-01 Nvidia Corporation Progressive modification of neural networks
US10334202B1 (en) * 2018-02-28 2019-06-25 Adobe Inc. Ambient audio generation based on visual information
US20190286990A1 (en) * 2018-03-19 2019-09-19 AI Certain, Inc. Deep Learning Apparatus and Method for Predictive Analysis, Classification, and Feature Detection
US10860858B2 (en) * 2018-06-15 2020-12-08 Adobe Inc. Utilizing a trained multi-modal combination model for content and text-based evaluation and distribution of digital video content to client devices
US10418957B1 (en) * 2018-06-29 2019-09-17 Amazon Technologies, Inc. Audio event detection
US10699129B1 (en) * 2019-11-15 2020-06-30 Fudan University System and method for video captioning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8990132B2 (en) * 2010-01-19 2015-03-24 James Ting-Ho Lo Artificial neural networks based on a low-order model of biological neural networks
CN104331442A (zh) * 2014-10-24 2015-02-04 华为技术有限公司 视频分类方法和装置
CN104966104A (zh) * 2015-06-30 2015-10-07 孙建德 一种基于三维卷积神经网络的视频分类方法
CN106503723A (zh) * 2015-09-06 2017-03-15 华为技术有限公司 一种视频分类方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3683723A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200140589A (ko) * 2019-06-07 2020-12-16 국방과학연구소 순환 신경망을 이용한 코덱 분류 시스템 및 코덱 분류 방법
KR102255312B1 (ko) * 2019-06-07 2021-05-25 국방과학연구소 순환 신경망을 이용한 코덱 분류 시스템 및 코덱 분류 방법
CN113010735A (zh) * 2019-12-20 2021-06-22 北京金山云网络技术有限公司 一种视频分类方法、装置、电子设备及存储介质
CN113010735B (zh) * 2019-12-20 2024-03-08 北京金山云网络技术有限公司 一种视频分类方法、装置、电子设备及存储介质
CN111428660A (zh) * 2020-03-27 2020-07-17 腾讯科技（深圳）有限公司 视频剪辑方法和装置、存储介质及电子装置
CN111428660B (zh) * 2020-03-27 2023-04-07 腾讯科技（深圳）有限公司 视频剪辑方法和装置、存储介质及电子装置

Also Published As

Publication number Publication date
CN109508584A (zh) 2019-03-22
MA50252A (fr) 2020-07-22
EP3683723A1 (en) 2020-07-22
CN109508584B (zh) 2022-12-02
JP2020533709A (ja) 2020-11-19
CN110532996A (zh) 2019-12-03
EP3683723A4 (en) 2021-06-23
CN110532996B (zh) 2021-01-22
KR20190133040A (ko) 2019-11-29
JP7127120B2 (ja) 2022-08-29
US20190384985A1 (en) 2019-12-19
US10956748B2 (en) 2021-03-23
KR102392943B1 (ko) 2022-04-29

Similar Documents

Publication Publication Date Title
WO2019052301A1 (zh) 视频分类的方法、信息处理的方法以及服务器
CN113378784B (zh) 视频标签推荐模型的训练方法和确定视频标签的方法
CN110162669B (zh) 视频分类处理方法、装置、计算机设备及存储介质
CN111428088B (zh) 视频分类方法、装置及服务器
CN111798879B (zh) 用于生成视频的方法和装置
WO2020221278A1 (zh) 视频分类方法及其模型的训练方法、装置和电子设备
US11625433B2 (en) Method and apparatus for searching video segment, device, and medium
US11948359B2 (en) Video processing method and apparatus, computing device and medium
CN112559800B (zh) 用于处理视频的方法、装置、电子设备、介质和产品
WO2020177673A1 (zh) 一种视频序列选择的方法、计算机设备及存储介质
CN116977774B (zh) 图像生成方法、装置、设备和介质
WO2020108396A1 (zh) 视频分类的方法以及服务器
CN108629224A (zh) 信息呈现方法和装置
US20210117687A1 (en) Image processing method, image processing device, and storage medium
WO2020103674A1 (zh) 自然语言描述信息的生成方法及装置
CN113434716B (zh) 一种跨模态信息检索方法和装置
US20200321026A1 (en) Method and apparatus for generating video
CN112883731A (zh) 内容分类方法和装置
CN113743277A (zh) 一种短视频分类方法及系统、设备和存储介质
CN106611015A (zh) 标签的处理方法及装置
CN110163052A (zh) 视频动作识别方法、装置和机器设备
CN113742525A (zh) 自监督视频哈希学习方法、系统、电子设备及存储介质
CN114330239A (zh) 文本处理方法及装置、存储介质及电子设备
CN114881196A (zh) 学生网络处理方法、装置和电子设备
CN113811893A (zh) 用于引导架构演进的连接权重学习

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18855424

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20197032023

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020515067

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018855424

Country of ref document: EP

Effective date: 20200415