CN113473170B - 直播音频处理方法、装置、计算机设备及介质 - Google Patents

直播音频处理方法、装置、计算机设备及介质 Download PDF

Info

Publication number
CN113473170B
CN113473170B CN202110807055.3A CN202110807055A CN113473170B CN 113473170 B CN113473170 B CN 113473170B CN 202110807055 A CN202110807055 A CN 202110807055A CN 113473170 B CN113473170 B CN 113473170B
Authority
CN
China
Prior art keywords
audio
audio stream
voice
stream
live
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110807055.3A
Other languages
English (en)
Other versions
CN113473170A (zh
Inventor
何思远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Fanxing Huyu IT Co Ltd
Original Assignee
Guangzhou Fanxing Huyu IT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Fanxing Huyu IT Co Ltd filed Critical Guangzhou Fanxing Huyu IT Co Ltd
Priority to CN202110807055.3A priority Critical patent/CN113473170B/zh
Publication of CN113473170A publication Critical patent/CN113473170A/zh
Application granted granted Critical
Publication of CN113473170B publication Critical patent/CN113473170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programmes or purchase activity
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请实施例公开了一种直播音频处理方法、装置、计算机设备及介质，属于计算机技术领域。该方法包括：在直播间的直播过程中，接收目标歌曲的多路音频流，所述多路音频流包括目标对象的人声音频流、目标对象的混合音频流和原唱音频流；在所述直播间中基于第一音频流进行播放；响应于所述人声音频流对应的音频质量信息满足切换条件，将所述第一音频流切换为所述多路音频流中的第二音频流，在所述直播间中基于所述第二音频流进行播放。该方法能够在人声音频流、混合音频流和原唱音频流之间相互切换，实现了音频流切换，使直播间中可播放多种声音，从而满足不同观众的需求，提高直播效果。

Description

直播音频处理方法、装置、计算机设备及介质
技术领域
本申请实施例涉及计算机技术领域，特别涉及一种直播音频处理方法、装置、计算机设备及介质。
背景技术
随着音频处理技术的发展，音频处理技术的应用也越来越广泛，例如，将音频处理技术应用于直播领域，采用音频处理技术对主播的人声进行处理，在直播间中播放处理后的人声。
相关技术中，主播终端将主播的人声与歌曲的伴奏音频混合后发送给观众终端，使直播间中的观众听到主播的人声和歌曲的伴奏。但是，这种方式下，直播间中仅能够播放人声和伴奏，播放的声音较为单一，无法满足不同观众的需求，从而影响直播效果。
发明内容
本申请实施例提供了一种直播音频处理方法、装置、计算机设备及介质，实现多路音频流之间的切换，提高了直播效果。所述技术方案如下：
一方面，提供了一种直播音频处理方法，所述方法包括：
在直播间的直播过程中，接收目标歌曲的多路音频流，所述多路音频流包括目标对象的人声音频流、目标对象的混合音频流和原唱音频流，所述混合音频流基于所述目标对象的人声与所述目标歌曲的伴奏音频混合得到；
在所述直播间中基于第一音频流进行播放，所述第一音频流为所述多路音频流中的任一音频流；
响应于所述人声音频流对应的音频质量信息满足切换条件，将所述第一音频流切换为所述多路音频流中的第二音频流，在所述直播间中基于所述第二音频流进行播放，所述第二音频流与所述第一音频流不同，所述音频质量信息用于表示对应音频片段的音频质量。
在一种可能实现方式中，所述响应于所述人声音频流对应的音频质量信息满足切换条件，将所述第一音频流切换为所述多路音频流中的第二音频流，包括：
响应于针对音频流的自动切换功能处于开启状态，且所述人声音频流对应的音频质量信息满足所述切换条件，将所述第一音频流切换为所述第二音频流。
在另一种可能实现方式中，所述响应于所述人声音频流对应的音频质量信息满足切换条件，将所述第一音频流切换为所述多路音频流中的第二音频流，在所述直播间中基于所述第二音频流进行播放之前，所述方法还包括：
对所述人声音频流对应的流报文进行解析，得到所述音频片段的音频质量信息。
在另一种可能实现方式中，所述在所述直播间中基于所述第二音频流进行播放，包括：
基于当前播放的音频片段的第一时间戳，确定所述第二音频流中与所述第一时间戳相邻的第二时间戳，所述第二时间戳位于所述第一时间戳之后；
在当前播放的音频片段播放结束时，在所述直播间中，播放所述第二音频流中所述第二时间戳对应的音频片段。
在另一种可能实现方式中，所述方法还包括：
在基于所述人声音频流进行播放时，响应于对所述原唱音频流关联的播放控件的触发操作，基于所述原唱音频流进行播放。
另一方面，提供了一种直播音频处理方法，所述方法包括：
在直播间的直播过程中，获取目标对象按照目标歌曲发出的人声，得到所述目标对象的人声音频流；
将所述目标对象的人声与所述目标歌曲的伴奏音频进行混合，得到所述目标对象的混合音频流；
向目标服务器发送所述人声音频流和所述混合音频流，所述目标服务器用于获取所述目标歌曲的原唱音频流，向第一终端发送所述人声音频流、所述混合音频流和所述原唱音频流。
在一种可能实现方式中，所述将所述人声音频流和所述混合音频流发送给目标服务器之前，所述方法还包括：
分别对所述人声音频流中每个音频片段进行识别，得到所述人声音频流对应的音频质量信息，所述音频质量信息用于表示对应音频片段的音频质量。
另一方面，提供了一种直播音频处理系统，所述直播音频处理系统包括第一终、目标服务器和第二终端；
所述第二终端，用于在直播间的直播过程中，获取目标对象按照目标歌曲发出的人声，得到所述目标对象的人声音频流，将所述目标对象的人声与所述目标歌曲的伴奏音频进行混合，得到所述目标对象的混合音频流，向所述目标服务器发送所述人声音频流和所述混合音频流；
所述目标服务器，用于获取所述目标歌曲的原唱音频流，向所述第一终端发送所述人声音频流、所述混合音频流和所述原唱音频流；
所述第一终端，用于在所述直播间的直播过程中，接收所述人声音频流、所述混合音频流和所述原唱音频流，在所述直播间中基于第一音频流进行播放，所述第一音频流为所述多路音频流中的任一音频流；
所述第一终端，用于响应于所述人声音频流对应的音频质量信息满足切换条件，将所述第一音频流切换为所述多路音频流中的第二音频流，在所述直播间中基于所述第二音频流进行播放，所述第二音频流与所述第一音频流不同，所述音频质量信息用于表示对应音频片段的音频质量。
另一方面，提供了一种直播音频处理装置，所述装置包括：
音频流接收模块，用于在直播间的直播过程中，接收目标歌曲的多路音频流，所述多路音频流包括目标对象的人声音频流、目标对象的混合音频流和原唱音频流，所述混合音频流基于所述目标对象的人声与所述目标歌曲的伴奏音频混合得到；
播放模块，用于在所述直播间中基于第一音频流进行播放；
音频流切换模块，用于响应于所述人声音频流对应的音频质量信息满足切换条件，将所述第一音频流切换为所述多路音频流中的第二音频流，在所述直播间中基于所述第二音频流进行播放，所述第二音频流与所述第一音频流不同，所述音频质量信息用于表示对应音频片段的音频质量。
在一种可能实现方式中，音频流切换模块，用于响应于针对音频流的自动切换功能处于开启状态，且所述人声音频流对应的音频质量信息满足所述切换条件，将所述第一音频流切换为所述第二音频流。
在另一种可能实现方式中，所述装置还包括：
质量信息获取模块，用于对所述人声音频流对应的流报文进行解析，得到所述各个音频片段的音频质量信息。
在另一种可能实现方式中，所述音频流切换模块，包括：
时间戳确定单元，用于基于当前播放的音频片段的第一时间戳，确定所述第二音频流中与所述第一时间戳相邻的第二时间戳，所述第二时间戳位于所述第一时间戳之后；
音频片段播放单元，用于在当前播放的音频片段播放结束时，在所述直播间中，播放所述第二音频流中所述第二时间戳对应的音频片段。
在另一种可能实现方式中，所述播放模块，还用于：
在基于所述人声音频流进行播放时，响应于对所述原唱音频流关联的播放控件的触发操作，基于所述原唱音频流进行播放。
另一方面，提供了一种直播音频处理装置，所述装置包括：
人声获取模块，用于在直播间的直播过程中，获取目标对象按照目标歌曲发出的人声，得到所述目标对象的人声音频流；
混合模块，用于将所述目标对象的人声与所述目标歌曲的伴奏音频进行混合，得到所述目标对象的混合音频流；
音频流发送模块，用于向目标服务器发送所述人声音频流和所述混合音频流，所述目标服务器用于获取所述目标歌曲的原唱音频流，向第一终端发送所述人声音频流、所述混合音频流和所述原唱音频流。
在一种可能实现方式中，所述装置还包括：
质量信息获取模块，用于分别对所述人声音频流中每个音频片段进行识别，得到所述人声音频流对应的音频质量信息，所述音频质量信息用于表示对应音频片段的音频质量。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现如上述方面所述的直播音频处理方法中所执行的操作。
另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如上述方面所述的直播音频处理方法中所执行的操作。
另一方面，提供了一种程序代码产品或程序代码，所述程序代码产品或所述程序代码包括程序代码，所述程序代码存储在计算机可读存储介质中，所述程序代码由处理器加载并执行，以实现如上述方面所述的直播音频处理方法中所执行的操作。
本申请实施例提供的方法、装置、计算机设备及存储介质，在直播间的直播过程中，获取目标歌曲对应的人声音频流、混合音频流和原唱音频流，且基于第一音频流进行播放的过程中，在人声音频流对应的音频质量信息满足切换条件时，可对音频流进行切换，将第一音频流切换为与该第一音频流不同的第二音频流，实现在多路音频流之间的切换，使直播间中可播放多种声音，从而满足不同观众的需求，提高直播效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种直播音频处理系统的示意图；
图2是本申请实施例提供的一种直播音频处理方法的流程图；
图3是本申请实施例提供的另一种直播音频处理方法的流程图；
图4是本申请实施例提供的另一种直播音频处理方法的流程图；
图5是本申请实施例提供的一种切换音频流示意图；
图6是本申请实施例提供的一种生成音频流的示意图；
图7是本申请实施例提供的一种直播音频处理装置的结构示意图；
图8是本申请实施例提供的另一种直播音频处理装置的结构示意图；
图9是本申请实施例提供的一种直播音频处理装置的结构示意图；
图10是本申请实施例提供的另一种直播音频处理装置的结构示意图；
图11是本申请实施例提供的一种终端的结构示意图；
图12是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念，但除非特别说明，这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说，在不脱离本申请的范围的情况下，可以将第一切换条件称为第二切换条件，将第二切换条件称为第一切换条件。
本申请所使用的术语“至少一个”、“多个”、“每个”、“任一”等，至少一个包括一个、两个或两个以上，多个包括两个或两个以上，每个是指对应的多个中的每一个，任一是指多个中的任意一个。举例来说，多个音频片段包括3个音频片段，而每个音频片段是指这3个音频片段中的每一个音频片段，任一是指这3个音频片段中的任意一个，可以是第一个，可以是第二个，也可以是第三个。
图1是本申请实施例提供的一种直播音频处理系统的示意图。参见图1，该直播音频处理系统包括至少一个第一终端101(图1中以1个为例)、目标服务器102和第二终端103。每个第一终端101和目标服务器102之间通过无线或者有线网络连接，第二终端103和目标服务器102之间通过无线或者有线网络连接。
第一终端101和第二终端103上安装有由目标服务器102提供服务的目标应用，第一终端101和第二终端103能够通过该目标应用实现例如数据传输、消息交互等功能。可选地，第一终端101和第二终端103为电脑、手机、平板电脑或者其他终端。可选地，目标应用为第一终端101和第二终端103操作系统中的目标应用，或者为第三方提供的目标应用。例如，目标应用为直播应用，该直播应用具有直播功能，当然，该直播应用还能够具有其他功能，例如，购物功能、导航功能、游戏功能等。可选地，目标服务器102为该目标应用的后台服务器或者为提供云计算以及云存储等服务的云服务器。
基于上述图1提供的直播音频处理系统，本申请实施例提供的方法可应用于直播唱歌的场景下。例如，主播通过第二终端在直播间中直播唱歌，第二终端采集主播的人声，将该人声与歌曲的伴奏音频进行混合，得到混合音频流，将人声对应的人声音频流和混合音频流发送给直播服务器，直播服务器还会获取歌曲的原唱音频流，将人声音频流、混合音频流和原唱音频流发送到第一终端，直播间中的观众在基于第一终端接收到各个音频流后，第一终端默认播放人声音频流中的音频片段，之后第一终端可根据人声音频流对应的音频质量，将人声音频流切换为混合音频流或者原唱音频流，或者观众也可以手动切换自己想听的音频。
图2是本申请实施例提供的一种直播音频处理方法的流程图。本申请实施例的执行主体为第一终端。参见图2，该方法包括以下步骤：
201、第一终端在直播间的直播过程中，接收目标歌曲的多路音频流。
其中，多路音频流包括目标对象的人声音频流、目标对象的混合音频流和原唱音频流，混合音频流基于目标对象的人声与目标歌曲的伴奏音频混合得到。目标对象为进行直播的主播，目标歌曲为任一歌曲，人声音频流是采集目标对象按照目标歌曲发出的人声得到的，原唱音频流是目标歌曲的原唱音频。
202、第一终端在直播间中基于第一音频流进行播放，第一音频流为多路音频流中的任一音频流。
其中，第一音频流可以为人声音频流、混合音频流或原唱音频流中的任一音频流。该第一音频流包括多个音频片段，第一终端接收到多路音频流后，在直播间中播放第一音频流中的音频片段。
203、第一终端响应于人声音频流对应的音频质量信息满足切换条件，将第一音频流切换为多路音频流中的第二音频流，在直播间中基于第二音频流进行播放，第二音频流与第一音频流不同。
其中，第二音频流为多路音频流中与第一音频流不同的音频流。例如，第一音频流为人声音频流，则第二音频流为混合音频流或原唱音频流中的任一个。音频质量信息用于表示人声音频流中对应音频片段的音频质量。切换条件是指将第一音频流切换为第二音频流的条件，第一音频流为人声音频流，在音频质量信息满足不同的切换条件下，将人声音频流切换为原唱音频流或混合音频流；第一音频流为原唱音频流，在音频质量信息满足不同的切换条件下，将人声音频流切换为人声音频流或混合音频流；第一音频流为混合音频流，在音频质量信息满足不同的切换条件下，将混合音频流切换为人声音频流或原唱音频流。
本申请实施例中，第一终端根据人声音频流中各个音频片段的音频质量，确定是否对当前的第一音频流进行切换，在音频质量信息满足切换条件的情况下，将第一音频流切换为对应的第二音频流，从而实现音频流的切换。
本申请实施例提供的方法，在直播间的直播过程中，获取目标歌曲对应的人声音频流、混合音频流和原唱音频流，且基于第一音频流进行播放的过程中，在人声音频流对应的音频质量信息满足切换条件时，可对音频流进行切换，将第一音频流切换为与该第一音频流不同的第二音频流，实现在多路音频流之间的切换，使直播间中可播放多种声音，从而满足不同观众的需求，提高直播效果。
图3是本申请实施例提供的另一种直播音频处理方法的流程图。本申请实施例的执行主体为第二终端。参见图3，该方法包括以下步骤：
301、第二终端在直播间的直播过程中，获取目标对象按照目标歌曲发出的人声，得到目标对象的人声音频流。
目标对象为进行直播的主播，主播在直播间中演唱目标歌曲，第二终端获取目标对象的人声，从而得到人声音频流，即得到主播清唱歌曲的声音。
302、第二终端将目标对象的人声与目标歌曲的伴奏音频进行混合，得到目标对象的混合音频流。
第二终端获取目标歌曲的伴奏音频，将采集得到的人声与伴奏音频进行混合，得到混合音频流，即该混合音频流包括人声和伴奏音频。
303、第二终端向目标服务器发送人声音频流和混合音频流。
其中，目标服务器还会获取目标歌曲的原唱音频流，向第一终端发送人声音频流、混合音频流和原唱音频流，以使第一终端接收到三路音频流，在基于音频流进行播放时，可对该三路音频流进行切换。
本申请实施例提供的方法，通过采集的人声得到人声音频流，将人声与目标歌曲的伴奏音频进行混合，得到混合音频流，从而得到目标歌曲对应的人声音频流和混合音频流，通过目标服务器将得到的人声音频流和混合音频流发送给第一终端，且目标服务器还会将获取的原唱音频流也发送给第一终端，使后续第一终端能够基于接收到的多路音频流进行音频流切换，使直播间中可播放多种声音，以提高直播效果。
图4是本申请实施例提供的另一种直播音频处理方法的流程图。本申请实施例的交互主体为第一终端、第二终端和目标服务器。参见图4，该方法包括以下步骤：
401、第二终端在直播间的直播过程中，获取目标对象按照目标歌曲发出的人声，得到目标对象的人声音频流。
目标对象为进行直播的主播，目标歌曲为任一歌曲。目标对象在通过第二终端进行直播的过程中，第二终端获取该目标对象发出的人声，对该人声进行处理，得到人声音频流。其中，第二终端可通过麦克风采集目标对象发出的人声。
在一种可能实现方式中，第二终端安装有目标应用，例如，该目标应用为直播应用、视频应用或其他可进行直播的应用。目标对象通过该目标应用直播演唱目标歌曲，第二终端采集目标对象发出的人声。
在一种可能实现方式中，第二终端将人声采集到声卡，由声卡对该人声进行丽声，即由声卡对该人声进行调音，之后由第二终端基于处理后的人声，得到人声音频流。
在一种可能实现方式中，第二终端基于目标音频协议，对采集到的人声进行编码，得到人声音频流，该人声音频流包括多个音频数据包以及音频头声明。其中，音频数据包包括人声对应的音频片段，音频头声明包括音频格式信息和解码信息，该音频头声明用于对解码器进行初始化，以使解码器基于该音频头声明对音频数据包进行解码得到音频数据包中的音频片段。其中，音频头声明只需在在发送第一个音频数据包时发送一次，之后在没有修改音频格式的情况下，无需再次发送，在修改了音频格式的情况下，重新发送音频头声明，重新发送的音频头声明中包括修改后的音频格式信息和解码信息。
例如，目标音频协议为RTMP(Real Time Messaging Protocol，实时消息传输协议)，该RTMP为基于FLV(Flash Video，流媒体格式)的容器结构设计的推流协议，其中FLV支持音频格式、视频格式以及脚本信息格式，也支持用户自定义的数据类型，在FLV基础上，用户可自定义多音频流的数据类型。例如，FLV对应的各个数据类型参见下述表1：
表1
其中，现场音频即为人声与伴奏音频混合后的音频。表1中左侧的标识即为音频协议中各个数据类型对应的标识。
音频头声明包含的数据如下所示：
音频数据包包含的数据如下所示：
另外，在一种可能实现方式中，第二终端得到人声音频流后，分别对人声音频流中每个音频片段进行识别，得到人声音频流对应的音频质量信息，将该音频质量信息添加至人声音频流对应的流报文中，以使之后第一终端接收到人声音频流对应的流报文后，可对该流报文进行解析，得到各个音频片段的音频质量信息。
可选地，音频质量信息采用参考分值的形式表示，参考分值越大表示音频片段的音频质量越高，参考分值越小表示音频片段的音频质量越差。
可选地，第二终端可根据人声音频流中每个音频片段与目标歌曲的原唱之间的匹配度，来对每个音频片段进行打分，得到参考分值。其中，匹配度越高，参考分值越高；匹配度越低，参考分值越低。或者，第二终端也可采用其他方式来获取各个音频片段的参考分值，本申请实施例对获取参考分值的方式不做限制。
需要说明的是，本申请实施例仅是以第二终端获取音频质量信息为例进行说明，在另一实施例中，第二终端将人声音频流发送给目标服务器，目标服务器对人声音频流中每个音频片段进行识别，得到人声音频流对应的音频质量信息，将音频质量信息添加至人声音频流对应的流报文中。
402、第二终端将目标对象的人声与目标歌曲的伴奏音频进行混合，得到目标对象的混合音频流，向目标服务器发送人声音频流和混合音频流。
其中，混合音频流包含人声和目标歌曲的伴奏音频，该伴奏音频为第二终端存储的、或者为其他设备发送给该第二终端，或者为采用其他方式获取的，本申请实施例对此不做限制。
在一种可能实现方式中，由于人声和伴奏音频是两路音频，直接对人声与伴奏音频进行混合时，难以保证人声对应的音量与伴奏音频对应的音量是相互适配的，因此在对人声与伴奏音频进行混合之前，需要先调整人声对应的音量和伴奏音频对应的音量。第二终端在直播间的直播界面显示人声关联的第三音量控件和伴奏音频关联的第四音量控件，目标对象可通过调整第三音频控件来调整人声对应的音量，通过调整第四音量控件，来调整伴奏音频对应的音量，直至将人声对应的音量或者伴奏音频对应的音量调整至合适的音量。即第二终端响应于对第三音量控件的调整操作，调整人声对应的音量；响应于对第四音量控件的调整操作，调整伴奏音频对应的音量，之后第二终端基于人声调整后的音量和伴奏音频调整后的音量，将人声与伴奏音频进行混合，得到混合音频流。
另外，在一种可能实现方式中，第二终端基于得到的混合音频流，在直播间中播放对应的音频片段，即目标对象可听到播放的人声与伴奏音频混合后的音频。
需要说明的是，本申请实施例仅是以第二终端进行混音为例进行说明，在另一实施例中，第二终端将采集的人声发送给目标服务器，目标服务器将人声与目标歌曲的伴奏音频进行混合，得到混合音频流。
403、目标服务器获取目标歌曲的原唱音频流，向第一终端发送人声音频流、混合音频流和原唱音频流。
本申请实施例中，目标服务器可识别接收到的人声音频流或者混合音频流，确定目标歌曲，然后从目标服务器中的歌曲数据库中获取目标歌曲的原唱音频流，或者向其他计算机设备发送携带目标歌曲的歌曲标识的歌曲获取请求，其他计算机设备向目标服务器发送目标歌曲的原唱音频流。当然，目标服务器还可采用其他方式获取原唱音频流，本申请实施例对此不做限制。
另外，由于在直播过程中，需要实现人声音频流、混合音频流和原唱音频流中任两路音频流之间的切换，因此，需要保证人声音频流、混合音频流和原唱音频流对应的时间戳是一致的，采用绝对时间戳，即人声音频流、混合音频流和原唱音频流中的第一个音频片段对应同一时间戳。例如，人声音频流、混合音频流和原唱音频流中的音频片段都是从0秒开始，到300秒结束。
404、第一终端接收目标服务器发送的人声音频流、混合音频流和原唱音频流。
本申请实施例中，为了保证后续音频流切换时，两路音频流之间可及时进行切换，第一终端会接收目标服务器发送的三路音频流，避免切换时需要临时从目标服务器获取音频流。可选地，第一终端建立三个音频缓冲区，分别存储人声音频流、混合音频流以及原唱音频流，使第一终端在切换音频流时，可直接获取缓冲区中存储的音频流，提高切换效率。
405、第一终端在直播间中基于第一音频流进行播放。
第一终端接收到目标服务器发送的三路音频流后，可对其中任一音频流进行解码，得到该任一音频流中的各个音频片段，按照各个音频片段对应的时间戳依次播放音频片段。
在一种可能实现方式中，第一终端初次接收到目标服务器发送的多路音频流后，默认其中的对人声音频流进行解码，得到人声音频流中的各个音频片段，按照各个音频片段对应的时间戳依次播放各个音频片段。
406、第一终端响应于人声音频流对应的音频质量信息满足切换条件，将第一音频流切换为第二音频流，在直播间中基于第二音频流进行播放。
本申请实施例中，第一终端在基于任一音频流进行播放的过程中，会持续获取人声音频流对应的音频质量信息，通过判断人声音频流对应的音频质量信息是否满足切换条件，在音频质量信息满足切换条件的情况下，将第一音频流切换为第二音频流，该第二音频流与第一音频流不同，在音频质量信息不满足切换条件的情况下，则继续基于第一音频流进行播放。
第一音频流可以为人声音频流、原唱音频流或混合音频流，在不同的切换条件下，又可以将第一音频流切换为对应的第二音频流，因此，包括以下几种切换情况：
第一种：第一音频流为人声音频流。
在一种可能实现方式中，第一终端在人声音频流中多个连续音频片段的音频质量信息满足第一切换条件的情况下，将人声音频流切换为混合音频流，在直播间中基于混合音频流进行播放。其中，第一切换条件是指连续多个音频片段的音频质量高于参考音频质量，多个连续音频片段包括当前播放的音频片段。可选地，音频质量信息包括音频片段的参考分值时，第一终端在人声音频流中多个连续音频片段的参考分值大于第一阈值的情况下，将人声音频流切换为混合音频流。其中，第一阈值为任一数值，例如，第一阈值为20，在连续2个音频片段的参考分值大于20分时，将人声音频流切换为混合音频流。
可选地，第一终端在人声音频流中第一数量的音频片段的音频质量信息满足第一切换条件的情况下，将人声音频流切换为混合音频流。其中，第一数量的音频片段为连续多个音频片段，该第一数量为任一数量，例如第一数量为2、3、4或其他数量。
可选地，第一终端将音频流切换为混合音频流后，持续获取人声音频流中多个连续音频片段的音频质量信息，在之后的多个连续音频片段的音频质量信息仍然满足第一切换条件的情况下，第一终端继续基于混合音频流进行播放，在之后的多个连续音频片段的音频质量信息不再满足第一切换条件，即多个连续音频片段的音频质量信息满足第二切换条件的情况下，则第一终端再将混合音频流切换为人声音频流或原唱音频流，由混合音频流切换为人声音频流或原唱音频流的实施方式参见下述第二种情况。
在另一种可能实现方式中，第二终端在人声音频流中多个连续音频片段的音频质量信息满足第二切换条件的情况下，将人声音频流切换为原唱音频流，在直播间中基于原唱音频流进行播放。其中，第二切换条件是指连续多个音频片段的音频质量低于参考音频质量，多个连续音频片段包括当前播放的音频片段。可选地，音频质量信息包括音频片段的参考分值时，第一终端在人声音频流中多个连续音频片段的参考分值小于第一阈值的情况下，将人声音频流切换为原唱音频流。例如，第一阈值为20，在连续3个音频片段的参考分值小于20分时，将人声音频流切换为原唱音频流。
可选地，第一终端在人声音频流中第二数量的音频片段的音频质量信息满足第二切换条件的情况下，将人声音频流切换为原唱音频流。其中，第二数量的音频片段为连续多个音频片段，该第二数量为任一数量，例如第二数量为2、3、4或其他数量。
上述第二数量与第一数量可以相同，也可以不同，例如，为了使直播间中的观众听到主播的歌声，将切换为混合音频流的触发条件设置地比切换为原唱音频流的触发条件更宽松，可使第一数量小于第二数量。
可选地，第一终端将音频流切换为原唱音频流后，持续获取人声音频流中多个连续音频片段的音频质量信息，在之后的多个连续音频片段的音频质量信息仍然满足第二切换条件的情况下，第一终端继续基于原唱音频流进行播放，在之后的多个连续音频片段的音频质量信息不再满足第二切换条件的情况下，即多个连续音频片段的音频质量信息满足第一切换条件的情况下，第一终端将原唱音频流切换为人声音频流，由原唱音频流切换为人声音频流或混合音频流的实施方式参见下述第三种情况。
第二种：第一音频流为混合音频流。
第一终端在基于混合音频流进行播放的过程中，实时获取人声音频流中与当前播放的音频片段对应的音频片段的音频质量信息，基于音频质量信息确定是否需要对混合音频流进行切换，其中播放的音频片段对应的时间戳与获取的人声音频流中的音频片段的时间戳相同，例如，第一终端播放混合音频流中第5秒的音频片段，则获取人声音频流中第5秒的音频片段的音频质量信息。即第一终端在人声音频流中多个连续音频片段的音频质量信息满足第二切换条件的情况下，将混合音频流切换为人声音频流，在直播间中基于人声音频流进行播放，或者将混合音频流切换为原唱音频流，在直播间中基于原唱音频流进行播放。
可选地，第一终端获取人声音频流中连续第三数量的音频片段的音频质量信息，在连续第三数量的音频片段的音频质量均不高于参考音频质量的情况下，第一终端将混合音频流切换为原唱音频流；或者，在第三数量的音频片段中，除最后一个音频片段之外的其他音频片段的音频质量不高于参考音频质量的情况下，第一终端将混合音频流切换为人声音频流。即第二切换条件为连续第三数量的音频片段的音频质量均不高于参考音频质量时，将混合音频流切换为原唱音频流；第二切换条件为第三数量的音频片段中除最后一个音频片段之外的其他音频片段的音频质量不高于参考音频质量时，将混合音频流切换为人声音频流。其中，第三数量与上述第一数量、第二数量可以相同，也可以不同。
例如，第三数量为5，第一终端获取到当前的人声音频流中连续5个音频片段的音频质量，在前4个音频片段的音频质量不高于参考音频质量，第5个音频片段的音频质量高于参考音频质量的情况下，将混合音频流切换为人声音频流；在连续5个音频片段的音频质量均不高于参考音频质量时，将混合音频流切换为原唱音频流。
第三种：第一音频流为原唱音频流。
第一终端在基于原唱音频流进行播放的过程中，实时获取人声音频流中与当前播放的音频片段对应的音频片段的音频质量，基于音频质量信息确定是否需要对混合音频流进行切换，其中播放的音频片段对应的时间戳与获取的人声音频流中的音频片段的时间戳相同，例如，第一终端播放原唱音频流中第5秒的音频片段，则获取人声音频流中第5秒的音频片段的音频质量。即第一终端在人声音频流中多个连续音频片段的音频质量信息满足第一切换条件的情况下，将原唱音频流切换为人声音频流，在直播间中基于人声音频流进行播放，或者将原唱音频流切换为混合音频流，在直播间中基于混合音频流进行播放。
可选地，第一终端获取人声音频流中连续第四数量的音频片段的音频质量，在连续第四数量的音频片段的音频质量均高于参考音频质量的情况下，第一终端将原唱音频流切换为混合音频流；或者，在第四数量的音频片段中，除最后一个音频片段之外的其他音频片段的音频质量高于参考音频质量的情况下，第一终端将原唱音频流切换为人声音频流。即第一切换条件为连续第四数量的音频片段的音频质量均高于参考音频质量时，将原唱音频流切换为混合音频流；第一切换条件为第四数量的音频片段中除最后一个音频片段之外的其他音频片段的音频质量高于参考音频质量时，将原唱音频流切换为人声音频流。其中，第四数量与上述第一数量、第二数量、第三数量可以相同，也可以不同。
例如，第四数量为5，第一终端获取到当前的人声音频流中连续5个音频片段的音频质量，在前4个音频片段的音频质量高于参考音频质量，第5个音频片段的音频质量不高于参考音频质量的情况下，将原唱音频流切换为人声音频流；在连续5个音频片段的音频质量均高于参考音频质量时，将原唱音频流切换为混合音频流。
需要说明的是，上述第二数量与第一数量可以相同，也可以不同，例如，为了使直播间中的观众听到主播的歌声，将切换为混合音频流的触发条件设置地比切换为原唱音频流的触发条件更宽松，可使第一数量小于第二数量。
上述第一切换条件对应的切换方式和第二切换条件对应的切换方式，可以单一实现，或者上述两种切换方式也可以结合，即切换条件包括第一切换条件和第二切换条件，在当前基于人声音频流进行播放且满足第一切换条件时，将人声音频流切换为混合音频流，在当前基于人声音频流进行播放且满足第二切换条件时，将人声音频流切换为原唱音频流，在当前基于混合音频流进行播放且满足第二切换条件时，将混合音频流切换为人声音频流或原唱音频流，在当前基于原唱音频流进行播放且满足第一切换条件时，将原唱音频流切换为人声音频流或混合音频流。
在一种可能实现方式中，第一终端在音频质量信息满足切换条件，且播放至人声音频流中最后一个音频片段的情况下，显示提示信息，该提示信息用于表示音频流切换失败。也就是说，在播放到最后一个音频片段的情况下，即使音频质量满足切换条件，也不会进行音频流切换。
在一种可能实现方式中，第一终端需要先开启直播间中的自动切换功能，在启动自动切换功能的情况下，进行音频流自动切换，而在未启动自动切换功能的情况下，则不会进行音频流自动切换。即第一终端响应于针对音频流的自动切换功能处于开启状态，且人声音频流对应的音频质量信息满足切换条件，将第一音频流切换为第二音频流。
可选地，第一终端显示的直播间的直播界面包括自动切换控件，在自动切换功能处于关闭状态时，用户触发该自动切换控件，终端响应于对该自动切换控件的触发操作，将自动切换功能设置为开启状态，从而启动自动切换功能。
上述实施方式中介绍了第一终端根据音频质量信息自动切换音频流的过程，在另一实施例中，用户可手动切换音频流。第一终端的直播间的直播界面包括每路音频流对应的播放控件，用户触发第二音频流关联的播放控件，第一终端响应于对第二音频流关联的播放控件的触发操作，将第一音频流切换为第二音频流，在直播间中基于第二音频流进行播放。例如，第一终端在播放人声音频流中的音频片段时，用户触发混合音频流关联的播放控件，第一终端将人声音频流切换为混合音频流，播放混合音频流中的音频片段；或者用户触发原唱音频流关联的播放控件，第一终端将人声音频流切换为原唱音频流，播放原唱音频流中的音频片段。
对于上述自动切换音频流和手动切换音频流的方式，在基于切换后的第二音频流进行播放时，都需要保证切换前后音频之间的连续性，即音频流的切换需要遵循连续稳定递增的原则。例如，参见图5，第一终端对接收到的人声音频流、混合音频流和原唱音频流分别进行解码，得到人声音频流四个音频片段对应的时间戳分别为ID1、ID2、ID3和ID4，混合音频流中四个音频片段对应的时间戳分别为T1、T2、T3和T4，原唱音频流中四个音频片段对应的时间戳分别为F1、F2、F3和F4，其中，ID1、T1和F1相等，ID2、T2和F2相等，ID3、T3和F3相等，ID4、T4和F4相等，则切换时，采用依次时间戳依次递增的方式进行切换。
因此，在一种可能实现方式中，第一终端在切换过程中，基于当前播放的音频片段的第一时间戳，确定第二音频流中与第一时间戳相邻的第二时间戳，该第二时间戳位于第一时间戳之后，在当前播放的音频片段播放结束时，在直播间中，播放第二音频流中第二时间戳对应的音频片段，从而保证切换后的音频片段是与切换前的音频片段相邻的片段。
例如，从人声音频流切换到混合音频流，人声音频流中四个音频片段对应的时间戳分别为ID1、ID2、ID3和ID4，当前正在播放ID1对应的音频片段，混合音频流中四个音频片段对应的时间戳分别为T1、T2、T3和T4，则在切换时存在以下三种情况：第一种情况：T1<ID1<T2<ID2，则切换后播放T2对应的音频片段；第二种情况：ID1<ID2<T1<T2，则播放完ID2对应的音频片段后，再对音频流进行切换，切换后播放T1对应的音频片段；第三种情况：T1<T2<T3<T4<ID1，则不切换音频流。
例如，切换前播放人声音频流中音频片段的第一时间戳为50秒，原唱音频流中与该第一时间戳相邻的第二时间戳为51秒，则在当前的音频片段播放结束时，播放原唱音频流中51秒对应的音频片段。又例如，切换前人声音频流中音频片段的第一时间戳为50秒，原唱音频流中与该第一时间戳相邻的第二时间戳为52秒，则在当前的音频片段以及51秒对应的音频片段播放结束时，播放原唱音频流中52秒对应的音频片段。
另外，第一终端除了能够实现上述音频流切换的方式之前，第一终端在基于人声音频流进行播放时，响应于对原唱音频流关联的播放控件的触发操作，基于原唱音频流进行播放。即第一终端能够基于人声音频流和原唱音频流进行播放，可选地，第一终端分别对人声音频流和原唱音频流进行解码，得到人声音频流中的各个音频片段和原唱音频流中的各个音频片段，再对解码出的人声音频流中的各个音频片段和原唱音频流中的各个音频片段进行混合，得到混合音频，播放该混合音频。
可选地，为了保证人声音频流中的各个音频片段和原唱音频流中的各个音频片段的音量相适配，第一终端显示的直播间的直播界面包括人声音频流关联的第一音量控件和原唱音频流关联的第二音量控件，用户可调整音频控件，从而调整对应音频流对应的音量。用户对第一音频控件执行调整操作，第一终端响应于对第一音量控件的调整操作，调整人声音频流对应的音量；用户对第一音频控件执行调整操作，响应于对第二音量控件的调整操作，调整原唱音频流对应的音量。
参见图6所示的生成音频流的示意图，相关技术中，声卡采用硬混的方式对采集的目标对象的人声进行处理，在采用硬混方式处理时，声卡采集人声，获取目标歌曲的伴奏音频，输出人声和伴奏音频混合后的混合音频流，将混合音频流通过目标服务器发送至第一终端，第一终端接收到该混合音频流，而无法仅接收到人声。而本申请实施例中，声卡采用软混的方式对采集的目标对象的人声进行处理，在采用软混方式处理时，声卡采集人声，获取目标歌曲的伴奏音频，输出人声音频流和混合音频流，将人声音频流和混合音频流通过目标服务器发送至第一终端，且目标服务器还会获取原唱音频流，将原唱音频流发送至第一终端。
本申请实施例提供的方法，在直播间的直播过程中，第二终端通过采集的人声得到人声音频流，将人声与目标歌曲的伴奏音频进行混合，得到混合音频流，从而得到目标歌曲对应的人声音频流和混合音频流，通过目标服务器将得到的人声音频流和混合音频流发送给第一终端，且目标服务器还会将获取的原唱音频流也发送给第一终端，第一终端能够获取到人声音频流、混合音频流和原唱音频流，且基于第一音频流进行播放的过程中，在人声音频流对应的音频质量信息满足切换条件时，可对音频流进行切换，将第一音频流切换为与该第一音频流不同的第二音频流，实现在多路音频流之间的切换，使直播间中可播放多种声音，从而满足不同观众的需求，提高直播效果。
图7是本申请实施例提供的一种直播音频处理装置的结构示意图。参见图7，该装置包括：
音频流接收模块701，用于在直播间的直播过程中，接收目标歌曲的多路音频流，多路音频流包括目标对象的人声音频流、目标对象的混合音频流和原唱音频流，混合音频流基于目标对象的人声与目标歌曲的伴奏音频混合得到；
播放模块702，用于在直播间中基于第一音频流进行播放；
音频流切换模块703，用于响应于人声音频流对应的音频质量信息满足切换条件，将第一音频流切换为多路音频流中的第二音频流，在直播间中基于第二音频流进行播放，第二音频流与第一音频流不同，音频质量信息用于表示对应音频片段的音频质量。
本申请实施例提供的装置，在直播间的直播过程中，获取目标歌曲对应的人声音频流、混合音频流和原唱音频流，且基于第一音频流进行播放的过程中，在人声音频流对应的音频质量信息满足切换条件时，可对音频流进行切换，将第一音频流切换为与该第一音频流不同的第二音频流，实现在多路音频流之间的切换，使直播间中可播放多种声音，从而满足不同观众的需求，提高直播效果。
在另一种可能实现方式中，参见图8，音频流切换模块703，用于响应于针对音频流的自动切换功能处于开启状态，且人声音频流对应的音频质量信息满足切换条件，将第一音频流切换为第二音频流。
在另一种可能实现方式中，参见图8，该装置还包括：
质量信息获取模块704，用于对人声音频流对应的流报文进行解析，得到各个音频片段的音频质量信息。
在另一种可能实现方式中，参见图8，音频流切换模块703，包括：
时间戳确定单元7031，用于基于当前播放的音频片段的第一时间戳，确定第二音频流中与第一时间戳相邻的第二时间戳，第二时间戳位于第一时间戳之后；
音频片段播放单元7032，用于在当前播放的音频片段播放结束时，在直播间中，播放第二音频流中第二时间戳对应的音频片段。
在另一种可能实现方式中，播放模块702，还用于：
在基于人声音频流进行播放时，响应于对原唱音频流关联的播放控件的触发操作，基于原唱音频流进行播放。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
需要说明的是：上述实施例提供的直播音频处理装置在处理直播音频时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的直播音频处理装置与直播音频处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图9是本申请实施例提供的一种直播音频处理装置的结构示意图。参见图9，该装置包括：
人声采集模块901，用于在直播间的直播过程中，获取目标对象按照目标歌曲发出的人声，得到目标对象的人声音频流；
混合模块902，用于将目标对象的人声与目标歌曲的伴奏音频进行混合，得到目标对象的混合音频流；
音频流发送模块903，用于向目标服务器发送人声音频流和混合音频流，目标服务器用于获取目标歌曲的原唱音频流，向第一终端发送人声音频流、混合音频流和原唱音频流。
本申请实施例提供的装置，通过采集的人声得到人声音频流，将人声与目标歌曲的伴奏音频进行混合，得到混合音频流，从而得到目标歌曲对应的人声音频流和混合音频流，通过目标服务器将得到的人声音频流和混合音频流发送给第一终端，且目标服务器还会将获取的原唱音频流也发送给第一终端，使后续第一终端能够基于接收到的多路音频流进行音频流切换，使直播间中可播放多种声音，以提高直播效果。
在另一种可能实现方式中，参见图10，该装置还包括：
质量信息获取模块904，用于分别对人声音频流中每个音频片段进行识别，得到人声音频流对应的音频质量信息，音频质量信息用于表示对应音频片段的音频质量。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
需要说明的是：上述实施例提供的直播音频处理装置在处理直播音频时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的直播音频处理装置与直播音频处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请实施例还提供了一种终端，该终端包括处理器和存储器，存储器中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行，以实现上述实施例的直播音频处理方法中所执行的操作。
图11是本申请实施例提供的一种终端1100的结构示意图。该终端1100可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(Moving Picture Experts GroupAudio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture ExpertsGroup Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1100还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
终端1100包括有：处理器1101和存储器1102。
处理器1101可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1101可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1101也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1101可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。在一些实施例中，处理器1101还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1102可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1102还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1102中的非暂态的计算机可读存储介质用于存储至少一条程序代码，该至少一条程序代码用于被处理器1101所执行以实现本申请中方法实施例提供的直播音频处理方法。
在一些实施例中，终端1100还可选包括有：外围设备接口1103和至少一个外围设备。处理器1101、存储器1102和外围设备接口1103之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1103相连。具体地，外围设备包括：射频电路1104、显示屏1105、摄像头组件1106、音频电路1107、定位组件1108和电源1109中的至少一种。
外围设备接口1103可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1101和存储器1102。在一些实施例中，处理器1101、存储器1102和外围设备接口1103被集成在同一芯片或电路板上；在一些其他实施例中，处理器1101、存储器1102和外围设备接口1103中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1104用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1104通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1104将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1104包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1104可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1104还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1105用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1105是触摸显示屏时，显示屏1105还具有采集在显示屏1105的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1101进行处理。此时，显示屏1105还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1105可以为一个，设置在终端1100的前面板；在另一些实施例中，显示屏1105可以为至少两个，分别设置在终端1100的不同表面或呈折叠设计；在另一些实施例中，显示屏1105可以是柔性显示屏，设置在终端1100的弯曲表面上或折叠面上。甚至，显示屏1105还可以设置成非矩形的不规则图形，也即异形屏。显示屏1105可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-EmittingDiode，有机发光二极管)等材质制备。
摄像头组件1106用于采集图像或视频。可选地，摄像头组件1106包括前置摄像头和后置摄像头。前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1106还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1107可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1101进行处理，或者输入至射频电路1104以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1100的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1101或射频电路1104的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1107还可以包括耳机插孔。
定位组件1108用于定位终端1100的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1108可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯定位系统或欧盟的伽利略定位系统的定位组件。
电源1109用于为终端1100中的各个组件进行供电。电源1109可以是交流电、直流电、一次性电池或可充电电池。当电源1109包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端1100还包括有一个或多个传感器1110。该一个或多个传感器1110包括但不限于：加速度传感器1111、陀螺仪传感器1112、压力传感器1113、指纹传感器1114、光学传感器1115以及接近传感器1116。
加速度传感器1111可以检测以终端1100建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1111可以用于检测重力加速度在三个坐标轴上的分量。处理器1101可以根据加速度传感器1111采集的重力加速度信号，控制显示屏1105以横向视图或纵向视图进行用户界面的显示。加速度传感器1111还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1112可以检测终端1100的机体方向及转动角度，陀螺仪传感器1112可以与加速度传感器1111协同采集用户对终端1100的3D动作。处理器1101根据陀螺仪传感器1112采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1113可以设置在终端1100的侧边框和/或显示屏1105的下层。当压力传感器1113设置在终端1100的侧边框时，可以检测用户对终端1100的握持信号，由处理器1101根据压力传感器1113采集的握持信号进行左右手识别或快捷操作。当压力传感器1113设置在显示屏1105的下层时，由处理器1101根据用户对显示屏1105的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1114用于采集用户的指纹，由处理器1101根据指纹传感器1114采集到的指纹识别用户的身份，或者，由指纹传感器1114根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1101授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1114可以被设置在终端1100的正面、背面或侧面。当终端1100上设置有物理按键或厂商Logo时，指纹传感器1114可以与物理按键或厂商Logo集成在一起。
光学传感器1115用于采集环境光强度。在一个实施例中，处理器1101可以根据光学传感器1115采集的环境光强度，控制显示屏1105的显示亮度。具体地，当环境光强度较高时，调高显示屏1105的显示亮度；当环境光强度较低时，调低显示屏1105的显示亮度。在另一个实施例中，处理器1101还可以根据光学传感器1115采集的环境光强度，动态调整摄像头组件1106的拍摄参数。
接近传感器1116，也称距离传感器，设置在终端1100的前面板。接近传感器1116用于采集用户与终端1100的正面之间的距离。在一个实施例中，当接近传感器1116检测到用户与终端1100的正面之间的距离逐渐变小时，由处理器1101控制显示屏1105从亮屏状态切换为息屏状态；当接近传感器1116检测到用户与终端1100的正面之间的距离逐渐变大时，由处理器1101控制显示屏1105从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图11中示出的结构并不构成对终端1100的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本申请实施例还提供了一种服务器，该服务器包括处理器和存储器，存储器中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行，以实现上述实施例的直播音频处理方法中所执行的操作。
图12是本申请实施例提供的一种服务器的结构示意图，该服务器1200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central ProcessingUnits，CPU)1201和一个或一个以上的存储器1202，其中，存储器1202中存储有至少一条程序代码，该至少一条程序代码由处理器1201加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行，以实现上述实施例的直播音频处理方法中所执行的操作。
本申请实施例还提供了一种程序代码产品或程序代码，该程序代码产品或程序代码包括程序代码，该程序代码存储在计算机可读存储介质中。该程序代码由处理器加载并执行，以实现上述实施例的直播音频处理方法中所执行的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上仅为本申请实施例的可选实施例，并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种直播音频处理方法，其特征在于，所述方法包括：
在直播间的直播过程中，接收目标歌曲的多路音频流，所述多路音频流包括目标对象的人声音频流、目标对象的混合音频流和原唱音频流，所述混合音频流基于所述目标对象的人声与所述目标歌曲的伴奏音频混合得到；
在所述直播间中基于第一音频流进行播放，所述第一音频流为所述多路音频流中的任一音频流；
响应于所述人声音频流对应的音频质量信息满足切换条件，将所述第一音频流切换为所述多路音频流中的第二音频流，在所述直播间中基于所述第二音频流进行播放，所述第二音频流与所述第一音频流不同，所述音频质量信息用于表示对应音频片段的音频质量。
2.根据权利要求1所述的方法，其特征在于，所述响应于所述人声音频流对应的音频质量信息满足切换条件，将所述第一音频流切换为所述多路音频流中的第二音频流，包括：
响应于针对音频流的自动切换功能处于开启状态，且所述人声音频流对应的音频质量信息满足所述切换条件，将所述第一音频流切换为所述第二音频流。
3.根据权利要求1所述的方法，其特征在于，所述响应于所述人声音频流对应的音频质量信息满足切换条件，将所述第一音频流切换为所述多路音频流中的第二音频流，在所述直播间中基于所述第二音频流进行播放之前，所述方法还包括：
对所述人声音频流对应的流报文进行解析，得到所述音频片段的音频质量信息。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述在所述直播间中基于所述第二音频流进行播放，包括：
基于当前播放的音频片段的第一时间戳，确定所述第二音频流中与所述第一时间戳相邻的第二时间戳，所述第二时间戳位于所述第一时间戳之后；
在当前播放的音频片段播放结束时，在所述直播间中，播放所述第二音频流中所述第二时间戳对应的音频片段。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在基于所述人声音频流进行播放时，响应于对所述原唱音频流关联的播放控件的触发操作，基于所述原唱音频流进行播放。
6.一种直播音频处理方法，其特征在于，所述方法还包括：
在直播间的直播过程中，获取目标对象按照目标歌曲发出的人声，得到所述目标对象的人声音频流；
将所述目标对象的人声与所述目标歌曲的伴奏音频进行混合，得到所述目标对象的混合音频流；
向目标服务器发送所述人声音频流和所述混合音频流，所述目标服务器用于获取所述目标歌曲的原唱音频流，向第一终端发送所述人声音频流、所述混合音频流和所述原唱音频流，以使所述第一终端在所述直播间中基于多路音频流中的第一音频流进行播放，并响应于所述人声音频流对应的音频质量信息满足切换条件，将所述第一音频流切换为所述多路音频流中的第二音频流，在所述直播间中基于所述第二音频流进行播放，所述第二音频流与所述第一音频流不同，所述音频质量信息用于表示对应音频片段的音频质量，所述多路音频流包括所述人声音频流、所述混合音频流和所述原唱音频流。
7.根据权利要求6所述的方法，其特征在于，所述将所述人声音频流和所述混合音频流发送给目标服务器之前，所述方法还包括：
分别对所述人声音频流中每个音频片段进行识别，得到所述人声音频流对应的音频质量信息，所述音频质量信息用于表示对应音频片段的音频质量。
8.一种直播音频处理系统，其特征在于，所述直播音频处理系统包括第一终端、目标服务器和第二终端；
所述第二终端，用于在直播间的直播过程中，获取目标对象按照目标歌曲发出的人声，得到所述目标对象的人声音频流，将所述目标对象的人声与所述目标歌曲的伴奏音频进行混合，得到所述目标对象的混合音频流，向所述目标服务器发送所述人声音频流和所述混合音频流；
所述目标服务器，用于获取所述目标歌曲的原唱音频流，向所述第一终端发送所述人声音频流、所述混合音频流和所述原唱音频流；
所述第一终端，用于在所述直播间的直播过程中，接收所述人声音频流、所述混合音频流和所述原唱音频流，在所述直播间中基于第一音频流进行播放，所述第一音频流为多路音频流中的任一音频流；
所述第一终端，用于响应于所述人声音频流对应的音频质量信息满足切换条件，将所述第一音频流切换为所述多路音频流中的第二音频流，在所述直播间中基于所述第二音频流进行播放，所述第二音频流与所述第一音频流不同，所述音频质量信息用于表示对应音频片段的音频质量。
9.一种直播音频处理装置，其特征在于，所述装置包括：
音频流接收模块，用于在直播间的直播过程中，接收目标歌曲的多路音频流，所述多路音频流包括目标对象的人声音频流、目标对象的混合音频流和原唱音频流，所述混合音频流基于所述目标对象的人声与所述目标歌曲的伴奏音频混合得到；
播放模块，用于在所述直播间中基于第一音频流进行播放，所述第一音频流为所述多路音频流中的任一音频流；
音频流切换模块，用于响应于所述人声音频流对应的音频质量信息满足切换条件，将所述第一音频流切换为所述多路音频流中的第二音频流，在所述直播间中基于所述第二音频流进行播放，所述第二音频流与所述第一音频流不同，所述音频质量信息用于表示对应音频片段的音频质量。
10.一种直播音频处理装置，其特征在于，所述装置包括：
人声采集模块，用于在直播间的直播过程中，获取目标对象按照目标歌曲发出的人声，得到所述目标对象的人声音频流；
混合模块，用于将所述目标对象的人声与所述目标歌曲的伴奏音频进行混合，得到所述目标对象的混合音频流；
音频流发送模块，用于向目标服务器发送所述人声音频流和所述混合音频流，所述目标服务器用于获取所述目标歌曲的原唱音频流，向第一终端发送所述人声音频流、所述混合音频流和所述原唱音频流，以使所述第一终端在所述直播间中基于多路音频流中的第一音频流进行播放，并响应于所述人声音频流对应的音频质量信息满足切换条件，将所述第一音频流切换为所述多路音频流中的第二音频流，在所述直播间中基于所述第二音频流进行播放，所述第二音频流与所述第一音频流不同，所述音频质量信息用于表示对应音频片段的音频质量，所述多路音频流包括所述人声音频流、所述混合音频流和所述原唱音频流。
11.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现如权利要求1至5任一权利要求所述的直播音频处理方法中所执行的操作，或者以实现如权利要求6至7任一权利要求所述的直播音频处理方法中所执行的操作。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如权利要求1至5任一权利要求所述的直播音频处理方法中所执行的操作，或者以实现如权利要求6至7任一权利要求所述的直播音频处理方法中所执行的操作。
CN202110807055.3A 2021-07-16 2021-07-16 直播音频处理方法、装置、计算机设备及介质 Active CN113473170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110807055.3A CN113473170B (zh) 2021-07-16 2021-07-16 直播音频处理方法、装置、计算机设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110807055.3A CN113473170B (zh) 2021-07-16 2021-07-16 直播音频处理方法、装置、计算机设备及介质

Publications (2)

Publication Number Publication Date
CN113473170A CN113473170A (zh) 2021-10-01
CN113473170B true CN113473170B (zh) 2023-08-25

Family

ID=77880873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110807055.3A Active CN113473170B (zh) 2021-07-16 2021-07-16 直播音频处理方法、装置、计算机设备及介质

Country Status (1)

Country Link
CN (1) CN113473170B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114220409B (zh) * 2021-12-14 2025-10-17 腾讯音乐娱乐科技（深圳）有限公司 一种音频处理方法及计算机装置
CN116170613B (zh) * 2022-09-08 2024-09-24 腾讯音乐娱乐科技（深圳）有限公司 音频流处理方法、计算机设备和计算机程序产品

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000003183A (ja) * 1999-06-07 2000-01-07 Yamaha Corp カラオケ装置
CN105161120A (zh) * 2015-08-27 2015-12-16 广州酷狗计算机科技有限公司 原伴唱切换方法及装置
CN106024033A (zh) * 2016-06-15 2016-10-12 北京小米移动软件有限公司 播放控制方法及装置
CN106548792A (zh) * 2015-09-17 2017-03-29 阿里巴巴集团控股有限公司 智能音箱装置、移动终端及音乐播放处理方法
WO2017101260A1 (zh) * 2015-12-15 2017-06-22 广州酷狗计算机科技有限公司 音频切换方法、装置以及存储介质
CN107093419A (zh) * 2016-02-17 2017-08-25 广州酷狗计算机科技有限公司 一种动态伴唱方法和装置
WO2018130577A1 (en) * 2017-01-10 2018-07-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, audio encoder, method for providing a decoded audio signal, method for providing an encoded audio signal, audio stream, audio stream provider and computer program using a stream identifier
CN108848394A (zh) * 2018-07-27 2018-11-20 广州酷狗计算机科技有限公司 视频直播方法、装置、终端及存储介质
CN109348239A (zh) * 2018-10-18 2019-02-15 北京达佳互联信息技术有限公司 直播片段处理方法、装置、电子设备及存储介质
CN110267081A (zh) * 2019-04-02 2019-09-20 北京达佳互联信息技术有限公司 直播流处理方法、装置、系统、电子设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000003183A (ja) * 1999-06-07 2000-01-07 Yamaha Corp カラオケ装置
CN105161120A (zh) * 2015-08-27 2015-12-16 广州酷狗计算机科技有限公司 原伴唱切换方法及装置
CN106548792A (zh) * 2015-09-17 2017-03-29 阿里巴巴集团控股有限公司 智能音箱装置、移动终端及音乐播放处理方法
WO2017101260A1 (zh) * 2015-12-15 2017-06-22 广州酷狗计算机科技有限公司 音频切换方法、装置以及存储介质
CN107093419A (zh) * 2016-02-17 2017-08-25 广州酷狗计算机科技有限公司 一种动态伴唱方法和装置
CN106024033A (zh) * 2016-06-15 2016-10-12 北京小米移动软件有限公司 播放控制方法及装置
WO2018130577A1 (en) * 2017-01-10 2018-07-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, audio encoder, method for providing a decoded audio signal, method for providing an encoded audio signal, audio stream, audio stream provider and computer program using a stream identifier
CN108848394A (zh) * 2018-07-27 2018-11-20 广州酷狗计算机科技有限公司 视频直播方法、装置、终端及存储介质
CN109348239A (zh) * 2018-10-18 2019-02-15 北京达佳互联信息技术有限公司 直播片段处理方法、装置、电子设备及存储介质
WO2020078142A1 (zh) * 2018-10-18 2020-04-23 北京达佳互联信息技术有限公司 直播片段处理方法、装置、电子设备及存储介质
CN110267081A (zh) * 2019-04-02 2019-09-20 北京达佳互联信息技术有限公司 直播流处理方法、装置、系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN113473170A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN108093268B (zh) 进行直播的方法和装置
CN112118477B (zh) 虚拟礼物展示方法、装置、设备以及存储介质
CN113596516B (zh) 进行连麦合唱的方法、系统、设备及存储介质
CN108419113B (zh) 字幕显示方法及装置
CN109729372B (zh) 直播间切换方法、装置、终端、服务器及存储介质
CN110139116B (zh) 直播间切换方法、装置及存储介质
WO2019114514A1 (zh) 在直播间显示音高信息的方法及装置、存储介质
CN109874043B (zh) 视频流发送方法、播放方法及装置
CN112492331B (zh) 直播方法、装置、系统及存储介质
CN114845129B (zh) 虚拟空间中的互动方法、装置、终端以及存储介质
CN110213608A (zh) 显示虚拟礼物的方法、装置、设备及可读存储介质
CN113271470B (zh) 直播连麦方法、装置、终端、服务器及存储介质
CN110418152B (zh) 进行直播提示的方法及装置
CN109587549B (zh) 视频录制方法、装置、终端及存储介质
CN112583806B (zh) 资源共享方法、装置、终端、服务器及存储介质
CN110808021B (zh) 音频播放的方法、装置、终端及存储介质
CN110958464A (zh) 直播数据处理方法、装置、服务器、终端及存储介质
CN111045945B (zh) 模拟直播的方法、装置、终端、存储介质及程序产品
CN111010588A (zh) 直播处理方法、装置、存储介质及设备
CN113473170B (zh) 直播音频处理方法、装置、计算机设备及介质
CN113141538B (zh) 媒体资源播放方法、装置、终端、服务器及存储介质
CN111726670A (zh) 信息交互方法、装置、终端、服务器及存储介质
CN109491636A (zh) 音乐播放方法、装置及存储介质
CN116206584B (zh) 合唱处理的方法、服务器、终端、系统和存储介质
CN111327919A (zh) 虚拟礼物反馈处理的方法、装置、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant