CN104320719A - 基于音频水印的电视节目互动参与方法及系统 - Google Patents
基于音频水印的电视节目互动参与方法及系统 Download PDFInfo
- Publication number
- CN104320719A CN104320719A CN201410647192.5A CN201410647192A CN104320719A CN 104320719 A CN104320719 A CN 104320719A CN 201410647192 A CN201410647192 A CN 201410647192A CN 104320719 A CN104320719 A CN 104320719A
- Authority
- CN
- China
- Prior art keywords
- frame
- watermark
- matrix
- signal
- program
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000003993 interaction Effects 0.000 title claims abstract description 20
- 230000005236 sound signal Effects 0.000 claims abstract description 46
- 230000002452 interceptive effect Effects 0.000 claims abstract description 43
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 99
- 238000001228 spectrum Methods 0.000 claims description 38
- 238000004458 analytical method Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 210000000721 basilar membrane Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000015092 herbal tea Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/835—Generation of protective data, e.g. certificates
- H04N21/8358—Generation of protective data, e.g. certificates involving watermark
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Television Systems (AREA)
Abstract
本发明公开了一种基于音频水印的电视节目互动参与方法及系统，包括：（1）嵌入步骤，即向电视节目音频信号嵌入包含互动信息的水印信号；（2）播放步骤，即利用播放装置（电视机或播放器）播放嵌入水印信号的电视节目；（3）录音步骤，即使用移动终端设备录下播放的嵌入水印信号的电视节目音频信号；（4）提取步骤，即利用移动终端设备从嵌入水印信号的电视节目音频信号中提取水印信号，只要采用移动终端打开网络即可立即参与电视节目互动。本发明方便快捷，并且不影响观众对电视节目的欣赏和观看。
Description
技术领域
本发明涉及信息隐藏技术领域，更具体的说，涉及一种基于音频水印的电视节目互动参与方法及系统。
背景技术
随着现代科技技术不断发展以及通信技术不断完善，电视传媒行业中出现了一种全新的以互动方式吸引观众、提高节目收视率的方法，观众也愿意通过各种方式参与电视节目互动。在当今移动终端设备普及的时代，观众追求的是更方便快捷的操作方法，希望能更直接快速地参与节目互动。这里所使用的术语“移动终端设备”是指手机、笔记本、平板电脑等。
湖南卫视的元宵喜乐会，主持人何炅的台词是这样的：由正宗凉茶王老吉冠名播出的湖南卫视元宵喜乐会，您可以通过发送新年心愿/新年祝福到短信平台，请记住我们的通关密语：快乐到家闹元宵，吉祥如意王老吉。同时智能手机用户可以通过360手机下载湖南卫视的首款社交软件--呼啦，扫描二维码进入湖南卫视元宵喜乐会在呼啦当中开辟的非常有趣的猜灯谜游戏。
上述台词的一个关键方面就是参与猜灯谜游戏，即节目互动。与传统模式相比，参与互动既能增强节目的趣味性，也能提高观众的积极性。目前，观众可通过以下几种方法参与节目互动：a)通过短信方式参与。此类方法交互性差，节目与观众无法做到即时互动，并且会产生费用。b)通过交互式电视的遥控器参与互动。通过电视遥控器参与节目互动无疑是非常方便地，但是普通电视的机顶盒因其技术手段制约，无法采用该方法参与到电视节目互动环节，只有交互式数字电视或将普通电视机顶盒升级为交互式数字电视才能参与电视节目互动。目前使用交互式数字电视的用户量不多，交互式数字电视还未普及，同时使用该方式无法参与评论，打开网页的同时会造成页面跳转，影响观看效果。c)通过扫描二维码进入网站。该方法需要二维码扫描软件，并且扫描不方便。因此，以上几种电视节目互动参与方法都不能直接快速地参与电视节目互动。
发明内容
针对现有技术存在的不足，本发明提供了一种方便、快捷、可靠的基于音频水印的电视节目互动参与方法及系统。
为解决上述技术问题，本发明采用如下的技术方案：
一种基于音频水印的电视节目互动参与方法，包括步骤：
步骤1，向电视节目音频信号嵌入含互动信息的水印信号；
步骤2，采用播放装置播放嵌入水印信号的电视节目音频信号；
步骤3，利用移动终端设备录下播放的嵌入水印信号的电视节目音频信号；
步骤4，从移动终端设备录下的嵌入水印信号的电视节目音频信号中提取水印信号，采用移动终端设备连接水印信号中的互动网址即可参与电视节目互动。
步骤1进一步包括子步骤：
步骤1.1，对电视节目音频信号进行gammatone分析滤波获得N个子带信号，并从N个子带信号中选取中频子带信号，即N个子带信号中第m到n个子带信号；
步骤1.2，将水印信号的偶数位符号存储到CCI，奇数位符号存储到LOAD，并采用二进制表示CCI和LOAD中符号；
步骤1.3，根据水印信号生成大小为N╳M的矩阵chip，矩阵chip中元素初始值均设为0，M等于水印信号中符号的二进制位数和lines的乘积：
1.3a，定义大小rows╳lines的扩频序列矩阵lookup，其由0和1构成，每一行和每一列中0和1的数目相等，rows和lines均为偶数；
1.3b，令zidai初始值为m，frame初始值为1；
1.3c，对当前frame，若(frame-1)能被lines整除，生成[1，rows]内的随机整数，采用该随机整数更新扩谱序列矩阵lookup当前行号p_lut；若(frame-1)不能被lines整除，保持扩谱序列矩阵lookup当前p_lut不变；
1.3d，将扩频序列矩阵lookup中第p_lut行第(frame-1)％lines+1列的元素值与LOAD中第[(frame-1)/lines+1]位的二进制数相异或，并将异或结果赋予矩阵chip的第zidai行第frame列，[·]表示取整；
1.3e，令frame＝frame+1，循环执行步骤1.3c～1.3d，直至frame大于M；
1.3f，令zidai＝zidai+1，令frame＝1，循环执行步骤1.3c～1.3e，直至zidai>n；
步骤1.4，采用矩阵chip对中频子带信号幅度进行调制，获得嵌入水印信号的N个子带信号，经gammatone合成获得含互动信息的时域音频信号。
子步骤1.3c中[1，rows]内的随机整数的生成通过调用matlab中随机数生成器实现，具体为：
根据当前窗序号和CCI中当前符号调用RandStream函数初始化随机数生成器种子。
步骤4所述的从移动终端设备录下的嵌入水印信号的电视节目音频信号中提取水印信号，进一步包括子步骤：
步骤4.1，构建包含所有可能的水印信号组合的三维矩阵watermark，具体为：
4.1a，定义大小rows╳lines的扩频序列矩阵lookup，其由0和1构成，每一行和每一列中0和1的数目相等，rows和lines均为偶数；
4.1b，令i初始值为0，bit初始值为1，frame初始值为1；
4.1c，对当前frame，若(frame-1)能被lines整除，生成[1，rows]内的随机整数，采用该随机整数更新扩谱序列矩阵lookup当前行号p_lut；若(frame-1)不能被lines整除，保持扩谱序列矩阵lookup当前p_lut不变；将扩频序列矩阵lookup第p_lut行第(frame-1)％lines+1列的元素值赋给watermark(bit，frame，i)；
4.1d，令frame＝frame+1，循环执行步骤4.1c，直至frame大于M，M为水印信号中符号的二进制位数和lines的乘积，然后执行步骤4.1e；
4.1e，令bit＝bit+1，frame＝1，循环执行步骤4.1c～4.1d，直到bit大于(n-m+1)，然后，执行步骤4.1f；
4.1f，令i＝i+1，bit＝1，frame＝1，循环执行步骤4.1c～4.1e，直到i等于2a，a为二进制位数；
步骤4.2，定义用于控制频域范围的频域索引矩阵decoder，频域索引矩阵decoder中各列代表一种频域索引范围，频域索引范围的开始频率和结束频率根据中频子带编号设定；
步骤4.3，定义用于控制时域范围的时间索引矩阵pointe，时间索引矩阵pointe中各列代表一种时间缩放尺度对应的时间索引值；
步骤4.4，根据协方差原理，获得每一种频域索引范围和时间缩放尺度下矩阵watermark对应列中元素的相关值，取最大相关值对应的i、时间索引指针timeindex、频率索引指针freqindex以最大相关值，并归一化最大相关值；
步骤4.5，根据最大相关值对应的i、时间索引指针timeindex、频率索引指针freqindex，运用协方差公式计算待选水印值usage，当连续三个归一化的最大相关值之和大于阈值，且当连续三次最大相关值对应的i值相等时，则认为检测出水印；否则，重新执行步骤4.4。
步骤4.1c中[1，rows]内的随机整数p_lu的生成通过调用matlab中随机数生成器实现，具体为：
根据当前i和当前窗序号数window调用RandStream函数初始化随机数生成器种子。
步骤4.2具体为：
根据中频子带信号首编号m和末编号n设置最大频域索引范围[startfre，endfreq]，startfre＝m-b，为频域索引开始频率；endfreq＝n+c，为频域索引结束频率；b、c为根据经验设置的自然数；频域索引矩阵decoder中各列代表的频域索引范围不大于最大频域索引范围。
步骤4.3具体为：
定义时间缩放因子scalefactor，根据时间缩放因子和当前样本点序号数计算时间索引矩阵pointer元素值，其中第frame行、第timeindex列元素值pointer(frame,timeindex)为：pointer(frame,timeindex)＝((1+(0.2+frame)*scalefactor*blocksperwindow/FRAMESPERWINDOW)/searchstep
其中，blocksperwindow、FRAMESPERWINDOW为常量，blocksperwindow为缩放尺度数量、扩谱序列矩阵lookup列数和连续样本点数的乘积，FRAMESPERWINDOW为缩放尺度数量和扩谱序列矩阵lookup列数的乘积。
上述基于音频水印的电视节目互动参与方法对应的系统，包括：
水印信号嵌入模块，用来向电视节目音频信号嵌入含互动信息的水印信号；
播放模块，用来采用播放装置播放嵌入水印信号的电视节目音频信号；
录音模块，用来利用移动终端设备录下播放的嵌入水印信号的电视节目音频信号；
水印信号提取模块，用来从移动终端设备录下的嵌入水印信号的电视节目音频信号中提取水印信号，采用移动终端设备连接水印信号中的互动网址即可参与电视节目互动。
本发明的目的是提供一种基于音频水印参与电视节目互动的方法，使其能够方便快捷地获得相关互动信息，而且包含的信息量可以很大，即可以大大提高水印信息嵌入量并且具有很高的可靠性。
因此，需要一种基于音频水印的参与电视节目互动的方法，此方法既不影响观众对电视节目的观赏，又能自动的参与互动，无需耗时又繁琐的输入网址，既方便又快捷。
附图说明
图1是本发明方法的具体流程图；
图2是嵌入步骤流程图；
图3是提取步骤流程图。
具体实施方式
本发明方法包括四个步骤：(1)嵌入步骤，即向电视节目音频信号嵌入包含互动信息的水印信号，本发明采用基于幅度调制的嵌入算法将水印信号嵌入电视节目音频信号；所述的互动信息指与电视节目相关的互动信息，一般为一组符号，例如网址，将各符号转换为与之对应的ASCII码，即包含互动信息的水印信号。(2)播放步骤，即利用播放装置(电视机或播放器)播放嵌入水印信号的电视节目；(3)录音步骤，即使用移动终端设备录下播放的嵌入水印信号的电视节目音频信号，由于包含水印信号的电视节目音频信号仅需几分钟甚至几秒钟，因此，仅需要随意录取电视节目音频信号的一部分即可；(4)提取步骤，即利用移动终端设备从嵌入水印信号的电视节目音频信号中提取水印信号，只要采用移动终端打开网络即可立即参与电视节目互动。
上述嵌入步骤的详细过程如下：
1.1对电视节目音频信号进行gammatone分析滤波，将电视节目音频信号分解成N个子带信号。
1.2根据人耳听觉的bark带从子步骤1.1获得的N个子带信号中选取中频子带信号，以避开人耳较为敏感的低频部分。一般可选取13～20的bark带所对应的频率。
1.3将含有互动信息的水印信号进行预处理，以使水印信号能适合后续运算。
1.4生成chip矩阵，用于将预处理的水印信号进行随机分配，以便不被破坏者检测出来。
1.5根据chip矩阵中元素值对选取的中频子带信号幅度进行调制。
1.6采用gammatone合成滤波将嵌入水印信号的N个中频子带信号合成含互动信息的时域音频信号，即嵌入水印信号的电视节目音频信号。
上述提取步骤的详细过程如下：
4.1根据嵌入水印信号的电视节目音频信号生成由0和1为元素的watermark(bit，frame，i)矩阵，用于包含所有可能的互动信息情况。其中，bit取值范围1～n-m+1,frame取值范围1～42，42表示扩频序列位数和水印信号中符号的二进制位数的乘积，i取值范围0～27，具体实施中，取m＝13、n＝22。
4.2生成decoder矩阵，用于频域范围的控制。decoder矩阵中元素最大值endfreq为n+3，最小值startfre为m-3，具体实施中获得的decoder矩阵为10行7列的矩阵，每列对应一种频率索引，如下：
10 11 12 13 14 15 16
11 12 13 14 15 16 17
12 13 14 15 16 17 18
13 14 15 16 17 18 19
14 15 16 17 18 19 20
15 16 17 18 19 20 21
16 17 18 19 20 21 22
17 18 19 20 21 22 23
18 19 20 21 22 23 24
19 20 21 22 23 24 25
4.3生成pointer矩阵，用于时域范围的控制。
4.4装载循环缓冲区，用于存储待处理参数。
4.5求取待处理参数的归一化相关最大值。
4.6根据最大的归一化相关值，利用检测公式，检测出水印数据CCI和LOAD，此发明所用的相关函数在原始相关函数的基础上做了改正，极大程度上提高了准确率。
下面将结合附图和具体实施方式进一步说明本发明技术方案。
见图1，首先，采用嵌入算法将包含互动信息的水印信号嵌入电视节目音频信号，得到嵌入水印信号的电视节目音频信号，采用电视机或播放器等播放装置播放嵌入水印信号的电视节目音频信号，播放同时采用移动终端设备录取嵌入水印信号的电视节目音频信号；录音完毕，立马通过移动终端设备从录取的电视节目音频信号中提取水印信号，如互动网址等；最后，采用移动终端设备打开网址即可参与电视节目互动。
图2示出了本实施例中向电视节目音频信号嵌入含互动信息的水印信号的流程图，详细过程如下：
步骤1.1，采用gammatone分析滤波器组将电视节目音频信号分解成N个子带信号。
gammatone分析滤波器组能很好地模拟人耳基底膜的分频特性，本发明利用gammatone分析滤波器模拟人耳听觉频率响应，其时域表达形式如下：
gi(t)＝AtN-1 exp(-2πbit)cos(2πfit+φi) (1)
式(1)中：
gi(t)表示第i个子带信号在t时刻的幅值；t表示时间，t≥0；A为滤波器增益；N为滤波器阶数，i为滤波器阶数编号，1≤i≤N；f是中心频率，φi是相位；bi是衰减因子，该因子决定响应滤波器的带宽；bi＝1.019ERB(fi)，其中，ERB(fi)为等效矩形带宽，ERB(fi)＝24.7(4.37fi/1000+1)。
步骤1.2，选取步骤1.1获得的N个子带信号中的中频子带信号，如第m到n个子带信号，m＜n，选择中频子带信号是为了避开人耳敏感的低频信号。
步骤1.3，水印信号的预处理。
将水印信号中偶数位符号存储到CCI中，将奇数位符号存储到LOAD中，并采用二进制表示CCI和LOAD中符号。假设水印信号为“1234567890ABCDEF”，则CCI＝{1,3,5,7,9,A,C,E}，LOAD＝{2,4,6,8,0,B,D,F}，位数从0开始记。为了能将ASCII码表中所有符号都表示出来，将CCI和LOAD中各符号均用7位二进制数表示，例如，符号“h”对应的ASCII码为104，则采用1101000表示“h”。
步骤1.4，生成矩阵chip。
构建大小为N╳42的矩阵chip，其中，N为步骤1.1获得的子带信号数，第m行到第n行所有元素均为二进制数，其余元素均为0。
本步骤具体如下：
(1)构建大小为12╳6的扩谱序列矩阵lookup，其元素均为二级制数，其每行均为一个6位二进制数构成的扩谱序列。
自定义扩谱序列矩阵lookup中元素，元素为0或1，保证扩谱序列矩阵lookup每一行和每一列中0和1数目相等。扩谱序列矩阵lookup大小并不限于12╳6，其大小可根据实际情况自行设定。
本具体实施中，采用7位二进制数表示水印信号符号，每一位二进制数采用扩谱序矩阵lookup进行扩谱，由于扩谱序矩阵lookup有6列，则矩阵chip列数应设为7╳6＝42列。
(2)已知当前窗序号window以及当前窗所对应的CCI和LOAD的值，当前窗序号window初始值为1，使用当前窗序号和当前窗对应的CCI值调用RandStream函数初始化随机数生成器种子，具体可采用matlab实现。嵌入一个水印符号所需要的样本点数即为一个窗。水印嵌入时会对应时间计数器，当时间计数器计数达到一个窗大小时，则将当前窗序号加1。
假设水印信号为“12345678”，将水印信号偶数位符号存储于CCI，奇数位符号存储于LOAD，那么窗序号window和CCI、LOAD值的对应关系见表1。
表1 窗序号window和CCI、LOAD值的对应关系
| window | 1 | 2 | 3 | 4 |
| CCI | 1 | 3 | 5 | 7 |
| LOAD | 2 | 4 | 6 | 8 |
(3)令zidai初始值为m，m为选取的中频子带信号编号最小值；frame表示矩阵chip列编号，令frame初始值为1。
(4)对当前frame，如果(frame-1)能被6整除，则调用随机数生成器函数生成[1，rows]范围内的一个随机整数，rows为扩谱序列矩阵lookup行数，本具体实施中，rows＝12。以该随机数为扩谱序列矩阵lookup当前行号p_lut；否则，保持当前行号p_lut不变。
(5)将扩谱序列矩阵lookup中第p_lut行、第(frame-1)％6+1列的元素值与LOAD中第(frame-1)/6+1位的二进制数值相异或，以实现水印信号的扩频，将异或结果赋给矩阵chip的第zidai行、第frame列。
(6)令frame＝frame+1，循环执行步骤(4)～(5)，直至frame大于7*6＝42时，结束循环，执行步骤(7)，7为本具体实施中水印信号中符号的二进制位数，6表示扩频序列位数。
(7)令zidai＝zidai+1，令frame＝1，循环执行步骤(4)～(6)，直至zidai>n，结束循环，获得矩阵chip，其中有效行数为n-m+1，即矩阵chip的第m～n行，列数为7*6，其余行元素值为0。
步骤1.5，根据矩阵chip中元素值对选取的(n-m+1)个中频子带信号幅度进行调制，获得嵌入水印信号的N个子带信号。
为抵抗去同步攻击，本具体实施中采用重复编码思想进行信号幅度调制。当矩阵chip中元素值为1时，将连续10个样本点信号的幅度乘以同一个增益控制因子mul，当矩阵chip中元素值为0时，将连续10个样本点信号的幅度乘以1/mul，这样就得到嵌入了水印信号且经过调制了的N个子带信号。增益控制因子mul通过对提取正确率以及不可感知性进行权衡进行取值，一般为0.5～2.5。
步骤1.6，采用gammatone合成滤波器合成嵌入水印信号的N个子带信号，获得嵌入水印信号的时域音频信号。
图3示出了本实施例中从时域音频信号中提取水印信号的流程图，详细过程如下：
步骤4.1，生成三维矩阵watermark(bit，frame，i)。
watermark矩阵用来包含所有可能的水印信号组合，具体实施步骤如下：
(1)生成扩谱序列矩阵lookup，其大小为12×6，其元素均为二进制数0或1。这里的扩谱序列矩阵lookup完全同步骤1.4中定义的扩谱序列矩阵lookup。
(2)根据i和当前窗序号数window调用RandStream函数初始化随机数生成器种子，i的初始值为0，window初始值为1；水印嵌入时会对应时间计数器，当时间计数器计数达到一个窗大小时，则将当前窗序号加1。
(3)令bit初始值为1，frame初始值为1，bit对应选取的中频子带信号编号；
(4)对当前frame，如果(frame-1)能被6整除，则调用随机数生成函数生成随机整数p_lut，将扩谱序列矩阵lookup矩阵第p_lut行、第(frame-1)％6+1列的元素值赋给矩阵watermark(bit，frame，i)。
(5)令frame＝frame+1，循环执行步骤(4)，直至frame大于7*6，结束循环，执行步骤(6)。
(6)令bit＝bit+1，frame＝1，循环执行步骤(4)～(5)，直到bit大于(n-m+1)，结束循环，执行步骤(7)。
(7)令i＝i＝+1，bit＝1，frame＝1，循环执行步骤(4)～(6)，直到i等于27，从而获得三维矩阵watermark。
步骤4.2，生成频域索引矩阵decoder。
索引矩阵decoder中各列分别代表一种子带信号频域索引范围，即子带信号频域索引的开始频率和结束频率。本具体实施中索引矩阵decoder为(endfreq–startfre+1)行、7列的矩阵。
矩阵decoder可用于控制水印信号检测的频域索引范围。为提高水印信号提取准确率，根据中频子带信号编号m～n设置最大频域索引范围[startfre，endfreq]，startfre＝m-3，为频域索引开始频率，endfreq＝n+3，为频域索引结束频率。每次水印信号检测的子带信号数目仍保持为n-m+1，即使得矩阵decoder为decoder(：，1)＝[m-3 n-3]T，decoder(：，2)＝[m-2 n-2]T，decoder(：，3)＝[m-1 n-1]T，decoder(：，4)＝[m n]T，decoder(：，5)＝[m+1 n+1]T，decoder(：，6)＝[m+2 n+2]T，decoder(：，7)＝[m+3 n+3]T，因此水印信号检测的子带信号总数为(n+3)-(m-3)+1＝n-m+7。
startfre和endfreq可以自行定义，并不限于上述给出的设定值，一般startfre要求小于m，endfreq要求大于n，这样可扩大频域搜索范围。
步骤4.3，生成时间索引矩阵pointe。
本具体实施中，时间索引矩阵pointe为42行、7列的矩阵，用于控制水印信号检测的时间索引范围。为提高音频信号的抗去同步攻击，采用重复编码思想，相当于将10×6个连续样本点嵌入一个二进制比特值，那么嵌入一个水印符号需要(10×6)×7个样本点。因此，提取水印信号时，首先，定义缩放因子scalefactor，其对应七种不同的缩放尺度，以1为中心，在1的左边和右边分别取三个值，如0.9、0.93、0.97和1.03、1.07、1.1，0.9、0.93、0.97、1、1.03、1.07、1.1则构成与7种缩放尺度对应的缩放因子；然后，根据缩放因子scalefactor和当前样本点序号数计算时间索引矩阵pointer元素值，时间索引矩阵中每一列代表一种缩放尺度对应的索引值。缩放尺度数量自行设定，一般缩放尺度数量设定的越多，提取的正确率越高，但同时会增加计算时间和复杂度，具体实施时可根据实际需求设定合适的缩放尺度数量。
时间索引矩阵pointer中第frame行、第timeindex列元素值pointer(frame,timeindex)为：
pointer(frame,timeindex)＝((1+(0.2+frame)*scalefactor*blocksperwindow/FRAMESPERWINDOW)/searchstep
其中，timeindex在[1,7]范围内取值，对应7种缩放因子scalefactor；frame在[1,42]范围内取值；blocksperwindow、FRAMESPERWINDOW为常量，blocksperwindow为缩放尺度数量、扩谱序列矩阵lookup列数和连续样本点数的乘积，即7×6×10＝420；FRAMESPERWINDOW为缩放尺度数量和扩谱序列矩阵lookup列数的乘积，即7×6＝42；searchstep为搜索步长，用来控制计算复杂度，一般取1～4内的整数。
设置频率索引矩阵和时间索引矩阵，一方面是为了抵抗去同步攻击，另一方面是为了抵抗信号的拉伸压缩攻击。
步骤4.4，装载循环缓冲区load_buffer，用于存放待处理的参数。
上述待处理的参数指将嵌入水印信号的中频子带信号中每6个样本点的能量累加和，例如，将序号分别为1、2、3、4、5、6的样本点对应的中频子带信号的能量累加，即待处理参数。
步骤4.5，获得待处理参数归一化相关最大值。
本步骤的具体实施方式如下：
(1)计算相关值，对每一种时间尺度、频域范围以及watermark的值采用协方差原理来计算每一种情况的相关值。
watermark矩阵中元素为1或0，在每一种时间尺度和每一种频域范围下，对watermark矩阵第i列的元素，将其中元素1对应的能力值之和除以元素1的数量，同时，将watermark矩阵中元素0对应的能力值之和除以元素0的数量，将两者相减，即获得每种情况下对应的相关值。
(2)获得最大相关值对应的i、时间索引指针timeindex、频率索引指针freqindex以最大相关值maximum。
(3)对最大相关值进行归一化，即将最大相关值减去相关值平均值后除以归一化标准差。
步骤4.6，根据最大相关值对应的i、时间索引指针timeindex、频率索引指针freqindex，运用协方差公式计算待选水印值usage，当连续三个归一化的最大相关值的平均值大于阈值，则判定此时有水印；且当连续三次最大相关值对应的i值相等时，则认为检测出水印，此时，将当前i赋给CCI、usage赋给LOAD。如果没有检测出水印，就返回步骤(4)，重新装载缓冲区。
阈值是虚警率和漏检率的折衷，阈值越大，漏检率越大，虚警率越小；阈值越小，漏检率越小，虚警率越大；因此需要根据实际情况和模拟实验设置合适的阈值，使得虚警率和漏检率均较小。所谓虚警率就是，无水印的情况下检测出水印的概率；漏检率就是有水印的情况检测出没水印的概率。
Claims (8)
1.基于音频水印的电视节目互动参与方法，其特征在于，包括步骤：
步骤1，向电视节目音频信号嵌入含互动信息的水印信号；
步骤2，采用播放装置播放嵌入水印信号的电视节目音频信号；
步骤3，利用移动终端设备录下播放的嵌入水印信号的电视节目音频信号；
步骤4，从移动终端设备录下的嵌入水印信号的电视节目音频信号中提取水印信号，采用移动终端设备连接水印信号中的互动网址即可参与电视节目互动。
2.如权利要求1所述的基于音频水印的电视节目互动参与方法，其特征在于：
步骤1进一步包括子步骤：
步骤1进一步包括子步骤：
步骤1.1，对电视节目音频信号进行gammatone分析滤波获得N个子带信号，并从N个子带信号中选取中频子带信号，即N个子带信号中第m到n个子带信号；
步骤1.2，将水印信号的偶数位符号存储到CCI，奇数位符号存储到LOAD，并采用二进制表示CCI和LOAD中符号；
步骤1.3，根据水印信号生成大小为N╳M的矩阵chip，矩阵chip中元素初始值均设为0，M等于水印信号中符号的二进制位数和lines的乘积：
1.3a，定义大小rows╳lines的扩频序列矩阵lookup，其由0和1构成，每一行和每一列中0和1的数目相等，rows和lines均为偶数；
1.3b，令zidai初始值为m，frame初始值为1；
1.3c，对当前frame，若(frame-1)能被lines整除，生成[1，rows]内的随机整数，采用该随机整数更新扩谱序列矩阵lookup当前行号p_lut；若(frame-1)不能被lines整除，保持扩谱序列矩阵lookup当前p_lut不变；
1.3d，将扩频序列矩阵lookup中第p_lut行第(frame-1)％lines+1列的元素值与LOAD中第[(frame-1)/lines+1]位的二进制数相异或，并将异或结果赋予矩阵chip的第zidai行第frame列，[·]表示取整；
1.3e，令frame＝frame+1，循环执行步骤1.3c～1.3d，直至frame大于M；
1.3f，令zidai＝zidai+1，令frame＝1，循环执行步骤1.3c～1.3e，直至zidai>n；
步骤1.4，采用矩阵chip对中频子带信号幅度进行调制，获得嵌入水印信号的N个子带信号，经gammatone合成获得含互动信息的时域音频信号。
3.如权利要求2所述的基于音频水印的电视节目互动参与方法，其特征在于：
子步骤1.3c中[1，rows]内的随机整数的生成通过调用matlab中随机数生成器实现，具体为：
根据当前窗序号和CCI中当前符号调用RandStream函数初始化随机数生成器种子。
4.如权利要求1所述的基于音频水印的电视节目互动参与方法，其特征在于：
步骤4所述的从移动终端设备录下的嵌入水印信号的电视节目音频信号中提取水印信号，进一步包括子步骤：
步骤4.1，构建包含所有可能的水印信号组合的三维矩阵watermark，具体为：
4.1a，定义大小rows╳lines的扩频序列矩阵lookup，其由0和1构成，每一行和每一列中0和1的数目相等，rows和lines均为偶数；
4.1b，令i初始值为0，bit初始值为1，frame初始值为1；
4.1c，对当前frame，若(frame-1)能被lines整除，生成[1，rows]内的随机整数，采用该随机整数更新扩谱序列矩阵lookup当前行号p_lut；若(frame-1)不能被lines整除，保持扩谱序列矩阵lookup当前p_lut不变；将扩频序列矩阵lookup第p_lut行第(frame-1)％lines+1列的元素值赋给watermark(bit，frame，i)；
4.1d，令frame＝frame+1，循环执行步骤4.1c，直至frame大于M，M为水印信号中符号的二进制位数和lines的乘积，然后执行步骤4.1e；
4.1e，令bit＝bit+1，frame＝1，循环执行步骤4.1c～4.1d，直到bit大于(n-m+1)，然后，执行步骤4.1f；
4.1f，令i＝i+1，bit＝1，frame＝1，循环执行步骤4.1c～4.1e，直到i等于2a，a为二进制位数；
步骤4.2，定义用于控制频域范围的频域索引矩阵decoder，频域索引矩阵decoder中各列代表一种频域索引范围，频域索引范围的开始频率和结束频率根据中频子带编号设定；
步骤4.3，定义用于控制时域范围的时间索引矩阵pointe，时间索引矩阵pointe中各列代表一种时间缩放尺度对应的时间索引值；
步骤4.4，根据协方差原理，获得每一种频域索引范围和时间缩放尺度下矩阵watermark对应列中元素的相关值，取最大相关值对应的i、时间索引指针timeindex、频率索引指针freqindex以最大相关值，并归一化最大相关值；
步骤4.5，根据最大相关值对应的i、时间索引指针timeindex、频率索引指针freqindex，运用协方差公式计算待选水印值usage，当连续三个归一化的最大相关值之和大于阈值，且当连续三次最大相关值对应的i值相等时，则认为检测出水印；否则，重新执行步骤4.4。
5.如权利要求4所述的基于音频水印的电视节目互动参与方法，其特征在于：
步骤4.1c中[1，rows]内的随机整数p_lu的生成通过调用matlab中随机数生成器实现，具体为：
根据当前i和当前窗序号数window调用RandStream函数初始化随机数生成器种子。
6.如权利要求4所述的基于音频水印的电视节目互动参与方法，其特征在于：
步骤4.2具体为：
根据中频子带信号首编号m和末编号n设置最大频域索引范围[startfre，endfreq]，startfre＝m-b，为频域索引开始频率；endfreq＝n+c，为频域索引结束频率；b、c为根据经验设置的自然数；频域索引矩阵decoder中各列代表的频域索引范围不大于最大频域索引范围。
7.如权利要求4所述的基于音频水印的电视节目互动参与方法，其特征在于：
步骤4.3具体为：
定义时间缩放因子scalefactor，根据时间缩放因子和当前样本点序号数计算时间索引矩阵pointer元素值，其中第frame行、第timeindex列元素值pointer(frame,timeindex)为：pointer(frame,timeindex)＝
((1+(0.2+frame)*scalefactor*blocksperwindow/FRAMESPERWINDOW)/searchstep
其中，blocksperwindow、FRAMESPERWINDOW为常量，blocksperwindow为缩放尺度数量、扩谱序列矩阵lookup列数和连续样本点数的乘积，FRAMESPERWINDOW为缩放尺度数量和扩谱序列矩阵lookup列数的乘积。
8.基于音频水印的电视节目互动参与系统，其特征在于，包括：
水印信号嵌入模块，用来向电视节目音频信号嵌入含互动信息的水印信号；
播放模块，用来采用播放装置播放嵌入水印信号的电视节目音频信号；
录音模块，用来利用移动终端设备录下播放的嵌入水印信号的电视节目音频信号；
水印信号提取模块，用来从移动终端设备录下的嵌入水印信号的电视节目音频信号中提取水印信号，采用移动终端设备连接水印信号中的互动网址即可参与电视节目互动。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410647192.5A CN104320719B (zh) | 2014-11-14 | 2014-11-14 | 基于音频水印的电视节目互动参与方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410647192.5A CN104320719B (zh) | 2014-11-14 | 2014-11-14 | 基于音频水印的电视节目互动参与方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104320719A true CN104320719A (zh) | 2015-01-28 |
| CN104320719B CN104320719B (zh) | 2018-09-07 |
Family
ID=52375876
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410647192.5A Expired - Fee Related CN104320719B (zh) | 2014-11-14 | 2014-11-14 | 基于音频水印的电视节目互动参与方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104320719B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105374360A (zh) * | 2015-11-25 | 2016-03-02 | 武汉大学 | 交叉加性扩频音频水印嵌入方法、检测方法及系统 |
| CN105392022A (zh) * | 2015-11-04 | 2016-03-09 | 北京符景数据服务有限公司 | 基于音频水印的信息交互方法与装置 |
| CN105635841A (zh) * | 2015-12-28 | 2016-06-01 | 北京正奇联讯科技有限公司 | 互动播出的控制方法和系统 |
| CN105791973A (zh) * | 2016-03-07 | 2016-07-20 | 大连乐云信息技术有限公司 | 一种基于声波水印的解析方法及装置 |
| CN105916040A (zh) * | 2016-05-18 | 2016-08-31 | 北京正奇联讯科技有限公司 | 电视播出中二级事件的触发方法和系统 |
| CN108712666A (zh) * | 2018-04-04 | 2018-10-26 | 聆刻互动（北京）网络科技有限公司 | 一种基于互动音频水印的移动终端与电视互动方法与系统 |
| CN111190518A (zh) * | 2019-12-30 | 2020-05-22 | 中央电视台 | 第一屏和第二屏之间的交互方法、装置、终端及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103428538A (zh) * | 2013-08-12 | 2013-12-04 | 广州信为信息科技有限公司 | 交互式广播电视的互动方法、装置及系统 |
| CN103763578A (zh) * | 2014-01-10 | 2014-04-30 | 北京酷云互动科技有限公司 | 一种节目关联信息推送方法和装置 |
| CN103985387A (zh) * | 2014-04-17 | 2014-08-13 | 苏州乐聚一堂电子科技有限公司 | 音频指令及智能控制方法 |
-
2014
- 2014-11-14 CN CN201410647192.5A patent/CN104320719B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103428538A (zh) * | 2013-08-12 | 2013-12-04 | 广州信为信息科技有限公司 | 交互式广播电视的互动方法、装置及系统 |
| CN103763578A (zh) * | 2014-01-10 | 2014-04-30 | 北京酷云互动科技有限公司 | 一种节目关联信息推送方法和装置 |
| CN103985387A (zh) * | 2014-04-17 | 2014-08-13 | 苏州乐聚一堂电子科技有限公司 | 音频指令及智能控制方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105392022A (zh) * | 2015-11-04 | 2016-03-09 | 北京符景数据服务有限公司 | 基于音频水印的信息交互方法与装置 |
| CN105392022B (zh) * | 2015-11-04 | 2019-01-18 | 北京符景数据服务有限公司 | 基于音频水印的信息交互方法与装置 |
| CN105374360A (zh) * | 2015-11-25 | 2016-03-02 | 武汉大学 | 交叉加性扩频音频水印嵌入方法、检测方法及系统 |
| CN105374360B (zh) * | 2015-11-25 | 2018-12-14 | 武汉大学 | 交叉加性扩频音频水印嵌入方法、检测方法及系统 |
| CN105635841A (zh) * | 2015-12-28 | 2016-06-01 | 北京正奇联讯科技有限公司 | 互动播出的控制方法和系统 |
| CN105791973A (zh) * | 2016-03-07 | 2016-07-20 | 大连乐云信息技术有限公司 | 一种基于声波水印的解析方法及装置 |
| CN105916040A (zh) * | 2016-05-18 | 2016-08-31 | 北京正奇联讯科技有限公司 | 电视播出中二级事件的触发方法和系统 |
| CN108712666A (zh) * | 2018-04-04 | 2018-10-26 | 聆刻互动（北京）网络科技有限公司 | 一种基于互动音频水印的移动终端与电视互动方法与系统 |
| CN108712666B (zh) * | 2018-04-04 | 2021-07-09 | 聆刻互动（北京）网络科技有限公司 | 一种基于互动音频水印的移动终端与电视互动方法与系统 |
| CN111190518A (zh) * | 2019-12-30 | 2020-05-22 | 中央电视台 | 第一屏和第二屏之间的交互方法、装置、终端及存储介质 |
| CN111190518B (zh) * | 2019-12-30 | 2022-05-17 | 中央电视台 | 第一屏和第二屏之间的交互方法、装置、终端及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104320719B (zh) | 2018-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104320719B (zh) | 基于音频水印的电视节目互动参与方法及系统 | |
| CN102265344B (zh) | 执行音频水印嵌入以及水印检测和提取的方法和装置 | |
| US20230008085A1 (en) | Method for embedding watermark in video data and apparatus, method for extracting watermark in video data and apparatus, device, and storage medium | |
| US7957977B2 (en) | Media program identification method and apparatus based on audio watermarking | |
| US8494176B2 (en) | Information providing system | |
| US9991970B2 (en) | Transferring data via audio link | |
| JP5414684B2 (ja) | 音声透かし、透かし検出、および透かし抽出を実行する方法および装置 | |
| US9344802B2 (en) | Information providing system | |
| WO2020244474A1 (zh) | 视频水印添加、提取的方法、装置和设备 | |
| JP2012507044A (ja) | オーディオ透かし入れ、透かし検出及び抽出を行う方法及び装置 | |
| CA2288213A1 (en) | Apparatus and method for embedding and extracting information in analog signals using distributed signal features | |
| CN103763578A (zh) | 一种节目关联信息推送方法和装置 | |
| US9502003B2 (en) | Apparatus and methods to display a modified image | |
| US20170316189A1 (en) | Object-based watermarking | |
| US9905233B1 (en) | Methods and apparatus for facilitating ambient content recognition using digital watermarks, and related arrangements | |
| CN108712666B (zh) | 一种基于互动音频水印的移动终端与电视互动方法与系统 | |
| CN103796038B (zh) | 点阵指纹生成方法、设备和系统 | |
| Al Sibahee et al. | Hiding scrambled text messages in speech signals using a lightweight hyperchaotic map and conditional LSB mechanism | |
| Basu et al. | On embedding of text in audio a case of steganography | |
| CN105635841A (zh) | 互动播出的控制方法和系统 | |
| CN106937127A (zh) | 一种智能搜索准备的显示方法及其系统 | |
| CN104135668B (zh) | 提供和获取数字信息的方法以及装置 | |
| Schmitz et al. | Commutative Watermarking‐Encryption of Audio Data with Minimum Knowledge Verification | |
| JP6291119B1 (ja) | 配信用データ作成装置、広告データ作成装置及びデータ作成システム | |
| CN105554590B (zh) | 一种基于音频指纹的直播流媒体识别系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180907 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |