CN101080010A - 编码处理装置和编码处理方法 - Google Patents

Abstract

公开了一种编码处理装置，用于产生包括JPEG 2000码流的文件或包括所述JPEG 2000码流的JPEG 2000系列格式，所述装置包括：包配置部分，用于根据从包括“xTxxx”、“xxTxx”、“xxxTx”和“xxxxT”的扩展顺次顺序的组中选择的扩展顺次顺序配置在所述JPEG 2000码流中包括的多个包的顺序。所述扩展顺次顺序中的每个“x”表示分辨率级别特性、层特性、组成部分特性和区块特性之一。每个扩展顺次顺序的最左边的“x”对应所述扩展顺次顺序的最外层特性。“T”表示分块特性。

Description

编码处理装置和编码处理方法

技术领域

本发明涉及一种编码处理装置和编码处理方法，用于产生以及处理用JPEG 2000编码或JPEG 2000系列文件格式编码的文件。

背景技术

近年来以及以后，在执行频率变换的图像压缩领域中越来越多地使用小波变换，其为JPEG(联合图像编码专家组)使用的DCT(离散余弦变换)的替代。已成为国际标准的JPEG 2000是使用小波变换方法的一个示例。

图1是表示使用JPEG 2000的编码处理的整体流程的框图，其中将图像(图像数据)划分为长方形分块(tile，划分部分的数目≥1)并逐分块处理。

在图1中，将每个分块被变换成诸如亮度和色度之类的颜色组成部分(框1)。在其中图像数据用正数表示的情况下(例如，RGB数据)，对图像数据也执行DC电平转换(DC level shift)以减少一半动态范围。在图像变换之后的图像数据的组成部分(component)(下文称为“分块组成部分”或简单地“分块”)被小波变换为任意深度(框2)。通过执行小波变换处理，将分块划分为子带(subband)。在单个小波变换处理(分解)中，分块划分为四个子带LL、HL、LH和HH。最后，通过对LL子带递归地执行小波变换处理而形成单个LL子带和多个HL、LH、HH子带。

图3是表示第三次执行小波变换处理(分解)后的多个子带的示意图。在图3中，表示在子带前面的数字(例如“3LL”的“3”)表示分解级别(其上执行小波变换的次数)。图3也用于表示分解级别和分辨率级别之间的关系。

在采用称为“9×7变换”的不可逆小波变换的情况下，用于每个子带的小波系数进行线性量化(包括归一化)(框3)。然后，子带进行熵编码处理(框4)。通过执行熵编码处理，每个子带划分为称为“区块(precinct)”的矩形区域。位于每个子带HL、LH、HH的相同区域的三个区块作为单个区块部分处理。然而，通过划分子带LL获得的区块作为单个区块部分处理。区块基本上用于表示图像中的预定部分(位置)。区块可具有与子带相同的尺寸。区块进一步划分为称为“代码块”的矩形区域。图2是用于示出分块、子带、区块和编码块的关系的示意图。如图2所示，图像、分块、子带、区块和代码块的物理尺寸的顺序关系可以表示为“图像≥分块＞子带≥区块≥代码块”。在以上述方式划分图像之后，以位平面顺序对每个代码块执行系数的熵编码(位平面编码)。

然后，熵编码数据组合(结合)起来以产生包(框5)。包由包主体与附加于包主体的包头组成，所述包主体通过从区块中包括的所有编码块收集部分位平面编码(例如，从MSB(最高有效位)位平面至第三级别位平面获得的位平面编码)形成。因为部分位平面编码可能是空的，所以在某些情况下从编码方面来看包的内部可能是空的。包头包括在包中的代码(内容)的数据。独立处理每个包。换句话说，包是代码单元。

因此，通过收集所有区块(＝所有代码块＝所有子带)的包获得整个图像的所有代码的部分(例如，从MSB位平面到第三级别位平面获得整个图像的小波系数的代码)。所述获取的部分被称为“层”。因为层基本上是整个图像的位平面的部分代码，所以当解码的层的数量增加时，图像质量变得更高。即，层是图像质量的单元。整个图像中所有位平面的代码可以通过收集所有层而获得。

图4的上面部分表示在其中“分解级＝2”以及“区块尺寸＝子带尺寸”的情况下示例性层配置。图4的下面部分表示在层的配置的几个层中包括的包(以图4中粗线包围的形式表示)。

因此，根据产生的包和其中划分层的方式，包以预定顺序配置并被添加标签和标签数据。因此，可以形成最后的JPEG 2000代码(代码流)(框6)。

从上面的描述可以明白，每个包具有四个特性(索引)，表示包的组成部分(下文也以符号“C”表示)、分辨率级(下文也以符号“R”表示)、包的区块(下文也表示为“位置”或符号“P”)和层(质量层)(下文也以符号“L ”表示)。包的特性(索引)在下文也称为“顺次特性(progression characteristics)”。包头位于包的开始。虽然包头后面是MQ代码(包数据)，但是包头本身没有写在其中的顺次特性。

根据其中配置包(包括包头和包数据)的顺次特性的顺序定义包的配置。定义包配置的顺次特性的顺序称为顺次顺序。不同顺次顺序可以通过使用嵌套循环集合获得。图5表示五种不同类型的顺次顺序。下面描述其中编码器根据顺次顺序配置(编码)包的形式和其中解码器根据顺次顺序解释(解码)包的特性的形式。

例如，在其中顺次顺序是LRCP的情况下，根据下面所示的“for循环”进行包配置(编码)或解释(解码)。for(layer){for(resolution){

for(component){

  for(precinct){

    during encoding:packet arrangement

    during decoding:packet characteristic interpretation

  }

}}}

每个包的包头写有：表示包是否为空、在包中包括那些代码块的数据、包括在包中每个代码块的零位平面的数目、包括在包中的每个代码块的代码的编码通道(coding pass)数目(位平面的数目)、以及包括在包中的每个编码块的编码长度。然而，例如，表示层数或分辨率级别的数据不写在包头中。因此，为了在解码操作中确定分辨率级别或包的层，有必要根据在例如主头中的COD标记段(例如，参见图17和18)中写入的顺次顺序产生for循环(诸如上面描述的)，根据包中包括的每个代码块的代码长度之和识别包的间断，并确定其中处理包的for循环部分。因此，通过简单读取在包头中表示的代码长度，可以在不必解码包数据(熵编码)的情况下检测下一个包(即可以访问给定包)。

需要注意，for循环的嵌套最外层部分称为“顺次顺序的最外层部分”。

图6是用于描述诸如位于顺次顺序的最外层部分的、具有层特性(L)的LRCP顺次顺序码流的层码流的顺次的示意图。在该示例中，分块部分的数目是1。

图7示出在其中条件是“图像尺寸＝100×100像素”、“没有分块划分(一个分块)”、“两层”、“分辨率级别数＝3(0-2)”、“三个组成部分(0-2)”、并且“区块尺寸＝32×32”的情况下的、根据LRCP顺次顺序(解释包的顺序)的36个包的配置的示例。需要注意在该示例中分块部分的数目是1。

图8是用于描述诸如位于顺次顺序的最外层部分的、具有分辨率特性(R)的RLCP顺次顺序码流的分辨率码流的顺次的示意图。在该示例中，分块部分的数目是1。

图9示出在其中条件是“图像尺寸＝100×100像素”、“没有分块划分(一个分块)”、“两层”、“分辨率级别数＝3(0-2)”、“三个组成部分(0-2)”、并且“区块尺寸＝32×32”的情况下的、根据RLCP顺次顺序(解释包的顺序)的36个包的配置的示例。需要注意，在该示例中的分块部分的数目是1。

每个分块的代码(码流)在包的不连续处可以进一步划分为多个部分。这些被划分的部分称为“分块部分”。如上所述，图7和9所示的包配置的分块部分的数目是1。

除了包之外，每个分块部分包括开始于SOT(分块部分的开始)标志段并结束于SOD(数据开始)标记的头。下文将该头也称为“分块部分头”(参见图6和8)。

图10是表示SOT标记段的示例性配置的示意图。需要注意，包括标记(在该示例中，SOT标记)和涉及标记的参数的部分在下文也被称为“标记段”。图11表示SOT标记段的参数的内容。根据图11，可以通过读取包括在SOT标记段的参数“Psot”的内容检测(确定)特定分块部件的长度。因此，通过读取SOT标记段，在不必解码包头的情况下可以访问分块部件中的代码(码流)。

在其中期望省略解码包头的处理的情况下，每个包的长度可以记录在例如，分块部分头内的PLT标记段或主头内的PLM标记段。而且，在其中期望省略搜索SOT标记段的处理的情况下，每个分块部分的长度会记录在主头内的TLM标记段。图12表示TLM标记段的示例性配置。图13表示TLM标记段的参数的内容。根据图13，可以通过读取在TLM标记段中包括的参数“Ptlm(i)”的内容检测(确定)特定分块部分(例如，第i个分块部分)的长度。

如上所述，可以以包为单位以及以分块部分为单位访问JPEG 2000码流。使用JPEG 2000码流，可以通过只提取需要的包和分块部分产生新代码(码流)，而不需要解码整个原始代码。而且，JPEG 2000码流能解码原始代码中必须数量(数目)的包和分块部分。

例如，当在客户端(PC)上显示在服务器(PC)中存储的大图像的情况下，通过只从服务器(PC)接收所需图像质量的代码、所需分辨率的代码、期望浏览的区域(区块)的代码、或要浏览的组成部分的代码，客户端(PC)可以解码图像的图像数据。

从服务器只接收JPEG 2000码流的所需部分的所述协议在下文也被称为JPIP(JPEG 2000交互协议)。该协议当前正在标准化的期间。关于访问多层(多级)的部分的协议，例如有用于访问该FlashPix图像的FlashPix(用于表示多个图像分辨率)和IIP(因特网成像协议)(例如，参见申请号为11-205786的日本未审专利和示出IIP标准的文献的网址http：//www.i3a.org/i_iip.html)。关于JPIP的文献，例如有示出JPIP缓冲模型的申请号为2003-23630的日本未审专利申请。

在JPIP协议中，提出指定用于实际描绘图像的特定图像的所需分辨率和窗口尺寸的方法学。在其中服务器(PC)接收这样的指定的情况下，服务器(PC)会使用传送覆盖具有指定分辨率的图像的特定区域的包的方法(系统)或传输覆盖图像特定区域的分块部分的方法(系统)。

接下来，描述传送分块部分的后一JPIP系统的示例(下文也称为“JPT”系统)。

在其中使用JPT系统的情况下，以如下方式从整个图像的分块部分提取覆盖图像特定区域的分块部分。在这种情况下，假定服务器(PC)知道如何划分由服务器(PC)本身管理的代码(代码流)的分块部分。

例如，在其中在所有分辨率级别的边界(不连续处，在其中分辨率级别从一个级别转换为另一级别的区域)划分对应图9所示的一个分块和两层的RLCP顺次顺序码流的包的情况下，可以如图14所示获得三个分块部分(分块部分0-2)。而且，在其中RLCP顺次顺序码流的相同包在所有分辨率级别的边界(不连续处)和所有层的边界(不连续处)处被划分的情况下，可以如图15所示获得六个分块部分(分块部分0-5)。而且，在其中RLCP顺次顺序码流的相同包在所有分辨率级别的边界(不连续处)、所有层的边界(不连续处)、和所有组成部分的边界(不连经处)处被划分的情况下，可以获得八个分块部分(分块部分0-17)。

当客户(PC)向服务器(PC)传送期望对应于25×25像素的分辨率部分显示在20×20窗口尺寸中时(在图9所示的示例中，“对应于25×25像素的分辨率部分”表示其中分辨率级别是0，以及“20×20窗口尺寸”表示在具有为0的分辨率级别的像素中的20×20像素)，服务器(PC)提取覆盖分辨率级别为0的分块部分(图14中的分块部分0)并且和码流的主头数据一起传送所提取分块部分。因为每个分块部分具有SOT标记段并能确定分块部分的长度，因此可以区分分块部分的边界。

如图14-16所示，根据两个参数确定要传送的分块部分(即，从分块部分编号x至分块部分编号y)。第一参数是码流的顺次顺序，而第二参数是将码流划分为分块部分的方法(划分位置)。

可以容易地确定第一参数(顺次顺序)，这是因为该顺次顺序被写在主头或分块部分头的COD标记段中。然而，第二参数(划分方法)未记录在JPEG 2000码流或JPEG 2000文件格式系列中。因此，常规上说，除非提前知道划分方法，否则为了选择期望的分块部分需要逐个计算码流中的包。然而，这种包的计算是低效率的。

因此，在申请号为2006-67482的日本专利申请中，该发明的申请人提出在COM标记段(允许任意包括数据(例如根据JPEG 2000码流格式的生产商数据)的标记段)中记录表示划分方法的数据、或在UUIDBox或XMLBox(允许任意包括数据(例如根据JPEG 2000系列文件格式的生产商数据)的Box)中记录数据的方法。

在使用JPT方法的服务器(JPT服务器)的情况下，JPT服务器进行包括计算步骤和传送步骤的两步操作，所述计算步骤用于计算每个分块部分的位置(定位)，所述传送步骤用于在需要时传送一个(多个)特定分块部分。在一个示例中，服务器可被配置为：i)计算所有分块部分的位置(扫描SOT标记段)、以及ii)在需要时传送一个(多个)特定分块部分。

因此，JPT服务器一般执行如下步骤(下文称为“步骤A”)：

for(with respect to all tile parts){

scan next SOT marker segment and record position and

length of tile part

}

采用该步骤的一个原因在于需要传送的分块部分可以根据例如客户端(PC)的用户指定的窗口尺寸而按时间发生顺序改变。因此，期望服务器(PC)在确定是否传送一个(多个)分块部分之前提前计算并存储所有分块部分的位置。另一个原因在于码流中分块部分的配置。

在采用JPT方法中，一个重要的因素是其中配置码流的分块部分的顺序。使用单色图像(参见图24)的码流的示例描述配置分块部分的方法(分块部分配置方法)，其中在所述单色图像中，码流在具有最大分辨率级别＝2以及层号＝1的边界部分处被划分为多个分块部分。

在该示例中，表示选择(指定)了哪个分块的分块索引(特性)可被添加到常规R、L、C、P顺次顺序，因此分块部分以图25所示的“分块顺序至分辨率级别顺序”(具有位于顺次顺序的最外层部分处的分块索引(分块特性)的顺序称为“最高分块顺序”)配置或以图26所示的“分辨率级别顺序至分块顺序”配置。

在其中向JPT服务器请求例如对应于分辨率级别0的分块部分的情况下，四个分块部分的总和足以配置具有如图25所示的分块部分配置的码流的包，这是因为通过仅仅从第一分块部分至分块部分“A”(只要在请求的一个(多个)分块部分中没有变化)获取表示位置和长度的数据就可以配置码流的包。在这种情况下，即使进行上述的步骤A(扫描所有分块部分)，扫描的全部分块部分仅仅是六个分块部分。因此，少数的分块部分(在这种情况下，两个分块部分)实际上没有受到SOT扫描。

另一方面，在配置具有如图26所示的分块部分配置的码流的包的情况下，两个分块部分的总数足以配置具有如图26所示的分块部分配置的码流的包，这是因为可以通过从第一分块部分至分块部分“B”(只要所请求的一个(多个)分块部分中没有变化)获取表示位置和长度的数据来配置码流的包。因此，在其中进行上述步骤A(扫描所有分块部分)的情况下，六个分块部件受到SOT扫描。因此，扫描分块部分的2/3实际上没有受到SOT扫描。

在提前知道图26所示的分块部分的配置的情况下，可以使用下面的、用于以“分辨率顺序至分块顺序”配置分块部分的for循环。for(resolution level＝0){for(0≤tile index≤1){

scan the next SOT marker segment and record theposition and length of tile part

}

通过使用上面的for循环，只需要扫描两个分块部分。这避免了不必要的分块部分扫描。为了该要使用的for循环(或为了从开始计算所需的分块部分的数目并控制用于扫描SOT标记段的次数)，假定可以确定(提前已知)分块部分的配置。然而，码流中分块部分的配置未记录在常规JPEG码流或JPEG2000系列文件格式中。

需要注意，在JPT或者JPP(JPIP区块)的情况下，对应于使用目的的特性(索引)一般位于顺次顺序的最外层部分。例如，在其中主要目的是显示尺寸缩小的图像的情况下，R(分辨率)的特征位于顺次顺序的最外层部分。在其中主要目的是显示彩色图像的单色图像的情况下，C(组成部分)的特性位于顺次顺序的最外层部分。而且，在JPT中，典型地在对应上述目的的特性的边界处划分分块部件。

考虑上述方面，本发明的申请人提出一种在码流的COM标记段或诸如JPEG 2000系列文件格式的UUIDBox或XMLBox之类的框(box)中记录表示分块部分划分方法和配置方法的数据的方法(参见申请号为2006-77206的日本专利申请)。

还需要注意，假定每个分块在分辨率级别的边界处被划分为两个或多个分块部件，以便可以由如图26所示的“分辨率级别顺序至分块顺序”配置分块部件。这是因为这样的分块部件配置不能在1个分块部件/1个分块的情况下进行。

发明内容

本发明提供一种编码处理装置和编码处理方法，其实质上避免由相关技术的局限和缺陷造成的一个或多个问题。

本发明的特点和优点在下面的说明中阐述，并且从说明书和附图将部分地变得明显，或可通过根据说明中提供的示教实践本发明来了解。通过全面、清楚、简洁和准确的术语在说明书中特别指出的编码处理装置和编码处理方法，将理解和实现本发明的目的以及其他特点和优点，以使本领域技术人员能实践本发明。

为了实现这些和其他优点并根据本发明的目的，如这里体现和广泛描述的，本发明的实施例提供一种编码处理装置，用于产生包括JPEG 2000码流的文件或包括所述JPEG 2000码流的JPEG 2000系列格式，所述编码处理装置包括：包配置部件，用于根据从包括“xTxxx”、“xxTxx”、“xxxTx”和“xxxxT”的扩展顺次顺序的组中选择的扩展顺次顺序配置在JPEG 2000码流中包括的多个包的顺序；其中所述扩展顺次顺序中的每个“x”表示分辨率级别特性、层特性、组成部分特性和区块特性之一，其中每个扩展顺次顺序中最左边的“x”对应所述扩展顺次顺序的最外层特性，其中“T”表示分块特性。

当结合附图阅读时，本发明的其他目的和进一步的优点将从下面详细的描述而显而易见。

附图说明

图1是描述JPEG 2000编码原理的框图；

图2是描述图像、分块、子带、区块和代码块之间的关系的示意图；

图3是描述子带划分的示例以及分解级别和分辨率级别之间的关系的示意图；

图4A和图4B是表示层划分的示例的示意图；

图5是描述根据JPEG 2000标准的顺次顺序的示意图；

图6是表示层顺次码流的示意图；

图7是表示根据LRCP顺次顺序的码流的包配置的示例的示意图；

图8是表示分辨率顺次码流的示意图；

图9是表示根据RLCP顺次顺序的码流的包配置的示例的示意图；

图10是表示SOT标记段的示例性配置的示意图；

图11是表示SOT标记段的内容的表；

图12是表示TLM标记段的示例性配置的示意图；

图13是表示TLM标记段的内容的表；

图14是表示在所有分辨率级别的边界处将码流的包划分为分块部分的示例的示意图；

图15是表示在所有分辨率级别的边界和所有层的边界处将码流的包划分为分块部分的示例的示意图；

图16是表示在所有分辨率级别的边界、所有层的边界和所有组成部分的边界处将码流的包划分为分块部分的示例的示意图；

图17是表示COD标记段的示例性配置的示意图；

图18是表示在COD标记段的Sgcod中的普通顺次顺序的字节表达的表；

图19是表示COM标记段的示例性配置的示意图；

图20是表示JP2文件格式的示例性配置的示意图；

图21是表示示例性Box配置的示意图；

图22是用于描述Box中数据的内容的表格；

图23是表示JPM文件格式的示例性配置的示意图；

图24是用于描述由两个分块组成的单色图像的代码的示意图；

图25是表示图24的单色图像的码流的分块部分配置的示例的示意图；

图26是表示图24的单色图像的码流的分块部分配置的示例的另一示意图；

图27是表示对应于扩展顺次顺序的字节数据的示例的表；

图28是表示对应于扩展顺次顺序的字节数据的另一示例的表；

图29是用于描述具有与文件一致记录的扩展顺次顺序的数据库的表；

图30是用于描述由两个分块组成的单色图像的代码的示意图；

图31是表示根据RLCP顺次顺序的、图30的单色图像的码流的示例性包配置的示意图；

图32是表示根据RTLCP顺次顺序的、图30的单色图像的码流的示例性包配置的示意图；

图33是表示根据TLRCP顺次顺序的码流的示例性包配置的示意图；

图34是表示根据LTRCP顺次顺序的码流的示例性包配置的示意图；

图35是表示包括根据本发明实施例的编码处理装置的系统配置的框图；

图36是表示根据本发明第一实施例的编码处理方法的流程图；

图37是表示根据本发明第二实施例的编码处理方法的流程图；

图38是表示根据本发明第三实施例的编码处理方法的流程图；

图39是表示根据本发明第四实施例的编码处理方法的流程图；

图40是表示根据本发明第五实施例的编码处理方法的流程图；

图41是表示根据本发明实施例的、在图40的步骤S502中包括的处理的流程图。

具体实施方式

下面，参考附图描述本发明的实施例。

如上所述，JPEG 2000码流包括其中每个包对应于给定分辨率级别的多个包。因此，属于特定分辨率级别的特定分块的所有包可以被配置成形成在分辨率级别的边界处划分的分块部分。因此，包可以由图26所示的“分辨率顺序至分块顺序”配置并存储在具有这样的配置的服务器中。本发明的实施例将分块特性(索引)添加到JPEG 2000顺次顺序的多个顺次特性(多个索引)R、L、C和P，并由“分辨率顺序至分块顺序”配置包。

因为根据已添加分块特性的扩展顺次顺序由“分辨率顺序至分块顺序”配置包，所以产生的码流并不符合JPEG 2000标准。因此，技术上讲，根据本发明实施例产生的JPEG 2000码流不是正式(合法)的JPEG 2000码流而是类似JPEG 2000的码流。然而，只要服务器(PC)正确地解释并管理具有该配置的包，包可以以与正式(合法)JPEG 2000码流相同的方式处理并能获得在不必扫描不需要的包的情况下容易地和有效地访问和选择所需包的优点。

在JPEG 2000中，使用顺次特性(索引)R、L、C和P的普通顺次顺序的类型可以表达为图5所示的LRCP、RLCP、RPCL、PCRL和CPRL。

同时，本发明实施例表达所添加的顺次特性为“T”(分块)，以便可以获得Txxxx、xTxxx、xxTxx、xxxTx和xxxxT的扩展顺次顺序。在扩展顺次顺序中，最左边的“x”对应位于顺次顺序的最外层部分的特性(索引)，以及每个“x”表示R、L、C、P之一。因此，JPEG码流(类JPEG的码流)中的包可以根据从包括“xTxxx”、“xxTxx”、“xxxTx”和“xxxxT”的扩展顺次顺序的组中选择的扩展顺次顺序来配置。换句话说，JPEG码流(类JPEG的码流)中的包可以被配置具有除了根据分块顺序分类的最外层顺次特性之外的顺次特性。

如图27所示，从TLRCP开始到CPRLT有25种不同类型的扩展顺次顺序。然而，需要注意，Txxx(即，第一个五种扩展顺次顺序TLRCP、TRLCP、TPCRL和TCPRL)具有以与普通顺次顺序LRCP、RLCP、PCRL和CPRL基本相同的方式配置的包。例如，在具有多个分块的码流(例如LRCP码流)的情况下，根据TLRCP顺序配置所述包。

如上所述，JPEG 2000码流可以具有COM标记段，用于允许诸如生产商之类的任意数据记录在其中。一个COM标记段的示例性配置被示出在图19中。在图19所示的配置中，可以以字节为单位在Ccom(i)部分中记录任意数据。

上述JPEG 2000文件格式系列例如包括JP2文件格式、JPX文件格式和JPM文件格式。图20表示JP2文件格式的示例性文件配置。在图20所示的配置中，可以在UUIDBox和XMLBox中记录任意数据。图21是示出用于UUIDBox和XMLBox的示例性框配置的示意图。图22是示出包括各种框中的数据内容的表。可以在UUIDBox的DBox和XMLBox的DBox中记录任意数据。

JPX文件格式是JP2的扩展文件格式。虽然附图中没有表示，但是JPX文件格式的UUIDBox和XMLBox的配置与JP2文件格式的相同。

而且，图23表示JPM(JPEG 2000多层)文件格式的示例性文件配置。图23所示的JPM文件格式的C.2的MetadataBox具有与图21所示的UUIDBox和XMLBox相同的Box配置。可以在MetadataBox中记录任意数据。

可以例如通过使用图35所示的系统实现本发明的实施例。在图35中，附图标记100和101表示个人计算机(PC)。PC(服务器)100和PC(客户端)可以通过网络(例如局域网、内部网、因特网)102互相通信。

PC(服务器)100例如具有：CPU 110、RAM 111、硬盘装置112、显示装置113、输入装置(例如键盘、鼠标)114、以及用总线116连接的网络接口(I/F)115。PC(客户端)101也可以具有与PC(服务器)100相同的配置。PC 100和PC 101也可称为编码处理装置。

本发明实施例可以通过PC 100和101单独实现或实现为客户/服务器系统，其中PC 101是客户端而PC 100是服务器。而且，客户软件和服务器软件可以分别安装在PC 101和PC 100中，以便实现用于执行本发明实施例的客户/服务器系统。而且，本发明下述的实施例也可以硬件的形式实现以执行本发明下述实施例的各种功能。

[第一实施例]

图36是用于描述根据本发明第一实施例的编码处理方法(码流产生操作)的流程图。例如通过使用预定软件(程序)在PC 100或101中执行包括图36的流程图所示的JPEG 2000编码步骤的步骤。执行所述步骤的程序存储在硬盘装置112中。程序被装载到RAM(主存储器)111中并由CPU 110执行。在PC 100具有用于JPEG 2000的硬件编码器的情况下，可以由所述编码器执行JPEG编码处理。PC 100、101的硬件和软件的这种配置也应用于本发明的下述的第二、第三和第四实施例。

在硬盘装置112中存储要处理的图像数据。然后，将图像数据传送到RAM111并由CPU 110处理。作为CPU 110的处理结果，在RAM 111中产生JPEG2000编码(码流)和具有其中存储的码流的JP2文件。然后，将JP2文件传送到硬盘装置112并存储在所述硬盘装置112中。该硬盘装置112和RAM 111的配置也应用于下述的本发明的第二、第三和第四实施例。

在图36所示的流程图中，PC 100的CPU 110从xTxxx、xxTxx、xxxTx和xxxxT中选择扩展顺次顺序(步骤S100)。例如，在输入装置114的用户指定特定扩展顺次顺序的情况下，CPU 110选择指定的扩展顺次顺序。所述扩展顺次顺序也可以从PC(客户)101指定。可替换地，可以选择预定扩展顺次顺序(提前选择)。

然后，CPU 110在COM标记段中记录对应所选的扩展顺次顺序的图27所示的字节数据(步骤S101)。更具体地，将具有其中记录的字节数据的COM标记段记录在RAM 111中提供的JPEG 2000格式区域的主头区域中。图19示出根据本发明实施例的COM标记段的示例性配置。因为字节数据是如图27所示的二进制数据，因此设置Rcom以满足Rcom＝0的关系式。所述字节数据被记录为COM标记段中的注解数据(C(com(0))。因为没有COM标记的标记段的长度是5个字节(＝2+2+1)，因此设置Lcom以满足Lcom＝5的关系式。

然后，在PC 100中，RAM 111从硬盘112读取图像数据，以及CPU 110对图像数据执行编码处理(即，图1的框1-5所示的处理)，以由此产生RAM 111中的JPEG 2000包(步骤S102)。

然后，在PC 100中，CPU 110根据所选的扩展顺次顺序配置包(步骤S103)。然后，将包配置添加至其他数据(例如包括COM标记段的主头)中，以由此在RAM 111中产生最后的JPEG 2000码流(技术上，类JPEG 2000的码流)(步骤S104)。步骤S103和S104对应图1的框6所示的处理。然后，产生的JPEG 2000码流存储在以JP2格式的形式的文件中，以由此在RAM 111中产生包括JPEG 2000码流的JP2文件格式(步骤S105)。然后，将JP2文件格式传送到硬盘装置112并存储在所述硬盘装置112中(步骤S106)。需要注意，产生的JPEG 2000码流可以存储在硬盘装置112中，而不是以具有JP2格式的文件。

在本发明的第一实施例中，由记录在计算机可读记录介质中的程序执行图36所示的JPEG 2000码流产生操作。所述程序可以通过例如包括上述计算机(PC)100、101的编码处理装置来读取。

而且，可替换地，根据本发明上述实施例的修改示例，对应所选扩展顺次顺序的、图27所示的字节数据可以记录在COD标记段的Sgcod中，而不是主头的COM标记段中。

[第二实施例]

图37是用于描述根据本发明第二实施例的编码处理方法(编码产生操作)的流程图。因为图37的步骤S200、S202-S206与图36的步骤S100、S102-S106相同，因此省略步骤S200、S202-S206的描述。

虽然步骤S201是对应图36的步骤S101的步骤，但步骤S201部分不同于S101。即，使用根据本发明第二实施例的PC 100，除了产生对应扩展顺序位的字节数据(图28所示)之外，也产生对应扩展顺次顺序(即，普通顺次顺序)的R、L、C、P的顺序的其他字节数据(图18所示)，作为用于标识在步骤S200中选择的扩展顺次顺序的数据。前者的字节数据记录在COM标记段中，而后者的字节数据记录在COD标记段中。更具体的说，将具有其中记录的前者的字节数据的COM标记段和具有其中记录的后者的字节数据COD标记段记录在RAM 111中提供的JPEG 2000格式区域的主头区域中。类似于本发明的第一实施例，在步骤S204中产生的JPEG 2000码流可以存储在硬盘装置112中，而不是具有JP2格式的文件中。

而且，根据本发明上述实施例的修改示例，可以省略步骤S201。此外，可替换地，对应所选扩展顺次顺序的、图27所示的字节数据可以在例如步骤S206之后记录在外部数据库中。所述字节数据可以记录在外部数据库中，对应字节数据的文件名或在所产生的文件中包括的码流的标识符(例如参见图29)。

在本发明的第二实施例中，可以由计算机可读记录介质中记录的程序执行图37所示的JPEG 2000码流产生操作。可以例如由包括上述计算机(PC)100、101的编码处理装置读出所述程序。

[第三实施例]

图38是用于描述根据本发明第三实施例的编码处理方法(码流产生操作)的流程图。因为图38的步骤S300、S301、S302、S303、S305和S306与图36的步骤S100、S102、S103、S104、S105和S106相同，因此省略步骤S300、S301、S302、S303、S305和S306的描述。

使用根据本发明第三实施例的PC 100，对应扩展顺次顺序的字节数据(图27所示)以标签数据的形式记录在JP2文件格式的UUIDbox的DBox的数据字段中、或者记录在JP2文件格式的XMLBoxD的DBox中，以由此用作标识在步骤S300中选择的扩展顺次顺序的数据。更具体地，对应扩展顺次顺序的字节数据(图27所示)记录在RAM 111中的JP2文件格式的上述Box区域中。

在本发明的第三实施例中，可以由在计算机可读记录介质中记录的程序执行图38所示的JPEG 2000码流产生操作。通过例如包括上述计算机(PC)100、101的编码处理装置读出所述程序。

[第四实施例]

图39是用于描述根据本发明第四实施例的编码处理方法(码流产生操作)的流程图。因为图39的步骤S400、S401、S402、S404、S406和S407与图36的步骤S100、S102、S103、S104、S105和S106相同，因此省略步骤S400、S401、S402、S404、S406和S407的描述。

在本发明的第四实施例中，对应扩展顺次顺序的顺序R、L、C、P的字节数据(图18所示)记录在JPEG 2000码流格式的主头中的COD标记段的Sgcod中(步骤S403)，以由此用作标识在步骤S400中选择的扩展顺次顺序的数据。此外，将对应扩展顺次顺序的字节数据(图28所示)记录在JP2文件格式的UUIDbox的DBox中或者记录在JP2文件格式XMLBox的DBox中(步骤S405)。

在本发明的第四实施例中，可以由在计算机可读记录介质中记录的程序执行图39所示的JPEG 2000码流产生操作。通过例如包括上述计算机(PC)100、101的编码处理装置读出所述程序。

[第五实施例]

图40是用于描述根据本发明第五实施例的编码处理方法(码流产生操作)的流程图。在本发明的第五实施例中，PC 100操作作为JPIP服务器，而PC 101操作作为JPIP客户机。图40中的流程图所示的步骤在操作作为JPIP服务器的PC 100中执行。

根据本发明第五实施例的、要处理的文件是通过在本发明第一至第四实施例(包括修改的示例)所述的编码处理装置之一产生的JP2文件格式。JP2文件格式存储在PC 100(JPIP服务器)的硬盘装置112中。JP2文件格式也存储在例如由JPIP服务器管理的外部硬盘装置中。在该示例中，PC 100可以提前知道其中存储用于标识所选扩展顺次顺序的数据的方式。

在JPIP系统中，除了表示指定要显示的图像的文件名之外，客户端也将表示指定的分辨率和指定的显示窗口(窗口尺寸)的数据传送至服务器。例如，分辨率可以通过使用称为“fsiz”的参数指定。该fsiz参数包括用于表示x方向的尺寸的数据项“fx”以及表示y方向的尺寸的数据项“fy”。而且，窗口尺寸可以通过使用称为“rsiz”的参数指定。fsiz参数和rsiz参数可以如下表达。

fsiz＝“fsiz”“＝”x方向的尺寸“，”y方向的尺寸[“，”“最近”]

rsiz＝“rsiz”“＝”x方向的窗口尺寸“，”y方向的窗口尺寸

在该示例中，假设客户端请求的分辨率级别的图像尺寸符合显示图像的窗口尺寸。而且，在该示例中，在文件中保存的码流的分块的每边(垂直、水平)在尺寸上是2的平方。

参考图40所示的流程图，PC(JPIP服务器)100从PC(JPIP客户)101接收请求显示的图像的文件名和分辨率级别(表达为“fsiz”)(步骤(S500)。

PC 100打开对应由客户机101指定的文件名的文件(步骤S501)，并根据fsiz中表示的x方向尺寸(fx)和y方向尺寸(fy)计算传送所请求图像的图像数据所需的分辨率级别r(步骤S502)。在该示例中，需要传送分辨率级别0至分辨率级别r的包。下面将更详细的描述步骤S502。

然后，PC 100从指定文件中的码流主头中的SIZ标记段或COD标记段检测用于编码图像数据的码流的条件(例如，分块号、分解级别号、层号、组成部分号、区块划分号)的条件(步骤S503)。

然后，PC 100检测码流中包配置的顺序(在这种情况下，包括作为其顺次特性之一的分块特性的扩展顺次顺序)(步骤S504)。所述检测通过参考码流进行，所述文件包括标识例如在外部数据库中保存的扩展顺次顺序的码流和/或数据(如本发明第一-第四实施例所述)。在PC 100提前知道用于码流的包配置的扩展顺次顺序的情况下，可以省略步骤S504。

然后，PC 100将包括关于码流的主头的数据传送至PC(客户机)101(步骤S505)。

然后，对应于检测到的扩展顺次顺序，产生根据分辨率级别r控制的、具有其分辨率级的循环变量的for循环(步骤S506)。通过重复for循环，选择需要的包并传送至PC(客户机)101(步骤S507)。然后，关闭指定的文件(步骤S508)。由此，完成序列处理(步骤)的执行。

例如，在分块数＝2、分辨率级别数＝3、层数＝2、组成部分数＝3、以及区块数＝1(最大区块)的条件下，在码流中的包根据RTLCP的扩展顺次顺序配置的情况下，如下配置for循环。for(0≤分辨率级别≤r){for(0≤分块号≤1){

for(0≤层号≤1){

  for(0≤组成部分号≤2){

     for(区块号＝0){

    }

  }

}}}

在这种情况下，通过执行步骤S507中的如下循环，获得关于要传送的全部包的开始位置和长度的数据，然后，根据获取的数据选择要传送的包，并接着传送选择的包。for(0≤分辨率级别≤r){for(0≤分块号≤1){

for(0≤层号≤1){

  for(0≤组成部分号≤2){

    for(区块号＝0){

    通过解码包头并保持包的开始位置和包长度来检测包长度

    }

  }

}}}

可替换地，在这种情况下，在步骤S507执行如下循环。for(0≤分辨率级别≤r){for(0≤分块号≤1){

for(0≤层号≤1){

  for(0≤组成部分号≤2)

    for(区块号＝0){

通过解码包头检测包的长度并根据检测的包长度选择并传送包

    }

  }

}}

}

在使用每一循环中，可以控制要检测(扫描)的包的数目并即使当码流由多个分块组成时也可以有效率地选择需要的包。

传送所选的包有两种类型。第一传送类型是通过在每个所选的包的前面或分辨率级别边界或所选包配置的组成部分的边界添加SOT标记段，而以分块部分的形式传送所选的包。在这种情况下，分块部分可以根据需要划分并添加预定消息头，以便分块部分用作JPT消息。换句话说，第一传送类型是JPT流传送类型。

第二传送类型不是以包的形式而是以区块的形式传送所选的包。在这种情况下，每个区块根据需要划分并添加预定消息头，以便区块用作JPP(JPIP区块)消息。换句话说，第二传送类型是JPP流传送类型。需要注意，JPP是根据JPIP来传送包的方法。

图41是用于描述图40的步骤S502中处理的流程图。首先，获取fsiz的fx和fy(步骤S600)。然后，从指定文件中码流的主头中的SIZ标记段检测原始图像的水平尺寸(X siz)和垂直尺寸(Y siz)(步骤S601)。然后，从COD标记段检测分解级别号d(步骤S602)。然后，确定条件“fx小于等于Xsiz除以2的d次方的值”以及“fy小于等于Ysiz除以2的d次方的值”(步骤S603)。如果条件满足(步骤S603的是)，则将分辨率级别设置为r＝0(步骤S604)。如果没有满足条件(步骤S603的否)，则通过执行如下的计算获得分辨率级别r(步骤S605)。

r＝d-min[log2(Xsiz/fx)，log2(Ysiz/fy)]+1

在上面的计算中，“log2()”是以2为底的对数，“min[a，b]”是提供a和b之间较小的值的函数。

虽然通过使用其中客户端请求的分辨率级别的图像尺寸符合显示窗口尺寸的示例性例子描述本发明的上述实施例，但是在显示窗口尺寸小于所请求的分辨率级别的图像尺寸的情况下，传送在显示窗口中包括的分块(请求的分辨率级别)的包或分块部分。

而且，虽然本发明的上面实施例是通过使用处理JP2格式文件的示例性例子描述的，但是处理也可以对码流执行(不是以文件形式的数据)。

在本发明的第五实施例中，可以通过在计算机可读记录介质中记录的程序执行图40所示的操作。可以例如通过包括上述计算机(PC)100、101的编码处理装置读取所述程序。

而且，虽然本发明的上面实施例通过使用传送所选包的示例性例子描述，但可以产生并处理只包括所选包的码流或包括该码流的文件。

使用本发明的上述实施例，可以容易并有效率选择和访问一个(多个)特定包，以由此允许JPIP服务器例如令人满意地产生码流或包括码流的文件。下面参考图30-32更详细地描述该优点。

图30示出用于描述具有两个分块的单色图像的码流的示意图，其中每个分块具有最大分辨率级别＝2、层数＝1、以及区块数＝1(最大区块)。在码流的顺次顺序是RLCP的普通顺次顺序(基本等同于R顺次，因为L＝C＝P＝1)的情况下，码流的包以图31所示的顺序配置。需要注意，SOT标记段位于每个分块的包的开始。在图31所示的码流中，其中例如选择对应分辨率级别0的所有分块的包，变得有必要或者至少扫描从第一个包(开始包)至第四个包或者检测所有包的位置和长度。

然而，使用根据本发明实施例的编码处理装置，在例如选择扩展顺次顺序RTLCP的情况下，如图32所示，从“分辨率级别顺序至分块顺序”配置码流的包。因此，可以从码流的开始通过只扫描两个包(第一个和第二个包)有效选择对应分辨率级别0的所有分块的包。

在根据RTLCP扩展顺次顺序的码流的情况下，虽然分块0和1的SOT标记段连续提供在包的开始处(参见图32的上面部分)，但是只有分块0的SOT标记段可以可替换地提供在位于包的开始处(参见图32的下面部分)。下面描述该替换方式的理由。一方面，一般而言，在每个分块的编码条件相同的情况下，第二或后面SOT标记段包括分块数、分块部分数以及分块部件长度；然而，可以在解码码流或包选择期间通过参考扩展顺次顺序的for循环的循环变量的计数来检测分块数。而且，分块部分数不是必须用于解码或选择包。而且，包长度可以通过参考例如报头或PLT标记段来获取。

关于进一步的参考，图33和34分别表示在分块数＝2、分辨率级别数＝3、层数＝2、组成部分数＝3以及区块数＝1(最大区块)的情况下码流的包配置。更具体的说，图33表示根据TLRCP顺次顺序的码流的包配置的示例，以及图34表示根据LTRCP顺次顺序的码流的包配置的示例。

而且，本发明不限制于这些实施例，在不偏离本发明的范围的情况下可以进行各种改变和修改。

本申请根据于2006年4月12日在日本专利局提交的申请号为2006-109746的日本优先申请，在此引入其全文以供参考。

Claims (8)

1、一种编码处理装置，用于产生包括JPEG 2000码流的文件或包括所述JPEG 2000码流的JPEG 2000系列格式，所述编码处理装置包括：

包配置部分，用于根据从包括“xTxxx”、“xxTxx”、“xxxTx”和“xxxxT”的扩展顺次顺序的组中选择的扩展顺次顺序来配置在所述JPEG 2000码流中包含的多个包的顺序；

其中所述扩展顺次顺序中的每个“x”表示分辨率级别特性、层特性、组成部分特性和区块特性之一，

其中每个扩展顺次顺序的最左边的“x” 对应所述扩展顺次顺序的最外层的特性，

其中“T”表示分块特性。

2、如权利要求1所述的编码处理设备，还包括：

记录部分，用于将标识所选扩展顺次顺序的数据记录在所述JPEG 2000码流的COM标记段中。

3、如权利要求1所述的编码处理设备，还包括：

记录部分，用于将标识所选扩展顺次顺序的数据记录在所述JPEG 2000码流的COD标记段中。

4、如权利要求1所述的编码处理设备，还包括：

记录部分，用于将标识所选扩展顺次顺序的第一数据项记录在所述JPEG码流的COM标记段中，以及将标识所选扩展顺次顺序的第二数据项记录在JPEG码流的COD标记段中。

5、一种编码处理方法，用于产生包括JPEG 2000码流的文件或包括所述JPEG 2000码流的JPEG 2000系列格式，所述编码处理方法包括步骤：

根据从包括“xTxxx”、“xxTxx”、“xxxTx”和“xxxxT”的扩展顺次顺序的组中选择的扩展顺次顺序配置在所述JPEG 2000码流中包括的多个包的顺序；

其中所述扩展顺次顺序中的每个“x”表示分辨率级别特性、层特性、组成部分特性和区块特性之一，

其中每个扩展顺次顺序的最左边的“x”对应所述扩展顺次顺序的最外层特性，

其中“T”表示分块特性。

6、如权利要求5所述的编码处理方法，还包括步骤：

将标识所选扩展顺次顺序的数据记录在所述JPEG 2000码流的COM标记段中。

7、如权利要求5所述的编码处理方法，还包括步骤：

将标识所选扩展顺次顺序的数据记录在所述JPEG 2000码流的COD标记段中。

8、如权利要求5所述的编码处理方法，还包括步骤：

将标识所选扩展顺次顺序的第一数据项记录在所述JPEG码流的COM标记段中，以及将标识所选扩展顺次顺序的第二数据项记录在所述JPEG码流的COD标记段中。

Images