CN110908570B - 图像处理方法、装置、终端及存储介质 - Google Patents

图像处理方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN110908570B
CN110908570B CN201911186508.4A CN201911186508A CN110908570B CN 110908570 B CN110908570 B CN 110908570B CN 201911186508 A CN201911186508 A CN 201911186508A CN 110908570 B CN110908570 B CN 110908570B
Authority
CN
China
Prior art keywords
target image
associated information
operation instruction
area
marked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911186508.4A
Other languages
English (en)
Other versions
CN110908570A (zh
Inventor
梁志杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Cyber Tianjin Co Ltd
Original Assignee
Tencent Cyber Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Cyber Tianjin Co Ltd filed Critical Tencent Cyber Tianjin Co Ltd
Priority to CN201911186508.4A priority Critical patent/CN110908570B/zh
Publication of CN110908570A publication Critical patent/CN110908570A/zh
Application granted granted Critical
Publication of CN110908570B publication Critical patent/CN110908570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例公开了一种图像处理方法、装置、终端及存储介质，其中方法包括：接收针对浏览界面中显示的目标图像的操作指令；如果操作指令对应的操作区域所包括的操作位置位于未标记区域内，则对操作位置对应的检测区域进行操作对象检测得到检测结果，并根据检测结果从目标图像中获取操作指令对应的操作对象；显示操作对象对应的关联信息录入界面，并检测在操作对象对应的关联信息录入界面录入的关联信息；将录入的关联信息和操作对象的属性信息关联存储并在操作对象上显示已添加关联信息的标记。采用本发明实施例可以丰富图像处理的方式，增强图像处理的针对性。

Description

图像处理方法、装置、终端及存储介质
技术领域
本申请涉及图像处理领域，尤其涉及一种图像处理方法、装置、终端及存储介质。
背景技术
随着科技的发展，很多用于浏览图像的应用都可以支持用户对浏览的图像输入一些操作以方便后续查看，比如标记操作、批注操作以及评论操作等。比如，用户通过浏览图像的应用浏览漫画图像，所谓漫画图像是由多个漫画格组成，漫画格是指组成漫画图像的故事情节的预设形状的子图像比如正方形子图像、长方形子图像或者圆形子图像等等，换句话说，漫画图像是由多个预设形状的子图像按照各个子图像中故事情节的时间顺序排列组成。
在浏览漫画图像的浏览界面中可显示一个评论触发区域，当用户想要对当前浏览的漫画图像进行评价时，可在评论触发区域输入触发操作以触发终端显示评论界面，用户在评论界面中输入对漫画图像的评论。可见，现有技术中只能根据用户的操作对整体图像进行相应处理，无法对整体图像中包括的子图像进行处理。因此，在图像处理领域中如何有效地根据用户操作对图像进行处理成为研究的热点问题。
发明内容
本发明实施例提供了一种图像处理方法、装置、终端及存储介质，可以有效地根据用户的操作对目标图像进行处理。
一方面，本发明实施例提供了一种图像处理方法，包括：
接收针对浏览界面中显示的目标图像的操作指令；
如果所述操作指令对应的操作区域所包括的操作位置位于未标记区域内，则对所述操作位置对应的检测区域进行操作对象检测得到检测结果，并根据所述检测结果从所述目标图像中获取所述操作指令对应的操作对象；
显示所述操作对象对应的关联信息录入界面，并检测在所述操作对象对应的关联信息录入界面录入的关联信息；
将录入的关联信息和所述操作对象的属性信息关联存储到数据库中，并在所述操作对象上显示已添加关联信息的标记。
另一方面，本发明实施例提供了一种图像处理装置，包括：
接收单元，用于接收针对浏览界面中显示的目标图像的操作指令；
处理单元，用于如果所述操作指令对应的操作区域所包括的操作位置位于未标记区域内，则对所述操作位置对应的检测区域进行操作对象检测得到检测结果；
获取单元，用于根据所述检测结果从所述目标图像中获取所述操作指令对应的操作对象；
显示单元，用于显示所述操作对象对应的关联信息录入界面；
所述处理单元，还用于检测在所述操作对象对应的关联信息录入界面录入的关联信息；
存储单元，用于将录入的关联信息和所述操作对象的属性信息关联存储到数据库中；
所述显示单元，还用于在所述操作对象上显示已添加关联信息的标记。
再一方面，本发明实施例提供了一种终端，所述终端包括：
处理器，适于实现一条或多条指令；以及，
计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如下步骤：
接收针对浏览界面中显示的目标图像的操作指令；
如果所述操作指令对应的操作区域所包括的操作位置位于未标记区域内，则对所述操作位置对应的检测区域进行操作对象检测得到检测结果，并根据所述检测结果从所述目标图像中获取所述操作指令对应的操作对象；
显示所述操作对象对应的关联信息录入界面，并检测在所述操作对象对应的关联信息录入界面录入的关联信息；
将录入的关联信息和所述操作对象的属性信息关联存储到数据库中，并在所述操作对象上显示已添加关联信息的标记。
又一方面，本发明实施例提供了一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序指令，所述计算机程序指令被处理器执行时，用于执行如上述图像处理方法。
本发明实施例中在接收到针对目标图像的未标记区域的操作指令时，通过对操作指令对应的检测区域进行操作对象检测确定目标图像上与所述操作指令对应的操作对象，进一步的可显示操作对象对应的关联信息录入界面，并检测在所述关联信息录入界面录入的关联信息，将录入的关联信息和操作对象的标识关联存储到数据库中，并在所述操作对象上显示已添加关联信息的标记。应当理解的，操作对象是通过对检测区域进行检测确定的，检测区域是目标图像上的一部分，因此操作对象是目标图像包括的一部分。在上述图像处理过程中，可以根据用户的操作自动地识别出目标图像上与用户操作对应的一部分并进行相应处理，丰富了对图像处理的方式，增强了图像处理的针对性。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像处理系统的结构示意图；
图2是本发明实施例提供的一种图像处理方法的流程示意图；
图3是本发明实施例提供的一种目标图像中显示已添加关联信息的示意图；
图4a是本发明实施例提供的一种确定操作指令对应的操作对象的示意图；
图4b是本发明实施例提供的另一种确定操作指令对应的操作对象的示意图；
图5a是本发明实施例提供的一种关联信息录入界面的示意图；
图5b是本发明实施例提供的另一种关联信息录入界面的示意图；
图5c是本发明实施例提供的又一种关联信息录入界面的示意图；
图6是本发明实施例提供的另一种图像处理方法的流程示意图；
图7是本发明实施例提供的一种终端显示通知信息的用户界面示意图；
图8a是本发明实施例提供的一种直线检测的示意图；
图8b是本发明实施例提供的一种直线筛选的示意图；
图8c是本发明实施例提供的一种直线相交检测和包含关系检测的示意图；
图9a是本发明实施例提供的一种为单一对象添加关联信息的示意图；
图9b是本发明实施例提供的一种为组合对象添加关联信息的示意图；
图10是本发明实施例提供的一种查看已标记对象的关联信息的示意图；
图11是本发明实施例提供的一种图像处理装置的结构示意图；
图12是本发明实施例提供的一种终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
本发明实施例提供了一种图像处理方案，可以实现根据用户的操作指令自动确定出目标图像中与该操作指令对应的操作对象，进一步根据用户输入的关联信息对操作对象进行处理，与现有技术中只能根据用户的操作指令对目标图像整体进行处理相比，本方案丰富了图像处理方式，并且增强了图像处理的针对性。具体实现中，如果用户在目标图像的未标记区域输入了操作指令，所述未标记区域可以包括目标图像中未被添加关联信息的对象所在区域，对象可以指目标图像中包括的子图像比如漫画图像中的漫画格，也可以指目标图像中包括的某个图像元素比如包括多个人物的图像中的某个人物，则终端可以通过获取用户输入操作指令的操作位置，截取该操作位置特定范围内的图像内容作为检测区域；然后通过对检测区域进行操作对象检测确定出用户的操作指令对应的操作对象；最后显示操作对象对应的关联信息录入界面，并获取用户在关联信息录入界面输入的关联信息，将关联信息和操作对象进行关联存储，同时可以在操作对象上显示已添加关联信息的标记。其中，所述关联信息可以包括对操作对象的评论信息、标注信息以及其他与操作对象有关的信息。例如，操作对象为人物图像，所述关联信息可以是该人物图像中人物的个人信息，比如姓名、籍贯、所在地等等；再如，操作对象为漫画格，所述关联信息可以针对该漫画格中情节或者角色的评论，比如“这个情节设计的太搞笑了，好喜欢这个角色”。
在其他实施例中，本发明实施例提供的图像处理方案还可以应用于根据用户的操作指令为相应文本内容添加关联信息的应用场景中。例如，用户可以在阅读文本内容时，在文本某一位置输入操作指令，采用本发明实施例提供的图像处理方案可以根据用户的操作指令进行文本对象的检测，得到操作指令对应的操作文本对象；显示操作文本对象对应的关联信息录入界面，并检测在操作文本对象对应的关联信息录入界面中录入的关联信息，最后将关联信息和操作文本对象的标识关联存储。其中，所述根据用户的操作指令对应的操作文本对象可以指选择包括操作指令对应的操作位置的一个段落或者一句话作为操作文本对象。
基于上述的图像处理方案，本发明实施例提供了一种图像处理系统，参考图1，为本发明实施例提供的一种图像处理系统的结构示意图。图1所示的图像处理系统可包括服务器101和至少一个终端102。其中，服务器101中存储有多个可以在终端102中显示的图像，终端102可以和服务器101之间进行交互以获取服务器101中存储的图像并进行显示。所述终端102是用户使用的终端设备，所述终端102可以是手机、笔记本、智能穿戴等设备。
在一个实施例中，终端102从服务器101获取图像并显示的实施方式可以为：用户在终端102的网页中输入浏览目标图像的操作，终端102从服务器101获取到目标图像并显示在网页的浏览界面中，所述目标图像可以是服务器101中存储的任意一个图像。在其他实施例中，终端102中可安装浏览图像的应用程序，用户启动该应用程序并输入浏览目标图像的操作，终端102从服务器101中获取目标图像并显示在应用程序的浏览界面中。比如终端102中安装动漫阅读应用程序，终端102可以向服务器获取用户选择的漫画图像并在动漫阅读应用程序的浏览界面中显示该漫画图像。
在终端102显示目标图像过程中，终端102可执行上述图像处理方案以实现根据用户的操作指令为目标图像中的操作对象添加关联信息。终端102获取到为操作对象添加的关联信息后，可以在操作对象上显示已添加关联信息的标记。可选的，终端102可以将已添加关联信息的标记的操作对象记作目标图像中的已标记对象，已标记对象所在的区域记为目标图像中的已标记区域，将操作对象的属性信息和操作对象的关联信息(也可以理解为历史关联信息)作为目标图像的历史标记数据同步存储到服务器101中，其中，所述操作对象的属性信息可包括操作对象的位置信息和尺寸信息等。后续当终端102从服务器101中获取并显示目标图像时，同时根据历史标记数据显示目标图像包括的已标记对象的标记。如果用户在已标记区域输入了操作指令时，终端显示已标记区域对应的关联信息录入界面，该关联信息录入界面用于显示该已标记区域包括的已标记对象的关联信息。该关联信息录入界面还可以接收针对该已标记对象的新的关联信息，终端102可以将新的关联信息添加到该已标记操作对象对应的关联信息中进行存储。
基于上述图像处理系统的描述，本发明实施例提供了一种图像处理方法的流程示意图，如图2所示。图2所述的图像处理方法可以由终端执行，具体可由终端的处理器执行。图2所示的图像处理方法可包括如下步骤：
S201、接收针对浏览界面中显示的目标图像的操作指令。
其中，所述浏览界面可以是终端中的网页界面比如浏览器的界面；或者，浏览界面还可以是终端中可以浏览图像的应用程序的用户界面。所述目标图像可以是任意一张图像，比如包括漫画格的任意一张漫画图像、包括人物的人物图像、新闻报道涉及的新闻图像以及风景图像等等。目标图像中可包括多个对象，每个对象可以称为目标图像的子图像，对于漫画图像而言，每个漫画格称为漫画图像的对象；对于人物图像而言，每个人物可以称为人物图像的对象。所述操作指令包括用于为单一对象添加关联信息的第一操作指令，比如点击操作，长按操作或者双击操作等等，所述为单一对象添加关联信息是指为目标图像中某一个对象添加关联信息；或者，所述操作指令包括用于为组合对象添加关联信息的第二操作指令，比如框选操作，所述为组合对象添加关联信息是指将目标图像中的至少两个对象组合在一起，为该组合在一起的多个对象添加关联信息。
基于前述可知，目标图像可以被多个终端进行显示，每个终端的用户都可以对目标图像进行处理，比如为目标图像中的某一对象添加关联信息比如添加评论、批注以及注释等，被添加关联信息的对象称为目标图像中包括的已标记对象。各个终端在检测到用户对目标图像进行处理后，可以将相应处理得到的数据作为目标图像对应的历史标记数据，将历史标记数据与目标图像关联存储并同步保存到服务器中。也就是说服务器中存储了目标图像以及目标图像对应的历史标记数据。
基于此，终端在执行步骤S201之前，还执行：获取目标图像以及所述目标图像对应的历史标记数据，所述历史标记数据包括已标记对象在所述目标图像中的属性信息和所述已标记对象对应的历史关联信息；在浏览界面中显示所述目标图像并根据所述已标记对象在所述目标图像中的属性信息和所述历史关联信息为所述已标记对象添加已添加关联信息的标记。可选的，所述目标图像以及目标图像对应的历史标记数据可以是终端在检测到用户对目标图像的浏览指令时，从本地数据库或者服务器中获取到的。
其中，所述已标记对象在所述目标图像中的属性信息可包括所述已标记对象的位置、大小(或称为尺寸)、对象标识等信息。所述根据所述已标记对象在所述目标图像中的属性信息和所述历史关联信息为所述已标记对象添加已添加关联信息的标记的实施方式可以为：统计已标记对象对应的历史关联信息的数量；根据目标图像的属性信息框选出已标记对象，并在已标记对象的预设位置比如右下角显示该已标记对象对应的历史关联信息的数量。参考图3，为本发明实施例提供的一种目标图像的示意图，假设目标图像为漫画图像，左上角漫画格301和右下角漫画格302为已标记对象，左上角漫画格301对应的历史关联信息的数量为5，右下角漫画格302对应的历史关联信息的数量为2。在图3中为已标记对象添加已添加关联信息的标记可以为：在目标图像中用虚线框出左上角漫画格301，并在其右下角显示数字5，以及在目标图像中用虚线框出右下角漫画格302，并在其右下角显示数字2。
其中，所述已标记对象在所述目标图像中的位置可以表示为位置坐标；或者，目标图像中的各个对象是按照一定顺序排列的，已标记对象的位置可以是已标记对象在目标图像中的排列序号。举例来说，在参考图3中，如果基于目标图像建立一个坐标系：目标图像所在长度方向为x轴，目标图像所在高度方向为y轴，每个漫画格的位置可以用一个坐标表示，比如已标记对象301的位置可以为(1,1)，已标记对象302的位置可以为(2，3)。再如，目标图像中，每个漫画格是按照漫画格中故事情节发生的时间顺序排列在目标图像中的，可以为每个漫画格添加一个排列序号，比如第一个发生的故事情节对应的漫画格排列序号为1，第二个发送的故事情节对应的漫画格排列序号为2，依次类推，目标图像中对应的已标识对象的位置分别为1和5。
在一个实施例中，各个已标记对象在目标图像中所占的区域称为目标图像中的已标记区域，比如在图3中左上角漫画格所在区域为已标记区域，右下角漫画格所在区域为已标记区域，目标图像除了已标记区域的其他区域称为未标记区域。
S202、如果操作指令对应的操作区域所包括的操作位置位于未标记区域内，则对操作位置对应的检测区域进行操作对象检测得到检测结果，并根据检测结果从目标图像中获取操作指令对应的操作对象。
其中，操作对象可以为目标图像中的已标记对象，也可以包括目标图像中的未标记对象。在一个实施例中，如果所述操作指令是用于为单一对象添加关联信息的第一操作指令，则所述操作指令对应的操作区域和操作位置相同，都可以是一个位置点，比如操作指令是点击目标图像中某个位置，该位置既是操作位置又是操作区域；如果所述操作指令是用于为组合对象添加关联信息的第一操作指令，则所述操作指令对应的操作区域可以是框选区域，操作区域包括的操作位置可以指框选区域的中心点位置，比如操作指令是在目标图像上框选出一个矩形区域，该矩形区域即为操作区域，矩形区域的中心即为操作区域包括的操作位置；再如操作指令是在目标图像上框选出一个圆形区域，该圆形区域即为操作区域，圆形区域的中心即为操作区域包括的操作位置。
在一个实施例中，操作位置对应的检测区域可以指：选取目标图像中位于操作位置上下预设距离的区域作为操作位置对应的检测区域，该检测区域的宽度默认等于目标图像的宽度。可选的，可以根据目标图像的高度确定预设距离。具体实现中，可以设置一个权重系数，预设距离可以等于权重系数乘以目标图像高度。比如权重系数为0.3，预设距离等于目标图像高度的30％，也就是说操作位置向上选取目标图像高度*0.3一段区域，向下选取目标图像高度*0.3一段区域，两个区域组成了操作位置对应的检测区域。在实际应用中，权重系数的设置依赖于目标图像的高度以及目标图像中对象的尺寸信息，本发明实施例只是列举一种可能的权重系数，对具体的权重系数不做限定。
在一个实施例中，所述对操作位置对应的检测区域进行操作对象检测得到检测结果可以根据需要检测对象的类型不同，选择不同的检测方法。比如检测的对象为人物，检测方法可以是人脸识别算法；再如，检测的对象为漫画格，则检测方法可以是直线检测法；又如，检测的对象为文本内容，检测方法可以是正规表达式等等。检测结果可以用于反映检测区域是否包括可以作为操作对象的候选对象，以及如果包括则候选对象的数量为多少。
在其他实施例中，所述操作位置对应的检测区域还可以是预先设置的固定区域。假设终端可以预先指定用于接收操作指令的接收区域与检测区域的对应关系，当终端接收到的操作指令对应的操作位置落入预先设置的接收区域时，将该接收区域对应的检测区域确定为操作位置对应的检测区域。
在一个实施例中，所述根据检测结果从目标图像中获取操作指令对应的操作对象，可包括：如果检测结果指示检测区域包括至少一个候选对象，则根据操作位置和所述每个候选对象的属性信息从所述至少一个候选对象中选择操作指令对应的操作对象；如果检测结果指示检测区域不包括候选对象，则将目标图像确定为操作指令对应的操作对象。其中，所述操作位置可以是以坐标形式表示，所述每个候选对象的属性信息包括每个候选对象的位置信息以及每个候选对象的尺寸信息，所述每个候选对象的位置信息可以是以坐标形式表示的。可选的，操作指令为第一操作指令和操作指令为第二操作指令时，从至少一个候选对象中选择操作指令对应的操作对象的实施方式可不同。
具体实现中，如果操作指令为第一操作指令，则所述根据所述操作位置和每个候选对象的属性信息从所述至少一个候选对象中获取所述操作指令对应的操作对象，包括：根据所述操作位置和每个候选对象的属性信息确定所述至少一个候选对象中是否存在包括所述操作位置的候选对象；如果存在，则将包括所述操作位置的候选对象确定为操作对象；如果不存在，则将与所述操作位置之间的距离小于距离阈值的候选对象确定为操作对象。简单来说，如果操作指令是用于对单一对象添加关联信息的第一操作指令，则从候选对象中选择包括该操作位置或者与该操作位置距离最小的候选对象作为操作指令对应的操作对象。可选的，终端在确定出操作指令对应的操作对象后，可以高亮显示操作对象；或者，以其他方式突出显示操作对象，比如框选等。这样一来，用户在浏览界面中可直观的看到自己选择的操作对象，如果用户发现当前的操作对象不是自己预期的操作对象，可能由于操作指令输入错误或者终端对操作指令识别错误等原因造成操作对象选择错误，用户此时可重新输入操作指令以重新选择正确的操作对象。
参考图4a，为本发明实施例提供的一种确定操作指令对应的操作对象的示意图。图4a中，假设目标图像为漫画图像，目标图像中对象为漫画格，假设图4a中用户输入的操作指令为用于对单一对象添加关联信息的第一操作指令比如点击操作，操作指令对应的操作位置为401。假设通过对操作位置对应的检测区域进行检测后，确定了检测区域中包括了两个候选对象分别为402和403。由图可见，操作位置401位于候选对象402上，因此，将402确定为操作指令对应的操作对象，终端可以高亮显示402以提示用户其操作指令对应的操作对象为402。
如果操作指令为第二操作指令，则所述根据所述操作位置和每个候选对象的属性信息从所述至少一个候选对象中获取所述操作指令对应的操作对象，包括：根据所述操作位置和每个候选对象的属性信息选择所述至少一个候选对象中与所述操作区域存在重叠的候选对象，并将选择的候选对象确定为所述操作指令对应的操作对象。简单来说，如果操作指令是用于对组合对象添加关联信息的第二操作指令，则将候选对象中与操作指令对应的操作区域有重叠的候选对象组合在一起作为操作对象。
参考图4b，为本发明实施例提供的另一种确定操作指令对应的操作对象的示意图。在图4b中假设目标图像为漫画图像，目标图像包括的对象为漫画格，假设用户在图4b所示的目标图像中输入了第二操作指令，比如第二操作指令对应的操作区域为圆形区域404，操作位置为圆形区域的中心位置。假设通过对操作位置对应的检测区域进行检测，确定检测区域中包括4个候选对象，如图4b中A，B，C和D。由图4b可见，操作区域与候选对象C和D有重叠，则将C和D组合在一起作为操作指令对应的操作对象。
S203、显示操作对象对应的关联信息录入界面，并检测在操作对象对应的关联信息录入界面录入的关联信息。
在一个实施例中，所述操作对象对应的关联信息录入界面用于接收用户为操作对象添加的关联信息，可选的，所述操作对象对应的关联信息录入界面包括关联信息录入框和退出按钮，所述退出按钮被触发时结束显示所述关联信息录入界面，所述关联信息是在所述关联信息录入框中检测得到的。所述关联信息录入界面可以是在浏览界面中添加的一个遮罩层界面。可选的，关联信息录入界面中还可以包括关联信息显示区域，关联信息显示区域用于显示关联信息录入界面检测到的关联信息。
参考图5a，为本发明实施例提供的一种关联信息录入界面的示意图，图5a所示的关联信息录入界面可包括关联信息录入框501和退出按钮502，用户可通过关联信息录入框501输入操作对象的关联信息，比如评论信息、批注信息以及注释信息等。在图5a中可见，在确定出操作对象后，在浏览界面中可以将操作对象高亮显示如图5a中500所示。用户还可以通过点击退出按钮502退出当前的关联信息录入界面。图5a所示的关联信息录入界面还可以包括关联信息显示区域503虚线框所示，如果检测到用户在关联信息输入框501输入了关联信息之后，在关联信息显示区域503显示用户输入的关联信息。
在一个实施例中，用户点击了501之后可弹出键盘如图5b所示，键盘中可包括确认输入的按钮504，用户通过键盘输入操作对象的关联信息之后，可以点击确认输入的按钮504确认为目标操作对象添加该关联信息。在确定为操作对象添加了关联信息之后，可在关联信息显示区域503显示用户刚刚录入的关联信息。
在其他实施例中，关联信息录入界面中还可以包括确认添加关联信息的确认按钮505如图5c所示，用户点击了501且在501中填入了关联信息后，可以点击确认按钮505，点击了确认按钮505之后表明为操作对象添加关联信息成功。此时在关联信息录入界面的关联信息显示区域503显示用户刚刚录入的关联信息。
在一个实施例中，如果操作对象为目标图像中包括的已标记对象，则关联信息录入界面中还可以显示该已标记对象对应的历史关联信息。换句话说，如果根据检测结果确定出的操作对象是目标图像中已标记对象，则在显示操作对象对应的关联信息录入界面中除了包括关联信息录入框和退出按钮外，在关联信息录入界面的关联信息显示区域还显示该操作对象对应的历史关联信息。
步骤S204、将录入的关联信息和操作对象的属性信息关联存储，并在操作对象上显示已添加关联信息的标记。
其中，所述操作对象的属性信息可包括操作对象的位置、尺寸、对象标识等信息中的至少一种或多种。在一个实施例中，如果在关联信息录入界面检测到关联信息之后，将关联信息和操作对象的属性信息进行关联存储，同时也可以将关联信息和操作对象的属性信息发送给服务器，由服务器存储。
在一个实施例中，在操作对象上显示已添加关联信息的标记的实施方式可以是：用预设形状在目标图像中框出操作对象或者高亮显示目标图像，并在操作对象上显示与操作对象对应的关联信息的数量。具体实施方式可以根据用户的实际需求进行设置，本发明实施例中不做具体限定。
本发明实施例中接收到针对浏览界面中显示的目标图像的操作指令，如果所述操作指令对应的区域所包括的操作位置位于未标记区域内，则对操作位置对应的检测区域进行操作对象检测得到检测结果，并根据所述检测结果从目标图像中获取操作指令对应的操作对象；进一步的，显示操作对象对应的关联信息录入界面，并检测在操作对象对应的关联信息录入界面录入的关联信息；将录入的关联信息和所述操作对象的属性信息关联存储并在所述操作对象上显示已添加关联信息的标记。应当理解的，操作对象是通过对检测区域进行检测确定的，检测区域是目标图像上的一部分，因此操作对象是目标图像包括的一部分。在上述图像处理过程中，根据用户的操作可以自动地确定出目标图像中与用户操作对应的一部分并进行相应处理，丰富了对图像处理的方式，并且增强了图像处理的针对性。
请参见图6，是本发明实施例提供的另一种图像处理方法的流程示意图。图6所示的图像处理方法可由终端执行，具体可由终端的处理器执行。图6所示的信息处理方法可包括如下步骤：
步骤S601、获取目标图像以及目标图像对应的历史标记数据，历史标记数据包括已标记对象的属性信息和历史关联信息。
步骤S602、在浏览界面中显示目标图像并根据已标记对象在目标图像中的属性信息和历史关联信息为已标记对象添加已添加关联信息的标记。
在一个实施例中，所述终端获取目标图像以及目标图像对应的历史标记数据的实施方式可以为：终端接收用户对目标图像的标识的选择操作；终端在本地数据库中查找是否本地数据库中存储有目标图像以及目标图像对应的历史标记数据；若存在，则直接在浏览界面中显示所述目标图像以及目标图像中已标记对象的已添加关联信息的标记；若不存在，则向服务器发送获取请求并接收服务器返回的目标图像以及目标图像对应的历史标记数据，在浏览界面中显示所述目标图像以及已标记对象的标记。其中，所述目标图像的标识可以是目标图像的名称，比如目标图像是漫画图像，用户可以选择想要阅读动漫的某个章节，该章节可包括多张漫画图像，用户可以根据各个漫画图像的名称点击打开任意一张漫画图像，用户选择打开的漫画图像即为目标图像，用户的点击操作即为对目标图像的标识的选择操作；或者，所述目标图像的标识可以指包括目标图像的文本内容的名称，比如目标图像为一段新闻报道文本中的场景配图，则用户可以选择打开新闻报道文本以达到浏览目标图像的目的。
由前述可知，服务器中存储的目标图像可以被多个终端显示，多个终端的用户在浏览目标图像时，可能为目标图像的某个对象添加了关联信息比如评论信息，终端将该关联信息作为目标对象的历史标记数据同步保存到服务器中。这样一来，如果某个终端从服务器获取到目标图像以及目标图像的历史标记数据后将其保存在本地数据库中，并且该终端没有及时到服务器中更新目标图像以及目标图像对应的历史标记数据，这样就会导致终端中存储的目标图像的历史标记数据和服务器中存储的目标图像的历史标记数据不一致。基于此，当服务器检测到目标图像的历史标记数据有更新时，可以向曾经获取目标图像的终端发送更新通知，以通知终端重新从服务器获取最新的目标图像以及目标图像的历史标记数据。
基于此，在终端接收到用户对目标图像的标识的触发操作后，如果终端查找到本地中存储有目标图像，则在浏览界面中显示目标图像之前可以检查该目标图像的历史标记数据最近一次的更新时间；若更新时间与当前时间之差超过时间阈值，表明终端中保存的目标图像的历史标记数据可能不够准确，则终端从服务器获取目标图像以及最新的历史标记数据，并在浏览界面中显示；若更新时间与当前时间之差在时间阈值内，终端可以直接根据本地数据库中存储的目标图像以及目标图像的历史标记数据进行显示。
步骤S603、接收针对浏览界面中显示的目标图像的操作指令。
步骤S604、如果操作指令对应的操作区域所包括的操作位置位于未标记区域内，则对操作位置对应的检测区域进行操作对象检测得到检测结果，并根据检测结果从目标图像中获取操作指令对应的操作对象。
由前述可知，目标图像中包括已标记区域和未标记区域，如果操作指令对应的操作位置位于未标记区域，用户可能想要为目标图像中还未添加关联信息的对象添加关联信息，还有可能是用户不小心点错。如果一旦检测到用户输入了操作指令便启动执行步骤S604，可能出现用户并不是想要为未添加关联信息的对象添加关联信息，只是不小心输入了操作指令的情况，这样终端消耗了不必要的功耗来确定操作对象。为了节省终端多余的功耗开销，在执行步骤S604之前，终端还可以执行：输出是否添加关联信息的通知信息；如果接收到用户针对该通知信息的确认操作，则执行步骤S604。参考图7为本发明实施例提供的一种终端显示通知信息的示意图，当检测到用户在目标图像中输入了操作指令时，可以输出通知界面，通知界面可包括通知信息，比如“您是否想要添加关联信息”；通知界面中还可以包括确认按钮和取消按钮。如果用户点击了确认按钮，则执行步骤S604；如果用户点击了取消按钮，则可不执行步骤S604。
在一个实施例中，所述对操作位置对应的检测区域进行操作对象检测得到检测结果，包括：将所述检测区域进行灰度处理，并对灰度处理后的检测区域进行直线检测，得到所述检测区域包括的直线；采用预设直线方程对所述检测区域包括的直线进行方程化处理，得到所述检测区域包括的直线方程；根据所述直线方程和直线筛选条件确定所述检测区域包括的目标直线；将所述目标直线延长并进行所述目标直线之间的相交检测和包含关系检测得到检测结果。
在一个实施例中，可以采用直线检测算法对灰度处理后的检测区域进行直线检测，常见的直线检测算法可包括霍夫Hough直线检测算法、Freeman直线检测算法以及尺蠖蠕行算法等。霍夫直线检测算法的抗干扰能力强，对图像中直线的残缺部分、噪声以及其它共存的非直线结构不敏感，能容忍特征边界描述中的间隙，并且相对不受图像噪声的影响，基于此，霍夫直线检测算法是最常用的直线检测算法之一，本发明实施例中也可以采用霍夫直线检测算法对检测区域进行直线检测。所述霍夫直线检测算法在对检测区域进行直线检测时大体可包括如下步骤：1)对灰度处理后的检测区域进行去噪处理，去除检测区域包括的噪声；2)进一步的对去噪处理后的检测区域进行边缘化处理；3)二值化(判断检测区域中某个像素是否为边缘点，可以通过该像素的灰度值确定，灰度值为255则表明该像素为边缘点)；4)映射到霍夫空间，过滤掉干扰直线，最后得到检测区域包括的直线。
参考图8a，为本发明实施例提供的一种对检测区域进行直线检测的示意图，假设目标图像为漫画图像，漫画图像包括多个漫画格，假设801表示根据操作位置从目标图像中确定出的检测区域，对该检测区域采用霍夫直线检测方法进行直线检测，得到检测区域包括的所有直线，802表示直线检测后的检测区域，802中的所有加粗直线表示检测区域包括的直线。
在一个实施例中，如果对检测区域进行直线检测后得到的直线数量过多，终端在根据检测结果确定操作对象时需要消耗过多的功耗，为了节省功耗开销，提高终端对操作对象的检测效率，本发明实施例中，通过对检测区域进行直线检测的得到直线后，对得到的所有直线进行筛选处理得到满足筛选条件的目标直线。具体实现中，采用预设的直线方程对检测得到的直线进行方程化处理，本发明实施例中采用的直线方程可以为y＝kx+b，其中，y表示某直线对应的直线方程，k表示某直线的斜率，b表示该直线的截距。采用上述公式可以得到检测区域中各个直线对应的直线方程。进一步的，设置筛选条件并将满足筛选条件的直线进行合并或者删除，最后得到目标直线。筛选条件可以为：将预设范围内直线方程类似的直线统一合并为一条直线，并且删除直线方程包含直线数量小于数量阈值的直线。其中，所述预设范围可以根据目标图像中各个对象的尺寸确定，假设目标图像中包括的各个对象的评论尺寸为长度为A，宽度为B，则可以设置预设范围为长度为A，宽度为B的一个矩形范围。数量阈值可以根据需要设置为2,4,5等任意数量。上述只是本发明实施例列举的可行的筛选条件，在实际应用中也可以根据实际需求设置筛选条件。
在一个实施例中，所述直线方程类似可以指直线方程之间，斜率相同，截距之间的差值在预设差值范围，比如直线方程y1＝5x+b1和直线方程y2＝5x+b2，斜率相同，如果b2和b1之间的差值在预设差值范围内，则确定这两个直线方程为类似的直线方程。删除直线方程包含直线数量小于数量阈值可以指：针对某个直线方程而言，与其类似的直线方程的数量小于数量阈值，则可删除直线方程对应的直线。
参考图8b，为本发明实施例提供的一种直线筛选的示意图，802表示经过直线处理后的检测区域，检测区域了可包括多个直线，假设筛选条件为：将预设范围内直线方程类似的直线统一合并为一条直线，并且删除直线方程包含直线数量小于数量阈值的直线，比如在802中直线A和直线B的斜率相同，截距之差在预设差距内，将A和B统一为一条直线C；再如，与直线D具有相类似直线方程的直线只有E，则删除直线E和直线D。依照上述，对802中包括的直线进行筛选，得到筛选后的检测区域803，803中包括的直线为目标直线。
进一步的，对目标直线进行延长，并进行直线之间的相交检测和包含关系检测，得到检测结果。具体实现中，将目标直线延长，目标直线相互相交，将每相邻的四个相交点组成一个矩形框；检测各个矩形之间的包含关系，从存在包含关系的矩形框中删除被包含的矩形框，最后得到检测结果。
参考图8c所示，为本发明实施例提供的一种相交和包含关系检测的示意图，在图8c中，803表示经过筛选条件筛选后的检测区域，803中包括多条目标直线，将803中的所有目标直线延长并进行相交检测，得到多个矩形框如804所示(804中只示出一部分矩形框)；然后从存在包含关系的矩形框中删除被包含的矩形框，假设804中矩形框ABCD包含在矩形框AEFD中，则删除矩形框ABCD，依照此法，得到检测结果。
在一个实施例中，得到检测结果后，可以根据检测结果获取操作指令对应的操作对象，具体的实施方式可参考图2实施例中相关步骤的描述，在此不再赘述。
步骤S605、显示操作对象对应的关联信息录入界面，并检测在操作对象对应的关联信息录入界面录入的关联信息。
步骤S606、将录入的关联信息和操作对象的属性信息关联存储并在操作对象上显示已添加关联信息的标记。
由前述可知，根据操作指令的不同，根据检测结果获取操作指令对应的操作对象的方式，获取到的操作对象也不同。针对不同的操作对象，操作对象对应的关联信息录入界面也可能不同，最后在操作对象上显示的已添加关联信息标记也不同。下面通过图9a和图9b介绍不同操作对象对应的录入信息界面以及已添加关联信息的标记。
参考图9a，为本发明实施例提供的一种为单一对象添加关联信息的示意图，假设目标图像为漫画图像，漫画图像包括多个漫画格，单一对象可以指漫画格中的任意一个。如果用户在目标图像中输入的操作指令为点击操作，点击操作位置在901，则终端通过步骤S604确定操作指令对应的操作对象为902，可高亮显示902并显示操作对象902对应的关联信息录入界面。关联信息录入界面可包括关联信息录入框903和退出按钮904，用户通过关联信息录入框903输入操作对象902的关联信息，比如“奥可爱”，然后点击退出按钮904退出关联信息录入界面，返回浏览界面；在浏览界面中显示操作对象902已添加关联信息的标记，比如框选出操作对象902，并在右下角显示关联信息的数量。
参考图9b，为本发明实施例提供的一种为组合对象添加关联信息的示意图，假设目标图像为漫画图像，漫画图像包括多个漫画格，组合对象可以两个或多个漫画格的组合。如果用户在目标图像中输入的操作指令为框选操作，操作区域为框选区域B，假设通过步骤S604得到操作对象为C和D，则将C和D组合在一起作为操作指令对应的操作对象，高亮显示操作对象并显示操作对象对应的关联信息录入界面；用户可以通过关联信息录入界面中的关联信息录入框903录入关联信息，并点击退出按钮904退出关联信息录入界面，返回浏览界面；在浏览界面中在操作对象上显示已添加关联信息的标记，比如框选出C和D，并在右下角显示关联信息的数量。
步骤S607、如果操作指令对应的操作位置位于已标记区域内，则获取已标记区域内已标记对象对应的历史关联信息。
其中，已标记区域可以指目标图像中的任意一个已标记区域，该已标记区域包括已标记对象，该已标记对象可以是单一对象，也可以由多个单一对象组合得到的组合对象。可选的，操作指令对应的操作位置位于已标记区域内，表明用户想要查看该已标记区域内已标记对象的关联信息或者为已标记对象添加关联信息，此时终端可获取已标记区域内已标记对象对应的历史关联信息，并在已标记对象对应的关联信息录入界面中显示该历史关联信息。所述已标记对象对应的历史关联信息可以是其他用户在浏览目标图像时为已标记对象添加的。
由前述可知，该已标记对象可以是一个单一对象，也可以是由多个单一对象组合得到的组合对象，如果已标记对象为组合对象，则已标记对象中包括的两个单一对象即为一个整体，后续无论用户的操作指令落入哪个单一对象上，均认为是针对该已标记对象的操作指令。
步骤S608、显示已标记对象对应的关联信息录入界面，并在已标记对象对应的关联信息录入界面显示历史关联信息。
步骤S609、当在已标记对象对应的关联信息录入界面中检测到新的关联信息时，将新的关联信息添加为已标记对象对应的历史关联信息。
在一个实施例中，已标记对象对应的关联信息录入界面中可包括关联信息显示区域、关联信息录入框以及退出按钮，终端在获取到已标记对象的历史关联信息之后，可以在关联信息显示区域显示历史关联信息。如果用户想要为该已标记对象添加关联信息，则可以在关联信息输入框中输入想要添加的关联信息，该新添加的关联信息被添加到已标记对象对应的历史关联信息中。
参考图10，为本发明实施例提供的一种查看已标记对象的关联信息的示意图，在图10中假设目标图像为漫画图像，漫画图像包括的多个漫画格称为目标图像包括的对象，1001和1002表示目标图像中已标记对象，其中，1001是一个单一对象，1002是由两个单一对象组成的组合对象。两个已标记对象均对应有已添加关联信息的标记，如图10所述两个已标记对象用虚线框框出，并且在虚线框的右下角有该已标记对象对应的历史关联信息的数量，1001对应的关联信息的数量为5个，1002对应的关联信息的数量为2个。如果用户在1002的任意一个对象上输入了操作指令则确定用户在已标记对象1002上输入了操作指令，终端显示已标记对象1002对应的关联信息录入界面，在关联信息录入界面中显示已标识对象对应的历史关联信息如1003所示。用户可以在关联信息录入界面输入新的关联信息，如果用户不想查看关联信息，可以通过关联信息录入界面的退出按钮返回到浏览界面。
本发明实施例终端获取目标图像以及目标图像对应的历史标记数据，在浏览界面中显示目标图像并根据已标记对象在目标图像中的位置标示和历史关联信息的数量为已标记对象添加关联信息的标记。当接收到针对浏览界面中显示的目标图像的操作指令时，判断该操作指令落入未标记区域内，还是落入已标记区域内。如果落入未标记区域内，则对操作位置对应的检测区域进行操作对象检测得到检测结果，并根据检测结果从目标图像中获取操作指令对应的操作对象；进一步的显示操作对象对应的关联信息录入界面，检测在操作对象对应的关联信息录入界面录入的关联信息，将录入的关联信息和操作对象的标识关联存储并在操作对象上显示已添加关联信息的标记。如果操作指令落入已标记区域内，则获取已标记区域内已标记对象对应的历史关联信息显示已标记对象对应的关联信息录入界面，并在已标记对象对应的关联信息录入界面显示历史关联信息。、当在已标记对象对应的关联信息录入界面中检测到新的关联信息时，将新的关联信息添加为已标记对象对应的历史关联信息。在上述图像处理过程中，终端可以根据用户输入操作指令的位置自动地选择显示已标记对象的关联信息，还是显示为操作对象添加关联信息，实现了根据用户的操作指令对目标图像中一部分进行处理，提高了图像处理的针对性。
基于上述的图像处理方法的实施例，本发明实施例还提供了一种图像处理装置。参考图11，为本发明实施例提供的一种图像处理装置的结构示意图，图11所示的图像处理装置可运行如下单元：
接收单元1101，用于接收针对浏览界面中显示的目标图像的操作指令；
处理单元1102，用于如果所述操作指令对应的操作区域所包括的操作位置位于未标记区域内，则对所述操作位置对应的检测区域进行操作对象检测得到检测结果；
获取单元1103，用于根据所述检测结果从所述目标图像中获取所述操作指令对应的操作对象；
显示单元1104，用于显示所述操作对象对应的关联信息录入界面；
所述处理单元1102，还用于检测在所述操作对象对应的关联信息录入界面录入的关联信息；
存储单元1105，用于将录入的关联信息和所述操作对象的属性信息关联存储到数据库中；
所述显示单元1104，还用于在所述操作对象上显示已添加关联信息的标记。
在一个实施例中，所述获取单元1103在根据所述检测结果从所述目标图像中获取所述操作指令对应的操作对象时，执行如下操作：如果所述检测结果指示所述检测区域包括至少一个候选对象，则根据所述操作位置和每个候选对象的属性信息从所述至少一个候选对象中获取所述操作指令对应的操作对象，所述属性信息包括位置信息和尺寸信息；如果所述检测结果指示所述检测区域不包括候选对象，则将所述目标图像确定为所述操作指令对应的操作对象。
在一个实施例中，所述操作指令包括用于为单一对象添加关联信息的第一操作指令；或者，所述操作指令包括用于为组合对象添加关联信息的第二操作指令。
在一个实施例中，操作指令包括用于为单一对象添加关联信息的第一操作指令，所述获取单元1103在根据所述操作位置和每个候选对象的属性信息从所述至少一个候选对象中获取所述操作指令对应的操作对象时，执行如下操作：根据所述操作位置和每个候选对象的属性信息确定所述至少一个候选对象中是否存在包括所述操作位置的候选对象；如果存在，则将包括所述操作位置的候选对象确定为操作对象；如果不存在，则将与所述操作位置之间的距离小于距离阈值的候选对象确定为操作对象。
在一个实施例中，所述操作指令包括用于为组合对象添加关联信息的第二操作指令，所述获取单元1103在根据所述操作位置和每个候选对象的属性信息从所述至少一个候选对象中获取所述操作指令对应的操作对象时，执行如下操作：根据所述操作位置和每个候选对象的属性信息选择所述至少一个候选对象中与所述检测区域存在重叠的候选对象，并将选择的候选对象确定为所述操作指令对应的操作对象。
在一个实施例中，所述处理单元1102在述对所述操作位置对应的检测区域进行操作对象检测得到检测结果时，执行如下操作：将所述检测区域进行灰度处理，并对灰度处理后的检测区域进行直线检测，得到所述检测区域包括的直线；采用预设直线方程对所述检测区域包括的直线进行方程化处理，得到所述检测区域包括的直线方程；根据所述直线方程和直线筛选条件确定所述检测区域包括的目标直线；将所述目标直线延长并进行所述目标直线之间的相交检测和包含关系检测得到检测结果。
在一个实施例中，所述关联信息录入界面包括关联信息录入框和退出按钮，所述退出按钮被触发时结束显示所述关联信息录入界面，所述关联信息是在所述关联信息录入框中检测得到的。
在一个实施例中，所述目标图像还包括已标记区域，所述已标记区域包括已添加关联信息标记的已标记对象，所述获取单元1103还用于获取所述目标图像以及所述目标图像对应的历史标记数据，所述历史标记数据包括已标记对象在所述目标图像中的属性信息和所述已标记对象对应的历史关联信息；所述显示单元1104还用于在浏览界面中显示所述目标图像并根据所述已标记对象在所述目标图像中的属性信息和所述历史关联信息为所述已标记对象添加已添加关联信息的标记。
在一个实施例中，所述获取单元1103还用于如果所述操作指令对应的操作区域所包括的操作位置位于所述已标记区域内，则获取所述已标记区域内已标记对象对应的历史关联信息；所述显示单元1104还用于显示所述已标记对象对应的关联信息录入界面，并在所述已标记对象对应的关联信息录入界面显示所述历史关联信息；所述处理单元1102还用于当在所述已标记对象对应的关联信息录入界面中检测到新的关联信息时，将所述新的关联信息添加为所述已标记对象对应的历史关联信息。
在一个实施例中，若所述操作对象位于所述已标记区域内，所述操作对象包括已标记对象，则所述显示单元1104还用于在所述操作对象对应的关联信息录入界面中显示所述操作对象对应的历史关联信息。
根据本发明的一个实施例，图2和图6所示的图像处理方法所涉及各个步骤可以是由图11所示的图像处理装置中的各个单元来执行的。例如，图2所述的步骤S201可由图11中所述的图像处理装置中的接收单元1101来执行，步骤S202可由图11中所述的图像处理装置中处理单元1102和获取单元1103来执行，步骤S203可由图11所示的图像处理装置中的显示单元1104和处理单元1102来执行，步骤S204可由图11所示的图像处理装置中的显示单元1104和存储单元1105来执行；又如，图6中所示的步骤S601可由图11所示的图像处理装置中的获取单元1103来执行。步骤S602可由图11所示的图像处理装置中的显示单元1104来执行，步骤S603可由图11所示的图像处理装置中的接收单元1101来执行，步骤S604可由图11所示的图像处理装置中的处理单元1102和获取单元1103来执行，步骤S605可由图11所示的图像处理装置中的显示单元1104和处理单元1102来执行，步骤S606可由图11所示的图像处理装置中的存储单元1105和处理单元1102来执行，步骤S607可由图11所示的图像处理装置中的获取单元1103来执行，步骤S608可由图11所示的图像处理装置中的显示单元1104来执行，步骤S609可由图11所示的图像处理装置中的处理单元1102来执行。
根据本发明的另一个实施例，图11所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本发明的其它实施例中，基于图像处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
根据本发明的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图6中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图11中所示的图像处理装置，以及来实现本发明实施例图像处理方法。所述计算机程序可以记载于例如计算机可读存储介质上，并通过计算机可读存储介质装载于上述计算设备中，并在其中运行。
本发明实施例中接收到针对浏览界面中显示的目标图像的操作指令，如果所述操作指令对应的区域所包括的操作位置位于未标记区域内，则对操作位置对应的检测区域进行操作对象检测得到检测结果，并根据所述检测结果从目标图像中获取操作指令对应的操作对象；进一步的，显示操作对象对应的关联信息录入界面，并检测在操作对象对应的关联信息录入界面录入的关联信息；将录入的关联信息和所述操作对象的属性信息关联存储并在所述操作对象上显示已添加关联信息的标记。应当理解的，操作对象是通过对检测区域进行检测确定的，检测区域是目标图像上的一部分，因此操作对象是目标图像包括的一部分。在上述图像处理过程中，可以根据用户的操作自动地识别出目标图像上与用户操作对应的目标图像中的一部分并进行相应处理，丰富了对图像处理的方式，并且增强了图像处理的针对性。
基于上述的方法实施例以及装置实施例，本发明实施例还提供了一种终端，参考图12，为本发明实施例提供的一种终端的结构示意图，图12所示的终端中可至少包括处理器1201、输入接口1202、输出接口1203以及计算机存储介质1204。其中，处理器1201、输入接口1202、输出接口1203以及计算机存储介质1204可通过总线或其他方式连接。
计算机存储介质1204可以存储在节点设备的存储器中，所述计算机存储介质1204用于存储计算机程序，所述计算机程序包括程序指令，所述处理器1201用于执行所述计算机存储介质1204存储的程序指令。处理器1201(或称CPU(Central Processing Unit，中央处理器))是终端的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能；在一个实施例中，本发明实施例所述的处理器1201可用于执行：接收针对浏览界面中显示的目标图像的操作指令；如果所述操作指令对应的操作区域所包括的操作位置位于未标记区域内，则对所述操作位置对应的检测区域进行操作对象检测得到检测结果，并根据所述检测结果从所述目标图像中获取所述操作指令对应的操作对象；显示所述操作对象对应的关联信息录入界面，并检测在所述操作对象对应的关联信息录入界面录入的关联信息；将录入的关联信息和所述操作对象的属性信息关联存储到数据库中，并在所述操作对象上显示已添加关联信息的标记。
本发明实施例还提供了一种计算机存储介质(Memory)，所述计算机存储介质是节点设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括终端中的内置存储介质，当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器1201加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中，可由处理器1201加载并执行计算机存储介质中存放的一条或多条指令，以实现上述有关图像处理方法实施例中的方法的相应步骤，具体实现中，计算机存储介质中的一条或多条指令由处理器1201加载并执行如下步骤：接收针对浏览界面中显示的目标图像的操作指令；如果所述操作指令对应的操作区域所包括的操作位置位于未标记区域内，则对所述操作位置对应的检测区域进行操作对象检测得到检测结果，并根据所述检测结果从所述目标图像中获取所述操作指令对应的操作对象；显示所述操作对象对应的关联信息录入界面，并检测在所述操作对象对应的关联信息录入界面录入的关联信息；将录入的关联信息和所述操作对象的属性信息关联存储到数据库中，并在所述操作对象上显示已添加关联信息的标记。
在一个实施例中，所述处理器1201在根据所述检测结果从所述目标图像中获取所述操作指令对应的操作对象时，执行如下操作：如果所述检测结果指示所述检测区域包括至少一个候选对象，则根据所述操作位置和每个候选对象的属性信息从所述至少一个候选对象中获取所述操作指令对应的操作对象，所述属性信息包括位置信息和尺寸信息；如果所述检测结果指示所述检测区域不包括候选对象，则将所述目标图像确定为所述操作指令对应的操作对象。
在一个实施例中，所述操作指令包括用于为单一对象添加关联信息的第一操作指令；或者，所述操作指令包括用于为组合对象添加关联信息的第二操作指令。
在一个实施例中，所述操作指令包括用于为单一对象添加关联信息的第一操作指令，所述处理器1201在根据所述操作位置和每个候选对象的属性信息从所述至少一个候选对象中获取所述操作指令对应的操作对象时，执行如下操作：根据所述操作位置和每个候选对象的属性信息确定所述至少一个候选对象中是否存在包括所述操作位置的候选对象；如果存在，则将包括所述操作位置的候选对象确定为操作对象；如果不存在，则将与所述操作位置之间的距离小于距离阈值的候选对象确定为操作对象。
在一个实施例中，所述操作指令包括用于为组合对象添加关联信息的第二操作指令，所述处理器1201在根据所述操作位置和每个候选对象的属性信息从所述至少一个候选对象中获取所述操作指令对应的操作对象时，执行如下操作：根据所述操作位置和每个候选对象的属性信息选择所述至少一个候选对象中与所述检测区域存在重叠的候选对象，并将选择的候选对象确定为所述操作指令对应的操作对象。
在一个实施例中，所述处理器1201在对所述操作位置对应的检测区域进行操作对象检测得到检测结果时，执行如下操作：将所述检测区域进行灰度处理，并对灰度处理后的检测区域进行直线检测，得到所述检测区域包括的直线；采用预设直线方程对所述检测区域包括的直线进行方程化处理，得到所述检测区域包括的直线方程；根据所述直线方程和直线筛选条件确定所述检测区域包括的目标直线；将所述目标直线延长并进行所述目标直线之间的相交检测和包含关系检测得到检测结果。
在一个实施例中，所述关联信息录入界面包括关联信息录入框和退出按钮，所述退出按钮被触发时结束显示所述关联信息录入界面，所述关联信息是在所述关联信息录入框中检测得到的。
在一个实施例中，所述目标图像还包括已标记区域，所述已标记区域包括已添加关联信息标记的已标记对象，所述处理器1201还用于：获取所述目标图像以及所述目标图像对应的历史标记数据，所述历史标记数据包括已标记对象在所述目标图像中的属性信息和所述已标记对象对应的历史关联信息；在浏览界面中显示所述目标图像并根据所述已标记对象在所述目标图像中的属性信息和所述历史关联信息为所述已标记对象添加已添加关联信息的标记。
在一个实施例中，所述处理器1201还用于：如果所述操作指令对应的操作区域所包括的操作位置位于所述已标记区域内，则获取所述已标记区域内已标记对象对应的历史关联信息；显示所述已标记对象对应的关联信息录入界面，并在所述已标记对象对应的关联信息录入界面显示所述历史关联信息；当在所述已标记对象对应的关联信息录入界面中检测到新的关联信息时，将所述新的关联信息添加为所述已标记对象对应的历史关联信息。
在一个实施例中，若所述操作对象位于所述已标记区域内，所述操作对象包括已标记对象，所述处理器1201还用于：在所述操作对象对应的关联信息录入界面中显示所述操作对象对应的历史关联信息。
本发明实施例中接收到针对浏览界面中显示的目标图像的操作指令，如果所述操作指令对应的区域所包括的操作位置位于未标记区域内，则对操作位置对应的检测区域进行操作对象检测得到检测结果，并根据所述检测结果从目标图像中获取操作指令对应的操作对象；进一步的，显示操作对象对应的关联信息录入界面，并检测在操作对象对应的关联信息录入界面录入的关联信息；将录入的关联信息和所述操作对象的属性信息关联存储并在所述操作对象上显示已添加关联信息的标记。应当理解的，操作对象是通过对检测区域进行检测确定的，检测区域是目标图像上的一部分，因此操作对象是目标图像包括的一部分。在上述图像处理过程中，可以根据用户的操作自动地识别出目标图像上与用户操作对应的目标图像中的一部分并进行相应处理，丰富了对图像处理的方式，并且增强了图像处理的针对性。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (12)

1.一种图像处理方法，其特征在于，包括：
接收针对浏览界面中显示的目标图像的操作指令；其中，所述操作指令包括用于为所述目标图像中的单一对象或由多个对象组成的组合对象添加关联信息的操作指令；
如果所述操作指令对应的操作区域所包括的操作位置位于未标记区域内，则对所述操作位置对应的检测区域进行操作对象检测得到检测结果，并根据所述检测结果从所述目标图像中获取所述操作指令对应的操作对象，并用预设形状在所述目标图像中框出所述操作对象或者高亮显示所述操作对象，所述操作对象为所述目标图像中的对象；其中，若所述操作指令是用于为所述目标图像中的单一对象添加关联信息的操作指令，所述操作指令对应的操作区域和操作位置为相同的位置点，若所述操作指令是用于为所述目标图像中由多个对象组成的组合对象添加关联信息的操作指令，则所述操作指令对应的操作区域为框选区域，所述操作区域所包括的操作位置为所述框选区域的中心点位置；
显示所述操作对象对应的关联信息录入界面，并检测在所述操作对象对应的关联信息录入界面录入的关联信息；
将录入的关联信息和所述操作对象的属性信息关联存储，并在所述操作对象上显示已添加关联信息的标记，所述标记包括所述操作对象对应的关联信息的数量；
如果所述操作指令对应的操作区域所包括的操作位置位于已标记区域内，则获取所述已标记区域内已标记对象对应的历史关联信息，显示所述已标记对象对应的关联信息录入界面，并在所述已标记对象对应的关联信息录入界面显示所述历史关联信息。
2.如权利要求1所述的方法，其特征在于，所述根据所述检测结果从所述目标图像中获取所述操作指令对应的操作对象，包括：
如果所述检测结果指示所述检测区域包括至少一个候选对象，则根据所述操作位置和每个候选对象的属性信息从所述至少一个候选对象中获取所述操作指令对应的操作对象，所述属性信息包括位置信息和尺寸信息；
如果所述检测结果指示所述检测区域不包括候选对象，则将所述目标图像确定为所述操作指令对应的操作对象。
3.如权利要求1所述的方法，其特征在于，所述操作指令包括用于为所述目标图像中的单一对象添加关联信息的操作指令，所述根据所述操作位置和每个候选对象的属性信息从所述至少一个候选对象中获取所述操作指令对应的操作对象，包括：
根据所述操作位置和每个候选对象的属性信息确定所述至少一个候选对象中是否存在包括所述操作位置的候选对象；
如果存在，则将包括所述操作位置的候选对象确定为操作对象；
如果不存在，则将与所述操作位置之间的距离小于距离阈值的候选对象确定为操作对象。
4.如权利要求1所述的方法，其特征在于，所述操作指令包括用于为所述目标图像中由多个对象组成的组合对象添加关联信息的操作指令，所述根据所述操作位置和每个候选对象的属性信息从所述至少一个候选对象中获取所述操作指令对应的操作对象，包括：
根据所述操作位置和每个候选对象的属性信息选择所述至少一个候选对象中与所述检测区域存在重叠的候选对象，并将选择的候选对象确定为所述操作指令对应的操作对象。
5.如权利要求1所述的方法，其特征在于，所述对所述操作位置对应的检测区域进行操作对象检测得到检测结果，包括：
将所述检测区域进行灰度处理，并对灰度处理后的检测区域进行直线检测，得到所述检测区域包括的直线；
采用预设直线方程对所述检测区域包括的直线进行方程化处理，得到所述检测区域包括的直线方程；
根据所述直线方程和直线筛选条件确定所述检测区域包括的目标直线；
将所述目标直线延长并进行所述目标直线之间的相交检测和包含关系检测得到检测结果。
6.如权利要求1所述的方法，其特征在于，所述关联信息录入界面包括关联信息录入框和退出按钮，所述退出按钮被触发时结束显示所述关联信息录入界面，所述关联信息是在所述关联信息录入框中检测得到的。
7.如权利要求1所述的方法，其特征在于，所述目标图像还包括已标记区域，所述已标记区域包括已添加关联信息标记的已标记对象，所述接收针对浏览界面中显示的目标图像的操作指令之前，所述方法还包括：
获取所述目标图像以及所述目标图像对应的历史标记数据，所述历史标记数据包括已标记对象在所述目标图像中的属性信息和所述已标记对象对应的历史关联信息；
在浏览界面中显示所述目标图像并根据所述已标记对象在所述目标图像中的属性信息和所述历史关联信息为所述已标记对象添加已添加关联信息的标记。
8.如权利要求7所述的方法，其特征在于，所述方法还包括：
当在所述已标记对象对应的关联信息录入界面中检测到新的关联信息时，将所述新的关联信息添加为所述已标记对象对应的历史关联信息。
9.如权利要求7所述的方法，其特征在于，若所述操作对象位于所述已标记区域内，所述操作对象包括已标记对象，则所述方法还包括：
在所述操作对象对应的关联信息录入界面中显示所述操作对象对应的历史关联信息。
10.一种图像处理装置，其特征在于，包括：
接收单元，用于接收针对浏览界面中显示的目标图像的操作指令；其中，所述操作指令包括用于为所述目标图像中的单一对象或由多个对象组成的组合对象添加关联信息的操作指令；
处理单元，用于如果所述操作指令对应的操作区域所包括的操作位置位于未标记区域内，则对所述操作位置对应的检测区域进行操作对象检测得到检测结果；其中，若所述操作指令是用于为所述目标图像中的单一对象添加关联信息的操作指令，所述操作指令对应的操作区域和操作位置为相同的位置点，若所述操作指令是用于为所述目标图像中由多个对象组成的组合对象添加关联信息的操作指令，则所述操作指令对应的操作区域为框选区域，所述操作区域所包括的操作位置为所述框选区域的中心点位置；
获取单元，用于根据所述检测结果从所述目标图像中获取所述操作指令对应的操作对象；
显示单元，用于以预设形状在所述目标图像中框出所述操作对象或者高亮显示所述操作对象，所述操作对象为所述目标图像中的对象，用于显示所述操作对象对应的关联信息录入界面；
所述处理单元，还用于检测在所述操作对象对应的关联信息录入界面录入的关联信息；
存储单元，用于将录入的关联信息和所述操作对象的属性信息关联存储到数据库中；
所述显示单元，还用于在所述操作对象上显示已添加关联信息的标记，所述标记包括所述操作对象对应的关联信息的数量；
所述获取单元，还用于如果所述操作指令对应的操作区域所包括的操作位置位于已标记区域内，则获取所述已标记区域内已标记对象对应的历史关联信息；
所述显示单元，还用于显示所述已标记对象对应的关联信息录入界面，并在所述已标记对象对应的关联信息录入界面显示所述历史关联信息。
11.一种终端，其特征在于，还包括：
处理器，适于实现一条或多条指令；以及，
计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如权利要求1-9所述的图像处理方法。
12.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序指令，所述计算机程序指令被处理器执行时，用于执行如权利要求1-9任一项所述的图像处理方法。
CN201911186508.4A 2019-11-29 2019-11-29 图像处理方法、装置、终端及存储介质 Active CN110908570B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911186508.4A CN110908570B (zh) 2019-11-29 2019-11-29 图像处理方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911186508.4A CN110908570B (zh) 2019-11-29 2019-11-29 图像处理方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN110908570A CN110908570A (zh) 2020-03-24
CN110908570B true CN110908570B (zh) 2023-01-31

Family

ID=69818849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911186508.4A Active CN110908570B (zh) 2019-11-29 2019-11-29 图像处理方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN110908570B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111552429B (zh) * 2020-04-29 2021-07-23 杭州海康威视数字技术股份有限公司 一种图形选中方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682025A (zh) * 2011-03-16 2012-09-19 中兴通讯股份有限公司 一种浏览器及其实现web图片评论添加和显示的方法
CN107765960A (zh) * 2017-10-24 2018-03-06 中国移动通信集团公司 一种信息提示方法、装置及存储介质
CN108241464A (zh) * 2017-12-13 2018-07-03 深圳市金立通信设备有限公司 一种显示聊天信息的方法、终端及计算机可读存储介质
CN109905775A (zh) * 2019-01-16 2019-06-18 北京奇艺世纪科技有限公司 一种涂鸦弹幕生成及显示方法、装置、终端设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6803989B2 (en) * 1997-07-15 2004-10-12 Silverbrook Research Pty Ltd Image printing apparatus including a microcontroller

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682025A (zh) * 2011-03-16 2012-09-19 中兴通讯股份有限公司 一种浏览器及其实现web图片评论添加和显示的方法
CN107765960A (zh) * 2017-10-24 2018-03-06 中国移动通信集团公司 一种信息提示方法、装置及存储介质
CN108241464A (zh) * 2017-12-13 2018-07-03 深圳市金立通信设备有限公司 一种显示聊天信息的方法、终端及计算机可读存储介质
CN109905775A (zh) * 2019-01-16 2019-06-18 北京奇艺世纪科技有限公司 一种涂鸦弹幕生成及显示方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
CN110908570A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
CN106484266B (zh) 一种文本处理方法及装置
US10346560B2 (en) Electronic blueprint system and method
CN109933322B (zh) 一种页面编辑方法、装置及计算机可读存储介质
US11610054B1 (en) Semantically-guided template generation from image content
US7966558B2 (en) Snipping tool
JP5665125B2 (ja) 画像処理方法、及び、画像処理システム
CN116682130B (zh) 图签信息的提取方法、装置、设备及可读存储介质
US20180268515A1 (en) Information processing method and client
CN111694549B (zh) 数据处理方法、装置、终端及介质
CN112286416A (zh) 信息显示方法、装置和电子设备
CN112882716A (zh) 代码文本处理方法、装置、计算机设备和存储介质
CN112181253A (zh) 信息显示方法、装置和电子设备
CN112612469A (zh) 一种界面元素的处理方法、装置和电子设备
CN112306323A (zh) 应用程序图标显示方法和装置
CN110908570B (zh) 图像处理方法、装置、终端及存储介质
CN118445171A (zh) 页面处理方法、装置、电子设备及存储介质
CN111796736B (zh) 应用程序的分享方法、装置和电子设备
CN106155455B (zh) 界面中对象的控制方法和装置
HK40022529B (zh) 图像处理方法、装置、终端及存储介质
HK40022529A (zh) 图像处理方法、装置、终端及存储介质
CN107451143B (zh) 一种电子文档的阅读方法及阅读系统
CN114385153A (zh) 界面编辑方法、编辑终端及计算机可读存储介质
CN110059281B (zh) 图片显示方法、装置、终端及计算机可读存储介质
CN107025210B (zh) 一种用于wps的文档标签显示方法及装置
EP4254293A1 (en) Program, information processing apparatus, method for processing information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40022529

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant