EP1757155A2 - Procede d'amelioration de services relatifs a des donnees multimedia en telephonie mobile - Google Patents

Procede d'amelioration de services relatifs a des donnees multimedia en telephonie mobile

Info

Publication number
EP1757155A2
EP1757155A2 EP05776444A EP05776444A EP1757155A2 EP 1757155 A2 EP1757155 A2 EP 1757155A2 EP 05776444 A EP05776444 A EP 05776444A EP 05776444 A EP05776444 A EP 05776444A EP 1757155 A2 EP1757155 A2 EP 1757155A2
Authority
EP
European Patent Office
Prior art keywords
image
multimedia data
terminal
service
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP05776444A
Other languages
German (de)
English (en)
Inventor
Frédéric Guichard
Bruno Liege
Jérome MENIERE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dxo Labs SA
Original Assignee
Dxo Labs SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dxo Labs SA filed Critical Dxo Labs SA
Publication of EP1757155A2 publication Critical patent/EP1757155A2/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00318—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a multi-media apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0093—Facsimile machine

Definitions

  • the invention relates to a method for improving the quality of use of at least one service relating to at least one multimedia datum, this service being offered by a service provider and / or a telecommunications operator using a mobile phone terminal.
  • the invention also relates to a mobile telephone terminal implementing this method.
  • Multimedia data means photographs, drawings, text, video, audio, audiovisual or programs.
  • the invention results from the observation that the use of mobile telephony terminals is not very ergonomic when it comes to using these services. For example, when it is a mobile telephone terminal equipped with an image taking apparatus and one wishes to send the photos taken by MMS, it is necessary to execute several operations or functions in succession. each other.
  • the method comprises, according to the invention, the automatic implementation before, and / or during, and / or after the acquisition of multimedia data, several terminal functions necessary for the service, this automatic implementation of terminal functions comprising the following steps:
  • the method further comprising the step, for the user, of choosing a determined scenario from the previously established scenarios.
  • model we mean data which is based on a previous use of the service sent, or being sent, or received or recorded by the user in his terminal in a folder called preferably.
  • the model constitutes all or part of an electronic mail or a card postal already created, sent and received or registered.
  • the user is guided by means of a terminal interface which presents the services accessible to the user via this terminal.
  • At least part of the scenario is prerecorded, for example during a previous use of the service.
  • the characteristics of the multimedia data item are automatically determined according to the service selected.
  • the characteristics of this image which are automatically determined as a function of the service selected are shooting parameters. For example, an image intended for a mobile telephone is made to benefit from a longer exposure time than an image intended for a printing service or for viewing on a computer screen because an image on a screen of Small dimensions such as that of a mobile telephone terminal are much less sensitive to camera shake than a larger image.
  • the multimedia data is also an image
  • the latter is acquired for the provision of at least two services and the characteristics of this image are the shooting parameters which are determined automatically as a function of '' at least one of the two services and the amount of light when shooting so that in low light the image can be used for minus one of the two services.
  • At least two multimedia data are acquired for the provision of at least two services, the characteristics of each multimedia data being adapted to the corresponding service.
  • two images of the same subject can be produced, the characteristics of which differ depending on the use of the image or the end use of the image.
  • This arrangement can be used generally in an image acquisition device in which the use of the image or the final use of the image can be selected and the shooting parameters are selected. automatically depending on the use of the image or the end use.
  • such an image acquisition device includes the possibility of simultaneously taking an image of a subject intended for printing in a determined format such as 10 ⁇ 15 cm and an image of the same subject at full resolution.
  • the image acquisition device allows a resolution of 6 million pixels
  • the full resolution image will of course be taken with 6 million pixels while the image provided for a print in 10x15 format can be taken at a resolution of 2 million pixels.
  • the reduction in resolution can be used to improve other characteristics.
  • the exposure time can be reduced, which reduces the effect of any shake.
  • the processing time is generally proportional to the number of pixels
  • the decrease in resolution frees up a large amount of computing power to reduce noise in low light and extend the range of use in low light.
  • the adaptation of the shooting parameters to the end use makes it possible to choose parameters which can cause non-visible or not very visible defects and to select, in return, parameters making it possible to improve the image.
  • the method comprises, to implement the service, the step of searching for prerecorded multimedia data in the terminal.
  • the method comprises the step of choosing a presentation, or layout, of the multimedia data, for example using a model and / or a presentation parameter.
  • the method comprises the step of providing automatic assistance to the user of the terminal for carrying out an acquisition of the multimedia data, in particular by helping with the framing of an image and / or with quality control. of this image, by providing courses or instructions for acquisition and / or adjustment, or by displaying the final result of the acquisition.
  • the method comprises the step of modifying the multimedia data.
  • the method comprises the step of processing the multimedia data locally, that is to say in the terminal, or remotely, that is to say outside the terminal, in particular in a server.
  • the method comprises the step of choosing a recipient, for example using a link with an address book and / or an automatic entry.
  • the method comprises the step of compressing the multimedia data as a function of at least one characteristic of the network relating to its transmission rate.
  • the method comprises the step of inserting multimedia data relating to text into multimedia data relating to an image, called postcard.
  • the method comprises the step of transmitting multimedia data relating to an image by means of at least one of the following communication modes: fax, telephony, electronic mail.
  • the method comprises the step of managing an album of multimedia data specific to the user, this album being stored in a server accessible to the terminal via the telecommunications network.
  • the method comprises the step of transmitting the multimedia data to a printing service such as a printer.
  • the invention also relates to a mobile telephone terminal in which, to improve the quality of use of at least one service relating to at least one multimedia datum, in particular relating to photographs of video, of audio and / or text, this service being offered by a telecommunications service provider and / or operator, which includes means for the automatic implementation before and / or during and / or after the acquisition of the multimedia data, of several terminal functions necessary for the services, these means comprising:
  • [050] - a means for selecting, among the functions available in the terminal, the functions necessary for the services
  • [051] - a means for automatically and / or manually establishing at least one scenario suitable for the service, this scenario being composed of logically chained sequences of the selected functions, and
  • [052] - a means so that the user can choose a determined scenario from the previously established scenarios.
  • a guide interface presents the services accessible to the user.
  • the terminal comprises means for recording part of the scenario.
  • the terminal comprises means for automatically determining the characteristics of the multimedia data as a function of the service selected.
  • the means for automatically determining the characteristics of the image comprises means for automatically determining the shooting parameters according to the service so, for example, that an image intended to a mobile phone can benefit from a longer exposure time than an image intended for a printing service or for viewing on a computer screen.
  • the terminal comprises means for acquiring an image for the provision of at least two services, and means for the characteristics of this image to be the shooting parameters which are determined automatically by function of at least one of the two services and the amount of light when shooting, so in particular that in low light, the image can be used for at least one of the two services.
  • the terminal comprises means for acquiring at least two multimedia data for the supply of at least two services, and for the characteristics of each multimedia data to be adapted to the corresponding service.
  • the terminal comprises means for searching for a prerecorded multimedia data item in the terminal to implement the service.
  • the terminal comprises means for choosing a presentation or a layout of the multimedia data, for example by using a model and / or a presentation parameter.
  • the terminal comprises means for providing automatic help to the user of the terminal for carrying out an acquisition of the multimedia data, in particular by helping to frame an image and / or to control the quality of 'an image, by providing courses or instructions for acquisition and / or adjustment, or by displaying the final result of the acquisition.
  • the terminal comprises means for modifying the multimedia data.
  • the terminal comprises means for processing the multimedia data locally, that is to say in the terminal, or remotely, that is to say outside the terminal.
  • the terminal comprises means for choosing a recipient, for example using a link with an address book and / or an automatic entry.
  • the terminal comprises means for compressing the multimedia data as a function of at least one characteristic of the network relating to its transmission rate.
  • the terminal comprises means for inserting multimedia data relating to text in multimedia data relating to an image, called postcard.
  • the terminal comprises means for transmitting multimedia data relating to an image by means of at least one of the following modes of communication: fax, telephony, electronic mail.
  • the terminal comprises means for managing an album of multimedia data specific to the user, this album being stored in a server accessible to this terminal via the telecommunications network.
  • the terminal comprises means for transmitting the multimedia data to a printing service such as a printer.
  • FIG. 9, 10, 9a and 10a are charts making it possible to choose, in accordance with the invention, a compression rate and a sampling rate, and [073] the figure 11 is a diagram illustrating other steps of the method according to the invention. [074] The examples described relate mainly to a mobile telephone terminal equipped with a camera sometimes called a photophone or a camcorder. [075] Use of services
  • the image quality is limited by the constraints of space, power consumption and cost of mobile terminals.
  • the quality is variable depending on the type of terminal and requires specific image processing.
  • the quality of an image depends on how you look at it. In particular on a small screen many defects are invisible while they become visible on a print or a larger screen.
  • the images are strongly compressed to fit within the authorized bandwidth, which produces artifacts during the decompression necessary to display or print the images.
  • These are particularly troublesome drawbacks which slow down the development of the use of photo services with a mobile telephone terminal because these services are much less efficient than those linked to autonomous photographic cameras.
  • the computation time for improving the images is generally proportional to the size of the image, that is to say to the number of pixels. [089] Improving the quality of the image consumes a great deal of computing time and therefore electrical energy.
  • the power of the processors embedded in the terminals increases more slowly than the number of pixels of the sensors.
  • the computing power is limited and variable depending on the type of terminal.
  • Access to computing power is variable depending on the type of terminal: some terminals are open to code written in C ++, others only to Java code (much slower for image processing than C ++ ), others are not open. [092] The size of the local storage is limited.
  • the size of the transmission pipes is limited. In France it is 50kb per message and is gradually increasing to 100kb. [094] The images systematically pass through a server for the various services.
  • the invention improves the image quality and / or improves the ergonomics of use.
  • the method according to the invention takes place before the shooting and / or during the shooting and / or after the shooting.
  • FIG. 1 we start from an image 100, or, more generally, from multimedia data, and we determine a first fraction 102 of this data which must be processed in mobile phone 110 and a second fraction 104 of image 100 which must be processed in a remote server 112.
  • the processing of all of the multimedia data is divided so that a first fraction of the processing is carried out in the terminal 110 and that a second fraction of the processing is carried out in the server 112.
  • the multimedia data 120 is stored without additional compression or at low additional compression in the remote server 112. It is compressed for its transmission to the mobile telephone 110. It is also subjected to a processing as a function of the service to be provided to this telephone 110 or requested by this telephone 110.
  • the data 120 is assigned a marking 122 linked to this data. This marking is transmitted with the data from the server to the terminal 110 in order to allow the subsequent use of the same original data 120 uncompressed when it is required by the mobile terminal or another mobile terminal.
  • a mobile terminal receives an image and wants to transmit it to another mobile terminal, to avoid the degradations due to compression and successive decompressions, thanks to the marking, it is possible to find the multimedia data with its quality d origin in server 112.
  • An identity photo service includes, in one embodiment, the following steps: [136] - Shooting with framing assistance.
  • This framing aid can be adapted to the country's standards for official documents.
  • the framing aid makes it possible to segment the image to more easily carry out the checks below.
  • Control of the respect of the rules are for example: the control of the uniformity of the background, the control of the color of the background, the control if the background is clear enough, the control of the presence of shadow on the background, control of the lighting of the face (which must not be too dark), the control of the absence of a hat or veil, the control of the absence of accessories, the control of the proportions of the face, the control that the face is of face and not of profile.
  • Control can be automatic and / or manual.
  • the correction is automatic, and / or the correction is carried out manually by an operator, for example cleaning the background, otherwise a message is returned to the user, preferably quickly so that he can retake the photo.
  • This message indicates for example how to take a photo without the defect.
  • This service can be adapted to the rules of a country for official documents.
  • [161] - Security and identification or authentication Signature the written signature (added to a number generated by a server for example) can be used for authentication. The photo can also be used for authentication.
  • - Professional services Quotation: The seller coming to establish a quote sometimes needs to consult a specialist. The cameraphone provides a means of consulting the installer / supplier when drawing up the estimate. For example, an installer of roller shutter motors can consult an installer to determine the complexity of dismantling.
  • Metadata data associated with the multimedia data and corresponding to information relating to the format of the file containing the multimedia data, and / or information relating to the compression, and / or the origin of the data, and / or the acquisition characteristics.
  • acquisition parameters such as focal length, aperture and exposure time
  • results of a calculation obtained from the multimedia data for example the number of pixels.
  • Image processing can be done in various ways:
  • the layout can be done locally or remotely:
  • a method and system is thus obtained for improving the quality of use of a service, implementing at least one processing, relating to at least one multimedia data item, in particular relating to photos, and / or video. , and / or audio, and / or text, this service being offered by a telecommunications service provider and / or operator on a user's mobile phone via a network.
  • this method is suitable for overcoming the limitations resulting from at least one factor, affecting the quality of use, such as: [188] - the size of the multimedia data, and / or
  • the method comprises the following steps:
  • This method can also comprise the following steps:
  • [207] - define by means of a format instructions relating to the remote processing
  • These instructions may include:
  • the method further comprises the step, for the server, of transmitting the result of the execution of the instructions to the beneficiary of the service.
  • Service means in particular:
  • Processing also called correction, means in particular:
  • IT resources include:
  • identifier is meant in particular:
  • [250] Remove or reduce all or part of the defects in the camera and / or the camera: exposure, lighting, geometric distortion, chromatic aberration, vignetting, blurring, astigmatism, white balance, saturation , demosa ⁇ sation, noise, camera shake, focus blur, compression artifact, deblocking artifact, other processing artifact, aliasing artifact (aliasing).
  • the formatting data must be independent of the physical format in order to allow printing in several formats.
  • the size and position of text and image elements are determined downstream.
  • This content can be transmitted in the form of an address and / or metadata.
  • the content can be described by a format.
  • This format can be open (standard and / or extensible); it can be an extension of the MMS smil format. It must be compatible with any type of transport protocol (MMS, http, wap, email %) and therefore compatible with existing networks.
  • a standard Jpeg compression program is used, which is implemented in all telephones; however, another format can also be used.
  • the stages of image processing are as follows: [293] - Possibly preprocessing.
  • the message can be intended for a third party and / or used on the sending terminal for example for viewing the result or obtaining advice.
  • a standard Jpeg compression program is installed installed in all the terminals; however, another format can also be used.
  • the image processing steps are as follows: [301] a) Possibly preprocessing.
  • the remote server also called correction server can be located:
  • Telecommunication operators limit the size of messages transmitted, for example by MMS.
  • the size of an image file depends on the content of the image. At a given number of pixels and a given perceived quality level, an image which contains a lot of details will produce a larger file than an image containing less details.
  • the images follow the following path:
  • the terminal has limited computing power and exchanges are slow. The availability of overviews for the user will be more limited, but the other advantages (ergonomics, accessibility to services ...) are preserved. [353] It is therefore possible to carry out the processing in the server by limiting the returns to the user. [354] 3. TEXT PHOTOGRAPHY SOLUTION (FotoText + component) - background cleaning [355]
  • the invention provides a component, called “FotoText +”, which is a text scanner which allows to transform the photo of any document “of binary nature » For example composed of lines on a light background, in particular a handwritten text, a line drawing, plan or sketch, a printed text.
  • This component corrects paper defects (background cleaning): shadows, grid or lines, creases, stains, creases in the paper, and, of course, camera and lighting faults. This can be done for example by extracting information above a threshold. [357] It optimizes the level of contrast.
  • a user interface makes it possible to position the text / graphic on the photo on the front; local or remote processing at the resolution of the terminal screen makes it possible to display a preview and facilitates the work of the user.
  • the photo of the text / graphic is processed, cleaned by removing non-uniform lighting zones to optimize readability, cleaned of the background and printed on the photo on the front.
  • background cleaning consists in making the part of the photo other than the person photographed uniform, for example by detecting the outline of the face and filling in the exterior with uniform color.
  • FIGS. 1b to 8 A description will be given below, using FIGS. 1b to 8, of a service for producing postcards, also called a "photocard".
  • the figures represent the various screens of the terminal interface which presents the service to the user and guides the user.
  • the figures also show the automatic implementation of several terminal functions necessary for the service; this automatic implementation of terminal functions comprising the following steps: [375] - select, from among the functions available in the terminal, functions necessary for the service, [376] - establish automatically, and / or manually by the user, at least one scenario suitable for the service, this scenario being composed of logically chained sequences of the selected functions, [377] the method further comprising the step, for the user, of choosing a determined scenario from the previously established scenarios.
  • the screen 10 represented in FIG. 1b corresponds to the reception when the postcard service has been selected by the user who has been guided by means of a terminal interface which presents the services accessible to the user via the terminal.
  • It is a welcome screen which offers, at the opening, the choice between several scenarios appropriate to the service also called actions which are as shown: “new photocards”, “draft”, “cards sent”, “ cards being sent ”,“ models ”. The choice is made, using the terminal's “joystick” by selecting one of the actions.
  • Each scenario is made up of logically linked sequences of shooting, album search, text entry, address search, layout functions. A mechanism of preferences and models makes it possible to pre-record at least part of the scenario.
  • FIG 3 there is shown the screen 20 displayed when the user selects an action with the option menu "Select" of screen 12 of Figure lb.
  • a screen 20 is displayed on which we see the choice between draft, model, card to be sent and card being sent.
  • the last draft is shown, which includes a photo 22 and a text 24.
  • the option menu of screen 20 allows access to a screen 26 with an “open” command.
  • the image can be selected from the “front” (setting on page), text, “back” (layout) and address as shown in Figure 4.
  • the screen 30 shown in FIG. 4 corresponds to the selection of an image which, as shown, indicates that it is the service of making a new postcard with the image on the front and offers the ability to take a new photo, choose the last photo taken, choose the photo pre-recorded in an album in the terminal's memory, choose a photo recently used for the same service, or finally choose a photo on a remote server.
  • an album of multimedia data specific to the user can be managed, this album being stored on a server accessible to the user's mobile telephone terminal via the telecommunications network.
  • an automatic help is provided to the user to acquire the image, by helping with the framing.
  • This framing aid consists of superimposing a silhouette on the image which indicates to the user how to frame in different cases which he can choose on a horizontal screen (image wider than it is high) or on a vertical screen, which allows to obtain both a properly framed image and better resolution than if a later crop were performed.
  • This framing aid respects, preferably, the "golden rule" of photography known as three-thirds: never center the subject or the horizon.
  • the user can choose using the joystick between several use cases, for example corresponding to the following cases: close-up, bust, group, landscape, photo of text in horizontal or vertical screen.
  • the man / machine interface switches to the creation of a text with a standard entry or a semi-automatic entry which consists of providing several fields for the text and in each of these fields, to reuse texts already memorized.
  • the first field is the stubbornness field which relates to the recipient: "dear friend”, “dear mother”, etc.
  • a second field concerns the body of the text: “the weather is fine”, “I'm having a good holiday”, etc.
  • a third field concerns the end of the text comprising the courtesy formula and a fourth field includes the signature.
  • a screen (not shown) is displayed to indicate to the user that he must photograph a text, for example handwritten, with advice on how to take it correctly a photo of text such as "be parallel” and "prefer uniform lighting”.
  • a rectangular framing is displayed on the screen and makes it possible to determine, depending on whether it is distorted or not, whether the photo is taken at the right angle.
  • the choice of layout which is, for example, in memory of the terminal, consists, in one embodiment, in choosing the nature of the postage stamp to be affixed and corresponding, for example, to the place where the photo is taken . It can also consist of a choice of background color.
  • Figure 8 shows the screen 38 which is selected when the user has chosen the "address" tab of the screen of Figure 4. If the terminal already has an address book or a list of contacts , then the recipient is chosen from this contact list via the "option" box (screen 40). If this is a new contact, then the screen has several areas for the first name (which can then be chosen by using option T9), the last name, the street number, the name of the street, postal code of the city and country.
  • the corresponding city is indicated automatically and vice versa, when the city is indicated, the postal code is indicated automatically.
  • the sending screen indicates that the card postal is ready to be sent and offers the user to save it as a template.
  • the photo is compressed as a function of at least one characteristic of the network relating to its transmission rate (for example the maximum size of MMS messages) while optimizing the quality of the image transmitted using the protocol described below, making it possible to choose, for this optimization, the sub-sampling rate, and the compression parameters, in particular of the JPEG type.
  • the photo thus compressed and the postcard are transmitted by telephone, for example by MMS.
  • a screen shows that the postcard has been sent and offers the user to send this card to another recipient.
  • a VGA sensor provides 300,000 pixels and each pixel uses one byte to encode each of the three color channels, which results in a raw image of approximately 900 KB.
  • most terminals are only capable of sending files, after compression, of 30 to 50 kb, or approximately 3 to 5% of the initial information in the case of a VGA sensor.
  • the invention proposes a method which makes it possible to optimize the quality of the image transmitted thanks to a protocol making it possible to choose, with a view to this optimization, the rate of subsampling, and the parameters compression, especially of the JPEG type.
  • JPEG compression leads to a loss of information and causes the appearance of artifacts (defects) which are all the more important the higher the compression rate.
  • This abacus has three curves corresponding to three different images.
  • the abacus is obtained as follows: three test images have been chosen which initially have a definition of 1 mega pixel.
  • compressed copies are generated at different rates to obtain files of given size: 200 kb, 150 kb, 100 kb, 80 kb, 60 kb, 55 kb, 50 kb, 45 kb , 40 kb, 35 kb, etc., previously resampled, the sampling rate being 90%, 80%, 70%; 60%, etc., the sampling rate being the same in horizontal direction and in vertical direction.
  • FIG. 9a is an abacus with a curve 50 constituting an average of the curves in FIG. 9 and the abacus of FIG. 10a comprises a curve 52 corresponding to an average value of the curves of FIG. 10.
  • an algorithm is provided in the mobile telephone terminal which starts from the weight of a file which the terminal can send over the network.
  • This file weight on the abscissa in FIG. 10a corresponds to the ordinates of this same figure, a sampling rate.
  • This sampling rate makes it possible to determine, from curve 50 of FIG. 9a, a compression rate on the abscissa of FIG. 9a.
  • This algorithm is represented by the arrowed path which starts from a point A on the abscissa of FIG. 10a to arrive at a point B on the abscissa of FIG. 9a.
  • the compression rate obtained can provide a file weight greater than that which the network can support, because, for a given compression rate, the final weight of the file depends on the amount of detail contained in the image. .
  • the algorithm chooses a higher compression rate B ', which makes it possible to select a corresponding sampling rate thanks to the curve 50 of FIG. 9a and to verify, using the diagram in FIG. 10a, if the file weight A 'is less than the maximum admissible by the network.
  • This iterative process continues if the weight A ′ is still too large, that is to say that a file weight A ′ is chosen which is less than A ′ until a satisfactory file weight is obtained.
  • the optimal compression curve as a function of the size of the multimedia data can appear in the memory of the terminal in the form of the charts in FIGS. 9a and 10a but also in the form of tables of values or algorithms.
  • the useful part of the optimal compression curve is for example the extract corresponding to the maximum file sizes that can pass through the networks of the different telephone operators.
  • digital image is meant an image in digital form.
  • the image can come from a digital image acquisition device also called image capture device.
  • the image can be a still or animated image, an image of a video sequence before shooting or an image intended to be transmitted or stored.
  • the digital image can be represented by a set of digital values, hereinafter called gray level, each digital value being associated with a color sensitivity and a relative geometric position on a surface or a volume.
  • Gray level in the sense of the invention means all the numerical values associated with the same color sensitivity.
  • the digital image is preferably the raw image of the sensor (“raw” format in English) before demosaicing operation (“demosaicing” in English).
  • the digital image may also have undergone processing, such as demosaicing, white balance, or subsampling.
  • the latter comprises a sensor fitted with sensitive elements.
  • sensitive element means an element of the sensor making it possible to convert a flow of energy into an electrical signal.
  • the energy flow can take the form in particular of a light flux, X-rays, a magnetic field, an electromagnetic field or sound waves.
  • the sensitive elements can be, depending on the case, juxtaposed on a surface and / or superimposed in a volume.
  • the sensitive elements can be arranged in a rectangular matrix, a hexagonal matrix or other geometry.
  • the invention applies to sensors comprising sensitive elements of one or more different type (s), each type having a color sensitivity, each color sensitivity corresponding to the part of the flux d energy converted into an electrical signal by the sensitive element of the sensor.
  • the sensors In the case of a visible image sensor, the sensors generally have a sensitivity in 3 colors and the digital image has 3 colors: red, green and blue. Some sensors have a sensitivity in 4 colors: red, green, emerald, blue.
  • the sharpness of a color can correspond to the measurement of a value called BXU which is a measurement of the blur spot area, as described in the article published in the “Proceedings of IEEE, International ConfInter of Image Processing, Singapore 2004 ”, and entitled“ Uniqueness of Blur Measure ”by Jércons BUZZI and Frédéric GUICHARD.
  • the blurring of an optical system is measured from the image, called "impulse response", from an infinitely small point located in the plane of sharpness.
  • the parameter BXU is the variance of the impulse response (i.e. its mean area). Processing capabilities may be limited to a maximum value of BXU.
  • the sharpness is obtained by calculating a gradient.
  • the sharpness can be obtained by calculating a gradient of 9 gray levels taken in neighboring geometric positions.
  • An image capture device is, for example, a disposable camera, a digital camera, a reflex camera (digital or not), a scanner, a fax, an endoscope, a camera, a camcorder, a surveillance camera, a toy, a camera or a camera integrated or connected to a telephone, a personal assistant or a computer, a thermal camera, an ultrasound machine, an MRI (magnetic resonance) imaging device, an x-ray X-ray machine.
  • a disposable camera for example, a disposable camera, a digital camera, a reflex camera (digital or not), a scanner, a fax, an endoscope, a camera, a camcorder, a surveillance camera, a toy, a camera or a camera integrated or connected to a telephone, a personal assistant or a computer, a thermal camera, an ultrasound machine, an MRI (magnetic resonance) imaging device, an x-ray X-ray machine.
  • MRI magnetic resonance
  • optical image capture system means the optical means making it possible to restore images on a sensor.
  • image sensor mechanical, chemical or electronic means allowing the capture and / or recording of an image.
  • servo system means mechanical, chemical, electronic, or computer type allowing elements or parameters of the device to meet a set point.
  • These include the autofocus system, automatic white balance control, automatic exposure control, optical control, for example to maintain consistent quality images, an image stabilization system, an optical and / or digital zoom factor control system, or a saturation control system, or a contrast control system.
  • the digital image processing means can take various forms depending on the application.
  • the digital image processing means can be integrated, in whole or in part, into the apparatus, as in the following examples:
  • [453] An image rendering device which displays or prints modified images, for example a video projector or a printer including processing means images.
  • [454] A mixed device which corrects defects in its elements, for example a scanner / printer / fax machine including image processing means.
  • [455] A professional image capture device which produces modified images, for example an endoscope including image processing means.
  • the image processing means can be deported in whole or in part to a server. [457] Camera setting, shooting setting:
  • the camera settings or shooting parameters include one or more of the following: [460] - The mode of use, for example: automatic, aperture priority, speed priority, portrait, landscape, sport , night. The use has in particular an influence on the ISO sensitivity, the exposure time, the noise, the blur. [461] - Manual exposure correction which has an influence on noise and contrast in particular. [462] - The ISO sensitivity setting which has an influence on noise and camera shake in particular. [463] - The setting of the exposure time which has in particular an influence on the blurring of camera shake.
  • the white balance setting for example: automatic, tungsten, fluorescent, halogen, sunny, covered, shaded, which has an influence on color in particular.
  • the contrast adjustment for example: strong, normal, weak, which in particular has an influence on the contrast.
  • the sharpness setting for example: strong, normal, weak, which notably has an influence on the blurring.
  • the resolution setting which has an influence in particular on the details and the sharpness.
  • [472] The color rendering setting, for example: color, black and white, sepia, saturated, which has an influence on color in particular.
  • [473] The setting of the output color space, which in particular has an influence on the color.
  • [474] The maximum value for digital zoom factor. To deactivate the zoom, it is given the value 1.
  • [475] The parameters of the various servos.
  • the image processing parameters in particular: the coefficients and tables used by the various filters and processing necessary for the construction of the color, the sharpness, the contrast, the details and the reduction of the noise , the demosaicing parameters, “tone curve” (which is a correspondence table used to adapt the dynamic range of the sensor signal, for example 10 bits, to the dynamic range of the image signal, for example 8 bits), noise reduction, white balance, interpolation.
  • tone curve which is a correspondence table used to adapt the dynamic range of the sensor signal, for example 10 bits, to the dynamic range of the image signal, for example 8 bits
  • noise reduction white balance
  • interpolation interpolation
  • the indication of the end use of the image can be done in different ways: when creating a message for a particular service, for example: for a postcard service on mobile after the request for creation of postcard, for an MMS service on mobile, after the choice of the recipient, which allows, if it is a postcard service number or address, to know that the image will be printed, s 'it is an email address to know that the image is going to be used on a computer screen or for printing, if it is a mobile phone number to know that the image is going to be used on a mobile screen, via a setting made by the user, via a setting made by the service operator, via a setting made by the manufacturer or seller of the phone, in order to favor certain types of services, via a history of the uses of images.
  • Use of the image is:
  • the multimedia data is an image
  • service is meant in particular services as described above but also services corresponding to a specific use of the image, the service not necessarily being offered by a service provider but can also be provided by the user himself or by a third party, in in particular, the use of the determined image can correspond to uses for sharing images (on a small screen, on a computer screen, on a print, on an electronic or physical medium) and memory (archiving for subsequent consultation by printing or saving the image file) such as:
  • [483] - display on a large screen usually from 1 to 2 million pixels in particular: a computer screen, a television set, a projector,
  • the services can be grouped according to the number of pixels necessary for use:
  • the quality of use of the service is increased by using image usage information.
  • This information can be:
  • the camera generally has an image resolution setting.
  • Image acquisition includes all or part of the following steps:
  • the multimedia data is an image
  • the characteristics of this image being the shooting parameters which are determined automatically according to the service, in such a way that an image intended for a mobile telephone can benefit from a longer exposure time than an image intended for a printing service or for viewing on a computer screen.
  • the device can be a terminal but also a camera or any other device linked to the image as described above,
  • the method comprises the step of automatically determining the characteristics of the multimedia data as a function of the service selected.
  • the characteristics of this image being the shooting parameters.
  • the shooting parameters are determined to optimize the image for using:
  • the method comprises at least one of the following steps:
  • a digital zoom consists in using only the central zone of the sensor. Thus for a digital zoom x2, only the central quarter of the pixels of the sensor are kept.
  • a maximum zoom factor can be calculated so that the number of pixels acquired is close to the number of pixels for using the image. For example :
  • the exposure control measures the amount of light on the sensor, and adjusts the exposure time, the aperture and the gain of the sensor (linked to the ISO sensitivity) according to the camera settings to reach target exposure.
  • [541] - take into account the reduction in the number of pixels acquired and the noise reduction to set a higher gain.
  • the shooting parameters were automatically determined as a function of the service and the amount of light during the shooting, since instead of providing an image unusable for the service, an image was provided with 4 times less detail, but with a significantly reduced noise level, for example from 6 to 9dB, which makes the image usable.
  • the invention makes it possible to obtain an image of maximum quality, in particular in low light, compatible with use by adapting the acquisition, the size and the treatments.
  • One or more shooting parameters can be determined, in particular:
  • One or more shooting parameters can be determined, in particular:
  • [573] the size of the raw image fixed at 4 times the number of pixels of use, 4,000,000 pixels in the example
  • [574] - the demosaicing method we can simplify the demosaicing by the known method superimposition of 4 neighboring pixels
  • One or more shooting parameters can be determined, in particular:
  • the multimedia data is an image
  • the multimedia data is acquired for the provision of at least two services, the characteristics of this image being the parameters for taking views which are automatically determined as a function of at least one of the two services and of the quantity of light when shooting, so, in particular, that in low light, the image is usable for at least one of the two services.
  • This embodiment is more particularly suitable for using the image in maximum size and taking light into account.
  • a 4,000,000 pixel sensor is considered, the invention however being applicable to any sensor size.
  • the shooting parameters will thus have been automatically determined as a function of at least two uses of the image and of the quantity of light during the shooting to improve the quality of the image for at least one use.
  • the amount of light is determined by the exposure control according to a known method.
  • One or more shooting parameters can be determined, in particular,
  • the exposure time can be fixed at 1/60 for sensitivities varying from ISO 100 to ISO 400, then increase beyond ISO 400, the sensitivity can vary between ISO 100 and ISO 400, the size of the raw image is fixed at 4,000,000 pixels in the example, the demosaicing method uses an interpolation to calculate the missing colors in each pixel and so, obtain a visible image of 4,000,000 pixels, the noise reduction parameters: we use a smaller neighborhood, for example 4 pixels, the sharpness parameters: we use a larger filter, for example 5x5.
  • the exposure time can be fixed at 1/60 for a sensitivity varying from ISO 100 to 800, then increases beyond ISO 800, the sensitivity can vary between ISO 100 and 800, the size of the raw image is fixed at 4 times the number of pixels of use, 4,000,000 pixels in the example, the demosaicing method: we can simplify the demosaicing by the known method of super-position of 4 neighboring pixels, the noise reduction parameters: an average neighborhood is used, for example 64 pixels.
  • the maximum value of the digital zoom for use in small size, the digital zoom is limited to the square root of (4,000 000 / 100,000), i.e. around 6, the exposure time can be fixed at 1/15 for a sensitivity varying from ISO 100 to 3200, then increase beyond ISO 3200, the sensitivity can vary between ISO 100 and 3200, the size of the raw image is fixed at 4 times the number of pixels of use, 400,000 pixels in the example, the demosaicing method: we can simplify the demosaicing by the known method of superposition of 4 neighboring pixels , the noise reduction parameters: we use a larger neighborhood, for example 256 pixels, the sharpness parameters: we use a smaller filter, for example 3x3.
  • At least two multimedia data are acquired for the supply of at least two services, the characteristics of each multimedia data being adapted to the corresponding service.
  • This embodiment is more particularly suited to the case where one wishes to be able to carry out a use in two different sizes, for example: [603] - small and standard: this case corresponds, for example, to services, for a mobile terminal , sending to a mobile and sending to an email / print / postcard. [604] - standard and maximum: this case corresponds, for example, for a camera, to services, on the one hand, standard printing or use on a computer and, on the other hand, enlargement. [605] Usually the image is acquired for the maximum size and then the image size is reduced.
  • the shooting parameters of each image being adapted to each use in order to optimize the quality of the image during each use.
  • the use of the smallest size will have an improved quality compared to the usual methods.
  • [606] For example, if you want to use in standard size and use in small size, you can determine the shooting parameters for each shot as follows: [607] - Image for use in standard size: time exposure can be fixed at 1/60 for a sensitivity varying from ISO 100 to 800, then increase beyond ISO 800, the sensitivity can vary between ISO 100 and 800, the size of the raw image is fixed at 4 times the number of pixels in use, 4,000,000 pixels in the example, the demosaicing method: demosaicing can be simplified by the known method of superposing 4 neighboring pixels, the noise reduction parameters: an average neighborhood is used, for example 64 pixels.
  • [608] - Image for use in small size the maximum value of the digital zoom: for use in small size, the digital zoom is limited to the square root of (4,000,000 / 100,000), or about 6, the time exposure can be set to 1/15 for a sensitivity varying from ISO 100 to 3200, then increase beyond ISO 3200, the sensitivity can vary between ISO 100 and 3200, the size of the raw image is fixed at 4 times the number of pixels of use, 400,000 pixels in the example, the demosaicing method: we can simplify the demosaicing by the known method of super-position of 4 neighboring pixels, the noise reduction parameters: we use a neighborhood larger for example 256 pixels, the sharpness parameters: we use a smaller filter, for example 3x3.
  • FIG 11 illustrates very schematically, these provisions of the invention.
  • the exposure time is automatically determined at 1/60 me second in order to minimize the risk of camera shake.
  • the maximum exposure time is limited to 1/15 me of a second because on the screen of small dimension the blurring of camera shake is less sensitive.
  • the characteristics of the photograph 202 are adapted: 4 times fewer pixels and greater noise reduction in order to make the photograph usable, even if the details are reduced.
  • the shooting parameters can be adapted to the end use: [612] - the parameters optimized for observation on a device display screen not being, for example, the same as the optimized parameters for a enlargement, [613] - the parameters optimized for the observation of an image taken in low light on an impression not being the same as the parameters optimized for the observation of an image taken in stronger light on an impression .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Telephonic Communication Services (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

L'invention concerne un procédé pour améliorer la qualité d'utilisation d'au moins un service relatif à au moins une donnée multimédia, notamment relatif à des photographies, de la vidéo, de l'audio, et/ou du texte. Ce service est proposé par un prestataire et/ou un opérateur de télécommunications à l'aide d'un terminal de téléphonie mobile d'un utilisateur. Le procédé comprend la mise en œuvre automatique avant et/ou pendant et/ou après l'acquisition de la donnée multimédia, de plusieurs fonctions du terminal nécessaires au service, cette mise en œuvre automatique de fonctions du terminal comprenant les étapes suivantes : sélectionner, parmi des fonctions disponibles dans le terminal, les fonctions nécessaires au service, établir automatiquement, et/ou manuellement par ledit utilisateur, au moins un scénario approprié au service, ce scénario étant composé de séquences logiquement chaînées des fonctions sélectionnées ; le procédé comprenant en outre l'étape, pour 1'utilisateur, de choisir un scénario déterminé parmi les scénarios précédemment établis.

Description

Description
[001] PROCEDE D'AMELIORATION DE SERVICES RELATIFS A DES DONNEES MULTIMEDIA EN TELEPHONIE MOBILE
[002] L'invention est relative à un procédé pour améliorer la qualité d'utilisation d'au moins un service relatif à au moins une donnée multimédia, ce service étant proposé par un prestataire et/ou un opérateur de télécommunication à l'aide d'un terminal de téléphonie mobile.
[003] L'invention concerne aussi un terminal de téléphonie mobile mettant en œuvre ce procédé.
[004] Par données multimédia on entend ici des photographies, des dessins, du texte, de la vidéo, de l'audio, de l'audiovisuel ou des programmes.
[005] L'invention résulte de la constatation que l'utilisation des terminaux de téléphonie mobile est peu ergonomique quand il s'agit de faire appel à ces services. Par exemple, quand il s'agit d'un terminal de téléphonie mobile équipé d'un appareil de prises de vues d'images et que l'on souhaite envoyer les photos prises par MMS, il faut exécuter plusieurs opérations ou fonctions à la suite les unes des autres.
[006] Ainsi, pour améliorer l'ergonomie de l'utilisation d'au moins un service relatif à au moins une donnée multimédia, ce service étant proposé par un prestataire et/ou un opérateur de télécommunication à l'aide d'un terminal de téléphonie mobile, le procédé comporte, selon l'invention, la mise en œuvre automatique avant, et/ou pendant, et/ou après l'acquisition de la donnée multimédia, plusieurs fonctions du terminal nécessaires au service, cette mise en œuvre automatique de fonctions du terminal comprenant les étapes suivantes :
[007] - sélectionner, parmi les fonctions disponibles dans le terminal, des fonctions nécessaires au service,
[008] - établir automatiquement, et/ou manuellement par l'utilisateur, au moins un scénario approprié au service, ce scénario étant composé de séquences logiquement chaînées des fonctions sélectionnées,
[009] le procédé comprenant en outre l'étape, pour l'utilisateur, de choisir un scénario déterminé parmi les scénarios précédemment établis.
[010] Par fonction, on entend un élément compris dans le groupe comprenant :
[011] - le choix d' un service,
[012] - le guidage de l'utilisateur, notamment l'aide à l'acquisition de la donnée multimédia,
[013] - l' acquisition de données multimédia,
[014] - le contrôle de la qualité de la donnée multimédia,
[015] - la recherche de données multimédia, [016] - la retouche ou modification de la donnée multimédia,
[017] - le traitement de la donnée multimédia,
[018] - l'amélioration de la qualité de la donnée multimédia, notamment de la qualité d'une image,
[019] - la combinaison de données multimédia, notamment de textes et d'images pour une carte postale,
[020] - la compression de la donnée multimédia, notamment en fonction des caractéristiques du réseau,
[021] - le choix d'un modèle,
[022] - la présentation mise en page de la donnée multimédia,
[023] - la saisie d'une adresse ou choix dans une base de destinataires,
[024] - l'envoi de la donnée multimédia et/ou sa transmission et/ou son guidage à travers un réseau,
[025] - la réception de données multimédia.
[026] Par modèle, on entend une donnée qui est basée sur une utilisation précédente du service émis, ou en cours d'émission, ou reçue ou enregistrée par l'utilisateur dans son terminal dans un dossier dit de préférence. Par exemple, pour un service d'envoi de cartes postales à l'aide d'un terminal de téléphonie mobile ou pour l'envoi d'un courrier électronique, le modèle constitue tout ou partie d'un courrier électronique ou d'une carte postale déjà créée, envoyée et reçue ou enregistrée.
[027] Dans une réalisation, l'utilisateur est guidé au moyen d'une interface du terminal qui présente les services accessibles à l'utilisateur via ce teπninal.
[028] Selon une réalisation, au moins une partie du scénario est préenregistrée, par exemple lors d'une précédente utilisation du service.
[029] Selon une réalisation, on déteπnine automatiquement les caractéristiques de la donnée multimédia en fonction du service sélectionné.
[030] Lorsque la donnée multimédia est une image, les caractéristiques de cette image qui sont déterminées automatiquement en fonction du service sélectionné sont des paramètres de prise de vue. Par exemple, on fait bénéficier à une image destinée à un téléphone mobile d'un temps de pose plus long qu'une image destinée à un service d'impression ou à la visualisation sur un écran d'ordinateur car une image sur un écran de petites dimensions tel que celui d'un terminal de téléphonie mobile est beaucoup moins sensible au flou de bougé qu'une image de plus grande dimension.
[031] Selon une réalisation dans laquelle la donnée multimédia est également une image, celle-ci est acquise pour la fourniture d'au moins deux services et les caractéristiques de cette image sont les paramètres de prise de vue qui sont déterminés automatiquement en fonction d'au moins un des deux services et de la quantité de lumière lors de la prise de vue afin notamment qu'en basse lumière l'image soit utilisable pour au moins un des deux services.
[032] Dans une réalisation, on acquiert au moins deux données multimédia pour la fourniture d'au moins deux services, les caractéristiques de chaque donnée multimédia étant adaptée au service correspondant.
[033] Par exemple, on peut produire deux images d'un même sujet dont les caractéristiques diffèrent en fonction de l'utilisation de l'image ou de l'usage final de l'image.
[034] Cette disposition peut être utilisée de façon générale dans un appareil d'acquisition d'images dans lequel on peut sélectionner l'utilisation de l'image ou l'usage final de l'image et les paramètres de prise de vue sont sélectionnés automatiquement en fonction de l'utilisation de l'image ou de l'usage final.
[035] Par exemple, un tel appareil d'acquisition d'images comporte la possibilité de prendre simultanément une image d'un sujet destiné à une impression à un format déterminé tel que 10x15 cm et une image du même sujet à pleine résolution.
[036] Dans ces conditions, si par exemple l'appareil d'acquisition d'images permet une résolution de 6 millions de pixels, l'image à pleine résolution sera bien entendu prise avec 6 millions de pixels alors que l'image prévue pour une impression en format 10x15 pourra être prise à une résolution de 2 millions de pixels. La diminution de résolution peut être mise à profit pour améliorer d'autres caractéristiques. Par exemple, le temps de pose peut être diminué, ce qui diminue l'effet d'un éventuel bougé. Par exemple, le temps de traitement étant de manière générale proportionnel au nombre de pixels, la diminution de résolution permet de libérer une grande quantité de puissance de calcul pour réduire le bruit en basse lumière et étendre la plage d'utilisation en basse lumière. De façon générale, l'adaptation des paramètres de prise de vue à l'usage final permet de choisir des paramètres pouvant entraîner des défauts non visibles ou peu visibles et de sélectionner, en contrepartie, des paramètres permettant d'améliorer l'image.
[037] Ces dispositions peuvent s'utiliser indépendamment de celles définies ci-dessus relatives à l'amélioration de la qualité de l'utilisation d'un service proposé par un prestataire et/ou un opérateur de télécommunication pour l'utilisation d'un teπninal de téléphonie mobile.
[038] Selon une réalisation, le procédé comprend, pour mettre en œuvre le service, l'étape de rechercher une donnée multimédia préenregistrée dans le terminal.
[039] Selon une réalisation, le procédé comprend l'étape de choisir une présentation, ou mise en page, de la donnée multimédia, par exemple en utilisant un modèle et/ou un paramètre de présentation.
[040] Dans une réalisation, le procédé comprend l'étape de fournir une aide automatique à l'utilisateur du terminal pour réaliser une acquisition de la donnée multimédia, notamment en aidant au cadrage d'une image et/ou au contrôle de la qualité de cette image, en fournissant des cours ou instructions d'acquisition et/ou de réglage, ou en affichant le résultat final de l'acquisition.
[041] Selon une réalisation, le procédé comprend l'étape de modifier la donnée multimédia.
[042] Dans une réalisation, le procédé comprend l'étape de traiter la donnée multimédia localement, c'est-à-dire dans le terminal, ou à distance, c'est-à-dire en dehors du terminal, notamment dans un serveur.
[043] Selon une réalisation, le procédé comprend l'étape de choisir un destinataire, par exemple à l'aide d'un lien avec un carnet d'adresses et/ou d'une saisie automatique.
[044] Selon une réalisation, le procédé comprend l'étape de compresser la donnée multimédia en fonction d'au moins une caractéristique du réseau relative à son débit de transmission.
[045] Selon une réalisation, le procédé comprend l'étape d'insérer une donnée multimédia relative à du texte dans une donnée multimédia relative à une image, dénommée carte postale.
[046] Selon une réalisation, le procédé comprend l'étape de transmettre une donnée multimédia relative à une image au moyen d'au moins un des modes de communication suivant : télécopie, téléphonie, courrier électronique.
[047] Selon une réalisation, le procédé comprend l'étape de gérer un album de données multimédia propres à l'utilisateur, cet album étant stocké dans un serveur accessible au terminal via le réseau de télécommunications.
[048] Selon une réalisation, le procédé comprend l'étape de transmettre la donnée multimédia vers un service d'impression tel qu'une imprimante.
[049] L'invention concerne aussi un terminal de téléphonie mobile dans lequel, pour améliorer la qualité d'utilisation d'au moins un service relatif à au moins une donné multimédia, notamment relatif à des photographies de la vidéo, de l'audio et/ou du texte, ce service étant proposé par un prestataire et/ou un opérateur de télécommunication, qui comprend des moyens pour la mise en œuvre automatique avant et/ou pendant et/ou l' après l'acquisition de la donnée multimédia, de plusieurs fonctions du terminal nécessaires aux services, ces moyens comprenant :
[050] - un moyen pour sélectionner, parmi les fonctions disponibles dans le terminal, les fonctions nécessaires aux services,
[051] - un moyen pour établir automatiquement et/ou manuellement, au moins un scénario approprié au service, ce scénario étant composé de séquences logiquement chaînées des fonctions sélectionnées, et
[052] - un moyen pour que l'utilisateur puisse choisir un scénario déterminé parmi les scénarios précédemment établis.
[053] Dans une réalisation, une interface de guidage présente les services accessibles à l'utilisateur.
[054] Selon une réalisation, le terminal comprend des moyens pour enregistrer une partie du scénario.
[055] Dans une réalisation, le terminal comprend un moyen pour déterminer automatiquement les caractéristiques de la donnée multimédia en fonction du service sélectionné. Dans ce cas, lorsque la donnée multimédia est une image, le moyen pour déterminer automatiquement les caractéristiques de l'image comprend un moyen pour déterminer automatiquement les paramètres de prise de vue en fonction du service de façon, par exemple, qu'une image destinée à un téléphone mobile puisse bénéficier d'un temps de pose plus long qu'une image destinée à un service d'impression ou à la visualisation sur un écran d'ordinateur.
[056] Selon une réalisation, le terminal comprend un moyen pour acquérir une image en vue de la fourniture d'au moins deux services, et un moyen pour que les caractéristiques de cette image soient les paramètres de prise de vue qui sont déterminés automatiquement en fonction d'au moins un des deux services et de la quantité de lumière lors de la prise de vue, de façon notamment qu'en basse lumière, l'image soit utilisable pour au moins un des deux services.
[057] Selon une réalisation, le terminal comprend un moyen pour acquérir au moins deux données multimédia pour la fourniture d'au moins deux services, et pour que les caractéristiques de chaque donnée multimédia soient adaptées au service correspondant.
[058] Selon une réalisation, le terminal comprend un moyen pour rechercher une donnée multimédia préenregistrée dans le teπninal pour mettre en œuvre le service.
[059] Selon une réalisation, le terminal comprend un moyen pour choisir une présentation ou une mise en page de la donnée multimédia, par exemple en utilisant un modèle et/ ou un paramètre de présentation.
[060] Selon une réalisation, le terminal comprend un moyen pour fournir une aide automatique à l'utilisateur du teπninal pour réaliser une acquisition de la donnée multimédia, notamment en aidant au cadrage d'une image et/ou au contrôle de la qualité d'une image, en fournissant des cours ou instructions d'acquisition et/ou de réglage, ou en affichant le résultat final de l'acquisition.
[061] Selon une réalisation, le terminal comprend un moyen pour modifier la donnée multimédia.
[062] Selon une réalisation, le terminal comprend un moyen pour traiter la donnée multimédia localement, c'est-à-dire dans le terminal, ou à distance, c'est-à-dire en dehors du terminal.
[063] Selon une réalisation, le terminal comprend un moyen pour choisir un destinataire, par exemple à l'aide d'un lien avec un carnet d'adresses et/ou d'une saisie automatique. [064] Selon une réalisation, le terminal comprend un moyen pour compresser la donnée multimédia en fonction d'au moins une caractéristique du réseau relative à son débit de transmission. [065] Selon une réalisation, le terminal comprend un moyen pour insérer une donnée multimédia relative à du texte dans une donnée multimédia relative à une image, dénommée carte postale. [066] Selon une réalisation, le terminal comprend un moyen pour transmettre une donnée multimédia relative à une image au moyen d'au moins un des modes de communication suivants : télécopie, téléphonie, courrier électronique. [067] Selon une réalisation, le terminal comprend un moyen pour gérer un album de données multimédia propres à l'utilisateur, cet album étant stocké dans un serveur accessible à ce terminal via le réseau de télécommunication. [068] Selon une réalisation, le terminal comprend un moyen pour transmettre la donnée multimédia vers un service d'impression tel qu'une imprimante. [069] D'autres caractéristiques et avantages de l'invention apparaîtront avec la description de certains de ses modes de réalisation, celle-ci étant effectuée en se référant aux dessins ci-annexés sur lesquels : [070] les figures 1 et la sont des schémas illustrant des étapes d'un procédé selon l'invention, [071] les figures lb, 2a, 2b, 2c, 3, 4, 5, 6, 7 et 8 illustrent un procédé selon l'invention appliqué à l'envoi d'une carte postale, [072] les courbes des figures 9, 10, 9a et 10a sont des abaques permettant de choisir, conformément à l'invention, un taux de compression et un taux d'échantillonnage, et [073] la figure 11 est un schéma illustrant d'autres étapes du procédé conforme à l'invention. [074] Les exemples décrits se rapportent principalement à un terminal de téléphonie mobile équipé d'un appareil de prise de vues quelquefois dénommé photophone ou ca- méraphone. [075] Utilisation des services
[076] L'utilisation de ces terminaux est fastidieuse, dès qu'il s'agit :
[077] - de configurer un téléphone pour envoyer des images (via MMS, Wap...),
[078] - de paramétrer un service pour un fournisseur ; par exemple pour enregistrer pour un service d'impression en ligne il faut donner ses coordonnées, choisir un point de retrait, etc., [079] - de saisir un texte accompagnant la photo ou une adresse : le texte est long à saisir, l'adresse postale est rarement intégrée au carnet d'adresses, etc., [080] - d'utiliser un service : il est souvent nécessaire d'utiliser plusieurs fonctions à la suite l'une de l'autre, telles que prise de vue, retouche et envoi ; l'ergonomie des ap- plications est orientée fonction (caméra, MMS) et non pas service image ; certaines opérations sont très longues, [081] - d'utiliser le terminal en remplacement d'un appareil photo.
[082] Oualit é d ' image
[083] La qualité d'image est limitée par les contraintes d'encombrement, de consommation électrique et de coût des terminaux mobiles. [084] La qualité est variable selon le type de terminal et nécessite des traitements d'image spécifiques. La qualité d'une image dépend de la façon dont on la regarde. En particulier sur un petit écran beaucoup de défauts sont invisibles alors qu'ils deviennent visibles sur une impression ou un écran de plus grande dimension. [085] Les images sont fortement comprimées pour tenir dans la bande passante autorisée, ce qui produit des artefacts lors de la décompression nécessaire pour afficher ou imprimer les images. [086] Il s'agit-là d'inconvénients particulièrement gênants qui freinent le développement de l'utilisation des services photo avec un terminal de téléphonie mobile car ces services sont beaucoup moins performants que ceux liés aux appareils photographiques autonomes. [087] Architecture
[088] Le temps de calcul pour l'amélioration des images est en général proportionnel à la taille de l'image, c'est-à-dire au nombre de pixels. [089] L'amélioration de la qualité de l'image est très consommatrice de temps de calcul et donc d'énergie électrique. La puissance des processeurs embarqués dans les terminaux augmente moins vite que le nombre de pixels des capteurs. [090] La puissance de calcul est limitée et variable selon le type de teπninal.
[091] L'accès à la puissance de calcul est variable selon le type de teπninal : certains terminaux sont ouverts à du code écrit en C++, d'autres uniquement à du code Java (beaucoup plus lent pour le traitement d'image que C++), d'autres ne sont pas ouverts. [092] La taille du stockage local est limitée.
[093] La taille des tuyaux de transmission est limitée. En France elle est de 50ko par message et passe progressivement à lOOko. [094] Les images transitent systématiquement par un serveur pour les différents services.
[095] Pour résoudre ces problèmes, l'invention améliore la qualité d'image et/ou améliore l'ergonomie d'utilisation. [096] Le procédé selon l'invention intervient avant la prise de vue et/ou pendant la prise de vue et/ou après la prise de vue. [097] A cet effet, comme représenté sur la figure 1, on part d'une image 100, ou, de façon plus générale, d'une donnée multimédia, et on détermine une première fraction 102 de cette donnée qui doit être traitée dans le téléphone mobile 110 et une seconde fraction 104 de l'image 100 qui doit être traitée dans un serveur distant 112.
[098] En variante, et comme décrit plus loin en relation avec les figures lb à 8, on fractionne le traitement de l'ensemble de la donnée multimédia (ou d'une partie de celle-ci) de façon qu'une première fraction du traitement soit effectuée dans le terminal 110 et qu'une seconde fraction du traitement soit effectuée dans le serveur 112.
[099] Dans l'exemple représenté sur la figure la, la donnée multimédia 120 est stockée sans compression supplémentaire ou à faible compression supplémentaire dans le serveur distant 112. Elle est compressée pour sa transmission au téléphone mobile 110. On lui fait également subir un traitement en fonction du service à fournir à ce téléphone 110 ou demandé par ce téléphone 110. En outre, la donnée 120 est affectée d'un marquage 122 lié à cette donnée. Ce marquage est transmis avec la donnée du serveur vers le terminal 110 afin de permettre l'utilisation ultérieure de la même donnée d'origine 120 non compressée lorsqu'elle est requise par le terminal mobile ou un autre terminal mobile. Autrement dit, lorsqu'un terminal mobile reçoit une image et qu'il veut la transmettre à un autre terminal mobile, pour éviter les dégradations dues à la compression et aux décompressions successives, grâce au marquage on peut retrouver la donnée multimédia avec sa qualité d'origine dans le serveur 112.
[100] 1. SERVICES
[101] 1.1. Les divers services considérés utilisant l'image sont :
[102] - Envoi d'une télécopie depuis un terminal,
[103] - Envoi vers un autre terminal,
[104] - Envoi vers un email,
[105] - Envoi vers un album en ligne,
[106] - Envoi vers un site internet personnel (« moblog » en langue anglaise),
[ 107] - Envoi d' une carte postale,
[108] - Envoi d' une demande d' impression,
[109] - Envoi d'une demande de photos d'identité,
[110] - Demande d' un retour sur le terminal émetteur.
[111] 1.2. Pour chacun des services :
[112] On effectue une prise de vue et/ou on effectue une recherche dans un album et/ou on effectue une retouche avec amélioration de la prise de vue (cours, aide au cadrage, contrôle...),
[113] - on améliore l' ergonomie d'utilisation,
[114] - on améliore la qualité de l'image comme décrit plus loin en effectuant un traitement local et/ou déporté vers un serveur,
[115] - on utilise le cas échéant une photo de texte (quelquefois appelée FotoText+).
[116] 1.3. Pour envoyer une télécopie (fax) depuis un terminal, on peut procéder comme suit : [117] - on effectue une prise de vue d'un document contenant du texte et/ou des dessins,
[118] - on effectue un traitement de nettoyage du fond, • en local (dans le terminal) ou • distant sur un serveur et acheminement vers un télécopieur, [119] - on peut saisir un texte,
[ 120] - on met en page la télécopie,
[121] - on envoie via MMS, Wap, http..., ou directement depuis le terminal, vers un télécopieur si le traitement est local. [122] Pour l'envoi d'une télécopie depuis un terminal, on peut également procéder comme suit : [123] - Prise de vue d'un document contenant du texte et/ou des dessins,
[124] - Traitement de nettoyage du fond dans le terminal,
[125] - Eventuellement saisie de texte,
[ 126] - Mise en page de la télécopie,
[127] - Envoi via MMS, Wap, http... vers un serveur ou directement depuis le terminal vers un télécopieur. [128] Pour un envoi d'une télécopie depuis un terminal, on peut encore procéder de la façon suivante : [129] - Prise de vue d'un document contenant du texte et/ou des dessins,
[130] - Eventuellement saisie de texte,
[131] - Envoi via MMS, Wap, http... à un serveur,
[132] - Traitement de nettoyage du fond dans un serveur,
[133] - Mise en page de la télécopie,
[ 134] - Acheminement vers un télécopieur.
[135] 1.4. Un service de photo d'identité comprend, dans une réalisation, les étapes suivantes : [136] - Prise de vue avec aide au cadrage.
[137] Cette aide au cadrage peut être adaptée aux normes du pays pour les documents officiels. [138] - L'aide au cadrage permet de segmenter l'image pour effectuer plus facilement les contrôles ci-dessous. [139] - Contrôle du respect des règles : Les règles qui peuvent être contrôlées sont par exemple : le contrôle de l'uniformité du fond, le contrôle de la couleur du fond, le contrôle si le fond est assez clair, le contrôle de la présence d'ombre sur le fond, le contrôle de l'éclairage du visage (qui ne doit pas être trop sombre), le contrôle de l'absence d'un chapeau ou voile, le contrôle de l'absence d'accessoires, le contrôle des proportions du visage, le contrôle que le visage est de face et non de profil. [140] Le contrôle peut être automatique et/ou manuel.
[141] En cas de non respect de la règle : de préférence la correction est automatique, et/ou la correction est effectuée manuellement par un opérateur, par exemple le nettoyage du fond, sinon un message est renvoyé à l'utilisateur, de préférence rapidement pour qu'il puisse reprendre la photo. [142] Ce message indique par exemple comment reprendre une photo sans le défaut.
[143] - Eventuellement saisie d'un texte à mettre au dos, par exemple : le nom le nom et la classe pour une photo scolaire. [144] - Saisie de l'adresse postale du destinataire ou du point de récupération des photos.
[145] - Choix éventuel du fournisseur du service.
[146] - Retouche éventuelle de l'image (nettoyage du fond, contraste...). La retouche est manuelle par transmission automatique de la photo à un opérateur, et/ou automatique. [147] - Transmission.
[148] Ce service peut être adapté aux règles d'un pays pour les documents officiels.
[149] 1.5. Autres services possibles avec un cameraphone (ou photophone) :
[150] - Reconnaissance de caractères.
[151] - Reconnaissance de visage.
[152] - Lecture de Code barre.
[153] - Gestion des droits et signature digitale (« watermark »).
[154] - Site personnel Mobile (« blog »).
[155] - Modèle de texte et photos, par exemple pour la fête des mères ou la St Valentin ou encore pour des poésies. [156] - Urgences Médicales, pour des situations difficiles, par exemple en mer ou en montagne. [157] - Constat amiable en cas d'accident automobile. Une application pose les questions et indique les photos à prendre pour établir un constat. [158] - Télédiagnostic, par exemple pour une maladie de plante.
[159] - Services pratiques Mesures. Par exemple, on peut mesurer les dimensions d'un meuble ou autre objet auquel on juxtapose un élément ayant une dimension déterminée, tel qu'une carte de crédit. Couleur : Calcul d'assortiment entre les couleurs de deux objets. Par exemple l'assortiment de la couleur d'un pantalon avec celle des chaussures, ou l'assortiment entre une cravate et une chemise. [160] - Services divers Morpho astrologie : chaque jour l'horoscope est calculé et personnalisé à partir de la date de naissance et du visage. « Morpho matching » : Evaluation du taux d'entente entre deux personnes, ce taux étant basé sur les photos des visages. Aura : rajouter une « aura » colorée à la personne (ou l'objet) sur la photo. [161] - Sécurité et identification ou authentification Signature : la signature écrite (adjointe à un numéro généré par un serveur par exemple) peut servir d' authentification. La photo peut aussi servir d' authentification. [162] - Services professionnels : Devis : Le vendeur venant établir un devis a parfois besoin de consulter un spécialiste. Le cameraphone fournit un moyen de consulter l' installateur/fournisseur au moment de l'établissement du devis. Par exemple un installateur de moteurs de volets roulants peut consulter un installateur pour déteπniner la complexité du démontage. [163] On peut aussi valider auprès d'un client des choix qui émergent tardivement pour éviter des délais ou des erreurs d'appréciation, par exemple autoriser une coupe d'arbre plus violente que prévue, montrer avec le cameraphone une racine qui empêche le creusement d'une tranchée. [164] 2. AMELIORATION DE LA QUALITE DE L'IMAGE ET MISE EN PAGE.
[165] Après la prise de vue, plusieurs techniques peuvent être utilisées pour améliorer la qualité d'image et l'ergonomie pour l'utilisateur : [166] - Effectuer des traitements d'amélioration de l'image.
[167] - Selon la puissance de calcul du teπninal, sa taille de mémoire, la taille du capteur, le type de service et la facilité d'ajouter des fonctions au terminal, effectuer les traitements sur le terminal ou sur un serveur. Dans ce cas, on définit un format de transmission des données. [168] - Adapter les traitements aux défauts de l'appareil de capture. Dans ce cas, on identifie l'origine des images, notamment par analyse de la signature de l'appareil. [169] - Adapter les traitements aux défauts du moyen de restitution. Il faut alors identifier le type de service et, éventuellement, le type de moyen de restitution utilisé et véhiculer cette information. [170] Dans le cas d'un traitement sur un serveur : le procédé consiste à :
[171] - extraire l'image du message transmis, [172] - améliorer la qualité de l'image,
[173] - remplacer l'image du message transmis par l'image ainsi améliorée.
[174] Afin de ne pas corriger deux fois les images, on peut les marquer, par exemple en ajoutant ou modifiant les métadonnées Exif ou analogues.
[175] On précise ici que par métadonnée, on entend une donnée associée à la donnée multimédia et correspondant à des informations relatives au format du fichier contenant la donnée multimédia, et/ou des informations relatives à la compression, et/ ou l'origine de la donnée, et/ou les caractéristiques d'acquisition. Par exemple, dans le cas d'une photographie, il s'agit des paramètres d'acquisition (tels que la focale, l'ouverture et le temps de pose), et/ou des résultats d'un calcul obtenu à partir de la donnée multimédia, par exemple le nombre de pixels.
[176] Le traitement de l'image peut s'effectuer de diverses manières :
[177] a) On n'effectue pas de calcul en local (dans le terminal) et l'image retourne vers l'utilisateur (teπninal) après un calcul distant (dans un serveur).
[178] b) On calcule en local à la résolution de l'écran du terminal et on procède à un calcul distant pour l'image transmise par le service.
[179] c) On calcule en local à la résolution de l'écran du terminal et, pour l'image transmise par le service, on effectue une décompression dans le serveur et un nettoyage des artefacts de compression avant acheminement, le traitement de l'image transmise pour le service pouvant être effectué en local et/ou en distant.
[180] Dans tous les cas la transmission des images à distance doit être effectuée en adaptant la taille et la compression au service ainsi qu'à la taille des messages autorisés comme dans ci-après.
[181] De même, la mise en page peut être effectuée en local ou à distance :
[182] a) On n'effectue pas de calcul en local, et on retourne vers l'utilisateur après calcul distant pour l'image transmise par le service.
[183] b) On calcule en local à la résolution de l'écran du terminal et on effectue un calcul distant pour l'image transmise par le service.
[184] c) On calcule en local à la résolution de l'écran du terminal et, pour l'image transmise par le service, on effectue une décompression dans le serveur et un nettoyage des artefacts de compression avant acheminement.
[185] On peut bien entendu appliquer le procédé décrit plus haut à d'autres types de donnée multimédia, notamment relatifs à de la vidéo, et/ou de l'audio, et/ou du texte.
[186] On obtient ainsi un procédé et système pour améliorer la qualité d'utilisation d'un service, mettant en œuvre au moins un traitement, relatif à au moins une donnée multimédia, notamment relatif à des photos, et/ou de la vidéo, et/ou de l'audio, et/ou du texte, ce service étant proposé par un prestataire et/ou un opérateur de télécommunications sur un téléphone mobile d'un utilisateur via un réseau. [187] On rappelle que ce procédé est adapté pour s'affranchir des limitations résultant d'au moins un facteur, affectant la qualité d'utilisation, tel que : [188] - la taille des données multimédia, et/ou
[189] - les ressources informatiques du téléphone mobile, et/ou
[190] - la qualité du dispositif d'acquisition et/ou du dispositif de restitution de la donnée multimédia, [191] - les caractéristiques de transmission dudit réseau ;
[192] - la nature du service.
[193] Ainsi, le procédé comprend les étapes suivantes :
[194] - on détermine, à priori ou en temps réel, en fonction dudit facteur, la fraction de la donnée multimédia et/ou la fraction du traitement devant être effectuée dans le téléphone mobile et/ou dans au moins un serveur distant connectable au téléphone mobile, [195] - on effectue chaque fraction de traitement ainsi détemώiée et/ou on traite chaque fraction de donnée multimédia ainsi déterminée selon le cas, soit sur le téléphone mobile soit sur le serveur distant ; [196] de sorte que, pour l'utilisateur la qualité du service est accrue, notamment :
[197] - l'utilisation du service est possible avec tout type de donnée multimédia, par exemple des photos de taille croissante, [198] - l'utilisation du service est améliorée pour tout type de teπninal,
[199] - le résultat du service est amélioré en corrélation avec la bande passante du réseau,
[200] - l'accès au service est simplifié,
[201] - le temps nécessaire pour obtenir le service est réduit,
[202] - le résultat du service est amélioré (meilleure perception de la photo, de la vidéo, de l'audio) ; [203] - l'accès à de nouveaux services est possible,
[204] - la satisfaction de l'utilisateur est accrue.
[205] Pour le prestataire et/ou l'opérateur de télécommunications la fourniture de nouveaux services est possible. [206] Ce procédé peut comprendre, en outre, les étapes suivantes :
[207] - définir au moyen d'un format des instructions relatives au traitement distant,
[208] - pour le téléphone mobile, transmettre les instructions ainsi formatées au serveur distant, [209] - pour le serveur, exécuter ces instructions.
[210] Ces instructions peuvent comprendre :
[211] - la fraction de la donnée multimédia et/ou un identifiant permettant au serveur d'obtenir cette fraction de la donnée multimédia, [212] - la fraction du traitement devant être effectuée sur le serveur, ci-après dénommé traitement distant, notamment :
[213] - un traitement d'amélioration de la qualité de la donnée multimédia, et/ou
[214] - un traitement de retouche apporté à la donnée multimédia, et/ou
[215] - un traitement de mise en forme de la donnée multimédia, et/ou
[216] - un traitement d'acheminement du service, et/ou
[217] - un traitement de fourniture du service, et/ou
[218] - l'adresse du bénéficiaire du service et/ou un code permettant au serveur d'obtenir l'adresse du bénéficiaire.
[219] Le procédé comprend en outre l'étape, pour le serveur, de transmettre le résultat de l'exécution des instructions au bénéficiaire du service.
[220] Par service on entend notamment :
[221] - tout service, notamment les services décrits dans la présente demande de brevet,
[222] - une partie d'un service plus global, par exemple un calcul distant nécessaire à un service.
[223] Par photo on entend notamment :
[224] -une photo de texte et/ou diagramme et/ou une image naturelle.
[225] Par traitement, également appelé correction, on entend notamment:
[226] - tout type de traitement décrit dans la présente demande de brevet,
[227] - un traitement d'amélioration de la qualité,
[228] - un traitement d'amélioration de la qualité adapté à un téléphone,
[229] - une mise dans un album,
[230] - une mise en page,
[231] - un routage.
[232] Par ressources informatiques, on entend notamment :
[233] - la puissance de calcul,
[234] - la capacité de la mémoire,
[235] - le langage de programmation.
[236] Par caractéristiques de transmission, on entend notamment :
[237] - la bande passante,
[238] - la charge,
[239] - la taille maximum d'un message.
[240] Par identifiant on entend notamment :
[241] - un code d'image (transmis au serveur par SMS ou un autre moyen), permettant à un serveur de trouver l'image choisie par l'utilisateur.
[242] Par code, on entend notamment :
[243] - un numéro de téléphone utilisé pour retrouver une adresse postale.
[244] Par bénéficiaire, on entend notamment :
[245] - l'utilisateur, [246] - un tiers.
[247] Par instruction, on entend notamment les données décrites dans la présente demande de brevet.
[248] 2.1. TYPES DE TRAITEMENTS DE L'IMAGE
[249] Les traitements apportés sur les images dans le terminal et/ou sur le serveur peuvent être les suivants :
[250] - Enlever ou réduire tout ou partie des défauts de l'appareil de prise de vue et/ou de la prise de vue : exposition, éclairage, distorsion géométrique, aberration chromatique, vignetage, flou, astigmatisme, balance des blancs, saturation, démosaïsation, bruit, flou de bougé, flou de mise au point, artefact de compression, artefact de déflouage, artefact des autres traitements, artefact d'aliasing (repliement de spectre).
[251] - Enlever tout ou partie des défauts du moyen de restitution : écran de terminal, écran d'ordinateur, moyen d'impression.
[252] - Changement de taille (nombre de pixels).
[253] - Compression.
[254] - Décompression avec ou sans suppression des arte-facts.
[255] - Nettoyage de fond dans le cas de texte et/ou dessin.
[256] - Retouche : passage en noir et blanc, rotation, ex-traction d'une zone de l'image, application d'effet, ajout de cadre.
[257] - Incrustation sur un fond ou une autre photo.
[258] - Ajout de texte.
[259] - Analyse de la qualité de l'image pour donner un con-seil à l'utilisateur.
[260] 2.2 DIRECΗVES DE TRAITEMENT DISTANT - INSTRUCTIONS
[261] Il est possible de déporter une partie des traitements en fonction de la puissance du terminal, de la taille mémoire, de la taille de l'image, de la possibilité de programmer en C++ dans le terminal, par opposition à une programmation Java qui est mal adaptée pour le traitement de données multimédia et du type de service visé. Pour l'utilisateur les traitements restent en temps réel pour les opérations qui nécessitent un retour vers cet utilisateur.
[262] Des informations permettant de décrire le traitement déporté (pour chaque image, ou une fois pour toutes) doivent être transmises, notamment :
[263] a) Le type de traitement d'amélioration à apporter sur le serveur. Il s'agit, par exemple :
[264] - D'une correction des défauts de capture du terminal de type donné pour une sortie sur un écran d'ordinateur.
[265] - D'une correction des défauts de capture du terminal de prise de vue avec reconnaissance automatique pour une sortie sur un écran d'ordinateur.
[266] - D'une correction des défauts de capture du terminal de prise de vue avec recon- naissance automatique pour une sortie pour impression.
[267] - D'un nettoyage du fond pour une photo de texte et dessin manuscrits.
[268] - D'une correction des défauts de capture du terminal de prise de vue avec reconnaissance automatique pour sortie sur l'écran d'un terminal de type donné.
[269] - D'une analyse de la qualité de prise de vue.
[270] S'il n'y a pas de traitement à effectuer, cette instruction doit aussi être transmise, éventuellement par défaut.
[271] b) Les retouches à apporter à l'image (rotation, recadrage, ajout de cadre...), ce qui permet d'apporter les retouches dans le terminal sur une image réduite à la taille de l'écran et d'apporter ultérieurement les retouches à la taille finale.
[272] c) Le type de service et le(s) destinataire(s) :
[273] - MMS : numéros.
[274] - email : adresses.
[275] - Carte postale : prestataire.
[276] - Télécopie : numéro.
[277] - Album : prestataire.
[278] - Impression : prestataire.
[279] - Retour sur le terminal émetteur.
[280] d) Les indications de mise en forme de la sortie :
[281] - Mise en page (couleur et police notamment) de carte postale ou autre,
[282] - Insertion de photos, de texte, ou de texte photographié nettoyé.
[283] Les données de mises en forme doivent être indépendantes du format physique afin de permettre l'impression en plusieurs formats. La taille et la position des éléments de texte et d'images sont déterminées en aval.
[284] e) Le contenu :
[285] - adresse du destinataire (postale ou autre)
[286] - message
[287] - photo
[288] - photo du texte
[289] Ce contenu peut être transmis sous la forme d'une adresse et/ou de meta-données.
[290] Le contenu peut être décrit par un format. Ce format peut être ouvert (standard et/ou extensible) ; il peut être une extension du format smil de MMS. Il doit être compatible avec tout type de protocole de transport (MMS, http, wap, email...) et donc compatible avec des réseaux existants.
[291] 2.3. TRAITEMENT DEPORTE D'UNE IMAGE
[292] De préférence, afin de coder les images pour les transmettre, on utilise un programme de compression standard Jpeg, qui est implémenté dans tous les téléphones ; toutefois, un autre format peut également être utilisé. Les étapes de traitement de l'image sont les suivantes : [293] - Eventuellement des prétraitements.
[294] - Eventuellement une optimisation de la taille de l'image, du taux de compression, du format (ce format comprend aussi le choix en couleurs et noir et blanc) de l'image en fonction du type de service et de la taille du « tuyau » de transmission : en tenant compte de la courbe optimale compression / taille de l'image fonction du service et de la taille du tuyau, comme décrit plus loin, si l'image est déjà comprimée, la compression et le changement de taille sont effectués de préférence dans le domaine fréquentiel afin de limiter le temps de calcul, sinon on comprime après le changement de taille. [295] - Dans le serveur : On décompresse tout en éliminant les artefacts de compression ; [296] ensuite : on enlève ou réduit tout ou partie des défauts de l'appareil de prise de vue ou dans le cas d'une photo de texte et/ou dessin (FotoText+) on nettoie le fond, on enlève tout ou partie des défauts du moyen de restitution, on applique les autres traitements : retouche, mise en page..., on marque l'image pour éviter d'appliquer plusieurs fois les mêmes traitements. [297] Le transfert s'effectue via MMS, MMS surtaxé, email, http, Wap ou autre.
[298] Le message peut être destiné à un tiers et/ou utilisé sur le terminal émetteur par exemple pour la visualisation du résultat ou l'obtention d'un conseil. [299] 2.4. TRAITEMENT LOCAL D'UN SERVICE
[300] De préférence, afin de coder les images pour les transmettre, on utilise un programme de compression standard Jpeg installé dans tous les terminaux ; cependant, un autre format peut également être utilisé. Les étapes de traitement de l'image sont les suivantes : [301] a) Eventuellement des prétraitements.
[302] b) Ensuite : enlever ou réduire tout ou partie des défauts de l'appareil de prise de vue ou dans le cas d'une photo de texte et/ou dessin (FotoText+) nettoyage du fond, enlever tout ou partie des défauts du moyen de restitution, appliquer les autres traitements : retouche, mise en page par exemple. [303] c) Marquer l'image pour éviter d'appliquer plusieurs fois les mêmes traitements ;
[304] éventuellement optimiser la taille de l'image, le taux de compression, et le format de l'image en fonction du type de service et de la taille du tuyau : en tenant compte de la courbe optimale compression / taille de l'image fonction du service et de la taille du tuyau, si l'image est déjà comprimée, la compression et le changement de taille sont effectués de préférence dans le domaine fréquentiel afin de limiter le temps de calcul, sinon on comprime après le changement de taille. [305] d) Pour les services utilisant une image de grande taille : dans le serveur, on effectue une décompression qui élimine les artefacts de compression, suivie, le cas échéant, d'un agrandissement à la taille d'utilisation. [306] Le transfert peut s'effectuer directement vers l'utilisateur final (sauf dans le cas d'une carte postale) ou via un prestataire de service. [307] 2.5. SYSTEME
[308] Le serveur distant appelé également serveur de correction peut se situer:
[309] - dans le MMS-C (système de traitement des MMS chez l'opérateur),
[310] - à l'entrée du MMS-C,
[311] - à la sortie du MMS-C,
[312] - dans la passerelle WAP,
[313] - dans le MM9,
[314] - dans le MM7.
[315] Les combinaisons suivantes de terminal et de serveur sont possibles:
[316] - terminal standard et serveur,
[317] - terminal avec application qui réalise du traitement d'image, sans serveur,
[318] - terminal avec application qui réalise du traitement d'image, avec serveur,
[319] - terminal avec application qui ne réalise pas les traitements, avec serveur,
[320] - terminal avec application qui réalise les traitements pour donner un aperçu à l'utilisateur sur une image de taille réduite, avec serveur. [321] Les traitements destinés à un retour vers l'utilisateur peuvent se faire:
[322] - en local (dans le terminal), ou
[323] - à distance via http ou un autre protocole.
[324] 2.6. ADAPTATION DE L'IMAGE A LA TAILLE DU TUYAU
[325] Les opérateurs de télécommunication limitent la taille des messages transmis, par exemple par MMS. [326] La taille d'un fichier image dépend du contenu de l'image. A nombre de pixels donné et niveau de qualité perçu donné, une image qui contient beaucoup de détails produira un fichier plus volumineux qu'une image contenant moins de détails. [327] Il est donc nécessaire d'adapter automatiquement le niveau de qualité si on veut pouvoir utiliser un service dans tous les cas et ne pas dépasser la bande passante allouée par l'opérateur. [328] Il existe plusieurs façons d'adapter ce niveau de qualité, et le point optimum dépend de l'usage et donc du type de service. [329] Lors de l'utilisation d'un service, les images suivent le cheminement suivant :
[330] a) Prise de vue et compression éventuelle.
[331] b) Pré-traitement pour optimiser la taille de la donnée multimédia, le taux de compression qui lui est appliqué et son format : adaptation à la bande passante allouée par l'opérateur, par réduction de la taille du fichier transmis, cette réduction s 'effectuant par réduction éventuelle du nombre de pixels, et/ou augmentation du taux de compression. [332] c) Décompression avec, de préférence, réduction des artefacts.
[333] d) Changement du nombre de pixels pour s'adapter à l'écran ou l'imprimante utilisé pour le service (nombre final de pixels). [334] Pour réduire la taille du fichier, il existe un compromis entre le nombre de pixels et la compression utilisée : [335] - ce compromis dépend du nombre final de pixels et donc du type de service requis et du procédé de décompression, notamment si l'on réduit ou non les artefacts ; [336] - passé un certain niveau de compression, il vaut mieux réduire le nombre de pixels.
[337] Les opérations de réduction de la taille du fichier peuvent avoir lieu :
[338] - de préférence sans décomprimer l'image dans l'espace fréquentiel, ou
[339] - après décompression de l'image, ou
[340] - après décompression de l'image et réduction des artefacts.
[341] 2.7. EXEMPLES D'APPLICATION
[342] Des exemples de répartition des traitements sont donnés ci-après :
[343] a) Application avec un réseau 3G
[344] Ce réseau permet des échanges rapides terminal - serveur. Il est donc possible d'effectuer les traitements dans le serveur et d'afficher rapidement le résultat sur le téléphone. [345] On peut travailler avec une puissance de calcul quelconque sur le terminal et un nombre de pixels élevé. [346] b) Application avec un réseau 2.5G et un téléphone haut de gamme (« smartphone » en anglais). [347] Le réseau ne permet pas des échanges rapides terminal - serveur. Mais le terminal dispose d'une puissance de calcul élevée. [348] On peut effectuer les traitements dans le terminal d'images à la taille de l'écran pour montrer un aperçu à l'utilisateur et afficher rapidement le résultat sur le téléphone. [349] Il est donc possible d'effectuer les traitements à pleine résolution sur le serveur sans retour nécessaire vers l'utilisateur. [350] c) Application avec un réseau 2.5G et un téléphone milieu de gamme (« Featurephone » en anglais). [351] Le réseau ne permet pas des échanges rapides terminal - serveur.
[352] Le terminal a une puissance de calcul limitée et les échanges sont lents. La disponibilité d'aperçus pour l'utilisateur sera plus limitée, mais les autres avantages (ergonomie, accessibilité aux services...) sont préservés. [353] Il est donc possible d'effectuer les traitements dans le serveur en limitant les retours vers l'utilisateur. [354] 3. SOLUTION TEXTE PHOTOGRAPHIE (composant FotoText+) - nettoyage de fond [355] L'invention prévoit un composant, appelé « FotoText+ », qui est un scanneur de texte qui permet de transformer la photo de tout document « de nature binaire », par exemple composé de traits sur fond clair, notamment un texte manuscrit, un dessin au trait, plan ou croquis, un texte imprimé. [356] Ce composant corrige les défauts du papier (nettoyage de fond) : les ombres, le quadrillage ou les lignes, les plissures, tâches, froissures du papier, et, bien sûr, les défauts de la caméra et de l'éclairage. Ceci peut se faire par exemple par extraction des informations au dessus d'un seuil. [357] Il optimise le niveau de contraste.
[358] Il effectue une correction automatique du « flou de proximité » de mise au point, par exemple par application d'un masque de dé-flouage. En effet, les caméraphones sont réglés pour une netteté de 80 cm à l'infini et, en général, ne disposent pas d'autofocus. Or la photo d'un texte est prise à 15 cm environ, c'est-à-dire dans la plage de flou du cameraphone. [359] Si ce défaut est peu sensible aux résolutions très faibles (comme celle d'un écran : 160x120, ou CIF), il est particulièrement sensible à partir de 300000 pixels (VGA). [360] Il corrige aussi les défauts colorimétriques.
[361] Il est compatible avec une très forte compression. Ainsi, une photo d'un texte représente environ 25Ko, et après compression jusqu'à 5Ko - pour optimiser le transfert. [362] Après décompression puis traitement, on remet l'image au format d'impression pour une meilleure superposition sur un fond: agrandissement à 300 points par pouce ou au format du document final. [363] Le composant produit des traits en niveau de gris sur un fond uniforme.
[364] Il peut être utilisé de diverses manières : seul : pour affichage après prise de vue sur un écran de terminal, car l'image traitée est plus lisible que l'image d'origine, pour envoi à un autre destinataire (par MMS ou autre), au verso d'une carte postale (message et/ou adresse) ; en illustration d'une image : Dans un logiciel de retouche qui permet de superposer l'image nettoyée sur une photo en rendant transparente la couleur du fond par opération de mélange entre la photo et une couleur uniforme ou une texture en utilisant comme masque l'image nettoyée. Pour chaque pixel, si le niveau de gris de l'image nettoyée vaut IN, la photo vaut PH et la couleur uniforme ou texture vaut CO, on prend CO*(l-IN)/MAXIN+PH*IN/MAXIN où MAXIN est la valeur maximale de tous les pixels de l'image nettoyée. [365] Par exemple pour une carte postale, l'utilisateur prend deux photos :
[366] a) la photo du recto de la carte postale, et
[367] b) la photo d'un texte/graphique écrit/dessiné sur une feuille de papier.
[368] Une interface utilisateur permet de positionner le texte/graphique sur la photo du recto ; un traitement local ou distant à la résolution de l'écran du teπninal permet d'afficher un aperçu et facilite le travail de l'utilisateur. [369] La photo du texte/graphique est traitée, nettoyée par suppression des zones d'éclairage non uniforme pour en optimiser la lisibilité, nettoyée du fond et imprimée sur la photo du recto. [370] Dans le cas d'une photo, notamment une photo d'identité, le nettoyage de fond consiste à rendre uniforme la partie de la photo autre que la personne photographiée, par exemple en détectant le contour du visage et en remplissant l'extérieur avec une couleur uniforme. [371] 4. EXEMPLES DE SERVICES.
[372] On décrira ci-après, à l'aide des figures lb à 8, un service de réalisation de cartes postales, également appelé « photocarte ». [373] Les figures représentent les divers écrans de l'interface du terminal qui présente le service à l'utilisateur et guide l'utilisateur. [374] Les figures représentent également la mise en œuvre automatique de plusieurs fonctions du terminal nécessaires au service; cette mise en œuvre automatique de fonctions du terminal comprenant les étapes suivantes : [375] - sélectionner, parmi les fonctions disponibles dans le terminal, des fonctions nécessaires au service, [376] - établir automatiquement, et/ou manuellement par l'utilisateur, au moins un scénario approprié au service, ce scénario étant composé de séquences logiquement chaînées des fonctions sélectionnées, [377] le procédé comprenant en outre l'étape, pour l'utilisateur, de choisir un scénario déterminé parmi les scénarios précédemment établis. [378] L'écran 10 représenté sur la figure lb correspond à l'accueil quand le service de cartes postales a été sélectionné par l'utilisateur qui a été guidé au moyen d'une interface du terminal qui présente les services accessible à l'utilsiateur via le terminal. Il s'agit d'un écran d'accueil qui offre, à l'ouverture, le choix entre plusieurs scénarios appropriés au service également appelés actions qui sont comme représenté : « nouvelles photocartes », « brouillon », « cartes envoyées », « cartes en cours d'envoi », « modèles ». Le choix s'effectue, à l'aide du « joystick » du terminal en sélectionnant l'une des actions. Chaque scénario est composé de séquences logiquement chaînées des fonctions de prise de vue, recherche dans un album, saisie de texte, recherche d'adresse, de mise en page. Un mécanisme de préférences et de modèles permet de pré enregistrer au moins une partie du scénario.
[379] On peut également faire appel au menu « options » qui affiche alors un écran 12 permettant à l'utilisateur de sélectionner soit l'action, soit les préférences, soit une aide, soit la possibilité de quitter le service.
[380] Lorsque l'on sélectionne préférences, dans l'exemple représenté sur les figures 2a, 2b et 2c, l'utilisateur peut choisir entre trois préférences, à savoir, « général » (fig. 2a), « photo » (fig. 2b) et « serveur » (fig. 2c) en utilisant le joystick gauche ou droite.
[381] Sur l'écran 14 de la figure 2a, correspondant à l'onglet « général », il est demandé si l'utilisateur veut charger automatiquement son dernier brouillon.
[382] Sur l'écran 16 (fig. 2b) correspondant à l'onglet « photo » de la rubrique préférence, il est demandé à l'utilisateur s'il veut afficher automatiquement la dernière image utilisée et s'il veut utiliser automatiquement la dernière mise en page.
[383] Sur l'écran 18 de la figure 2c, correspondant à l'onglet « serveur » de la rubrique préférence, il est demandé à l'utilisateur à quel serveur il veut se connecter tel qu'un serveur MMS ou http.
[384] Sur la figure 3, on a représenté l'écran 20 affiché lorsque l'utilisateur sélectionne une action avec le menu option « Sélectionner » de l'écran 12 de la figure lb. Ainsi, il s'affiche un écran 20 sur lequel on voit apparaître le choix entre brouillon, modèle, carte à envoyer et carte en cours d'envoi. Sur l'écran 20, on a représenté le dernier brouillon qui comporte une photo 22 et un texte 24. Le menu option de l'écran 20 permet d'accéder à un écran 26 avec une commande « ouvrir ».
[385] Quand on a choisi cette commande « ouvrir », ou si l'on a sélectionné sur la figure lb une nouvelle carte postale à réaliser et à envoyer, on peut effectuer une sélection de l'image, du « recto » (mise en page), du texte, du « verso » (mise en page) et de l'adresse comme représenté sur la figure 4.
[386] L'écran 30 représenté sur la figure 4 correspond à la sélection d'une image qui, comme montré, indique qu'il s'agit du service de réalisation d'une nouvelle carte postale avec l'image au recto et offre la possibilité de prendre une nouvelle photo, de choisir la dernière photo prise, de choisir la photo préenregistrée dans un album en mémoire du terminal, de choisir une photo récemment utilisée pour le même service, ou enfin de choisir une photo sur un serveur distant. Dans ce cas, on peut gérer un album de données multimédia propres à l'utilisateur, cet album étant stocké sur un serveur accessible au terminal de téléphonie mobile de l'utilisateur via le réseau de télécommunications.
[387] Pour prendre une nouvelle photo, de préférence on fournit une aide automatique à l'utilisateur pour acquérir l'image, en aidant au cadrage. Cette aide au cadrage consiste à superposer une silhouette sur l'image qui indique à l'utilisateur comment cadrer dans différents cas qu'il peut choisir en écran horizontal (image plus large que haute) ou en écran vertical, ce qui permet d'obtenir à la fois une image cadrée correctement et de meilleure résolution que si un recadrage ultérieur était effectué. Cette aide au cadrage respecte, de préférence, la « règle d'or » de la photographie dite des trois tiers : ne jamais centrer le sujet ou l'horizon. L'utilisateur peut choisir à l'aide du joystick entre plusieurs cas d'usage, par exemple correspondant aux cas suivants : des gros plan, buste, groupe, paysage, photo de texte en écran horizontal ou vertical.
[388] Quand on choisit l'onglet « recto » (figure 5), on offre une aide à la mise en page du recto. Si l'utilisateur a choisi préalablement une mise en page préférée, alors celle-ci est affichée directement. Dans le cas contraire, l'écran, comme montré, affiche une liste de choix, c'est-à-dire permet de choisir une mise en page dans le terminal ou de choisir sur un serveur distant, ou de créer une nouvelle mise en page.
[389] Si on sélectionne « Choisir une mise en page », alors un choix est offert entre plusieurs types de mises en page, ces mises en page différant par la couleur, par le style, par les dimensions, etc.
[390] Si l'utilisateur choisit l'option « Créer une nouvelle mise en page », alors il lui est proposé des options qui, dans l'exemple, sont : le choix de la couleur de la bordure, l'épaisseur de la bordure, et le choix d'une carte à bords arrondis avec un choix de rayons de courbure.
[391] Quand l'utilisateur se positionne sur l'onglet « texte » de l'écran 30 représenté sur la figure 4, alors apparaît l'écran 34 de la figure 6 qui indique un choix entre un nouveau texte « smart text », un nouveau « photo-texte » et un photo-texte existant.
[392] Quand on choisit l'option « nouveau texte », l'interface homme/machine bascule vers la création d'un texte avec une saisie classique ou une saisie semi automatisée qui consiste à prévoir plusieurs champs pour le texte et dans chacun de ces champs, à réutiliser des textes déjà mémorisés. Le premier champ est le champ d'entêté qui se rapporte au destinataire : « cher ami », « chère maman », etc. Un second champ concerne le corps du texte : « il fait beau », « je passe de bonnes vacances », etc. Un troisième champ concerne la fin de texte comprenant la formule de politesse et un quatrième champ comprend la signature.
[393] Lorsqu'on sélectionne l'option « photo-texte », alors un écran (non montré) s'affiche pour indiquer à l'utilisateur qu'il doit photographier un texte, par exemple manuscrit, avec des conseils pour prendre correctement une photo de texte telle que « soyez bien parallèle » et « préférer un éclairage uniforme ».
[394] Dans une réalisation, un cadrage rectangulaire s'affiche sur l'écran et permet de déterminer, selon qu'elle est déformée au non, si la photo est prise avec le bon angle.
[395] Une fois le texte composé ou photographié, l'utilisateur passe à l'étape suivante qui correspond à l'onglet « verso » de la figure 4 et qui se rapporte à la mise en page du verso, c'est-à-dire du texte. Dans ce cas, l'écran 36 de la figure 7 est affiché et offre les choix suivants :
[396] - choisir la dernière mise en page,
[397] - choisir la mise en page préférée,
[398] - choisir une mise en page,
[399] - choisir une mise en page sur un serveur distant, et
[400] - créer une nouvelle mise en page.
[401] Le choix de la mise en page qui se trouve, par exemple, en mémoire du terminal, consiste, dans une réalisation, à choisir la nature du timbre postal à apposer et correspondant, par exemple, au lieu où la photo est prise. Il peut aussi consister en un choix de la couleur du fond.
[402] Pour la création d'une nouvelle mise en page, on propose un choix de polices, une taille de police, une couleur générale et un timbre.
[403] La figure 8 montre l'écran 38 qui est sélectionné lorsque l'utilisateur a choisi l'onglet « adresse » de l'écran de la figure 4. Si le terminal comporte déjà un carnet d'adresses ou une liste de contacts, alors le destinataire est choisi dans cette liste contacts par l'intermédiaire de la case « option » (écran 40). S'il s'agit d'un nouveau contact, alors l'écran comporte plusieurs zones pour le prénom (qui peut alors être choisi en faisant appel à l'option T9), le nom, le numéro de rue, le nom de la rue, le code postal de la ville et le pays.
[404] De préférence, lorsque le code postal est indiqué, la ville correspondante est indiquée automatiquement et réciproquement, lorsque la ville est indiquée, le code postal est indiqué automatiquement.
[405] Il est aussi possible de choisir plusieurs destinataires pour une même carte postale.
[406] Lorsque la carte postale est incomplète, un écran lui indique que cette carte postale n'est pas complète et lui demande de choisir une image, un destinataire et un texte, il lui indique aussi qu'une mise en page verso (image) par défaut est utilisée et que, de même, une mise en page recto (texte) par défaut est utilisée.
[407] Lorsque la carte postale est complète, alors l'écran d'envoi indique que la carte postale est prête à être envoyée et propose à l'utilisateur de l'enregistrer en tant que modèle.
[408] Enfin, après sélection de l'envoi par l'utilisateur, la photo est compressée en fonction au moins d'une caractéristique du réseau relative à son débit de transmission (par exemple la taille maximale des messages MMS) en optimisant la qualité de l'image transmise grâce au protocole décrit plus loin permettant de choisir, en vue de cette optimisation, le taux de sous-échantillonnage, et les paramètres de compression, notamment de type JPEG. Puis la photo ainsi compressée et la carte postale sont transmises par téléphonie par exemple par MMS. Un écran montre alors que la carte postale a été envoyée et propose à l'utilisateur d'envoyer cette carte à un autre destinataire.
[409] 5. ADAPTATION DES DONNEES A TRANSMETTRE A LA CAPACITE DE TRANSMISSION DU RESEAU
[410] Les capacités des capteurs des caméraphones augmentent constamment et dépassent largement la bande passante des protocoles de transmission. Par exemple, un capteur VGA fournit 300.000 pixels et chaque pixel utilise un octet pour coder chacun des trois canaux de couleurs, ce qui conduit à une image brute de 900 ko environ. Mais, la plupart des terminaux ne sont capables que d'envoyer des fichiers, après compression, de 30 à 50 ko, soit environ 3 à 5 % de l'information initiale dans le cas d'un capteur VGA.
[411] Partant de cette constatation, l'invention propose un procédé qui permet d'optimiser la qualité de l'image transmise grâce à un protocole permettant de choisir, en vue de cette optimisation, le taux de sous-échantillonnage, et les paramètres de compression, notamment de type JPEG.
[412] On sait en effet que, pour réduire la taille des fichiers images, on peut, d'une part, sous-échantillonner cette image et, d'autre part, la comprimer à l'aide d'un algorithme de compression tel que l'algorithme JPEG.
[413] Le sous-échantillonnage et le rééchantillonnage ultérieur réduisent la résolution et introduisent une perte de détails ainsi que des phénomènes de repliement de spectre ou aliasing.
[414] Par ailleurs, la compression JPEG conduit à une perte d'information et provoque l'apparition d'artefacts (défauts) qui sont d'autant plus importants que le taux de compression est important.
[415] Toutefois, la perte de résolution provoquée par un rééchantillonnage n'est pas rattrapable. Par contre, les artefacts provoqués par une compression JPEG ont une répartition ordonnée et connue qui les rend corrigeables dans une certaine mesure. Cette correction est effectuée par exemple par lissage des bords de blocs tel que décrit dans le standard jpeg ou encore par un algorithme dénommé JPEG CLEANER qui permet de décomprimer et corriger ces défauts.
[416] Pour déterminer le taux de compression et le taux d'échantillonnage, on utilise l'abaque représenté sur la figure 9 sur laquelle le taux de compression est porté en abscisses et le taux d'échantillonnage en ordonnées.
[417] Cet abaque comporte trois courbes correspondant à trois images différentes.
[418] L'abaque est obtenu de la façon suivante : on a choisi trois images test qui présentent au départ une définition de 1 mega pixel.
[419] A partir de ces images, on génère des copies compressées à différents taux permettant d'obtenir des fichiers de poids donnés : 200 ko, 150 ko, 100 ko, 80 ko, 60 ko, 55 ko, 50 ko, 45 ko, 40 ko, 35 ko, etc., préalablement rééchantillonnées, le taux d'échantillonnage étant de 90 %, 80 %, 70 % ; 60 %, etc., le taux d'échantillonnage étant le même en direction horizontale et en direction verticale.
[420] Les images sont ensuite classées par poids de fichier et chaque dossier est ainsi constitué d'images de mêmes poids, mais de définitions différentes.
[421] Pour permettre une comparaison de la pluralité d'images ainsi obtenues, ces dernières ont été remises à la définition de l'original par un calcul d'interpolation de type bicubique.
[422] Ensuite, pour chaque série d'images, un observateur expérimenté a visualisé sur un écran d'ordinateur, les différentes images et a déteπniné l'image qu'il a jugé la plus satisfaisante à taille de fichier similaire tout en notant, bien entendu, le taux de sous- échantillonnage et le facteur de compression correspondant.
[423] On a constaté que l'association de la compression JPEG à un rééchantillonnage de l'image permet d'obtenir de meilleurs résultats que chacune des méthodes utilisées séparément.
[424] On voit ainsi que l'abaque de la figure 9 permet de choisir pour un taux de compression donné, la valeur du taux d'échantillonnage qui donne les meilleures qualités d'images.
[425] Sur l'abaque représenté sur la figure 10, on a porté en abscisses le poids du fichier images en ko, et en ordonnées le taux d'échantillonnage. Les courbes représentées sur cette figure 10 définissent l'image la plus satisfaisante en fonction du poids du fichier et du taux d'échantillonnage.
[426] Partant d'une image de 1 méga pixel qui présente un poids d'environ 3 Mo sans compression, pour obtenir un fichier de 30 ko, on a intérêt à sous-échantillonner l'image de 50 % (ce qui correspond à une réduction d'un facteur 4 du nombre de pixels) avant de compresser l'image. Pour obtenir un fichier de 50 ko, on a intérêt à sous-échantillonner l'image de 70 % (soit une diminution d'un facteur 2 du nombre de pixels) avant de compresser l'image. Enfin, pour un fichier de plus de 130 ko, il est préférable d'utiliser seulement une compression JPEG, sans sous-échantillonnage. [427] En pratique, le terminal de téléphonie mobile comporte en mémoire les abaques des figures 9a et 10a également appelées au sens de l'invention : la courbe optimale de la compression en fonction de la taille de la donnée multimédia. La figure 9a est un abaque avec une courbe 50 constituant une moyenne des courbes sur la figure 9 et l'abaque de la figure 10a comporte une courbe 52 correspondant à une valeur moyenne des courbes de la figure 10.
[428] Ainsi, pour déterminer le fichier qui devra être envoyé sur le réseau, on prévoit dans le terminal de téléphonie mobile, un algorithme qui part du poids d'un fichier que le terminal peut envoyer sur le réseau. A ce poids de fichier en abscisses sur la figure 10a correspond en ordonnées de cette même figure, un taux d'échantillonnage. Ce taux d'échantillonnage permet de déterminer, à partir de la courbe 50 de la figure 9a, un taux de compression en abscisses de la figure 9a. Cet algorithme est représenté par le parcours fléché qui part d'un point A en abscisses de la figure 10a pour aboutir en un point B en abscisses de la figure 9a.
[429] Mais, le taux de compression obtenu peut fournir un poids de fichier supérieur à celui que peut supporter le réseau, car, pour un taux de compression donné, le poids final du fichier dépend de la quantité de détails contenus dans l'image. C'est pourquoi, dans ce cas, l'algorithme choisit un taux de compression supérieur B', ce qui permet de sélectionner un taux d'échantillonnage correspondant grâce à la courbe 50 de la figure 9a et de vérifier, à l'aide de l'abaque de la figure 10a, si le poids A' de fichier est inférieur au maximum admissible par le réseau. Ce processus itératif continue si le poids A' est encore trop important, c'est-à-dire qu'on choisit un poids A" de fichier inférieur à A' jusqu'à l'obtention d'un poids de fichier satisfaisant.
[430] Bien entendu, la courbe optimale de la compression en fonction de la taille de la donnée multimédia peut se présenter en mémoire du terminal sous forme des abaques des figures 9a et 10a mais également sous forme de tableaux de valeurs ou d'algorithmes.
[431] Bien entendu aussi, on pourra ne présenter en mémoire du terminal que la partie utile de la courbe optimale de la compression en fonction de la taille de la donnée multimédia. La partie utile est par exemple l'extrait correspondant aux tailles de fichiers maximal pouvant transiter par les réseaux des différents opérateurs téléphoniques.
[432] Modes d ' utilisation des images
[433] On va maintenant décrire un mode de réalisation qui peut s'appliquer tant au service de téléphonie mobile qu'à un appareil d'acquisition d'images tel qu'un appareil photographique ou une caméra vidéo.
[434] Avant de procéder à cette description, on précise ici la signification des divers termes utilisés : [435] Par image numérique, on entend une image sous forme numérique. L'image peut être issue d'un appareil d'acquisition d'images numérique également appelé appareil de capture d'image. L'image peut être une image fixe ou animée, une image d'une séquence vidéo avant prise de vue ou une image destinée à être transmise ou conservée.
[436] L'image numérique peut être représentée par un ensemble de valeurs numériques, ci-après appelées niveau de gris, chaque valeur numérique étant associée une sensibilité en couleur et une position géométrique relative sur une surface ou un volume. On appelle couleur au sens de l'invention, l'ensemble des valeurs numériques associées à la même sensibilité en couleur.
[437] L'image numérique est de préférence l'image brute du capteur (format « raw » en anglais) avant opération de dématriçage (« demosaicing » en anglais). L'image numérique peut également avoir subi un traitement, par exemple un dématriçage, une balance des blancs ou un sous-échantillonnage.
[438] - Lorsque l'image numérique est issue d'un appareil de capture d'image, ce dernier comprend un capteur doté d'éléments sensibles. Par élément sensible, on entend un élément du capteur permettant de convertir un flux d'énergie en signal électrique. Le flux d'énergie peut prendre la forme notamment d'un flux lumineux, de rayons X, d'un champ magnétique, d'un champ électromagnétique ou d'ondes sonores. Les éléments sensibles peuvent être, selon les cas, juxtaposés sur une surface et/ou superposés dans un volume. Les éléments sensibles peuvent être disposés selon une matrice rectangulaire, une matrice hexagonale ou autre géométrie.
[439] - L'invention s'applique à des capteurs comportant des éléments sensibles d'un ou plusieurs type(s) différent(s), chaque type ayant une sensibilité en couleur, chaque sensibilité en couleur correspondant à la partie du flux d'énergie converti en signal électrique par l'élément sensible du capteur. Dans le cas d'un capteur d'image visible, les capteurs ont généralement une sensibilité en 3 couleurs et l'image numérique a 3 couleurs : rouge, vert et bleu. Certains capteurs ont une sensibilité en 4 couleurs : rouge, vert, émeraude, bleu.
[440] - Par couleur on entend également une combinaison, notamment linéaire, des signaux délivrés par le capteur.
[441] - L'invention s'applique avec les diverses définitions de la netteté connues. Par exemple, la netteté d'une couleur peut correspondre à la mesure d'une valeur dénommée BXU qui est une mesure de la surface de tache de flou, telle que décrite dans l'article publié dans les « Proceedings of IEEE, International Conférence of Image Processing, Singapore 2004 », et intitulé « Uniqueness of Blur Measure » de Jérôme BUZZI et Frédéric GUICHARD.
[442] De façon simplifiée, le flou d'un système optique se mesure à partir de l'image, appelée « réponse impulsionelle », d'un point infiniment petit situé dans le plan de netteté. Le paramètre BXU est la variance de la réponse impulsionelle (c'est-à-dire sa surface moyenne). Les capacités du traitement peuvent être limitées à une valeur maximale de BXU.
[443] Diverses méthodes de mesures d'une telle netteté sont décrites dans des manuels et publications tels que, par exemple, le « Handbook of Image& Video processing » édité par Al Bovik et publié par Académie press, pages 415 à 430.
[444] Dans une réalisation, la netteté est obtenue par calcul d'un gradient. Par exemple la netteté peut être obtenue par un calcul de gradient de 9 niveaux de gris pris en des positions géométriques voisines.
[445] Dans une implémentation :
[446] Un appareil de capture d'images est, par exemple, un appareil photo jetable, un appareil photo numérique, un appareil reflex (numérique ou pas), un scanner, un fax, un endoscope, une caméra, un caméscope, une caméra de surveillance, un jouet, une caméra ou un appareil photo intégré ou relié à un téléphone, à un assistant personnel ou à un ordinateur, une caméra thermique, un appareil d'échographie , un appareil d'imagerie IRM (résonance magnétique), un appareil de radiographie à rayons X.
[447] - Par système optique de capture d'images, on entend les moyens optiques permettant de restituer des images sur un capteur.
[448] - Par capteur d'images, on entend des moyens mécaniques, chimiques, ou électroniques permettant la capture et/ou l'enregistrement d'une image.
[449] - Par système d'asservissement, ou asservissement, on entend des moyens de type mécanique, chimique, électronique, ou informatique permettant que des éléments ou paramètres de l'appareil respectent une consigne. Il s'agit notamment du système de mise au point automatique (autofocus), du contrôle automatique de la balance des blancs, du contrôle automatique de l'exposition, du contrôle d'éléments optiques, afin, par exemple, de conserver une qualité uniforme d'images, d'un système de stabilisation d'image, d'un système de contrôle de facteur de zoom optique et/ou numérique, ou d'un système de contrôle de saturation, ou d'un système de contrôle de contraste.
[450] - Les moyens de traitement numériques d'images peuvent prendre diverses formes selon l'application.
[451] Les moyens de traitement numériques d'images peuvent être intégrés, en tout ou partie, à l'appareil, comme dans les exemples suivants :
[452] - Un appareil de capture d'images qui produit des images modifiées, par exemple un appareil photo numérique qui intègre des moyens de traitement d'images.
[453] - Un appareil de restitution d'images qui affiche ou imprime des images modifiées, par exemple un projecteur vidéo ou une imprimante incluant des moyens de traitement d'images. [454] - Un appareil mixte qui corrige les défauts de ses éléments, par exemple un scanner/ imprimante/télécopieur incluant des moyens de traitement d'images. [455] - Un appareil de capture d'image professionnel qui produit des images modifiées, par exemple un endoscope incluant des moyens de traitement d'images. [456] Les moyens de traitement d'images peuvent être déportés en tout ou partie sur un serveur. [457] R é glage de 1 ' appareil, param è tre de prise de vue :
[458] Par réglage de l'appareil ou paramètre de prise de vue, on entend un réglage explicite tel que, dans le cas d'un photophone, un réglage de l'envoi d'une image vers un autre téléphone mobile ou vers un service d'impression, ou implicite tel que, toujours dans le cas d'un photophone, un numéro de téléphone destinataire saisi par l'utilisateur pour l'envoi d'un message, ou encore automatique par exemple le réglage d'exposition automatique en fonction de la lumière. [459] Les réglages de l'appareil ou paramètres de prise de vue comportent notamment un ou plusieurs des éléments suivants : [460] - Le mode d'utilisation, par exemple : automatique, priorité ouverture, priorité vitesse, portrait, paysage, sport, nuit. L'utilisation a notamment une influence sur la sensibilité ISO, le temps de pose, le bruit, le flou. [461] - La correction manuelle d'exposition qui a notamment une influence sur le bruit et le contraste. [462] - Le réglage de sensibilité ISO qui a notamment une influence sur le bruit et le flou de bougé. [463] - Le réglage de temps de pose qui a notamment une influence sur le flou de bougé.
[464] - le réglage d'ouverture qui a notamment une influence sur le flou.
[465] - Le réglage de mise au point qui a notamment une influence sur le flou.
[466] - Le mode macro qui a notamment une influence sur le flou.
[467] - Le réglage de balance des blancs, par exemple : automatique, tungstène, fluorescent, halogène, ensoleillé, couvert, ombragé, qui a notamment une influence sur la couleur. [468] - Le réglage de contraste, par exemple : fort, normal, faible, qui a notamment une influence sur le contraste. [469] - Le réglage de netteté, par exemple : fort, normal, faible, qui a notamment une influence sur le flou. [470] - Le réglage de résolution qui a une influence notamment sur les détails et la netteté.
[471] - Le réglage de zoom numérique qui a notamment une influence sur les détails.
[472] - Le réglage de rendu couleur, par exemple : couleur, noir et blanc, sépia, saturé, qui a notamment une influence sur la couleur. [473] - Le réglage d'espace colorimétrique de sortie, qui a notamment une influence sur la couleur. [474] - La valeur maximale de facteur de zoom numérique. Pour désactiver le zoom, on lui confère la valeur 1. [475] - Les paramètres des différents asservissements.
[476] - Les paramètres de traitement de l'image, en particulier : les coefficients et tables utilisés par les différents filtres et traitements nécessaires à la construction de la couleur, de la netteté, du contraste, des détails et à la réduction du bruit, les paramètres de dématriçage, de « tone curve » (qui est une table de correspondance utilisée pour adapter la dynamique du signal du capteur, par exemple 10 bits, à la dynamique du signal de l'image, par exemple 8 bits), de réduction de bruit, de balance des blancs, d'interpolation. [477] - Les autres paramètres fixes ou variables selon l'image et ayant une influence sur l'image ou sur l'image délivrée par le service. [478] - Une indication de l'utilisation finale de l'image sous la forme d'un ou plusieurs services et/ou sous la forme du nombre de pixels nécessaires à l'utilisation et/ou sous la forme du type de périphérique de restitution (notamment écran d'appareil, impression, agrandissement...) et/ou sous une des formes décrites plus loin. [479] L'indication de l'utilisation finale de l'image peut se faire de différentes façons : lors de la création d'un message pour un service particulier, par exemple : pour un service de carte postale sur mobile après la demande de création de carte postale, pour un service MMS sur mobile, après le choix du destinataire, ce qui permet, s'il s'agit d'un numéro ou adresse de service carte postale, de savoir que l'image va être imprimée, s'il s'agit d'une adresse email de savoir que l'image va être utilisée sur un écran d'ordinateur ou pour une impression, s'il s'agit d'un numéro de téléphone mobile de savoir que l'image va être utilisée sur un écran de mobile, via un réglage effectué par l'utilisateur, via un réglage effectué par l'opérateur du service, via un réglage effectué par le fabricant ou le vendeur du téléphone, afin de favoriser certains types de services, via un historique des usages des images. [480] Utilisation de 1 ' image :
[481] Dans le cas où la donnée multimédia est une image, par service on entend notamment des services tels que décrits précédemment mais également des services correspondant à une utilisation de l'image déterminée, le service n'étant pas nécessairement proposé par un prestataire mais pouvant également être réalisé par l'utilisateur lui-même ou par un tiers, en particulier l'utilisation de l'image déterminée peut correspondre à des usages de partage d'images (sur un écran de petite taille, sur un écran d'ordinateur, sur une impression, sur un support électronique ou physique) et mémoire (archivage pour consultation ultérieure par impression ou emegistrement du fichier image) tels que :
[482] - l'affichage sur un écran de petite taille, usuellement de moins de 100 000 pixels, notamment : l 'écran de l'appareil d'acquisition, ou l'écran d'un autre appareil ou l'écran d'un appareil de stockage de données multimédia,
[483] - l'affichage sur un écran de grande taille, usuellement de 1 à 2 millions de pixels notamment : un écran d'ordinateur, un téléviseur, un projecteur,
[484] - l'impression au format standard (10cmxl5cm environ), usuellement de 2 millions de pixel,
[485] - l'agrandissement, de plusieurs millions de pixels,
[486] - la retouche,
[487] - l'archivage sur support électronique (disque dur, CD, DVD...).
[488] On peut regrouper les services en fonction du nombre de pixels nécessaire à l'utilisation :
[489] - utilisation en petite taille, par exemple 100 000 pixels,
[490] - utilisation en taille standard, par exemple à 1 à 2 millions de pixels,
[491] - utilisation en taille maximale possible.
[492] Dans une réalisation, la qualité d'utilisation du service est augmentée en utilisant une information d'utilisation de l'image. Cette information peut être :
[493] - indiquée directement par l'utilisateur : en indiquant un service à utiliser, en indiquant une taille maximale d'utilisation de l'image,
[494] - calculée à partir d'un réglage de qualité d'image, à partir d'autres réglages.
[495] Art ant é rieur
[496] On va maintenant décrire les fonctions d'un appareil tel que réalisé actuellement sans la disposition de l'invention qui va être décrite plus loin.
[497] L'appareil dispose généralement d'un réglage de résolution de l'image.
[498] L'acquisition d'image comprend tout ou partie des étapes suivantes :
[499] - asservissement de l'exposition avant la prise de vue,
[500] - asservissement de la mise au point avant la prise de vue, [501] - asservissement de la balance des blancs avant la prise de vue,
[502] - affichage d'une video de taille réduite avant la prise de vue,
[503] - acquisition d'une image « raw » en utilisant tout ou partie du capteur, selon le zoom numérique (seul le centre est utilisé) et éventuellement la résolution,
[504] - dématriçage de l'image par interpolation des couleurs manquantes en chaque pixel
[505] - application d'une courbe de contraste (tone curve en anglais),
[506] - correction de balance des blancs,
[507] - réduction du bruit,
[508] - augmentation de la netteté,
[509] - passage dans l'espace de couleur de sortie,
[510] - interpolation pour atteindre la résolution demandée à partir des pixels disponibles.
[511] - compression,
[512] - marquage de l'image pour envoi par email, impression.
[513] Exemple de r é alisat ion
[514] On va maintenant décrire une réalisation de l'invention dans laquelle la donnée multimédia est une image, les caractéristiques de cette image étant les paramètres de prise de vue qui sont déterminés automatiquement en fonction du service, de façon, notamment, qu'une image destinée à un téléphone mobile puisse bénéficier d'un temps de pose plus long qu'une image destinée à un service d'impression ou à la visualisation sur un écran d'ordinateur.
[515] Ainsi cette réalisation est plus particulièrement adaptée au cas où :
[516] - la donnée multimédia est une image,
[517] - l'amélioration de la qualité d'utilisation correspond à une amélioration de la qualité de l'image,
[518] - l'appareil peut être un terminal mais aussi un appareil photo ou tout autre appareil lié à l'image tel que décrit plus haut,
[519] - l'utilisation de l'image est connue, celle-ci ayant été déterminée ou calculée comme décrit précédemment, notamment à partir du service.
[520] Dans cette réalisation, le procédé comprend l'étape de déterminer automatiquement les caractéristiques de la donnée multimédia en fonction du service sélectionné. Les caractéristiques de cette image étant les paramètres de prise de vue.
[521] Dans cet exemple les paramètres de prise de vue sont déterminés pour optimiser l'image pour une utilisation de :
[522] - l'image en petite taille et/ou,
[523] - l'image en taille standard et/ou,
[524] - l'image en taille maximale.
[525] Le procédé comprend au moins l'une des étapes suivantes :
[526] - adapter le zoom numérique en fonction de l'utilisation, [527] - adapter l'asservissement d'exposition en fonction de l'utilisation,
[528] - adapter le nombre de pixels acquis en fonction de l'utilisation,
[529] - adapter le dématriçage en fonction de l'utilisation,
[530] - adapter l'augmentation de netteté en fonction de l'utilisation,
[531] - adapter la réduction de bruit en fonction de l'utilisation.
[532] L'exemple ci-après correspond à un capteur de 4 millions de pixels.
[533] Un zoom numérique consiste à n'utiliser que la zone centrale du capteur. Ainsi pour un zoom numérique x2, on ne conserve que le quart central des pixels du capteur.
[534] Pour adapter le zoom numérique à l'utilisation, on peut calculer un facteur de zoom maximal pour que le nombre de pixels acquis soit proche du nombre de pixels pour l'utilisation de l'image. Par exemple :
[535] - pour une utilisation en petite taille, on limite le zoom numérique à la racine carrée de (4 000 000 / 100 000), soit 6 environ,
[536] - pour une utilisation en taille standard, on limite le zoom numérique à la racine de (4 000 000 / 1 000 000), soit 2,
[537] - pour une utilisation en taille maximale, on interdit le zoom numérique.
[538] L'asservissement d'exposition mesure la quantité de lumière sur le capteur, et ajuste le temps de pose, l'ouverture et le gain du capteur (lié à la sensibilité ISO) en fonction des réglages de l'appareil pour atteindre une exposition cible.
[539] Pour adapter l'asservissement d'exposition en fonction de l'utilisation, on peut :
[540] - augmenter le temps de pose pour les tailles d'utilisation plus faibles, car le flou de bougé se voit moins sur une petite image ; on obtiendra ainsi un bruit plus faible,
[541] - tenir compte de la réduction du nombre de pixels acquis et de la réduction de bruit pour fixer un gain plus élevé.
[542] Pour adapter le nombre de pixels acquis en fonction de l'utilisation :
[543] - On peut, pour les tailles d'utilisation petites et/ou standards, acquérir 4 fois le nombre de pixels d'utilisation (par exemple pour une utilisation en petite taille à 100 000 pixels, on acquiert une image de 400 000 pixels), ce qui permet de simplifier les calculs par pixel : on peut simplifier le dématriçage par la méthode connue de superposition de 4 pixels voisins au lieu d'utiliser une interpolation pour reconstruire les couleurs manquantes en chaque pixel. On obtiendra ainsi une image plus petite, ce qui permet de reconstruire d'autant plus vite la couleur, le contraste, la netteté et les détails (ces calculs étant proportionnels au nombre de pixels), de simplifier les calculs de netteté par pixel car on peut réduire la taille du filtre de netteté, celui-ci étant d'autant moins complexe que la résolution est faible, ce qui permet enfin de disposer de beaucoup plus de puissance de calcul pour réduire le bruit.
[544] - On peut également, lorsque la quantité de lumière est faible, acquérir l'image brute, effectuer un dématriçage rapide pour obtenir une image 4 fois plus petite, continuer le traitement de conversion en une image visible sur cette image réduite, et utiliser la puissance de calcul ainsi libérée pour effectuer un traitement de réduction de bruit beaucoup plus complexe.
[545] Par exemple :
[546] - si le traitement de conversion de l'image brute du capteur en une image visible correspond à 150 opérations par pixel visible, dont 25 pour réduire le bruit ;
[547] - si le traitement de conversion de l'image brute du capteur en une image visible avec dématriçage simplifié correspond à 100 opérations par pixel visible dont 25 pour réduire le bruit ;
[548] - alors on peut ajouter 500 opérations par pixel visible pour réduire le bruit ce qui permet d'utiliser un calcul 20 fois plus complexe que les 25 opérations de réduction de bruit. En effet, 100+500 opérations par pixel sur 4 fois moins de pixels correspond à la même puissance de calcul que 125+25 sur tous les pixels.
[549] Ainsi, on a déterminé automatiquement les paramètres de prise de vue en fonction du service et de la quantité de lumière lors de la prise de vue, puisqu'au lieu de fournir une image inutilisable pour le service, on a fourni une image avec 4 fois moins de détails, mais avec un niveau de bruit sensiblement réduit, par exemple de 6 à 9dB, ce qui rend l'image utilisable.
[550] Pour adapter le dématriçage en fonction de l'utilisation :
[551] - on peut acquérir 4 fois le nombre de pixels d'utilisation, et simplifier le dématriçage par la méthode connue de superposition de 4 pixels voisins.
[552] Pour adapter la réduction de bruit en fonction de l'utilisation on peut, comme décrit ci-dessus, libérer de la puissance de calcul, ce qui permet de réduire le bruit en utilisant un voisinage plus large du pixel par exemple en utilisant un algorithme tel que décrit dans l'article de Carlo Tomasi and Roberto Manduchi, « Bilatéral Filtering for Gray and Color Images", pages 839-846, in proceedings of International Conférence in Computer Vision, 1998.
[553] Contrairement aux appareils existants, qui produisent une image à la taille demandée, l'invention permet d'obtenir une image de qualité maximale, notamment en basse lumière, compatible avec l'utilisation en adaptant l'acquisition, la taille et les traitements.
[554] Ce mode de réalisation de l'invention peut aussi être utilisé :
[555] - pour l'acquisition de deux images de la même scène en basse lumière, avec des réglages de taille d'image « petite » et « grande » ou un équivalent en terme de sélection de service,
[556] Avec l'invention, il existe une plage de quantité de lumière pour laquelle la petite image est de meilleure qualité que la grande image réduite.
[557] Lorsque le temps de pose et le gain (sensibilité ISO) sont disponibles dans les données au format Exif des images, les paramètres seront sensiblement différents entre les 2 images. [558] Utilisation en petite taille
[559] On va maintenant décrire une réalisation de l'invention plus particulièrement adaptée à une utilisation de l'image en petite taille. Pour illustrer cette réalisation, on considère un capteur de 4 000 000 de pixels, l'invention étant cependant applicable à toute taille de capteur. [560] On peut déterminer un ou plusieurs paramètres de prises de vue, notamment :
[561] - la valeur maximale du zoom numérique : pour une utilisation en petite taille, on limite le zoom numérique à racine carrée de (4 000 000 / 100 000), soit 6 environ, [562] - le temps de pose qui peut être fixé à 1/15 pour des une sensibilité variant de 100 à 3200 ISO, puis augmenter au delà de 3200 ISO, [563] - le sensibilité qui peut varier entre 100 et 3200 ISO,
[564] - la taille de l'image raw fixée à 4 fois le nombre de pixels d'utilisation, 400 000 pixels dans l'exemple, [565] - la méthode de dématriçage : on peut simplifier le dématriçage par la méthode connue de superposition de 4 pixels voisins, [566] - les paramètres de réduction de bruit : on utilise un voisinage plus grand par exemple 256 pixels, [567] - les paramètres de netteté : on utilise un filtre plus petit, par exemple 3x3
[568] Utilisation en taille standard
[569] On va maintenant décrire une réalisation de l'invention plus particulièrement adaptée à une utilisation de l'image en taille standard. Pour illustrer cette réalisation, on considère un capteur de 4 000 000 de pixels ; cependant, l'invention est applicable à toute taille de capteur. [570] On peut déterminer un ou plusieurs paramètres de prises de vue, notamment :
[571] - le temps de pose qui peut être fixé à 1/60 pour des une sensibilité variant de 100 à 800 ISO, puis augmenter au delà de 800 ISO, [572] - le sensibilité qui peut varier entre 100 et 800 ISO,
[573] - la taille de l'image raw fixée à 4 fois le nombre de pixels d'utilisation, 4 000 000 pixels dans l'exemple, [574] - la méthode de dématriçage : on peut simplifier le dématriçage par la méthode connue de superposition de 4 pixels voisins, [575] - les paramètres de réduction de bruit : on utilise un voisinage moyen par exemple 64 pixels, [576] - les paramètres de netteté : on utilise un filtre plus grand, par exemple 5x5.
[577] Utilisation en taille maximale
[578] On va maintenant décrire une réalisation de l'invention plus particulièrement adaptée à une utilisation de l'image en taille maximale. Pour illustrer cette réalisation, on considère un capteur de 4 000 000 de pixels, l'invention étant cependant applicable à toute taille de capteur.
[579] On peut déterminer un ou plusieurs paramètres de prises de vue, notamment :
[580] - le temps de pose qui peut être fixé à 1/60 pour une sensibilité variant de 100 à 400 ISO, puis augmenter au delà de 400 ISO,
[581] - le sensibilité qui peut varier entre 100 et 400 ISO,
[582] - la taille de l'image raw fixée à 4 000 000 pixels dans l'exemple,
[583] - la méthode de dématriçage : on utilise une interpolation pour calculer les couleurs manquantes en chaque pixel,
[584] - les paramètres de réduction de bruit : on utilise un voisinage plus petit , par exemple 16 pixels,
[585] - les paramètres de netteté : on utilise un filtre plus grand, par exemple 5x5.
[586] Utilisation en taille maximale avec prise en compte de la lumi è re
[587] On va maintenant décrire une variante de réalisation de l'invention dans laquelle la donnée multimédia est une image, la donnée multimédia est acquise pour la fourniture d'au moins deux services, les caractéristiques de cette image étant les paramètres de prise de vue qui sont déterminés automatiquement en fonction d'au moins un des deux services et de la quantité de lumière lors de la prise de vue, de façon, notamment, qu'en basse lumière, l'image soit utilisable pour au moins un des deux services. Cette réalisation est plus particulièrement adaptée à une utilisation de l'image en taille maximale et tenant compte de la lumière. Pour illustrer cette réalisation, on considère un capteur de 4 000 000 de pixels, l'invention étant cependant applicable à toute taille de capteur.
[588] Dans ce cas :
[589] - S'il y a suffisamment de lumière, il est possible d'obtenir une image de bonne qualité de pleine résolution.
[590] - Au dessous d'un premier seuil de lumière, il n'est pas possible d'obtenir une image de bonne qualité de pleine résolution. Il est donc préférable de réduire la résolution de l'image, ce qui permet d'optimiser la qualité de l'image en taille standard. Il est alors possible d'agrandir l'image ainsi obtenue pour obtenir une image de pleine résolution avec de bonnes couleurs, un bon contraste, une bonne netteté, avec un faible bruit, même si les détails ne seront pas très fins.
[591] - Au dessous d'un second seuil de lumière plus faible que le premier seuil, il n'est pas possible d'obtenir une image de bonne qualité de taille standard. Il est donc préférable de réduire la résolution de l'image ce qui permet d'optimiser la qualité de l'image en petite taille. Il est alors possible d'agrandir l'image ainsi obtenue pour obtenir une image de résolution standard avec de bonnes couleurs, un bon contraste, une bonne netteté, avec un faible bruit, même si les détails ne seront pas très fins. [592] On aura ainsi déterminé automatiquement les paramètres de prise de vue en fonction d'au moins deux utilisations de l'image et de la quantité de lumière lors de la prise de vue pour améliorer la qualité de l'image pour au moins une utilisation. [593] La quantité de lumière est déterminée par l'asservissement d'exposition selon une méthode connue. [594] On peut déterminer un ou plusieurs paramètres de prise de vue, notamment,
[595] - Au dessus du premier seuil de lumière, on cherche à obtenir une image de 4 000 000 pixels : le temps de pose peut être fixé à 1/60 pour des sensibilités variant de 100 à 400 ISO, puis augmenter au delà de 400 ISO, la sensibilité peut varier entre 100 et 400 ISO, la taille de l'image raw est fixée à 4 000 000 pixels dans l'exemple, la méthode de dématriçage utilise une interpolation pour calculer les couleurs manquantes en chaque pixel et ainsi, obtenir une image visible de 4 000 000 pixels, les paramètres de réduction de bruit : on utilise un voisinage plus petit par exemple 4 pixels, les paramètres de netteté : on utilise un filtre plus grand, par exemple 5x5. [596] - Entre le premier et le second seuil de lumière, on cherche à obtenir une image de 1 000 000 pixels : le temps de pose peut être fixé à 1/60 pour des une sensibilité variant de 100 à 800 ISO, puis augmente au delà de 800 ISO, la sensibilité peut varier entre 100 et 800 ISO, la taille de l'image raw est fixée à 4 fois le nombre de pixels d'utilisation, 4 000 000 pixels dans l'exemple, la méthode de dématriçage : on peut simplifier le dématriçage par la méthode connue de super-position de 4 pixels voisins, les paramètres de réduction de bruit : on utilise un voisinage moyen par exemple 64 pixels. [597] - En dessous du second seuil de lumière, on cherche à obtenir une image de 100 000 pixels : la valeur maximale du zoom numérique : pour une utilisation en petite taille, on limite le zoom numérique à la racine carrée de (4 000 000 / 100 000), soit 6 environ, le temps de pose peut être fixé à 1/15 pour des une sensibilité variant de 100 à 3200 ISO, puis augmenter au delà de 3200 ISO, la sensibilité peut varier entre 100 et 3200 ISO, la taille de l'image raw est fixée à 4 fois le nombre de pixels d'utilisation, 400 000 pixels dans l'exemple, la méthode de dématriçage : on peut simplifier le dématriçage par la méthode connue de super-position de 4 pixels voisins, les paramètres de réduction de bruit : on utilise un voisinage plus grand par exemple 256 pixels, les paramètres de netteté : on utilise un filtre plus petit, par exemple 3x3. [598] De la même façon, pour une utilisation en taille standard, on peut prendre en compte la lumière pour utiliser les paramètres correspondant à l'utilisation en petite taille, si la lumière est au dessous du second seuil. [599] Dans un appareil utilisant l'invention, la résolution de l'image est réduite automatiquement lorsque la lumière est réduite au delà d'un seuil. [600] Utilisation avec au moins deux services.
[601] Dans une réalisation, au moins deux données multimédia sont acquises pour la fourniture d'au moins deux services, les caractéristiques de chaque donnée multimédia étant adaptées au service correspondant. [602] Cette réalisation est plus particulièrement adaptée au cas où l'on veut pouvoir réaliser une utilisation en deux tailles différentes, par exemple : [603] - petite et standard : ce cas correspond, par exemple, aux services, pour un terminal mobile, d'envoi à un mobile et d'envoi à un email/impression/carte postale. [604] - standard et maximale : ce cas correspond, par exemple, pour un appareil photo, aux services, d'une part, d'impression standard ou d'utilisation sur ordinateur et, d'autre part, d'agrandissement. [605] Habituellement on acquiert l'image pour la taille maximale et ensuite on réduit la taille de l'image. Dans cette réalisation, on acquiert deux images, les paramètres de prises de vue de chaque image étant adaptés à chaque utilisation pour optimiser la qualité de l'image lors de chaque utilisation. Ainsi, en basse lumière, l'utilisation de taille la plus faible aura une qualité améliorée par rapport aux méthodes habituelles. [606] Par exemple si l'on veut une utilisation en taille standard et une utilisation en petite taille, on peut déterminer les paramètres de prise de chaque vue de la façon suivante : [607] - Image pour utilisation en taille standard : le temps de pose peut être fixé à 1/60 pour une sensibilité variant de 100 à 800 ISO, puis augmenter au delà de 800 ISO, la sensibilité peut varier entre 100 et 800 ISO, la taille de l'image raw est fixée à 4 fois le nombre de pixels d'utilisation, 4 000 000 pixels dans l'exemple, la méthode de dématriçage : on peut simplifier le dématriçage par la méthode connue de super-position de 4 pixels voisins, les paramètres de réduction de bruit : on utilise un voisinage moyen, par exemple 64 pixels. [608] - Image pour utilisation en petite taille : la valeur maximale du zoom numérique : pour une utilisation en petite taille, on limite le zoom numérique à la racine carrée de (4 000 000 / 100 000), soit 6 environ, le temps de pose peut être fixé à 1/15 pour des une sensibilité variant de 100 à 3200 ISO, puis augmenter au delà de 3200 ISO, la sensibilité peut varier entre 100 et 3200 ISO, la taille de l'image raw est fixée à 4 fois le nombre de pixels d'utilisation, 400 000 pixels dans l'exemple, la méthode de dématriçage : on peut simplifier le dématriçage par la méthode connue de super-position de 4 pixels voisins, les paramètres de réduction de bruit : on utilise un voisinage plus grand par exemple 256 pixels, les paramètres de netteté : on utilise un filtre plus petit, par exemple 3x3. [609] La figure 11 illustre de façon très schématique, ces dispositions de l'invention. Lorsque l'appareil photographique d'un photophone 200 prend une photographie destinée à un service d'impression 202, comme indiqué par l'utilisateur grâce à un menu correspondant, le temps de pose est déterminé automatiquement à 1/60 me seconde afin de minimiser le risque de flou de bougé. Lorsque l'utilisateur du photophone 200 a indiqué que la photographie à prendre 204 est destinée à être visualisée sur l'écran 206 du photophone 200, alors le temps de pose maximal est limité à 1/15 me de seconde car sur l'écran de faible dimension le flou de bougé est moins sensible. Enfin lorsque la quantité de lumière de la scène est inférieure à un premier seuil, les caractéristiques de la photographie 202 sont adaptées : 4 fois moins de pixels et réduction de bruit plus forte afin de rendre la photographie utilisable, même si les détails sont réduits. [610] Par ailleurs, si l'utilisateur a indiqué, dans un menu correspondant, qu'il désire utiliser la photo pour les deux services, à savoir l'envoi vers un service d'impression 202 et l'observation sur l'écran 206, si les paramètres optimaux de prise de vue diffèrent pour ces deux services, l'appareil photographique prendra deux prises de vue successives, chacune étant optimisée pour le service correspondant. [611] Il est à noter que ces dispositions sont, comme indiqué ci-dessus, applicables à tout appareil de prise de vue, notamment de type photo ou vidéo. Ainsi, on peut adapter les paramètres de prise de vue à l'utilisation finale : [612] - les paramètres optimisés pour l'observation sur un écran de visualisation d'appareil n'étant, par exemple, pas les mêmes que les paramètres optimisés pour un agrandissement, [613] - les paramètres optimisés pour l'observation d'une image prise en faible lumière sur une impression n'étant pas les mêmes que les paramètres optimisés pour l'observation d'une image prise en lumière plus forte sur une impression.
[614] [615]
[616]

Claims

REVENDICATIONS
1. Procédé pour améliorer la qualité d'utilisation d'au moins un service relatif à au moins une donnée multimédia, notamment relatif à des photographies, de la vidéo, de l'audio, et/ou du texte ; ce service étant proposé par un prestataire et/ou un opérateur de télé∞mmunications à l'aide d'un terminal de tél honie mobile d'un utilisateur ; ce procédé comprenant la mise en œuvre automatique avant et/ou pendant et/ou après l'acquisition de la donnée multimédia, de plusieurs fonctions du terminal nécessaires au service, cette mise en œuvre automatique de fonctions du teπninal comprenant les étapes suivantes : - sélectionner, parmi des fonctions disponibles dans le ter ninal, les fonctions nécessaires au service, - établir automatiquement, et/ou manuellement par ledit utilisateur, au moins un scénario approprié au service, ce scénario étant composé de séquences logiquement chaînées des fonctions sélectionnées ; le procédé comprenant en outre l'étape, pour l'utilisateur, de choisir un scénario déterminé parmi les scénarios préc emment établis.
2. Procédé selon la revendication 1 dans lequel l'utilisateur est guidé au moyen d'une interface du terminal qui présente les services accessibles à l'utilisateur via le terminal.
3. Procédé selon la revendication 1 ou 2 dans lequel au moins une partie du scénario est préenregistrée, par exemple lors d'une précédente utilisation du service.
4. Procédé selon l'une des revendications 1 à 3 comprenant l'étape de déterminer automatiquement les caractéristiques de la donnée multimédia en fonction du service sélectionné.
5. Procédé selon la revendication 4 dans lequel la donnée multimédia est une image, les caractéristiques de cette image étant les paramètres de prise de vue qui sont déterminés automatiquement en fonction du service, de façon, par exemple, qu'une image destinée à un téléphone mobile puisse bénéficier d'un temps de pose plus court qu'une image destinée à un service d'impression ou à la visualisation sur un écran d'ordinateur.
6. Procédé selon la revendication 5 dans lequel la donnée multimédia est une image acquise pour la fourniture d'au moins deux services, les caractéristiques de cette image étant les paramètres de prise de vue qui sont déte_rr_nés automatiquement en fonction d'au moins un des deux service et de la quantité de lumière lors de la prise de vue, de façon notamment qu'en basse lumière, l'image soit utilisable pour au moins un des deux services.
7. Procédé selon l'une des revendications 4 à 6 dans lequel au moins deux données multimédia sont acquises pour la Ibumiture d'au moins deux services, les caractéristiques de chaque donnée multimédia étant adaptées au service correspondant
8. Procédé selon l'une des revendications précédentes comprenant l'étape de rechercher une donnée multimédia préenregistrée dans le terminal pour mettre en œuvre le service.
9. Procédé selon l'une des revendications précédentes comprenant l'étape de choisir une présentation, ou mise en page, de la donnée multimédia par exemple en utilisant un modèle et/ou un paramètre de présentation.
10. Procédé selon l'une des revendications précédentes comprenant l'étape de fournir une aide automatique à l'utilisateur du terminal pour réaliser une acquisition de la donnée multimédia, notamment en aidant au cadrage d'une image et/ou au contrôle de la qualité de cette image, en fournissant des cours ou instructions d'acquisition et/ou de réglages, ou en affichant le résultat final de l'acquisition.
11. Procédé selon l'une des revendications précédentes comprenant l'étape de modifier la donnée multimédia
12. Procédé selon l'une des revendications précédentes comprenant l'étape de traiter la donnée multimédia localement, c'est-à-dire dans le terminal, ou à distance, c'est-à-dire en dehors du terminal.
13. Procédé selon l'une des revendications précédentes, comprenant l'étape de choisir un destinataire, par exemple à l'aide d'un lien avec un carnet d'adresses et ou d'une saisie semi-automatique.
14. Procédé selon l'une des revendications précédentes comprenant l'étape de compresser la donnée multimédia en fonction d'au moins une caractéristique du réseau relative à son débit de tratismission.
15. Procédé selon l'une des revendications précédentes comprenant l'étape d'insérer une donnée multimédia relative à du texte dans une donnée multimédia relative à une image, dénommée carte postale.
16. Procédé selon l'une des revendications précédentes comprenant l'étape de transmettre une donnée multimédia relative à une image au moyen d'au moins un des modes de œmmunication suivant : télécopie, télφhonie, courrier électronique.
17. Procédé selon l'une des revendications précédentes comprenant l'étape de gérer un album de données multimédia propres à l'utilisateur, cet album étant stocké dans un serveur accessible au terminal de téléphonie mobile de l'utilisateur via le réseau de télécommumcations.
18. Procédé selon l'une des revendications précédentes comprenant l'étape de transmettre la donnée multimédia vers un service d'impression tel qu'une imprimante.
19. Terminal de téléphonie mobile dans lequel, pour améliorer la qualité d'utilisation d'au moins un service relatif à au moins une donné multimédia, notamment relatif à des photographies de la vidéo, de l'audio et/ou du texte, ce service étant proposé par un prestataire el/ou un opérateur de téléœmmunication, comprenant des moyens pour la mise en œuvre automatique avant et/ou pendant et/ou l'après l'acquisition de la donnée multimédia, de plusieurs fonctions du terminal nécessaires aux services, ces moyens comprenant : un moyen pour sélectionner, parmi les fonctions disponibles dans le terminal, les fonctions nécessaires aux services, un moyen pour établir automatiquement et/ou manuellement, au moins un scénario approprié au service, ce scénario étant composé de séquences logiquement chaînées des fonctions sélectionnées, et un moyen pour que l'utilisateur puisse choisir un scénario déterminé parmi les scénarios précédemment établis.
20. Terminal selon la revendication 19 comprenant une interface de guidage présentant les services accessibles à l'utilisateur.
21. Terminal selon la revendication 19 ou 20 comprenant des moyens pour enregistrer une partie du scénario.
22. Terrninal selon l'une des revendications 19 à 21 comprenant un moyen pour détenniner automatiquement les caractéristiques de la donnée multimédia en fonction du service sélectionné.
23. Terrninal selon la revendication 22 dans lequel, la donnée multimédia étant une image, le moyen pour détenniner automatiquement les caractéristiques de l'image comprend un moyen pour déterminer automatiquement les paramètres de prise de vue en fonction du service de façon, par exemple, qu'une image destinée à un téléphone mobile puisse bénéficier d'un temps de pose plus long qu'une image destinée à un service d'impression ou à la visualisation sur un écran d'ordinateur.
24. Teπninal selon la revendication 23 comprenant un moyen pour acquérir une image en vue de la fourniture d'au moins deux services, et un moyen pour que les caractéristiques de cette image soient les paramètres de prise de vue qui sont déterminés automatiquement en fonction d'au moins un des deux services et de la quantité de lumière lors de la prise de vue, de façon notamment qu'en basse lumière, l'image soit utilisable pour au moins un des deux services.
25. Terminal selon l'une des revendications 22 à 24 comprenant un moyen pour acquérir au moins deux données multimédia pour la fourniture d'au moins deux services, et pour que les caractéristiques de chaque donnée multimédia soient adaptées au service correspondant
26. Te-tninal selon l'une des revendications 19 à 25 comprenant un moyen pour rechercher une donnée multimédia préenregistrée dans le terminal pour mettre en œuvre le service.
27. Terrninal selon l'une des revendications 19 à 26 comprenant un moyen pour choisir une présentation ou une mise en page de la donnée multimédia, par exemple en utilisant un modèle et/ou un paramètre de présentation.
28. Terminal selon l'une des revendications 19 à 27 comprenant un moyen pour fournir une aide automatique à l'utilisateur du terminal pour réaliser une acquisition de la donnée multimédia, notamment en aidant au cadrage d'une image et/ou au contrôle de la qualité d'une image, en fournissant des cours ou instructions d'acquisition et/ou de réglage, ou en affichant le résultat final de Facquisition.
29. Terminal selon l'une des revendications 19 à 28 comprenant un moyen pour modifier la donnée multimédia.
30. Terminal selon l'une des revendications 19 à 20 comprenant un moyen pour traiter la donnée multimédia localement, c'est-à-dire dans le terrninal, ou à distance, c'est-à-dire en dehors du terminal.
31. Tenninal selon l'une des revendications 19 à 30 comprenant un moyen pour choisir un destinataire, par exemple à l'aide d'un lien avec un carnet d'adresses et/ou d'une saisie automatique.
32. Terrninal selon l'une des revendications 19 à 31 comprenant un moyen pour compresser la donnée multimédia en fonction d'au moins une caractéristique du réseau relative à son débit de transmission.
33. Terrninal selon l'une des revendications 19 à 32 comprenant un moyen pour insérer une donnée multimédia relative à du texte dans une donnée multimédia relative à une image, dénommée carte postale.
34. Terminal selon l'une des revendications 19 à 33 comprenant un moyen pour transmettre une donnée multimédia relative à une image au moyen d'au moins un des modes de œmmunication suivants : télécopie, téléphonie, courrier électronique.
35. Terrninal selon l'une des revendications 19 à 34 comprenant un moyen pour gérer un album de données multimédia propres à l'utilisateur, cet album étant stocké dans un serveur accessible à ce terminal via le réseau de télé∞nraïunication
36. Terminal selon l'une des revendications 19 à 35 comprenant un moyen pourransmettre la donnée multimédia vers un service d'impression tel qu'une imprimante.
EP05776444A 2004-06-08 2005-06-08 Procede d'amelioration de services relatifs a des donnees multimedia en telephonie mobile Withdrawn EP1757155A2 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0451132A FR2872317A1 (fr) 2004-06-08 2004-06-08 Procede pour ameliorer la qualite d'utilisation d'un service relatif a au moins une donnee multimedia
PCT/FR2005/050430 WO2005125242A2 (fr) 2004-06-08 2005-06-08 Procede d'amelioration de services relatifs a des donnees multimedia en telephonie mobile

Publications (1)

Publication Number Publication Date
EP1757155A2 true EP1757155A2 (fr) 2007-02-28

Family

ID=35064880

Family Applications (2)

Application Number Title Priority Date Filing Date
EP05776444A Withdrawn EP1757155A2 (fr) 2004-06-08 2005-06-08 Procede d'amelioration de services relatifs a des donnees multimedia en telephonie mobile
EP05776418A Withdrawn EP1757154A2 (fr) 2004-06-08 2005-06-08 Procede pour ameliorer la qualite d'utilisation de services en telephonie mobile

Family Applications After (1)

Application Number Title Priority Date Filing Date
EP05776418A Withdrawn EP1757154A2 (fr) 2004-06-08 2005-06-08 Procede pour ameliorer la qualite d'utilisation de services en telephonie mobile

Country Status (7)

Country Link
US (2) US20090116471A1 (fr)
EP (2) EP1757155A2 (fr)
JP (2) JP2008502250A (fr)
KR (2) KR20070034051A (fr)
CN (2) CN1985535A (fr)
FR (1) FR2872317A1 (fr)
WO (3) WO2005125242A2 (fr)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7743323B1 (en) * 2005-10-06 2010-06-22 Verisign, Inc. Method and apparatus to customize layout and presentation
US20070121146A1 (en) * 2005-11-28 2007-05-31 Steve Nesbit Image processing system
WO2007103944A2 (fr) 2006-03-06 2007-09-13 Cdm Optics, Inc. Objectifs à focale variable à codage de front d'onde
US7813724B2 (en) * 2006-03-17 2010-10-12 Comverse Ltd. System and method for multimedia-to-video conversion to enhance real-time mobile video services
TWI335178B (en) * 2006-12-20 2010-12-21 Asustek Comp Inc Apparatus, system and method for remotely opearting multimedia streaming
KR101290215B1 (ko) * 2007-01-02 2013-07-30 엘지전자 주식회사 이동통신단말기의 메시지 작성 가이드방법, 미디어 파일의품질 변경방법, 미디어 파일의 재생구간 설정방법
US20090086278A1 (en) * 2007-09-27 2009-04-02 Ringcentral, Inc. Electronic facsimile delivery systems and methods
US8379115B2 (en) 2007-11-20 2013-02-19 Motorola Mobility Llc Image capture device with electronic focus
US8643748B2 (en) 2007-11-20 2014-02-04 Motorola Mobility Llc Compact stationary lens optical zoom image capture system
US20100030872A1 (en) * 2008-08-04 2010-02-04 Serge Caleca System for remote processing, printing, and uploading of digital images to a remote server via wireless connections
WO2010033387A2 (fr) 2008-09-19 2010-03-25 Dolby Laboratories Licensing Corporation Traitement de signaux ascendants pour dispositifs clients dans un réseau sans fil à microcellules
EP2329492A1 (fr) 2008-09-19 2011-06-08 Dolby Laboratories Licensing Corporation Traitement de signal d'amélioration de qualité amont pour dispositifs clients à ressource réduite
US8780383B2 (en) * 2008-11-25 2014-07-15 Ringcentral, Inc. Authenticated facsimile transmission from mobile devices
US8324859B2 (en) * 2008-12-15 2012-12-04 Comverge, Inc. Method and system for co-operative charging of electric vehicles
US20100161491A1 (en) * 2008-12-19 2010-06-24 International Business Machines Corporation Vehicle fed accident report
CN102387125B (zh) * 2010-09-02 2015-01-07 腾讯科技（深圳）有限公司 访问微博的方法和系统及微博网站图片发送方法和系统
CN102685080B (zh) * 2011-03-17 2015-05-20 腾讯科技（北京）有限公司 图片处理方法及系统
CN103634032B (zh) * 2012-08-30 2016-05-04 上海斐讯数据通信技术有限公司 数据转移方法、系统及移动终端
US20170039645A1 (en) 2015-08-05 2017-02-09 The Toronto-Dominion Bank Systems and methods for automatically generating order data based on social media messaging
US10848624B2 (en) 2016-10-05 2020-11-24 Global Tel*Link Corporation Intermediary service bureau system and method
CN108092828A (zh) * 2018-01-25 2018-05-29 北京艾提米科技有限公司 一种动态服务提供方法、装置及程序
CN108844537A (zh) * 2018-04-27 2018-11-20 广州布塔智能科技有限公司 移动终端获取玩具运动状态的方法与移动终端
JP2019200534A (ja) * 2018-05-15 2019-11-21 大日本印刷株式会社 フォトブック編集装置及び考査支援システム
JP7065738B2 (ja) * 2018-09-18 2022-05-12 富士フイルム株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
JP7218142B2 (ja) * 2018-10-16 2023-02-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
JP7578500B2 (ja) 2021-02-17 2024-11-06 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN113837291A (zh) * 2021-09-27 2021-12-24 知守科技(杭州)有限公司 一种基于背光模组与多模板匹配的识别与定位方法及系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0322956B1 (fr) * 1987-12-22 1994-08-03 Koninklijke Philips Electronics N.V. Codage et décodage d'un signal video à l'aide d'un filtre auto-adaptable
JPH0566637U (ja) * 1992-02-12 1993-09-03 旭光学工業株式会社 画面サイズ切替えカメラ
US5854978A (en) * 1996-04-16 1998-12-29 Nokia Mobile Phones, Ltd. Remotely programmable mobile terminal
US6091777A (en) * 1997-09-18 2000-07-18 Cubic Video Technologies, Inc. Continuously adaptive digital video compression system and method for a web streamer
JPH11249980A (ja) * 1998-03-04 1999-09-17 Matsushita Electric Ind Co Ltd データ配信システム
JP2000010178A (ja) * 1998-06-19 2000-01-14 Fuji Photo Optical Co Ltd カメラおよび写真プリントシステム
US6411651B1 (en) * 1998-06-26 2002-06-25 Compaq Information Technologies Group, L.P. Method and system for distributed video compression in personal computer architecture
US20020001412A1 (en) * 1998-07-21 2002-01-03 Hewlett-Packard Company System for variable quantization in jpeg for compound documents
US20020059481A1 (en) * 1998-12-30 2002-05-16 Patrick O. Nunally Method and apparatus for a multimedia application specific processor
AU2001243218A1 (en) * 2000-02-24 2001-09-03 Shin-Ping Liu Content distribution system
JP3748509B2 (ja) * 2000-09-25 2006-02-22 キヤノン株式会社 撮像装置及び方法、並びに記憶媒体、並びに通信装置及び方法、並びに記憶媒体
WO2002039307A1 (fr) * 2000-11-09 2002-05-16 Sri International Procedes et dispositifs de routage base sur le contenu
BE1013870A6 (nl) * 2000-12-08 2002-11-05 Methodiek, presentatie- en distributie-systeem van korte video-opnames. -
EP1241891A1 (fr) * 2001-03-13 2002-09-18 eJay AG Appareil et procédé pour transmettre des données audio et/ou vidéo
US7149249B2 (en) * 2001-05-07 2006-12-12 Summus, Inc. Color video codec method and system
JP2002369110A (ja) * 2001-06-06 2002-12-20 Funai Electric Co Ltd 撮影画像印刷システム、プリンタ、携帯型端末機
US6930718B2 (en) * 2001-07-17 2005-08-16 Eastman Kodak Company Revised recapture camera and method
US20030193967A1 (en) * 2001-12-31 2003-10-16 Gregg Fenton Method, apparatus and system for processing multimedia messages
JP2004040517A (ja) * 2002-07-04 2004-02-05 Hitachi Ltd 携帯端末および画像配信システム
KR100486713B1 (ko) * 2002-09-17 2005-05-03 삼성전자주식회사 멀티미디어 스트리밍 장치 및 방법
JP4345286B2 (ja) * 2002-11-01 2009-10-14 日本電気株式会社 圧縮画像データ送信方法、そのプログラム及び携帯端末
US7637430B2 (en) * 2003-05-12 2009-12-29 Hand Held Products, Inc. Picture taking optical reader
GB2404803A (en) * 2003-07-16 2005-02-09 Empics Ltd Image editing and distribution system
US7403568B2 (en) * 2003-08-13 2008-07-22 Apple Inc. Pre-processing method and system for data reduction of video sequences and bit rate reduction of compressed video sequences using temporal filtering

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None *

Also Published As

Publication number Publication date
WO2005125099A3 (fr) 2006-04-13
FR2872317A1 (fr) 2005-12-30
WO2005125099A2 (fr) 2005-12-29
JP2008502249A (ja) 2008-01-24
US20090017795A1 (en) 2009-01-15
EP1757154A2 (fr) 2007-02-28
WO2005125184A1 (fr) 2005-12-29
KR20070034051A (ko) 2007-03-27
CN1981555A (zh) 2007-06-13
WO2005125242A2 (fr) 2005-12-29
US20090116471A1 (en) 2009-05-07
JP2008502250A (ja) 2008-01-24
CN1985535A (zh) 2007-06-20
WO2005125242A3 (fr) 2006-05-04
KR20070034048A (ko) 2007-03-27

Similar Documents

Publication Publication Date Title
EP1757155A2 (fr) Procede d'amelioration de services relatifs a des donnees multimedia en telephonie mobile
EP1444651B1 (fr) Procede et systeme pour reduire la frequence des mises a jour de moyens
CA2835047C (fr) Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs
EP1523730B1 (fr) Procede et systeme pour calculer une image transformee a partir d'une image numerique
KR101562972B1 (ko) 공유 레벨에 따라 영상을 차등화하여 제공하는 영상 공유 장치 및 방법
US7181091B2 (en) Method, apparatus, and recording medium for correcting appreciation data
JP4767718B2 (ja) 画像処理方法および装置ならびにプログラム
FR2872660A1 (fr) Appareil de prise de vue et procede pour la formation d'images annotees
JP2007096405A (ja) ぶれ方向判定方法および装置ならびにプログラム
US7724287B2 (en) Sketch effect for digital photographs
FR2812495A1 (fr) Procede de mise a disposition d'images photographiques numeriques
CN116723412A (zh) 一种照片中背景光影均化方法及文本拍摄扫描系统
CN116029931A (zh) 基于智能云的图像增强系统、生成增强图像的方法
EP4541037A1 (fr) Appareil photographique couleur et monochrome
JP2008225721A (ja) 画像処理装置、画像処理方法、および画像処理システム
US20060132839A1 (en) Data frame having database access information
Kubara Image Enhancing on Consumer's Displays for Increased Printing
FR2887346A1 (fr) Procede et dispositif d'amelioration d'une image numerique

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20070108

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20070823

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20181215