WO2007111006A1 - 動画像蓄積システム、動画像蓄積方法および動画像蓄積プログラム - Google Patents

動画像蓄積システム、動画像蓄積方法および動画像蓄積プログラム Download PDF

Info

Publication number
WO2007111006A1
WO2007111006A1 PCT/JP2006/324555 JP2006324555W WO2007111006A1 WO 2007111006 A1 WO2007111006 A1 WO 2007111006A1 JP 2006324555 W JP2006324555 W JP 2006324555W WO 2007111006 A1 WO2007111006 A1 WO 2007111006A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
image data
unit
terminal device
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2006/324555
Other languages
English (en)
French (fr)
Inventor
Hironori Ito
Kazunori Ozawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to EP06834310A priority Critical patent/EP2012539A4/en
Priority to CA 2643495 priority patent/CA2643495A1/en
Priority to US12/293,864 priority patent/US8237772B2/en
Priority to JP2008507365A priority patent/JP4662085B2/ja
Publication of WO2007111006A1 publication Critical patent/WO2007111006A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/007—Telephonic communication systems specially adapted for combination with other electrical systems with remote control systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/08—Telephonic communication systems specially adapted for combination with other electrical systems specially adapted for optional reception of entertainment or informative matter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components

Definitions

  • Moving image storage system moving image storage method, and moving image storage program
  • the present invention relates to a moving image storage system, a moving image storage method, and a moving image storage program for converting and storing an input moving image.
  • MPEG4 (ISO / IEC 14496-2: 2003 "Information Technology Coding of Audio and Video Objects -Part2: Visual.") Is used as a moving picture coding system. Widely used.
  • MPEG4 there are an intra mode in which encoding is performed using only the image of the current frame, and an inter mode in which encoding is performed with reference to images of past frames.
  • DCT Discrete Cosine Transform
  • the inter mode a difference pixel obtained by performing motion compensation prediction between an input pixel and a decoded pixel of a past frame is obtained, and after DCT is performed on the difference pixel, a motion vector, a DCT coefficient, and the like are variable. Long code.
  • FIG. 1 is a block diagram illustrating a typical configuration example of a moving image storage system.
  • the data receiving unit 901 receives received data 900 from a terminal device (not shown).
  • the reception data 900 includes control data 902, image data 903, and audio data 904, which are information related to the image code.
  • the control data 902 and the image data 903 are input to the image data conversion unit 905.
  • the image data conversion unit 905 converts the head frame of the input image data 903 into an intra mode frame based on the information obtained from the control data 902. Then, the converted image data is output to the switcher 900.
  • the audio data 904 is input to the switch 906.
  • the switch 906 transmits the converted image data and audio data 904 until the conversion end signal is notified by the conversion instruction signal 909. To enter.
  • Patent Document 1 JP 2002-232847 (paragraphs 0002-0005, FIG. 2)
  • the present invention is an invention for solving the above-described problem, and transmits a guidance image relating to an operation method for starting and ending storage to a terminal device, and based on an instruction signal from the terminal device.
  • Another object of the present invention is to provide a moving image storage system, a moving image storage method, and a moving image storage program for storing moving images transmitted in real time from a terminal device.
  • a moving image storage system includes a receiving unit that receives and outputs a signal including at least one of audio data and image data from a terminal device, and audio data and image data output by the receiving unit.
  • a transmission unit that transmits video or audio that guides the storage start notification method, or video and audio to the terminal device, and a detection unit that detects a notification signal transmitted from the terminal device And a conversion unit that converts the image data at the start of accumulation into the intra mode using the detection result of the detection unit.
  • the receiving unit receives at least one of audio data (for example, packet data) and image data (for example, packet data) from the terminal device.
  • the receiving unit separates at least one of audio data and image data from a signal (for example, a multiplexed signal) received from the terminal device.
  • a signal for example, a multiplexed signal
  • the moving image storage system may include a synchronization unit that adjusts synchronization of audio data and image data in accordance with the amount of image data converted by the conversion unit.
  • the moving image storage system may include a control unit that controls the code amount of the image data of the intra mode to a predetermined value.
  • the moving image storage system may include a control unit that controls the code amount of the intra mode so that the code amount after conversion by the conversion unit is the same as the code amount before conversion. .
  • a method for instructing the start / end of storage is presented to the moving image storage system force terminal device. Therefore, it is possible to store moving images transmitted in real time from the terminal device based on the instruction signal from the terminal device.
  • FIG. 1 is a block diagram showing a typical configuration example of a moving image storage system.
  • FIG. 2 is a block diagram showing the configuration of the first embodiment of the moving image storage system of the present invention.
  • FIG. 3 is a block diagram showing a configuration of a second embodiment of the moving image storage system of the present invention.
  • FIG. 4 is a block diagram showing a first embodiment of a moving image storage system of the present invention.
  • FIG. 5 is a block diagram showing a second embodiment of the moving image storage system of the present invention.
  • FIG. 6A is an explanatory diagram for explaining data synchronization adjustment in the present invention.
  • FIG. 6B is an explanatory diagram for explaining data synchronization adjustment in the present invention.
  • FIG. 7 is a block diagram showing a third embodiment of the moving image storage system of the present invention.
  • FIG. 8 is a block diagram illustrating a configuration example of an image data conversion unit illustrated in FIG.
  • FIG. 9 is a block diagram showing a fourth embodiment of the moving image storage system of the present invention.
  • FIG. 10 is a block diagram showing a fifth embodiment of the moving image storage system of the present invention.
  • FIG. 11 is a block diagram illustrating a configuration example of an image data conversion unit illustrated in FIG.
  • FIG. 12 is a block diagram showing a sixth embodiment of the moving image storage system of the present invention.
  • FIG. 13 is a block diagram showing a seventh embodiment of the moving image storage system of the present invention.
  • FIG. 14 is a block diagram showing an eighth embodiment of the moving image storage system of the present invention.
  • FIG. 15 is a block diagram showing a ninth embodiment of the moving image storage system of the present invention.
  • FIG. 16 is a block diagram showing a tenth embodiment of the moving image storage system of the present invention. BEST MODE FOR CARRYING OUT THE INVENTION
  • FIG. 2 is a block diagram showing the configuration of the first embodiment of the moving image storage system according to the present invention.
  • a moving image storage system 1 shown in FIG. 2 is a moving image storage system in the packet switching network 5.
  • a speech exchange is performed between the mobile terminal as an example of the terminal device 4 and the moving image storage system 1 by exchanging capabilities based on SIPZSDP defined by IETF RFC3261ZRFC2327.
  • the parameters for the conversion are determined.
  • the moving image storage system 1 transmits guidance for presenting a method for transmitting a notification signal for instructing the start and end of moving image storage to the terminal device 4 (accumulation start Z end notification method).
  • the moving image storage system 1 stores the moving image received from the terminal device 4 based on the notification signal received from the terminal device 4.
  • an instruction signal from the terminal device 4 for example, a DTMF signal based on RFC2833 is used.
  • a moving image storage system 1 shown in FIG. 2 includes a receiving unit 11 that receives at least one of audio data and image data from the terminal device 4, and at least one of the received audio data and image data in the storing unit 10.
  • a transmission unit 14 that transmits at least one of a guidance image that guides the storage start notification method and the guidance voice that guides the storage start notification method to the terminal device 4, and the terminal device 4
  • a detection unit 16 that detects a notification signal transmitted from the image data, and a conversion unit 15 that converts image data at the start of accumulation into an intra mode using the detection result of the detection unit 16. Note that the guidance is based on how to operate the terminal device 4. Will show the law.
  • FIG. 3 is a block diagram showing the configuration of the second embodiment of the moving image storage system according to the present invention.
  • the moving image storage system 2 shown in FIG. 3 is a moving image storage system based on H.324M, which is a standard of ITU-T in the circuit switching network 6.
  • a capability exchange based on H. 245 is performed between a mobile terminal as an example of the terminal device 4 and the moving image storage device 2, so that control based on H. 223 Multiplexing and demultiplexing of image data and parameters for audio / image code are determined.
  • the moving image storage system 2 transmits a guidance that indicates a method for transmitting a notification signal for instructing the terminal device 4 to start or end moving image storage.
  • the moving image storage device 2 stores the moving image received from the terminal device 4 based on the notification signal received from the terminal device 4. Further, for example, a DTMF signal is used as an instruction signal from the terminal device 4.
  • a moving image storage system 2 shown in FIG. 3 includes a receiving unit 21 that receives at least one of audio data and image data from the terminal device 4, and at least one of the received audio data and image data in the storage unit 10.
  • a transmission unit 24 that transmits at least one of a guidance image for guiding the storage start notification method or the like and a guidance voice for guiding the storage start notification method to the terminal device 4, and the terminal device 4
  • a detection unit 16 that detects a notification signal transmitted from the image data, and a conversion unit 15 that converts image data at the start of accumulation into an intra mode using the detection result of the detection unit 16.
  • the guidance indicates the operation method in the terminal device 4.
  • FIG. 2 a first embodiment of the moving image storage system (moving image storage device) according to the present invention will be described with reference to FIG.
  • This embodiment corresponds to the first embodiment (see Fig. 2) used in the packet switching network.
  • a case where a DTMF signal based on RFC2833 is used as an instruction signal from the terminal device is taken as an example.
  • a data receiving unit 101 corresponding to the receiving unit 11 shown in FIG. 2 is a terminal device (not shown).
  • the received packet 100 is also analyzed, and at least one of reception control data 102, reception image data 103, reception audio data 104, and DTMF data 116 is output.
  • the reception control data 102 is output to the control unit 107.
  • the received image data 103 is output to an image data conversion unit 105 and a switch 108 corresponding to the conversion unit 15 shown in FIG.
  • Received audio data 104 is output to switch 108.
  • the DTMF data 116 is output to the DTMF detection unit 106 corresponding to the detection unit 16 shown in FIG.
  • the control unit 107 transmits the transmission control data 111 based on SIPZSDP to the transmission unit shown in FIG. 2 in order to perform call connection and capability exchange between the terminal device and the moving image storage device at the start of communication.
  • the data is output to the data transmission unit 114 corresponding to 14.
  • the control unit 107 outputs the port number for receiving the received image data 103 and the received audio data 104 to the data receiving unit 101, and transmits the transmission image data 112 and the transmitted audio data 113. Is output to the data transmission unit 114.
  • the control unit 107 outputs a guidance video transmission instruction signal indicating an operation method in the terminal device to the storage device 110 corresponding to the storage unit 10 illustrated in FIG.
  • the storage device 110 When the storage device 110 receives the guidance video transmission instruction signal, the storage device 110 outputs transmission image data 112 and transmission audio data 113 corresponding to the guidance video to the data transmission unit 114.
  • the guidance moving image includes, for example, “Please press No. 0 when recording starts and No. 1 when recording ends! /,” T, or at least one of audio or image data.
  • the data transmission unit 114 packetizes at least one of the transmission control data 111, the transmission image data 112, and the transmission audio data 113, and outputs a transmission packet 115.
  • the moving image storage device is configured by a device including a computer such as a server device
  • the function of analyzing the received packet 100 in the data receiving unit 101 and the data in the data transmitting unit 114 are packetized.
  • the function, the image data conversion unit 105, the DTMF detection unit 106, and the control unit 107 are realized by a program and a CPU that executes processing according to the program.
  • the terminal device transmits a recording start instruction or a recording end instruction with a DTMF signal based on IETF RFC2833.
  • the data receiving unit 101 receives a DTMF signal based on IET F RFC2833 as a recording start instruction or a recording end instruction.
  • the data 116 is output to the DTMF detection unit 106.
  • the DTMF detection unit 106 analyzes the input DTMF data 116 and outputs the analysis result to the control unit 107 as a DTMF signal detection result.
  • the control unit 107 When the detection result of the DTMF signal indicates a recording start instruction, the control unit 107 outputs a recording start instruction to the image data conversion unit 105 and the switch 108.
  • the recording end instruction is output to the image data conversion unit 105 and the switch 108.
  • the image data converter 105 converts the received image data 103 at that time into image data encoded in the intra mode, and outputs the image data to the switch 108.
  • the image data conversion unit 105 In order to perform the processing, the image data conversion unit 105 always decodes the input received image data 103, and encodes the decoded image in the intra mode when a recording start instruction is input.
  • the switch 108 outputs the image data encoded in the intra mode output from the image data conversion unit 105 to the storage device 110 at the time when the recording start instruction is input. After the recording start time, the received image data 103 is output to the storage device 110 as it is until a recording end instruction is input. Also, the switch 108 outputs the received audio data 104 to the storage device 110 from when the recording start instruction is input until the recording end instruction is input.
  • FIG. 2 corresponds to the first embodiment (see FIG. 2) used in the packet switching network.
  • the data receiving unit 101 analyzes the received packet 100 received by the terminal device, and outputs at least one of the reception control data 102, the reception image data 103, the reception audio data 104, and the DTMF data 116. .
  • the reception control data 102 is output to the control unit 107.
  • the received image data 103 is output to the image data converter 105 and the switch 108.
  • the received audio data 104 is output to the switch 108.
  • the DTMF data 116 is output to the DTMF detection unit 106.
  • the control unit 107 uses SIPZSDP standardized by IETF RFC3261ZRFC2327 to perform call connection and capability exchange between the terminal device and the moving image storage device at the start of communication.
  • the base transmission control data 111 is output to the data transmission unit 114.
  • the control unit 107 outputs the port number for receiving the received image data 103 and the received audio data 104 to the data receiving unit 101, and transmits the transmitted image data 112 and the transmitted audio data 113.
  • the port number is output to the data transmission unit 114.
  • the control unit 107 outputs a guidance video transmission instruction signal indicating an operation method in the terminal device to the storage device 110.
  • the storage device 110 outputs the transmission image data 112 and the transmission audio data 113 corresponding to the guidance video to the data transmission unit 114 when the guidance video transmission instruction signal is input.
  • the guidance video includes, for example, “Please press No. 0 when recording starts and No. 1 when recording ends”.
  • the data transmission unit 114 packetizes at least one of the transmission control data 111, the transmission image data 112, and the transmission audio data 113, and outputs a transmission packet 115.
  • the data reception unit 101 When receiving a DTMF signal based on IETF RFC2833 as a recording start instruction or a recording end instruction, the data reception unit 101 outputs DTMF data 116 to the DTMF detection unit 106.
  • the DTMF detection unit 106 analyzes the input DTMF data 116 and outputs the detection result of the DTMF signal to the control unit 107.
  • the control unit 107 When the detection result of the DTMF signal indicates a recording start instruction, the control unit 107 outputs a recording start instruction to the image data conversion unit 105 and the switch 108.
  • the recording end instruction is output to the image data conversion unit 105 and the switch 108.
  • the image data converter 105 converts the received image data 103 at that time into image data encoded in the intra mode, and outputs the image data to the switch 108.
  • the image data conversion unit 105 In order to perform the processing, the image data conversion unit 105 always decodes the input received image data 103, and encodes the decoded image in the intra mode when a recording start instruction is input.
  • the switch 108 outputs the image data encoded in the intra mode output from the image data conversion unit 105 to the media synchronization unit 109 at the time when the recording start instruction is input. After the recording start time, the received image data 103 is output to the media synchronization unit 109 as it is until a recording end instruction is input. The switch 108 receives a recording start instruction. The received audio data 104 is output to the media synchronization unit 109 until a recording end instruction is input.
  • the media synchronization unit 109 assigns time information to the audio data and the converted image data, and outputs them to the storage device 110. At this time, the code amount of the image data at the start of recording is often increased more than the code amount before conversion due to encoding in the intra mode. Then, if the image and audio are synchronized at the conversion start time, the image will be displayed with a delay.
  • media synchronization section 109 adjusts the audio data so that it can be synchronized by shifting the audio data backward. That is, when the code amount of the image data after the conversion by the image data conversion unit 105 changes with respect to the code amount before the conversion, the media synchronization unit 109 adjusts information regarding the reproduction time of the audio data. At this time, if there is no audio data corresponding to the head of the image and there is a problem during playback, the media synchronization unit 109 corresponds to the head of the converted image data, for example, as shown in FIG. 6B. And insert silence data.
  • FIG. 2 corresponds to the first embodiment (see FIG. 2) used in the packet switching network.
  • the data receiving unit 101 analyzes the received packet 100 received by the terminal device, and outputs at least one of the reception control data 102, the reception image data 103, the reception audio data 104, and the DTMF data 116. .
  • the reception control data 102 is output to the control unit 107.
  • the received image data 103 is output to the image data converter 125 and the switch 108.
  • the received audio data 104 is output to the switch 108.
  • the DTMF data 116 is output to the DTMF detection unit 106.
  • the control unit 107 transmits transmission control data 111 based on SIPZSDP standardized by IETF RFC3261ZRFC2327 in order to perform call connection and capability exchange between the terminal device and the moving image storage device at the start of communication. Output to.
  • the control unit 107 outputs a port number for receiving the received image data 103 and the received audio data 104 to the data receiving unit 101, and transmits the transmitted image data 112 and the transmitted audio data 113.
  • the port number to be transmitted is output to the data transmission unit 114.
  • the control unit 107 outputs a guidance video transmission instruction signal indicating an operation method in the terminal device to the storage device 110.
  • the storage device 110 outputs the transmission image data 112 and the transmission audio data 113 corresponding to the guidance video to the data transmission unit 114 when the guidance video transmission instruction signal is input.
  • the guidance video includes, for example, “Please press No. 0 when recording starts and No. 1 when recording ends”.
  • the data transmission unit 114 packetizes at least one of the transmission control data 111, the transmission image data 112, and the transmission audio data 113, and outputs a transmission packet 115.
  • the data reception unit 101 When receiving a DTMF signal based on IETF RFC2833 as a recording start instruction or a recording end instruction, the data reception unit 101 outputs DTMF data 116 to the DTMF detection unit 106.
  • the DTMF detection unit 106 analyzes the input DTMF data 116 and outputs the detection result of the DTMF signal to the control unit 107.
  • the control unit 107 outputs a recording start instruction to the image data conversion unit 125 and the switch 108 when the detection result of the DTMF signal indicates a recording start instruction.
  • the recording end instruction is output to the image data conversion unit 125 and the switch 108.
  • the image data conversion unit 125 converts the received image data 103 at that time into image data encoded in the intra mode, and outputs the image data to the switch 108.
  • the image data conversion unit 125 always decodes the input received image data 103, and encodes the decoded image in the intra mode when a recording start instruction is input.
  • the image data conversion unit 125 controls the image data size after conversion so as to be a target value determined in advance.
  • FIG. 8 is a block diagram showing the configuration of the image data conversion unit 125.
  • the image data conversion unit 125 includes an image decoding unit 701, a code amount control unit 705, and an image encoding unit 707.
  • the image decoding unit 701 includes a decoding unit quantization accuracy 702 that is a decoding accuracy obtained at the time of decoding, and a frame unit or a macroblock in the received image data 103 encoded by the MPEG-4 system.
  • a video packet that is a unit or a collection of macroblocks The unit received code amount 703 is output to the code amount control unit 705.
  • the code amount control unit 705 determines the quantization accuracy 706 at the time of code decoding using at least one of the decoding-time quantization accuracy 702, the received code amount 703, and the target code amount 704. Output to sign key section 707.
  • the image coding unit 707 performs quantization according to the quantization accuracy 706 and performs image coding.
  • Quantization accuracy during decoding 702 is a parameter obtained when the image decoding unit 701 performs decoding, and is effective when the code amount is controlled so that the encoded code amount approaches the target code amount 704. Information.
  • the code amount control unit 705 restricts the code-quantization accuracy 706 to be coarser than the decoding-time quantization accuracy 702. Do it. If the target code amount 704 is exceeded even when the quantization accuracy 706 at the time of sign is most rough, some of the higher-order values of the DCT coefficient are set to 0 at the time of sign. It is also possible to reduce the amount of code output by. By setting the target code amount 704, the code amount of the image data encoded by the image encoding unit 707 does not vary greatly.
  • the switch 108 shown in FIG. 7 outputs the image data encoded in the intra mode output from the image data conversion unit 125 to the storage device 110 at the time when the recording start instruction is input. After the recording start time, the received image data 103 is output to the storage device 110 as it is until a recording end instruction is input. The switch 108 outputs the received audio data 104 to the storage device 110 until a recording start instruction is input and a recording end instruction is input.
  • FIG. 2 corresponds to the first embodiment (see FIG. 2) used in the packet switching network.
  • the data receiving unit 101 analyzes the received packet 100 received by the terminal device, and outputs at least one of the reception control data 102, the received image data 103, the received audio data 104, and the DTMF data 116. .
  • the reception control data 102 is output to the control unit 107.
  • the received image data 103 is output to the image data converter 135 and the switch 108.
  • the received audio data 104 is output to the switch 108.
  • DTMF data 116 is stored in DTMF detector 106. Is output.
  • the control unit 107 transmits transmission control data 111 based on SIPZSDP standardized by IETF RFC3261ZRFC2327 in order to perform call connection and capability exchange between the terminal device and the moving image storage device at the start of communication. Output to.
  • the control unit 107 outputs the port number for receiving the received image data 103 and the received audio data 104 to the data receiving unit 101, and transmits the transmitted image data 112 and the transmitted audio data 113.
  • the port number is output to the data transmission unit 114.
  • the control unit 107 outputs a guidance video transmission instruction signal indicating an operation method in the terminal device to the storage device 110.
  • the storage device 110 outputs the transmission image data 112 and the transmission audio data 113 corresponding to the guidance video to the data transmission unit 114 when the guidance video transmission instruction signal is input.
  • the guidance video includes, for example, “Please press No. 0 when recording starts and No. 1 when recording ends”.
  • the data transmission unit 114 packetizes at least one of the transmission control data 111, the transmission image data 112, and the transmission audio data 113, and outputs a transmission packet 115.
  • the data receiving unit 101 When receiving a DTMF signal based on IETF RFC2833 as a recording start instruction or a recording end instruction, the data receiving unit 101 outputs DTMF data 116 to the DTMF detecting unit 106.
  • the DTMF detection unit 106 analyzes the input DTMF data 116 and outputs the detection result of the DTMF signal to the control unit 107.
  • the control unit 107 outputs a recording start instruction to the image data conversion unit 125 and the switch 108 when the detection result of the DTMF signal indicates a recording start instruction.
  • the recording end instruction is output to the image data conversion unit 125 and the switch 108.
  • the image data conversion unit 125 converts the received image data 103 at that time into image data encoded in the intra mode, and outputs the image data to the switch 108.
  • the image data conversion unit 105 In order to perform the processing, the image data conversion unit 105 always decodes the input received image data 103, and encodes the decoded image in the intra mode when a recording start instruction is input.
  • the image data conversion unit 125 As in the case of the third embodiment, the image data conversion unit 125, as illustrated in FIG. It is configured. Therefore, the image data converter 125 operates in the same manner as in the third embodiment.
  • the switch 108 outputs the image data encoded in the intra mode output from the image data conversion unit 105 to the media synchronization unit 109 at the time when the recording start instruction is input. After the recording start time, the received image data 103 is output to the media synchronization unit 109 as it is until a recording end instruction is input. Further, the switch 108 outputs the received audio data 104 to the media synchronization unit 109 until a recording start instruction is input and a force recording end instruction is input.
  • the media synchronization unit 109 assigns time information to the audio data and the converted image data, and outputs them to the storage device 110. At this time, the code amount of the image data at the start of recording is often increased more than the code amount before conversion due to encoding in the intra mode. Then, if the image and audio are synchronized at the conversion start time, the image will be displayed with a delay.
  • media synchronization section 109 shifts the audio data backward so as to adjust the image and audio to be synchronized. At this time, if there is no audio data corresponding to the head of the image and there is a problem during playback, the media synchronization unit 109 inserts, for example, silence data as shown in FIG. 6B.
  • FIG. 2 corresponds to the first embodiment (see FIG. 2) used in the packet switching network.
  • the data receiving unit 101 analyzes the received packet 100 received by the terminal device, and outputs at least one of the reception control data 102, the reception image data 103, the reception audio data 104, and the DTMF data 116. .
  • the reception control data 102 is output to the control unit 107.
  • the received image data 103 is output to the image data converter 135 and the switch 108.
  • the received audio data 104 is output to the switch 108.
  • the DTMF data 116 is output to the DTMF detection unit 106.
  • the control unit 107 uses SIPZSDP standardized by IETF RFC3261ZRFC2327 in order to perform call connection and capability exchange between the terminal device and the moving image storage device at the start of communication.
  • the base transmission control data 111 is output to the data transmission unit 114.
  • the control unit 107 outputs the port number for receiving the received image data 103 and the received audio data 104 to the data receiving unit 101, and transmits the transmitted image data 112 and the transmitted audio data 113.
  • the port number is output to the data transmission unit 114.
  • the control unit 107 outputs a guidance video transmission instruction signal indicating an operation method in the terminal device to the storage device 110.
  • the storage device 110 outputs the transmission image data 112 and the transmission audio data 113 corresponding to the guidance video to the data transmission unit 114 when the guidance video transmission instruction signal is input.
  • the guidance video includes, for example, “Please press No. 0 when recording starts and No. 1 when recording ends”.
  • Data transmission section 114 packetizes at least one of transmission control data 111, transmission image data 112, and transmission audio data 113, and outputs transmission packet 115.
  • Terminal Device Power When receiving a DTMF signal based on IETF RFC2833 as a recording start instruction or a recording end instruction, the data reception unit 101 outputs DTMF data 116 to the DTMF detection unit 106.
  • the DTMF detection unit 106 analyzes the input DTMF data 116 and outputs the detection result of the DTMF signal to the control unit 107.
  • the control unit 107 outputs a recording start instruction to the image data conversion unit 135 and the switch 108 when the detection result of the DTMF signal indicates a recording start instruction.
  • the recording end instruction is output to the image data conversion unit 135 and the switch 108.
  • the image data conversion unit 135 converts the received image data 103 at that time into image data encoded in the intra mode, and outputs the image data to the switch 108.
  • the image data conversion unit 135 always decodes the input received image data 103, and encodes the decoded image in the intra mode when a recording start instruction is input.
  • the image data converter 135 performs control so that the converted image data size is the same as the code amount of the received image data.
  • FIG. 11 is a block diagram showing a configuration of the image data conversion unit 135.
  • the image data conversion unit 135 includes an image decoding unit 701, a code amount control unit 805, and an image encoding unit 707.
  • the image decoding unit 701 has a decoding accuracy of 702 and a frame unit, a macro block unit, or a video packet unit that is a set of macro blocks in the received image data 103 encoded by the MPEG-4 system.
  • the received code amount 703 is output to the code amount control unit 805.
  • Quantization accuracy during decoding 702 is a parameter obtained when the image decoding unit 701 performs decoding, and is effective when controlling the code amount so that the code amount after the code input approaches the received code amount 703. Become information.
  • the code amount control unit 805 determines the quantization accuracy 706 at the time of coding by using at least one of the decoding quantization accuracy 702 and the received code amount 703, and the image coding unit Output to 707.
  • the code amount after conversion (the code amount when the image code input unit 707 performs code input) is the same as the code amount before conversion (the code amount before the image decoding unit 701 decodes).
  • Quantization accuracy 706 is determined so that the amount of codes (a certain amount of error is allowed) is obtained. Such control can also synchronize the image and sound.
  • the switch 108 shown in FIG. 10 outputs the image data encoded in the intra mode output from the image data conversion unit 135 to the storage device 110 at the time when the recording start instruction is input. After the recording start time, the received image data 103 is output to the storage device 110 as it is until a recording end instruction is input. The switch 108 outputs the received audio data 104 to the storage device 110 until a recording start instruction is input and a recording end instruction is input.
  • FIG. 3 corresponds to the second embodiment (see FIG. 3) used in the circuit switching network.
  • this embodiment and the seventh to tenth embodiments a case where a DTMF signal is used as an instruction signal from a terminal device is taken as an example.
  • the data separation unit 201 corresponding to the reception unit 21 shown in FIG. 3 receives the reception control data 202, the reception image data 103, and the reception audio data from the multiplexed reception multiplexed data 200 received from the terminal device. Separate at least one of 104.
  • the reception control data 202 is output to the control unit 207.
  • the received image data 103 is output to an image data converter 105 and a switch 108 corresponding to the converter 15 shown in FIG.
  • Received audio data 104 Are output to the DTMF detection unit 206 and the switch 108 corresponding to the detection unit 16 shown in FIG.
  • the control unit 207 shows transmission control data 211 based on ITU-T standard H.245 in order to exchange capabilities between the terminal device and the moving image storage device at the start of communication.
  • Is output to the data multiplexing unit 214 corresponding to the transmitted transmission unit 24, and the capability information on multiplexing included in the reception control data 202 (maximum parameters used for multiplexing table and multiplexing AL—SDU size multiplexing and demultiplexing) Value) is output to the data separation unit 201 and the data multiplexing unit 214.
  • the data separation unit 201 separates the received multiplexed data 200.
  • the data multiplexing unit 214 multiplexes at least one of the transmission control data 211, the transmission image data 112, and the transmission audio data 113.
  • the data separation unit 201 has a function of separating data, and the data multiplexing unit 214 multiplexes the data.
  • the function to be performed, the image data conversion unit 105, the DTMF detection unit 206, and the control unit 207 are realized by a program and a CPU that executes processing according to the program.
  • the control unit 207 When the capability exchange is completed, the control unit 207 outputs a guidance video transmission instruction signal indicating an operation method in the terminal device to the storage device 110 corresponding to the storage unit 10 illustrated in FIG.
  • the storage device 110 When receiving the guidance video transmission instruction signal, the storage device 110 outputs transmission image data 112 and transmission audio data 113 corresponding to the guidance video to the data multiplexing unit 214.
  • the guidance moving image includes, for example, data of at least one of audio and image contents “tap 0 to start recording and 1 to end recording”.
  • Data multiplexing section 214 multiplexes at least one of transmission control data 211, transmission image data 112, and transmission audio data 113, and outputs transmission multiplexed data 215.
  • the DTMF detection unit 206 detects the DTMF signal by analyzing the frequency of the audio signal obtained from the received audio data 104, The detection result of the signal is output to the control unit 207.
  • the control unit 207 outputs a recording start instruction to the image data conversion unit 105 and the switch 108 when the detection result of the DTMF signal indicates a recording start instruction.
  • the recording end instruction is output to the image data conversion unit 105 and the switch 108.
  • the image data conversion unit 105 converts the received image data 103 at that time into image data encoded in the intra mode, and outputs the image data to the switch 108. In order to perform the processing, the image data conversion unit 105 always decodes the input received image data 103, and encodes the decoded image in the intra mode when a recording start instruction is input.
  • the switch 108 outputs the image data encoded in the intra mode output from the image data conversion unit 105 to the storage device 110 at the time when the recording start instruction is input. After the recording start time, the received image data 103 is output to the storage device 110 as it is until a recording end instruction is input. Also, the switch 108 outputs the received audio data 104 to the storage device 110 from when the recording start instruction is input until the recording end instruction is input.
  • FIG. 3 corresponds to the second embodiment (see FIG. 3) used in the circuit switching network.
  • the data separation unit 201 separates at least one of the reception control data 202, the reception image data 103, and the reception audio data 104 as well as the multiplexed reception multiplexed data 200 that has been received by the terminal device.
  • the reception control data 202 is output to the control unit 207.
  • the received image data 103 is output to the image data converter 105 and the switch 108.
  • Received audio data 104 is output to DTMF detector 206 and switch 108.
  • the control unit 207 transmits transmission control data 211 based on H.245, which is an ITU-T standard, to a data multiplexing unit 214.
  • H.245 which is an ITU-T standard
  • the data separation unit 201 and the data multiplexing unit including the multiplexing capability information included in the reception control data 202 (such as the maximum value of parameters used in the multiplexing table and multiplexing AL—SDU size multiplexing and demultiplexing). Output to 214.
  • the data separator 201 Based on this capability information, the data separator 201 separates the received multiplexed data 200.
  • Data multiplexing The conversion unit 214 multiplexes at least one of the transmission control data 211, the transmission image data 112, and the transmission audio data 113.
  • control unit 207 When the capability exchange is completed, control unit 207 outputs a guidance video transmission instruction signal indicating an operation method in the terminal device to storage device 110.
  • the storage device 110 When receiving the guidance video transmission instruction signal, the storage device 110 outputs transmission image data 112 and transmission audio data 113 corresponding to the guidance moving image to the data multiplexing unit 214.
  • the guidance moving image includes, for example, at least one of audio and / or image data such as “Please press No. 0 to start recording and No. 1 to end recording”.
  • Data multiplexing section 214 multiplexes at least one of transmission control data 211, transmission image data 112, and transmission audio data 113, and outputs transmission multiplexed data 215.
  • the DTMF detection unit 206 detects the DTMF signal by analyzing the frequency of the audio signal obtained from the received audio data 104, The detection result of the signal is output to the control unit 207.
  • control unit 207 When the detection result of the DTMF signal indicates a recording start instruction, control unit 207 outputs the recording start instruction to image data conversion unit 105 and switch 108. When the detection result of the DTMF signal indicates a recording end instruction, the recording end instruction is output to the image data conversion unit 105 and the switch 108.
  • the image data conversion unit 105 converts the received image data 103 at that time into image data encoded in the intra mode, and outputs the image data to the switch 108. In order to perform the processing, the image data conversion unit 105 always decodes the input received image data 103, and encodes the decoded image in the intra mode when a recording start instruction is input.
  • the switch 108 outputs to the media synchronization unit 109 the image data encoded in the intra mode output from the image data conversion unit 105 at the time when the recording start instruction is input. After the recording start time, the received image data 103 is output to the media synchronization unit 109 as it is until a recording end instruction is input.
  • the media synchronization unit 109 adds time information to the audio data and the converted image data. And output them to the storage device 110. At this time, the code amount of the image data at the start of recording is often increased more than the code amount before conversion due to encoding in the intra mode. Then, if the image and audio are synchronized at the conversion start time, the image will be displayed with a delay.
  • media synchronization section 109 adjusts the audio data to be shifted backward as shown in frame N in Fig. 6A so that the image and audio can be synchronized. At this time, if there is no audio data corresponding to the head of the image and there is a problem during playback, the media synchronization unit 109 inserts, for example, silence data as shown in FIG. 6B.
  • FIG. 3 corresponds to the second embodiment (see FIG. 3) used in the circuit switching network.
  • the data separation unit 201 separates at least one of the reception control data 202, the reception image data 103, and the reception audio data 104 as well as the multiplexed reception multiplexed data 200 that has been received by the terminal device.
  • the reception control data 202 is output to the control unit 207.
  • the received image data 103 is output to the image data converter 125 and the switch 108.
  • Received audio data 104 is output to DTMF detector 206 and switch 108.
  • the control unit 207 exchanges transmission control data 211 based on ITU-T standard H.245 in order to perform capability exchange between the terminal device and the moving image storage device at the start of communication.
  • the multiplexing capability information (multiplexing table and multiplexing AL—maximum values of parameters used during SDU size multiplexing and separation) included in the reception control data 202 Output to 214.
  • the data separator 201 Based on this capability information, the data separator 201 separates the received multiplexed data 200.
  • the data multiplexing unit 214 multiplexes at least one of the transmission control data 211, the transmission image data 112, and the transmission audio data 113.
  • the control unit 207 When the capability exchange is completed, the control unit 207 outputs a guidance video transmission instruction signal indicating an operation method in the terminal device to the storage device 110.
  • the storage device 110 When receiving the guidance video transmission instruction signal, the storage device 110 outputs transmission image data 112 and transmission audio data 113 corresponding to the guidance moving image to the data multiplexing unit 214.
  • the guidance video It contains at least one of audio and image data that says “Please press No. 0 to start recording and No. 1 to end recording”.
  • Data multiplexing section 214 multiplexes at least one of transmission control data 211, transmission image data 112, and transmission audio data 113, and outputs transmission multiplexed data 215.
  • the DTMF detection unit 206 detects the DTMF signal by analyzing the frequency of the audio signal obtained from the received audio data 104, and detects the DTMF signal. The detection result of the signal is output to the control unit 207.
  • control unit 207 When the detection result of the DTMF signal indicates a recording start instruction, control unit 207 outputs a recording start instruction to image data conversion unit 125 and switch 108. When the detection result of the DTMF signal indicates a recording end instruction, the recording end instruction is output to the image data conversion unit 125 and the switch 108.
  • the image data conversion unit 125 converts the received image data 103 at that time into image data encoded in the intra mode, and outputs the image data to the switch 108.
  • the image data converter 125 In order to perform the processing, the image data converter 125 always decodes the input received image data 103, and encodes the decoded image in the intra mode when a recording start instruction is input.
  • the image data converter 125 is configured as illustrated in FIG. 8, as in the case of the third embodiment. Therefore, the image data converter 125 operates in the same manner as in the third embodiment.
  • the switch 108 outputs the image data encoded in the intra mode output from the image data conversion unit 125 to the storage device 110 at the time when the recording start instruction is input. After the recording start time, the received image data 103 is output to the storage device 110 as it is until a recording end instruction is input. Also, the switch 108 outputs the received audio data 104 to the storage device 110 from when the recording start instruction is input until the recording end instruction is input.
  • the data separation unit 201 separates at least one of the reception control data 202, the reception image data 103, and the reception audio data 104 as well as the multiplexed reception multiplexed data 200 that has been received by the terminal apparatus.
  • the reception control data 202 is output to the control unit 207.
  • the received image data 103 is output to the image data converter 125 and the switch 108.
  • Received audio data 104 is output to DTMF detector 206 and switch 108.
  • the control unit 207 transmits transmission control data 211 based on H.245, which is an ITU-T standard, to the data multiplexing unit 214.
  • H.245 which is an ITU-T standard
  • the multiplexing capability information (multiplexing table and multiplexing AL—maximum values of parameters used during SDU size multiplexing and separation) included in the reception control data 202 Output to 214.
  • the data separator 201 Based on this capability information, the data separator 201 separates the received multiplexed data 200.
  • the data multiplexing unit 214 multiplexes at least one of the transmission control data 211, the transmission image data 112, and the transmission audio data 113.
  • the control unit 207 When the capability exchange is completed, the control unit 207 outputs a guidance video transmission instruction signal indicating an operation method in the terminal device to the storage device 110.
  • the storage device 110 When receiving the guidance video transmission instruction signal, the storage device 110 outputs transmission image data 112 and transmission audio data 113 corresponding to the guidance moving image to the data multiplexing unit 214.
  • the guidance moving image includes, for example, at least one of audio and / or image data such as “Please press No. 0 to start recording and No. 1 to end recording”.
  • Data multiplexing section 214 multiplexes at least one of transmission control data 211, transmission image data 112, and transmission audio data 113, and outputs transmission multiplexed data 215.
  • the DTMF detection unit 206 detects the DTMF signal by analyzing the frequency of the audio signal obtained from the received audio data 104, and detects the DTMF signal. The detection result of the signal is output to the control unit 207.
  • the control unit 207 When the detection result of the DTMF signal indicates a recording start instruction, the control unit 207 outputs the recording start instruction to the image data conversion unit 125 and the switch 108. If the detection result of the DTMF signal indicates a recording end instruction! /, The recording end instruction is displayed. Output to 125 and switch 108.
  • the image data conversion unit 125 converts the received image data 103 at that time into image data encoded in the intra mode, and outputs the image data to the switch 108.
  • the image data conversion unit 105 In order to perform the process, the image data conversion unit 105 always decodes the input received image data 103, and encodes the decoded image in the intra mode when a recording start instruction is input.
  • the image data converter 125 is configured as illustrated in FIG. 8, as in the case of the third embodiment. Therefore, the image data converter 125 operates in the same manner as in the third embodiment.
  • the switch 108 outputs the image data encoded in the intra mode output from the image data conversion unit 125 to the storage device 110 at the time when the recording start instruction is input. After the recording start time, the received image data 103 is output to the storage device 110 as it is until a recording end instruction is input. Further, the switch 108 outputs the received audio data 104 to the media synchronization unit 109 from when the recording start instruction is input until the recording end instruction is input.
  • Media synchronization section 109 assigns time information to the audio data and the converted image data, and outputs them to storage device 110. At this time, the code amount of the image data at the start of recording is often increased more than the code amount before conversion due to encoding in the intra mode. Then, if the image and audio are synchronized at the conversion start time, the image will be displayed with a delay.
  • media synchronization section 109 shifts the audio data backward to make adjustment so that the image and audio can be synchronized. At this time, if there is no audio data corresponding to the head of the image and there is a problem during playback, the media synchronization unit 109 inserts, for example, silence data as shown in FIG. 6B.
  • FIG. 3 corresponds to the second embodiment (see FIG. 3) used in the circuit switching network.
  • the data demultiplexing unit 201 receives the multiplexed received multiplexed data 200 that also received the terminal device power.
  • the power also separates at least one of reception control data 202, reception image data 103, and reception audio data 104.
  • the reception control data 202 is output to the control unit 207.
  • the received image data 103 is output to the image data converter 135 and the switch 108.
  • Received audio data 104 is output to DTMF detector 206 and switch 108.
  • the control unit 207 performs the data multiplexing unit 214 on the transmission control data 211 based on ITU-T standard H.245 in order to exchange capabilities between the terminal device and the moving image storage device at the start of communication.
  • the multiplexing capability information (multiplexing table and multiplexing AL—maximum values of parameters used during SDU size multiplexing and separation) included in the reception control data 202 Output to 214.
  • the data separation unit 201 separates the received multiplexed data 200.
  • the data multiplexing unit 214 multiplexes at least one of the transmission control data 211, the transmission image data 112, and the transmission audio data 113.
  • the control unit 207 When the capability exchange is completed, the control unit 207 outputs a guidance video transmission instruction signal indicating an operation method in the terminal device to the storage device 110.
  • the storage device 110 When receiving the guidance video transmission instruction signal, the storage device 110 outputs transmission image data 112 and transmission audio data 113 corresponding to the guidance moving image to the data multiplexing unit 214.
  • the guidance moving image includes, for example, at least one of audio and / or image data such as “Please press No. 0 to start recording and No. 1 to end recording”.
  • the image data conversion unit 135 performs control so that the converted image data size is the same as the code amount of the received image data. That is, the image data conversion unit 135 is configured as illustrated in FIG. 11 as in the case of the fifth embodiment. Therefore, the image data converter 135 operates in the same manner as in the fifth embodiment.
  • the switch 108 outputs the image data encoded in the intra mode output from the image data conversion unit 135 to the storage device 110 at the time when the recording start instruction is input. After the recording start time, the received image data 103 is output to the storage device 110 as it is until a recording end instruction is input. Also, the switch 108 outputs the received audio data 104 to the storage device 110 from when the recording start instruction is input until the recording end instruction is input.
  • the present invention relates to terminal device capabilities such as video telephone service using mobile terminals in circuit-switched networks and packet-switched networks, and applications for storing and distributing moving image data received from moving image distribution service cards in a server. It is suitably applied to store received moving image data in a server.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

　端末装置から録画開始指示または録画終了指示が送信されると、ＤＴＭＦ検出部（１０６）は、ＤＴＭＦ信号を検出し検出結果を制御部（１０７）に出力する。制御部（１０７）は、受信した録画開始指示または録画終了指示を、画像データ変換部（１０５）と切替器（１０８）とに出力する。画像データ変換部（１０５）は、録画開始指示が入力されると受信画像データ（１０３）をイントラモードで符号化された画像データに変換して、切替器（１０８）に出力する。切替器（１０８）は、録画開始指示が入力された時刻に画像データ変換部（１０５）から出力された画像データを蓄積装置（１１０）に出力し、録画開始時刻以降は、録画終了指示が入力されるまで、受信画像データ（１０３）を蓄積装置（１１０）に出力する。

Description

動画像蓄積システム、動画像蓄積方法および動画像蓄積プログラム 技術分野
[0001] 本発明は、入力された動画像を変換して蓄積する動画像蓄積システム、動画像蓄 積方法および動画像蓄積プログラムに関する。
背景技術
[0002] 回線交換網にお 、て携帯端末装置を用 、たテレビ電話サービスや動画像配信サ 一ビスが普及しつつある。今後は、回線交換網や IMS (IP Multimedia Subsystem ) /NGN (Next Generation Network )網において、携帯端末装置から受信した動 画像データをサーバに蓄積し、サーバが動画像データを配信するサービスが普及し ていくと予想される。
[0003] 第三世代（3GPP)の携帯端末装置では、動画像符号化方式として MPEG4 (ISO /IEC 14496-2 : 2003 "Information Technology Coding of Audio and Vide o Visual Objects -Part2 ： Visual. ")が広く用いられている。
[0004] MPEG4では、現フレームの画像のみを用いて符号化するイントラモードと過去の フレームの画像を参照して符号ィ匕するインターモードとがある。イントラモードでは、 入力画素に対してマクロブロックと呼ばれる単位毎に DCT (Discrete Cosine Transf orm )が行われた後、 DCT係数が可変長符号化される。インターモードでは、入力 画素と過去のフレームの復号画素との間で動き補償予測を行った差分画素が求めら れ、差分画素に対して DCTが行われた後、動きベクトルや DCT係数等が可変長符 号化される。
[0005] 端末装置から送信された動画像データを蓄積する場合、端末装置からリアルタイム で送信される動画像データにおける指定された区間のデータを動画像蓄積装置に 蓄積する (例えば、特許文献 1参照)。このとき、蓄積画像の先頭フレームは、再生時 に前フレームの画像を参照できないので、先頭フレームを、イントラモードで符号ィ匕さ れたデータに変換する必要がある。
[0006] 図 1は、動画像蓄積システムの典型的な構成例を示すブロック図である。図 1に示 す動画像蓄積システムでは、データ受信部 901は、端末装置（図示せず)から受信 データ 900を受信する。受信データ 900は、画像符号ィ匕に関する情報である制御デ ータ 902、画像データ 903および音声データ 904を含む。制御データ 902と画像デ ータ 903とは、画像データ変換部 905に入力される。画像データ変換部 905は、制 御データ 902から得られた情報にもとづいて、入力された画像データ 903の先頭フレ ームをイントラモードのフレームに変換する。そして、変換後の画像データを切替器 9 06に出力する。音声データ 904は、切替器 906に入力される。
[0007] 切替器 906は、変換指示信号 909によって変換開始が通知された場合、変換指示 信号 909によって変換終了が通知されるまで、変換後の画像データと音声データ 90 4とをデータ蓄積部 908に入力する。
[0008] ところで、動画像蓄積システムが、端末装置からリアルタイムで送信される動画像を 蓄積する場合、端末装置力も動画像蓄積システムに、蓄積の開始や終了の指示を 送信することが必要である。しかし、端末装置の操作者は、蓄積の開始や終了の指 示方法を認識して ヽな 、ことが多 ヽと 、う問題がある。
特許文献 1：特開 2002- 232847号公報（段落 0002— 0005、図 2)
発明の開示
[0009] 本発明は、上記の問題を解決するための発明であって、蓄積の開始や終了につい ての操作方法に関するガイダンス画像を端末装置に送信し、端末装置からの指示信 号にもとづいて、端末装置からリアルタイムで送信される動画像を蓄積する動画像蓄 積システム、動画像蓄積方法および動画像蓄積プログラムを提供することを目的とす る。
[0010] 本発明による動画像蓄積システムは、端末装置から音声データと画像データとのう ちの少なくとも一方を含む信号を受信して出力する受信部と、受信部が出力した音 声データと画像データとのうちの少なくとも一方を蓄積する際に、蓄積開始通知方法 を案内する映像もしくは音声、または映像および音声を端末装置に送信する送信部 と、端末装置から送信された通知信号を検出する検出部と、検出部の検出結果を用 いて蓄積開始時の画像データをイントラモードに変換する変換部とを備えたことを特 徴とする。 [0011] 本発明の第 1の実施態様では、受信部は、端末装置から音声データ (例えば、パケ ットデータ）と画像データ（例えば、パケットデータ）とのうちの少なくとも一方のデータ を受信する。
[0012] 本発明の第 2の実施態様では、受信部は、端末装置から受信した信号 (例えば、多 重化信号)から音声データと画像データとのうちの少なくとも一方を分離する。
[0013] 動画像蓄積システムは、変換部による変換後の画像データのデータ量に応じて音 声データと画像データとの同期を調整する同期部を備えていてもよい。
[0014] 動画像蓄積システムは、イントラモードの画像データの符号量をあら力じめ定めら れた値になるように制御する制御部を備えて 、てもよ 、。
[0015] 動画像蓄積システムは、変換部による変換後の符号量が変換前の符号量と同じ符 号量になるようにイントラモードの符号量を制御する制御部を備えて 、てもよ 、。
[0016] 本発明によれば、端末装置力 動画像蓄積システムに蓄積の開始や終了の指示を 送信するために、動画像蓄積システム力 端末装置に蓄積の開始や終了の指示方 法を提示するので、端末装置からの指示信号にもとづいて、端末装置からリアルタイ ムで送信される動画像を蓄積することが可能である。
図面の簡単な説明
[0017] [図 1]動画像蓄積システムの典型的な構成例を示すブロック図である。
[図 2]本発明の動画像蓄積システムの第 1の実施形態の構成を示すブロック図である
[図 3]本発明の動画像蓄積システムの第 2の実施形態の構成を示すブロック図である
[図 4]本発明の動画像蓄積システムの第 1の実施例を示すブロック図である。
[図 5]本発明の動画像蓄積システムの第 2の実施例を示すブロック図である。
[図 6A]本発明におけるデータ同期調整を説明するための説明図である。
[図 6B]本発明におけるデータ同期調整を説明するための説明図である。
[図 7]本発明の動画像蓄積システムの第 3の実施例を示すブロック図である。
[図 8]図 7に示した画像データ変換部の構成例を示すブロック図である。
[図 9]本発明の動画像蓄積システムの第 4の実施例を示すブロック図である。 [図 10]本発明の動画像蓄積システムの第 5の実施例を示すブロック図である。
[図 11]図 10に示した画像データ変換部の構成例を示すブロック図である。
[図 12]本発明の動画像蓄積システムの第 6の実施例を示すブロック図である。
[図 13]本発明の動画像蓄積システムの第 7の実施例を示すブロック図である。
[図 14]本発明の動画像蓄積システムの第 8の実施例を示すブロック図である。
[図 15]本発明の動画像蓄積システムの第 9の実施例を示すブロック図である。
[図 16]本発明の動画像蓄積システムの第 10の実施例を示すブロック図である。 発明を実施するための最良の形態
[0018] 以下、本発明の実施形態を図面を参照して説明する。
[0019] (第 1の実施形態）
図 2は、本発明による動画像蓄積システムの第 1の実施形態の構成を示すブロック 図である。図 2に示す動画像蓄積システム 1は、パケット交換網 5における動画像蓄 積システムである。本実施形態では、通信開始時に、端末装置 4の一例としての携帯 端末と動画像蓄積システム 1との間において、 IETF RFC3261ZRFC2327で規 定された SIPZSDPにもとづく能力交換を行なうことによって、音声'画像符号化に おけるパラメータ等が決定される。次に、動画像蓄積システム 1は、端末装置 4に向け て動画像蓄積の開始や終了を指示するための通知信号を送信する方法 (蓄積開始 Z終了通知方法)を提示するガイダンスを送信する。動画像蓄積システム 1は、端末 装置 4から受信した通知信号にもとづいて、端末装置 4から受信した動画像を蓄積す る。また、端末装置 4からの指示信号として、例えば RFC2833にもとづく DTMF信 号が使用される。
[0020] 図 2に示す動画像蓄積システム 1は、端末装置 4から音声データおよび画像データ の少なくとも一方を受信する受信部 11と、受信した音声データと画像データの少なく とも一方を蓄積部 10に蓄積する際に、蓄積開始通知法等を案内するガイダンスの映 像と蓄積開始通知法等を案内するガイダンスの音声とのうちの少なくとも一方を端末 装置 4に送信する送信部 14と、端末装置 4から送信された通知信号を検出する検出 部 16と、検出部 16の検出結果を用いて蓄積開始時の画像データをイントラモードに 変換する変換部 15とを備えている。なお、ガイダンスは、端末装置 4における操作方 法を示すことになる。
[0021] (第 2の実施形態）
図 3は、本発明による動画像蓄積システムの第 2の実施形態の構成を示すブロック 図である。図 3に示す動画像蓄積システム 2は、回線交換網 6における ITU— Tの規 格である H. 324Mもとづく動画像蓄積システムである。本実施形態では、通信開始 時に、端末装置 4の一例としての携帯端末と動画像蓄積装置 2との間において、 H. 245にもとづく能力交換を行なうことにより、 H. 223にもとづく制御 ·音声 ·画像デ一 タの多重化，分離と、音声 ·画像符号ィ匕におけるパラメータ等が決定される。次に、動 画像蓄積システム 2は、端末装置 4に向けて動画像蓄積の開始や終了を指示するた めの通知信号を送信する方法を提示するガイダンスを送信する。動画像蓄積装置 2 は、端末装置 4から受信した通知信号にもとづいて、端末装置 4から受信した動画像 を蓄積する。また、端末装置 4からの指示信号として、例えば DTMF信号が使用され る。
[0022] 図 3に示す動画像蓄積システム 2は、端末装置 4から音声データおよび画像データ の少なくとも一方を受信する受信部 21と、受信した音声データと画像データの少なく とも一方を蓄積部 10に蓄積する際に、蓄積開始通知法等を案内するガイダンスの映 像と蓄積開始通知法等を案内するガイダンスの音声とのうちの少なくとも一方を端末 装置 4に送信する送信部 24と、端末装置 4から送信された通知信号を検出する検出 部 16と、検出部 16の検出結果を用いて蓄積開始時の画像データをイントラモードに 変換する変換部 15とを備えている。なお、ガイダンスは、端末装置 4における操作方 法を示すことになる。
実施例
[0023] (第 1の実施例）
次に、本発明による動画像蓄積システム (動画像蓄積装置)の第 1の実施例を、図 4 を参照して説明する。本実施例は、パケット交換網において用いられる第 1の実施形 態（図 2参照）に対応する。なお、本実施例および第 2〜第 5の実施例では、端末装 置からの指示信号として、 RFC2833にもとづく DTMF信号を使う場合を例にする。
[0024] 図 2に示された受信部 11に相当するデータ受信部 101は、端末装置（図示せず） 力も受信した受信パケット 100を解析して、受信制御データ 102、受信画像データ 1 03、受信音声データ 104および DTMFデータ 116のうちの少なくとも 1つを出力する 。受信制御データ 102は制御部 107に出力される。受信画像データ 103は、図 2に 示された変換部 15に相当する画像データ変換部 105と切替器 108とに出力される。 受信音声データ 104は切替器 108に出力される。 DTMFデータ 116は、図 2に示さ れた検出部 16に相当する DTMF検出部 106に出力される。
[0025] 制御部 107は、通信開始時に、端末装置と動画像蓄積装置との間の呼接続および 能力交換を行うために、 SIPZSDPにもとづく送信制御データ 111を、図 2に示され た送信部 14に相当するデータ送信部 114に出力する。能力交換が終了すると、制 御部 107は、受信画像データ 103と受信音声データ 104を受信するポート番号を、 データ受信部 101に出力し、送信画像データ 112と送信音声データ 113を送信する ポート番号を、データ送信部 114に出力する。また、制御部 107は、端末装置におけ る操作方法を示すガイダンス動画送信指示信号を、図 2に示された蓄積部 10に相当 する蓄積装置 110に出力する。蓄積装置 110は、ガイダンス動画送信指示信号を入 力するとガイダンス動画に対応する送信画像データ 112および送信音声データ 113 をデータ送信部 114に出力する。ガイダンス動画は、例えば、「録画を開始する時は 0番を、終了する時は 1番を押して下さ!/、」 t 、う内容の音声または画像の少なくとも 一方のデータを含む。
[0026] データ送信部 114は、送信制御データ 111、送信画像データ 112および送信音声 データ 113のうちの少なくとも 1つをパケットィ匕して、送信パケット 115を出力する。
[0027] なお、動画像蓄積装置を、サーバ装置などのコンピュータを含む装置で構成した場 合には、データ受信部 101における受信パケット 100を解析する機能、データ送信 部 114におけるデータをパケットィ匕する機能、画像データ変換部 105、 DTMF検出 部 106、および制御部 107は、プログラムとプログラムに従って処理を実行する CPU とで実現される。
[0028] 端末装置は、 IETF RFC2833にもとづく DTMF信号で録画開始指示または録 画終了指示を送信する。端末装置力 録画開始指示または録画終了指示として IET F RFC2833にもとづく DTMF信号を受信すると、データ受信部 101は、 DTMFデ ータ 116を DTMF検出部 106に出力する。 DTMF検出部 106は、入力された DTM Fデータ 116を解析し、解析結果を DTMF信号の検出結果として制御部 107に出力 する。
[0029] 制御部 107は、 DTMF信号の検出結果が録画開始指示を示している場合には録 画開始指示を画像データ変換部 105と切替器 108とに出力する。 DTMF信号の検 出結果が録画終了指示を示して!/、る場合には録画終了指示を、画像データ変換部 105と切替器 108と〖こ出力する。
[0030] 画像データ変換部 105は、録画開始指示が入力されるとその時刻における受信画 像データ 103をイントラモードで符号ィ匕された画像データに変換して、切替器 108に 出力する。その処理を行うために、画像データ変換部 105は、入力された受信画像 データ 103を常に復号しておき、録画開始指示が入力された際に、復号画像をイント ラモードで符号ィ匕する。
[0031] 切替器 108は、録画開始指示が入力された時刻に画像データ変換部 105から出 力されたイントラモードで符号化された画像データを蓄積装置 110に出力する。録画 開始時刻以降は、録画終了指示が入力されるまで、受信画像データ 103をそのまま 蓄積装置 110に出力する。また、切替器 108は、録画開始指示が入力されてから録 画終了指示が入力されるまで、受信音声データ 104を蓄積装置 110に出力する。
[0032] (第 2の実施例）
次に、本発明の第 2の実施例を、図 5を参照して説明する。本実施例は、パケット交 換網において用いられる第 1の実施形態（図 2参照）に対応する。
[0033] データ受信部 101は、端末装置力 受信した受信パケット 100を解析して、受信制 御データ 102、受信画像データ 103、受信音声データ 104および DTMFデータ 116 のうちの少なくとも 1つを出力する。受信制御データ 102は制御部 107に出力される 。受信画像データ 103は画像データ変換部 105と切替器 108とに出力される。受信 音声データ 104は切替器 108に出力される。 DTMFデータ 116は DTMF検出部 10 6に出力される。
[0034] 制御部 107は、通信開始時に端末装置と動画像蓄積装置との間の呼接続および 能力交換を行うために、 IETF RFC3261ZRFC2327で規格された SIPZSDPに もとづく送信制御データ 111をデータ送信部 114に出力する。能力交換が終了する と、制御部 107は、受信画像データ 103と受信音声データ 104を受信するポート番 号を、データ受信部 101に出力し、送信画像データ 112と送信音声データ 113を送 信するポート番号を、データ送信部 114に出力する。また、制御部 107は、端末装置 における操作方法を示すガイダンス動画送信指示信号を蓄積装置 110に出力する。 蓄積装置 110は、ガイダンス動画送信指示信号を入力するとガイダンス動画に対応 する送信画像データ 112および送信音声データ 113をデータ送信部 114に出力す る。ガイダンス動画は、例えば、「録画を開始する時は 0番を、終了する時は 1番を押 して下さ 、」 t 、う内容の音声または画像の少なくとも一方のデータを含む。
[0035] データ送信部 114は、送信制御データ 111、送信画像データ 112および送信音声 データ 113のうちの少なくとも 1つをパケットィ匕して、送信パケット 115を出力する。
[0036] 端末装置力 録画開始指示または録画終了指示として IETF RFC2833にもとづ く DTMF信号を受信すると、データ受信部 101は、 DTMFデータ 116を DTMF検 出部 106に出力する。 DTMF検出部 106は、入力された DTMFデータ 116を解析 し、 DTMF信号の検出結果を制御部 107に出力する。
[0037] 制御部 107は、 DTMF信号の検出結果が録画開始指示を示している場合には録 画開始指示を画像データ変換部 105と切替器 108とに出力する。 DTMF信号の検 出結果が録画終了指示を示して!/、る場合には録画終了指示を、画像データ変換部 105と切替器 108と〖こ出力する。
[0038] 画像データ変換部 105は、録画開始指示が入力されるとその時刻における受信画 像データ 103をイントラモードで符号ィ匕された画像データに変換して、切替器 108に 出力する。その処理を行うために、画像データ変換部 105は、入力された受信画像 データ 103を常に復号しておき、録画開始指示が入力された際に、復号画像をイント ラモードで符号ィ匕する。
[0039] 切替器 108は、録画開始指示が入力された時刻に画像データ変換部 105から出 力されたイントラモードで符号化された画像データをメディア同期部 109に出力する 。録画開始時刻以降は、録画終了指示が入力されるまで、受信画像データ 103をそ のままメディア同期部 109に出力する。また、切替器 108は、録画開始指示が入力さ れて力 録画終了指示が入力されるまで、受信音声データ 104をメディア同期部 10 9に出力する。
[0040] メディア同期部 109は、音声データと変換後の画像データとに対して時刻情報を付 与し、それらを蓄積装置 110に出力する。このとき、録画開始時の画像データの符号 量は、イントラモードで符号化されたことによって、変換前の符号量よりも増加する場 合が多い。すると、変換開始時刻で画像と音声を同期させると、画像が遅れて表示さ れてしまうことになる。
[0041] そこで、メディア同期部 109は、図 6Aにおけるフレーム Nに示すように、音声データ を後ろにずらして、画像と音声の同期がとれるように調整する。すなわち、メディア同 期部 109は、画像データ変換部 105による変換後の画像データの符号量が変換前 の符号量に対して変化した場合に、音声データの再生時刻に関する情報を調整す る。このとき、画像の先頭に対応する音声データが存在しないと、再生時に問題とな る場合には、メディア同期部 109は、図 6Bに示すように、例えば変換後の画像デー タの先頭に対応させて無音データを挿入する。
[0042] (第 3の実施例）
次に、本発明の第 3の実施例を、図 7を参照して説明する。本実施例は、パケット交 換網において用いられる第 1の実施形態（図 2参照）に対応する。
[0043] データ受信部 101は、端末装置力 受信した受信パケット 100を解析して、受信制 御データ 102、受信画像データ 103、受信音声データ 104および DTMFデータ 116 のうちの少なくとも 1つを出力する。受信制御データ 102は制御部 107に出力される 。受信画像データ 103は画像データ変換部 125と切替器 108とに出力される。受信 音声データ 104は切替器 108に出力される。 DTMFデータ 116は DTMF検出部 10 6に出力される。
[0044] 制御部 107は、通信開始時に端末装置と動画像蓄積装置との間の呼接続および 能力交換を行うために、 IETF RFC3261ZRFC2327で規格された SIPZSDPに もとづく送信制御データ 111をデータ送信部 114に出力する。能力交換が終了する と、制御部 107は、受信画像データ 103と受信音声データ 104を受信するポート番 号を、データ受信部 101に出力し、送信画像データ 112と送信音声データ 113を送 信するポート番号を、データ送信部 114に出力する。また、制御部 107は、端末装置 における操作方法を示すガイダンス動画送信指示信号を蓄積装置 110に出力する。 蓄積装置 110は、ガイダンス動画送信指示信号を入力するとガイダンス動画に対応 する送信画像データ 112および送信音声データ 113をデータ送信部 114に出力す る。ガイダンス動画は、例えば、「録画を開始する時は 0番を、終了する時は 1番を押 して下さ 、」 t 、う内容の音声または画像の少なくとも一方のデータを含む。
[0045] データ送信部 114は、送信制御データ 111、送信画像データ 112および送信音声 データ 113のうちの少なくとも 1つをパケットィ匕して、送信パケット 115を出力する。
[0046] 端末装置力 録画開始指示または録画終了指示として IETF RFC2833にもとづ く DTMF信号を受信をすると、データ受信部 101は、 DTMFデータ 116を DTMF検 出部 106に出力する。 DTMF検出部 106は、入力された DTMFデータ 116を解析 し、 DTMF信号の検出結果を制御部 107に出力する。
[0047] 制御部 107は、 DTMF信号の検出結果が録画開始指示を示している場合には録 画開始指示を画像データ変換部 125と切替器 108とに出力する。 DTMF信号の検 出結果が録画終了指示を示して!/、る場合には録画終了指示を、画像データ変換部 125と切替器 108とに出力する。
[0048] 画像データ変換部 125は、録画開始指示が入力されるとその時刻における受信画 像データ 103をイントラモードで符号ィ匕された画像データに変換して、切替器 108に 出力する。その処理を行うために、画像データ変換部 125は、入力された受信画像 データ 103を常に復号しておき、録画開始指示が入力された際に、復号画像をイント ラモードで符号化する。ここで、画像データ変換部 125は、変換後の画像データサイ ズをあら力じめ定めた目標値になるように制御する。
[0049] 図 8は、画像データ変換部 125の構成を示すブロック図である。図 8に示すように、 画像データ変換部 125は、画像復号部 701と、符号量制御部 705と、画像符号化部 707とを備えている。
[0050] 画像復号部 701は、復号時に得られた復号時の量子化精度である復号時量子化 精度 702と、 MPEG— 4方式で符号化された受信画像データ 103におけるフレーム 単位、もしくはマクロブロック単位、またはマクロブロックの集合であるビデオパケット 単位の受信符号量 703とを符号量制御部 705に出力する。
[0051] 符号量制御部 705は、復号時量子化精度 702、受信符号量 703および目標符号 量 704のうちの少なくとも 1つを用いて、符号ィ匕時の量子化精度 706を決定し、画像 符号ィ匕部 707に出力する。画像符号化部 707は、量子化精度 706に従って量子化 を行って、画像符号化を実行する。復号時量子化精度 702は、画像復号部 701が復 号を行うときに得られるパラメータであり、符号化後の符号量が目標符号量 704に近 づくように符号ィ匕を制御する際に有効な情報になる。
[0052] 例えば、受信符号量 703が目標符号量 704よりも大きい場合には、符号量制御部 705は、復号時量子化精度 702よりも符号ィ匕時量子化精度 706を粗くするような制 御を行う。なお、符号ィ匕時の量子化精度 706を最も粗くしても目標符号量 704を越え てしまう場合には、符号ィ匕時に DCT係数の高次の値のうちのいくつかを 0にすること で出力する符号量を小さくすることも可能である。目標符号量 704を設定することに よって、画像符号化部 707が符号化した画像データの符号量は大きくばらつくことは ない。
[0053] 図 7に示す切替器 108は、録画開始指示が入力された時刻に画像データ変換部 1 25から出力されたイントラモードで符号化された画像データを蓄積装置 110に出力 する。録画開始時刻以降は、録画終了指示が入力されるまで、受信画像データ 103 をそのまま蓄積装置 110に出力する。また、切替器 108は、録画開始指示が入力さ れてカも録画終了指示が入力されるまで、受信音声データ 104を蓄積装置 110に出 力する。
[0054] (第 4の実施例）
次に、本発明の第 4の実施例を、図 9を参照して説明する。本実施例は、パケット交 換網において用いられる第 1の実施形態（図 2参照）に対応する。
[0055] データ受信部 101は、端末装置力 受信した受信パケット 100を解析して、受信制 御データ 102、受信画像データ 103、受信音声データ 104および DTMFデータ 116 のうちの少なくとも 1つを出力する。受信制御データ 102は制御部 107に出力される 。受信画像データ 103は画像データ変換部 135と切替器 108に出力される。受信音 声データ 104は切替器 108に出力される。 DTMFデータ 116は DTMF検出部 106 に出力される。
[0056] 制御部 107は、通信開始時に端末装置と動画像蓄積装置との間の呼接続および 能力交換を行うために、 IETF RFC3261ZRFC2327で規格された SIPZSDPに もとづく送信制御データ 111をデータ送信部 114に出力する。能力交換が終了する と、制御部 107は、受信画像データ 103と受信音声データ 104を受信するポート番 号を、データ受信部 101に出力し、送信画像データ 112と送信音声データ 113を送 信するポート番号を、データ送信部 114に出力する。また、制御部 107は、端末装置 における操作方法を示すガイダンス動画送信指示信号を蓄積装置 110に出力する。 蓄積装置 110は、ガイダンス動画送信指示信号を入力するとガイダンス動画に対応 する送信画像データ 112および送信音声データ 113をデータ送信部 114に出力す る。ガイダンス動画は、例えば、「録画を開始する時は 0番を、終了する時は 1番を押 して下さ 、」 t 、う内容の音声または画像の少なくとも一方のデータを含む。
[0057] データ送信部 114は、送信制御データ 111、送信画像データ 112および送信音声 データ 113のうちの少なくとも 1つをパケットィ匕して、送信パケット 115を出力する。
[0058] 端末装置力 録画開始指示または録画終了指示として IETF RFC2833にもとづ く DTMF信号を受信をすると、データ受信部 101は、 DTMFデータ 116を DTMF検 出部 106に出力する。 DTMF検出部 106は、入力された DTMFデータ 116を解析 し、 DTMF信号の検出結果を制御部 107に出力する。
[0059] 制御部 107は、 DTMF信号の検出結果が録画開始指示を示している場合には録 画開始指示を画像データ変換部 125と切替器 108とに出力する。 DTMF信号の検 出結果が録画終了指示を示して!/、る場合には録画終了指示を、画像データ変換部 125と切替器 108とに出力する。
[0060] 画像データ変換部 125は、録画開始指示が入力されるとその時刻における受信画 像データ 103をイントラモードで符号ィ匕された画像データに変換して、切替器 108に 出力する。その処理を行うために、画像データ変換部 105は、入力された受信画像 データ 103を常に復号しておき、録画開始指示が入力された際に、復号画像をイント ラモードで符号ィ匕する。
[0061] 画像データ変換部 125は、第 3の実施例の場合と同様に、図 8に例示されたように 構成されている。従って、画像データ変換部 125は、第 3の実施例の場合と同様に動 作する。
[0062] 切替器 108は、録画開始指示が入力された時刻に画像データ変換部 105から出 力されたイントラモードで符号化された画像データをメディア同期部 109に出力する 。録画開始時刻以降は、録画終了指示が入力されるまで、受信画像データ 103をそ のままメディア同期部 109に出力する。また、切替器 108は、録画開始指示が入力さ れて力 録画終了指示が入力されるまで、受信音声データ 104をメディア同期部 10 9に出力する。
[0063] メディア同期部 109は、音声データと変換後の画像データとに対して時刻情報を付 与し、それらを蓄積装置 110に出力する。このとき、録画開始時の画像データの符号 量は、イントラモードで符号化されたことによって、変換前の符号量よりも増加する場 合が多い。すると、変換開始時刻で画像と音声を同期させると、画像が遅れて表示さ れてしまうことになる。
[0064] そこで、メディア同期部 109は、図 6Aにおけるフレーム Nに示すように、音声データ を後ろにずらして、画像と音声の同期がとれるように調整する。このとき、画像の先頭 に対応する音声データが存在しないと、再生時に問題となる場合には、メディア同期 部 109は、図 6Bに示すように、例えば無音データを挿入する。
[0065] (第 5の実施例）
次に、本発明の第 5の実施例を、図 10を参照して説明する。本実施例は、パケット 交換網において用いられる第 1の実施形態（図 2参照）に対応する。
[0066] データ受信部 101は、端末装置力 受信した受信パケット 100を解析して、受信制 御データ 102、受信画像データ 103、受信音声データ 104および DTMFデータ 116 のうちの少なくとも 1つを出力する。受信制御データ 102は制御部 107に出力される 。受信画像データ 103は画像データ変換部 135と切替器 108に出力される。受信音 声データ 104は切替器 108に出力される。 DTMFデータ 116は DTMF検出部 106 に出力される。
[0067] 制御部 107は、通信開始時に端末装置と動画像蓄積装置との間の呼接続および 能力交換を行うために、 IETF RFC3261ZRFC2327で規格された SIPZSDPに もとづく送信制御データ 111をデータ送信部 114に出力する。能力交換が終了する と、制御部 107は、受信画像データ 103と受信音声データ 104を受信するポート番 号を、データ受信部 101に出力し、送信画像データ 112と送信音声データ 113を送 信するポート番号を、データ送信部 114に出力する。また、制御部 107は、端末装置 における操作方法を示すガイダンス動画送信指示信号を蓄積装置 110に出力する。 蓄積装置 110は、ガイダンス動画送信指示信号を入力するとガイダンス動画に対応 する送信画像データ 112および送信音声データ 113をデータ送信部 114に出力す る。ガイダンス動画は、例えば、「録画を開始する時は 0番を、終了する時は 1番を押 して下さ 、」 t 、う内容の音声または画像の少なくとも一方のデータを含む。
[0068] データ送信部 114は、送信制御データ 111、送信画像データ 112および送信音声 データ 113のうちの少なくとも 1つをパケットィ匕して、送信パケット 115を出力する。
[0069] 端末装置力 録画開始指示または録画終了指示として IETF RFC2833にもとづ く DTMF信号を受信をすると、データ受信部 101は、 DTMFデータ 116を DTMF検 出部 106に出力する。 DTMF検出部 106は、入力された DTMFデータ 116を解析 し、 DTMF信号の検出結果を制御部 107に出力する。
[0070] 制御部 107は、 DTMF信号の検出結果が録画開始指示を示している場合には録 画開始指示を画像データ変換部 135と切替器 108とに出力する。 DTMF信号の検 出結果が録画終了指示を示して!/、る場合には録画終了指示を、画像データ変換部 135と切替器 108とに出力する。
[0071] 画像データ変換部 135は、録画開始指示が入力されるとその時刻における受信画 像データ 103をイントラモードで符号ィ匕された画像データに変換して、切替器 108に 出力する。その処理を行うために、画像データ変換部 135は、入力された受信画像 データ 103を常に復号しておき、録画開始指示が入力された際に、復号画像をイント ラモードで符号化する。ここで、画像データ変換部 135は、変換後の画像データサイ ズが受信した画像データの符号量と同じになるように制御する。
[0072] 図 11は、画像データ変換部 135の構成を示すブロック図である。図 11に示すよう に、画像データ変換部 135は、画像復号部 701と、符号量制御部 805と、画像符号 化部 707とを備えている。 [0073] 画像復号部 701は、復号時量子化精度 702と、 MPEG— 4方式で符号化された受 信画像データ 103におけるフレーム単位、もしくはマクロブロック単位、またはマクロ ブロックの集合であるビデオパケット単位の受信符号量 703とを符号量制御部 805に 出力する。復号時量子化精度 702は、画像復号部 701が復号を行うときに得られる パラメータであり、符号ィ匕後の符号量が受信符号量 703に近づくように符号ィ匕を制御 する際に有効な情報になる。
[0074] 符号量制御部 805は、復号時量子化精度 702と受信符号量 703のうちの少なくと も 1つを用いて、符号ィ匕時の量子化精度 706を決定し、画像符号化部 707に出力す る。符号量制御部 805は、変換後の符号量 (画像符号ィ匕部 707が符号ィ匕したときの 符号量)が変換前の符号量 (画像復号部 701が復号する前の符号量)と同じ (ある程 度の誤差は許容される）符号量になるように量子化精度 706を決定する。このような 制御によっても、画像と音声の同期がとれるようになる。
[0075] 図 10に示す切替器 108は、録画開始指示が入力された時刻に画像データ変換部 135から出力されたイントラモードで符号化された画像データを蓄積装置 110に出力 する。録画開始時刻以降は、録画終了指示が入力されるまで、受信画像データ 103 をそのまま蓄積装置 110に出力する。また、切替器 108は、録画開始指示が入力さ れてカも録画終了指示が入力されるまで、受信音声データ 104を蓄積装置 110に出 力する。
[0076] (第 6の実施例）
次に、本発明の第 6の実施例を、図 12を参照して説明する。本実施例は、回線交 換網において用いられる第 2の実施形態（図 3参照）に対応する。なお、本実施例お よび第 7〜第 10の実施例では、端末装置からの指示信号として DTMF信号を使う場 合を例にする。
[0077] 図 3に示された受信部 21に相当するデータ分離部 201は、端末装置から受信した 多重化された受信多重化データ 200から受信制御データ 202、受信画像データ 10 3および受信音声データ 104のうちの少なくとも 1つを分離する。受信制御データ 20 2は制御部 207に出力される。受信画像データ 103は、図 3に示された変換部 15〖こ 相当する画像データ変換部 105と切替器 108とに出力される。受信音声データ 104 は、図 3に示された検出部 16に相当する DTMF検出部 206と切替器 108とに出力さ れる。
[0078] 制御部 207は、通信開始時に端末装置と動画像蓄積装置との間の能力交換を行う ために、 ITU— T規格である H. 245にもとづく送信制御データ 211を、図 3に示され た送信部 24に相当するデータ多重化部 214に出力し、受信制御データ 202に含ま れる多重化に関する能力情報（多重化テーブルや多重 AL— SDUサイズ多重化お よび分離時に用いられるパラメータの最大値など）をデータ分離部 201とデータ多重 化部 214とに出力する。この能力情報にもとづいて、データ分離部 201は、受信多重 化データ 200の分離を行う。データ多重化部 214は、送信制御データ 211、送信画 像データ 112および送信音声データ 113のうちの少なくとも 1つに対する多重化を行
[0079] なお、動画像蓄積装置を、サーバ装置などのコンピュータを含む装置で構成した場 合には、データ分離部 201におけるデータを分離する機能、データ多重化部 214〖こ おけるデータを多重化する機能、画像データ変換部 105、 DTMF検出部 206、およ び制御部 207は、プログラムとプログラムに従って処理を実行する CPUとで実現され る。
[0080] 能力交換が終了すると、制御部 207は、端末装置における操作方法を示すガイダ ンス動画送信指示信号を、図 3に示された蓄積部 10に相当する蓄積装置 110に出 力する。蓄積装置 110は、ガイダンス動画送信指示信号を入力するとガイダンス動画 に対応する送信画像データ 112および送信音声データ 113をデータ多重化部 214 に出力する。ガイダンス動画は、例えば、「録画を開始する時は 0番を、終了する時は 1番を押して下さ 、」 t 、う内容の音声または画像の少なくとも一方のデータを含む。
[0081] データ多重化部 214は、送信制御データ 211、送信画像データ 112および送信音 声データ 113のうちの少なくとも 1つを多重化して、送信多重化データ 215を出力す る。
[0082] 端末装置から録画開始指示または録画終了指示が送信されると、 DTMF検出部 2 06は、受信音声データ 104から得られた音声信号の周波数を分析することによって DTMF信号を検出し、 DTMF信号の検出結果を制御部 207に出力する。 [0083] 制御部 207は、 DTMF信号の検出結果が録画開始指示を示している場合には録 画開始指示を画像データ変換部 105と切替器 108とに出力する。 DTMF信号の検 出結果が録画終了指示を示して!/、る場合には録画終了指示を、画像データ変換部 105と切替器 108と〖こ出力する。
[0084] 画像データ変換部 105は、録画開始指示が入力されるとその時刻における受信画 像データ 103をイントラモードで符号ィ匕された画像データに変換して、切替器 108に 出力する。その処理を行うために、画像データ変換部 105は、入力された受信画像 データ 103を常に復号しておき、録画開始指示が入力された際に、復号画像をイント ラモードで符号ィ匕する。
[0085] 切替器 108は、録画開始指示が入力された時刻に画像データ変換部 105から出 力されたイントラモードで符号化された画像データを蓄積装置 110に出力する。録画 開始時刻以降は、録画終了指示が入力されるまで、受信画像データ 103をそのまま 蓄積装置 110に出力する。また、切替器 108は、録画開始指示が入力されてから録 画終了指示が入力されるまで、受信音声データ 104を蓄積装置 110に出力する。
[0086] (第 7の実施例）
次に、本発明の第 7の実施例を、図 13を参照して説明する。本実施例は、回線交 換網において用いられる第 2の実施形態（図 3参照）に対応する。
[0087] データ分離部 201は、端末装置力も受信した多重化された受信多重化データ 200 力も受信制御データ 202、受信画像データ 103および受信音声データ 104のうちの 少なくとも 1つを分離する。受信制御データ 202は制御部 207に出力される。受信画 像データ 103は画像データ変換部 105と切替器 108とに出力される。受信音声デー タ 104は DTMF検出部 206と切替器 108とに出力される。
[0088] 制御部 207は、通信開始時に端末装置と動画像蓄積装置との間の能力交換を行う ために、 ITU— T規格である H. 245にもとづく送信制御データ 211をデータ多重化 部 214に出力し、受信制御データ 202に含まれる多重化に関する能力情報（多重化 テーブルや多重 AL— SDUサイズ多重化および分離時に用いられるパラメータの最 大値など）をデータ分離部 201とデータ多重化部 214とに出力する。この能力情報に もとづいて、データ分離部 201は、受信多重化データ 200の分離を行う。データ多重 化部 214は、送信制御データ 211、送信画像データ 112および送信音声データ 113 のうちの少なくとも 1つに対する多重化を行う。
[0089] 能力交換が終了すると、制御部 207は、端末装置における操作方法を示すガイダ ンス動画送信指示信号を蓄積装置 110に出力する。蓄積装置 110は、ガイダンス動 画送信指示信号を入力するとガイダンス動画に対応する送信画像データ 112および 送信音声データ 113をデータ多重化部 214に出力する。ガイダンス動画は、例えば 、「録画を開始する時は 0番を、終了する時は 1番を押して下さい」という内容の音声 または画像の少なくとも一方のデータを含む。
[0090] データ多重化部 214は、送信制御データ 211、送信画像データ 112および送信音 声データ 113のうちの少なくとも 1つを多重化して、送信多重化データ 215を出力す る。
[0091] 端末装置から録画開始指示または録画終了指示が送信されると、 DTMF検出部 2 06は、受信音声データ 104から得られた音声信号の周波数を分析することによって DTMF信号を検出し、 DTMF信号の検出結果を制御部 207に出力する。
[0092] 制御部 207は、 DTMF信号の検出結果が録画開始指示を示している場合には録 画開始指示を画像データ変換部 105と切替器 108とに出力する。 DTMF信号の検 出結果が録画終了指示を示して!/、る場合には録画終了指示を、画像データ変換部 105と切替器 108と〖こ出力する。
[0093] 画像データ変換部 105は、録画開始指示が入力されるとその時刻における受信画 像データ 103をイントラモードで符号ィ匕された画像データに変換して、切替器 108に 出力する。その処理を行うために、画像データ変換部 105は、入力された受信画像 データ 103を常に復号しておき、録画開始指示が入力された際に、復号画像をイント ラモードで符号ィ匕する。
[0094] 切替器 108は、録画開始指示が入力された時刻に画像データ変換部 105から出 力されたイントラモードで符号化された画像データをメディア同期部 109に出力する 。録画開始時刻以降は、録画終了指示が入力されるまで、受信画像データ 103をそ のままメディア同期部 109に出力する。
[0095] メディア同期部 109は、音声データと変換後の画像データとに対して時刻情報を付 与し、それらを蓄積装置 110に出力する。このとき、録画開始時の画像データの符号 量は、イントラモードで符号化されたことによって、変換前の符号量よりも増加する場 合が多い。すると、変換開始時刻で画像と音声を同期させると、画像が遅れて表示さ れてしまうことになる。
[0096] そこで、メディア同期部 109は、図 6Aにおけるフレーム Nに示すように、音声データ を後ろにずらして、画像と音声の同期がとれるように調整する。このとき、画像の先頭 に対応する音声データが存在しないと、再生時に問題となる場合には、メディア同期 部 109は、図 6Bに示すように、例えば無音データを挿入する。
[0097] (第 8の実施例）
次に、本発明の第 8の実施例を、図 14を参照して説明する。本実施例は、回線交 換網において用いられる第 2の実施形態（図 3参照）に対応する。
[0098] データ分離部 201は、端末装置力も受信した多重化された受信多重化データ 200 力も受信制御データ 202、受信画像データ 103および受信音声データ 104のうちの 少なくとも 1つを分離する。受信制御データ 202は制御部 207に出力される。受信画 像データ 103は画像データ変換部 125と切替器 108とに出力される。受信音声デー タ 104は DTMF検出部 206と切替器 108とに出力される。
[0099] 制御部 207は、通信開始時に端末装置と動画像蓄積装置との間の能力交換を行う ために、 ITU— T規格である H. 245にもとづく送信制御データ 211をデータ多重化 部 214に出力し、受信制御データ 202に含まれる多重化に関する能力情報（多重化 テーブルや多重 AL— SDUサイズ多重化および分離時に用いられるパラメータの最 大値など）をデータ分離部 201とデータ多重化部 214とに出力する。この能力情報に もとづいて、データ分離部 201は、受信多重化データ 200の分離を行う。データ多重 化部 214は、送信制御データ 211、送信画像データ 112および送信音声データ 113 のうちの少なくとも 1つに対する多重化を行う。
[0100] 能力交換が終了すると、制御部 207は、端末装置における操作方法を示すガイダ ンス動画送信指示信号を蓄積装置 110に出力する。蓄積装置 110は、ガイダンス動 画送信指示信号を入力するとガイダンス動画に対応する送信画像データ 112および 送信音声データ 113をデータ多重化部 214に出力する。ガイダンス動画は、例えば 、「録画を開始する時は 0番を、終了する時は 1番を押して下さい」という内容の音声 または画像の少なくとも一方のデータを含む。
[0101] データ多重化部 214は、送信制御データ 211、送信画像データ 112および送信音 声データ 113のうちの少なくとも 1つを多重化して、送信多重化データ 215を出力す る。
[0102] 端末装置から録画開始指示または録画終了指示が送信されると、 DTMF検出部 2 06は、受信音声データ 104から得られた音声信号の周波数を分析することによって DTMF信号を検出し、 DTMF信号の検出結果を制御部 207に出力する。
[0103] 制御部 207は、 DTMF信号の検出結果が録画開始指示を示している場合には録 画開始指示を画像データ変換部 125と切替器 108とに出力する。 DTMF信号の検 出結果が録画終了指示を示して!/、る場合には録画終了指示を、画像データ変換部 125と切替器 108とに出力する。
[0104] 画像データ変換部 125は、録画開始指示が入力されるとその時刻における受信画 像データ 103をイントラモードで符号ィ匕された画像データに変換して、切替器 108に 出力する。その処理を行うために、画像データ変換部 125は、入力された受信画像 データ 103を常に復号しておき、録画開始指示が入力された際に、復号画像をイント ラモードで符号ィ匕する。
[0105] 画像データ変換部 125は、第 3の実施例の場合と同様に、図 8に例示されたように 構成されている。従って、画像データ変換部 125は、第 3の実施例の場合と同様に動 作する。
[0106] 切替器 108は、録画開始指示が入力された時刻に画像データ変換部 125から出 力されたイントラモードで符号化された画像データを蓄積装置 110に出力する。録画 開始時刻以降は、録画終了指示が入力されるまで、受信画像データ 103をそのまま 蓄積装置 110に出力する。また、切替器 108は、録画開始指示が入力されてから録 画終了指示が入力されるまで、受信音声データ 104を蓄積装置 110に出力する。
[0107] (第 9の実施例）
次に、本発明の第 9の実施例を、図 15を参照して説明する。本実施例は、回線交 換網において用いられる第 2の実施形態（図 3参照）に対応する。 [0108] データ分離部 201は、端末装置力も受信した多重化された受信多重化データ 200 力も受信制御データ 202、受信画像データ 103および受信音声データ 104のうちの 少なくとも 1つを分離する。受信制御データ 202は制御部 207に出力される。受信画 像データ 103は画像データ変換部 125と切替器 108とに出力される。受信音声デー タ 104は DTMF検出部 206と切替器 108とに出力される。
[0109] 制御部 207は、通信開始時に端末装置と動画像蓄積装置との間の能力交換を行う ために、 ITU— T規格である H. 245にもとづく送信制御データ 211をデータ多重化 部 214に出力し、受信制御データ 202に含まれる多重化に関する能力情報（多重化 テーブルや多重 AL— SDUサイズ多重化および分離時に用いられるパラメータの最 大値など）をデータ分離部 201とデータ多重化部 214とに出力する。この能力情報に もとづいて、データ分離部 201は、受信多重化データ 200の分離を行う。データ多重 化部 214は、送信制御データ 211、送信画像データ 112および送信音声データ 113 のうちの少なくとも 1つに対する多重化を行う。
[0110] 能力交換が終了すると、制御部 207は、端末装置における操作方法を示すガイダ ンス動画送信指示信号を蓄積装置 110に出力する。蓄積装置 110は、ガイダンス動 画送信指示信号を入力するとガイダンス動画に対応する送信画像データ 112および 送信音声データ 113をデータ多重化部 214に出力する。ガイダンス動画は、例えば 、「録画を開始する時は 0番を、終了する時は 1番を押して下さい」という内容の音声 または画像の少なくとも一方のデータを含む。
[0111] データ多重化部 214は、送信制御データ 211、送信画像データ 112および送信音 声データ 113のうちの少なくとも 1つを多重化して、送信多重化データ 215を出力す る。
[0112] 端末装置から録画開始指示または録画終了指示が送信されると、 DTMF検出部 2 06は、受信音声データ 104から得られた音声信号の周波数を分析することによって DTMF信号を検出し、 DTMF信号の検出結果を制御部 207に出力する。
[0113] 制御部 207は、 DTMF信号の検出結果が録画開始指示を示している場合には録 画開始指示を画像データ変換部 125と切替器 108とに出力する。 DTMF信号の検 出結果が録画終了指示を示して!/、る場合には録画終了指示を、画像データ変換部 125と切替器 108とに出力する。
[0114] 画像データ変換部 125は、録画開始指示が入力されるとその時刻における受信画 像データ 103をイントラモードで符号ィ匕された画像データに変換して、切替器 108に 出力する。その処理を行うために、画像データ変換部 105は、入力された受信画像 データ 103を常に復号しておき、録画開始指示が入力された際に、復号画像をイント ラモードで符号ィ匕する。
[0115] 画像データ変換部 125は、第 3の実施例の場合と同様に、図 8に例示されたように 構成されている。従って、画像データ変換部 125は、第 3の実施例の場合と同様に動 作する。
[0116] 切替器 108は、録画開始指示が入力された時刻に画像データ変換部 125から出 力されたイントラモードで符号化された画像データを蓄積装置 110に出力する。録画 開始時刻以降は、録画終了指示が入力されるまで、受信画像データ 103をそのまま 蓄積装置 110に出力する。また、切替器 108は、録画開始指示が入力されてから録 画終了指示が入力されるまで、受信音声データ 104をメディア同期部 109に出力す る。
[0117] メディア同期部 109は、音声データと変換後の画像データとに対して時刻情報を付 与し、それらを蓄積装置 110に出力する。このとき、録画開始時の画像データの符号 量は、イントラモードで符号化されたことによって、変換前の符号量よりも増加する場 合が多い。すると、変換開始時刻で画像と音声を同期させると、画像が遅れて表示さ れてしまうことになる。
[0118] そこで、メディア同期部 109は、図 6Aにおけるフレーム Nに示すように、音声データ を後ろにずらして、画像と音声の同期がとれるように調整する。このとき、画像の先頭 に対応する音声データが存在しないと、再生時に問題となる場合には、メディア同期 部 109は、図 6Bに示すように、例えば無音データを挿入する。
[0119] (第 10の実施例）
次に、本発明の第 10の実施例を、図 16を参照して説明する。本実施例は、回線交 換網において用いられる第 2の実施形態（図 3参照）に対応する。
[0120] データ分離部 201は、端末装置力も受信した多重化された受信多重化データ 200 力も受信制御データ 202、受信画像データ 103および受信音声データ 104のうちの 少なくとも 1つを分離する。受信制御データ 202は制御部 207に出力される。受信画 像データ 103は画像データ変換部 135と切替器 108とに出力される。受信音声デー タ 104は DTMF検出部 206と切替器 108とに出力される。
[0121] 制御部 207は、通信開始時に端末装置と動画像蓄積装置との間の能力交換を行う ために、 ITU— T規格である H. 245にもとづく送信制御データ 211をデータ多重化 部 214に出力し、受信制御データ 202に含まれる多重化に関する能力情報（多重化 テーブルや多重 AL— SDUサイズ多重化および分離時に用いられるパラメータの最 大値など）をデータ分離部 201とデータ多重化部 214とに出力する。この能力情報に もとづいて、データ分離部 201は、受信多重化データ 200の分離を行う。データ多重 化部 214は、送信制御データ 211、送信画像データ 112および送信音声データ 113 のうちの少なくとも 1つに対する多重化を行う。
[0122] 能力交換が終了すると、制御部 207は、端末装置における操作方法を示すガイダ ンス動画送信指示信号を蓄積装置 110に出力する。蓄積装置 110は、ガイダンス動 画送信指示信号を入力するとガイダンス動画に対応する送信画像データ 112および 送信音声データ 113をデータ多重化部 214に出力する。ガイダンス動画は、例えば 、「録画を開始する時は 0番を、終了する時は 1番を押して下さい」という内容の音声 または画像の少なくとも一方のデータを含む。
[0123] 画像データ変換部 135は、第 5の実施例の場合と同様に、変換後の画像データサ ィズが受信した画像データの符号量と同じになるように制御する。すなわち、画像デ ータ変換部 135は、第 5の実施例の場合と同様に、図 11に例示されたように構成さ れている。従って、画像データ変換部 135は、第 5の実施例の場合と同様に動作する
[0124] 切替器 108は、録画開始指示が入力された時刻に画像データ変換部 135から出 力されたイントラモードで符号化された画像データを蓄積装置 110に出力する。録画 開始時刻以降は、録画終了指示が入力されるまで、受信画像データ 103をそのまま 蓄積装置 110に出力する。また、切替器 108は、録画開始指示が入力されてから録 画終了指示が入力されるまで、受信音声データ 104を蓄積装置 110に出力する。 産業上の利用可能性
本発明は、回線交換網やパケット交換網における携帯端末を用いたテレビ電話サ 一ビスや動画像配信サービスカゝら受信した動画像データをサーバに蓄積して配信す る用途など、端末装置力 受信する動画像データをサーバに蓄積するために好適に 適用される。

Claims

請求の範囲
[1] 端末装置力 受信した動画像を蓄積する動画像蓄積システムであって、
前記端末装置から音声データと画像データとのうちの少なくとも一方を含む信号を 受信して出力する受信部と、
前記受信部が出力した音声データと画像データとのうちの少なくとも一方を蓄積す る際に、蓄積開始通知方法を案内する映像もしくは音声、または映像および音声を 前記端末装置に送信する送信部と、
前記端末装置から送信された通知信号を検出する検出部と、
前記検出部の検出結果を用いて蓄積開始時の画像データをイントラモードに変換 する変換部と、を備えたことを特徴とする動画像蓄積システム。
[2] 前記受信部は、前記端末装置から音声データと画像データとのうちの少なくとも一 方のデータを受信する、請求項 1記載の動画像蓄積システム。
[3] 前記受信部は、前記端末装置から受信した信号から音声データと画像データとのう ちの少なくとも一方を分離する、請求項 1記載の動画像蓄積システム。
[4] 前記変換部による変換後の画像データのデータ量に応じて音声データと画像デー タとの同期を調整する同期部を備えた、請求項 1から 3のいずれか 1項に記載の動画 像蓄積システム。
[5] イントラモードの画像データの符号量をあら力じめ定められた値になるように制御す る制御部を備えた、請求項 1から 4の 、ずれか 1項に記載の動画像蓄積システム。
[6] 前記変換部による変換後の符号量が変換前の符号量と同じ符号量になるようにィ ントラモードの符号量を制御する制御部を備えた、請求項 1から 4の 、ずれか 1項に 記載の動画像蓄積システム。
[7] 前記検出部は、前記端末装置からの通知信号として送信された DTMF信号を検 出する、請求項 1から 6のいずれか 1項に記載の動画像蓄積システム。
[8] 端末装置から受信した動画像を蓄積する動画像蓄積方法であって、
前記端末装置から音声データと画像データとのうちの少なくとも一方を含む信号を 受信して出力する受信ステップと、
前記受信ステップで出力された信号に含まれていた音声データと画像データとのう ちの少なくとも一方を蓄積する際に、蓄積開始通知方法を案内する映像もしくは音声 、または映像および音声を前記端末装置に送信する送信ステップと、
前記端末装置から送信された通知信号を検出する検出ステップと、
前記検出ステップによる検出結果を用 、て蓄積開始時の画像データをイントラモー ドに変換する変換ステップと、を含むことを特徴とする動画像蓄積方法。
[9] 前記受信ステップでは、前記端末装置から音声データと画像データとのうちの少な くとも一方のデータを受信する、請求項 8記載の動画像蓄積方法。
[10] 前記受信ステップでは、前記端末装置から受信した信号から音声データと画像デ ータとのうちの少なくとも一方を分離する、請求項 8記載の動画像蓄積方法。
[11] 端末装置力 受信した動画像を蓄積する動画像蓄積装置が有するコンピュータに 前記端末装置から音声データと画像データとのうちの少なくとも一方を含む信号を 受信する処理と、
受信した信号に含まれる音声データと画像データとのうちの少なくとも一方を蓄積 する際に、蓄積開始通知方法を案内する映像もしくは音声、または映像および音声 を前記端末装置に送信する処理と、
前記端末装置から送信された通知信号を検出する処理と、
検出された通知信号に従って蓄積開始時の画像データをイントラモードに変換す る処理と、を実行させるための動画像蓄積プログラム。
PCT/JP2006/324555 2006-03-27 2006-12-08 動画像蓄積システム、動画像蓄積方法および動画像蓄積プログラム Ceased WO2007111006A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP06834310A EP2012539A4 (en) 2006-03-27 2006-12-08 SYSTEM, METHOD AND PROGRAM FOR STORING MOBILE IMAGES
CA 2643495 CA2643495A1 (en) 2006-03-27 2006-12-08 Moving image storage system, moving image storage method, and moving image storage program
US12/293,864 US8237772B2 (en) 2006-03-27 2006-12-08 Moving picture storage system, moving picture storage method, and moving picture storage program
JP2008507365A JP4662085B2 (ja) 2006-03-27 2006-12-08 動画像蓄積システム、動画像蓄積方法および動画像蓄積プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-086582 2006-03-27
JP2006086582 2006-03-27

Publications (1)

Publication Number Publication Date
WO2007111006A1 true WO2007111006A1 (ja) 2007-10-04

Family

ID=38540941

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/324555 Ceased WO2007111006A1 (ja) 2006-03-27 2006-12-08 動画像蓄積システム、動画像蓄積方法および動画像蓄積プログラム

Country Status (7)

Country Link
US (1) US8237772B2 (ja)
EP (1) EP2012539A4 (ja)
JP (1) JP4662085B2 (ja)
KR (1) KR100972673B1 (ja)
CN (1) CN101401423A (ja)
CA (1) CA2643495A1 (ja)
WO (1) WO2007111006A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012521703A (ja) * 2009-03-24 2012-09-13 ストリームワイド ビデオストリームの一部を記憶するための方法および装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101646058B (zh) * 2009-08-25 2012-04-11 中兴通讯股份有限公司 可视电话业务中传送视频、音频或图片的方法和系统
KR101328173B1 (ko) * 2009-12-11 2013-11-13 한국전자통신연구원 실감 통신 단말 장치 및 이를 이용한 실감 통신 방법
JP6056124B2 (ja) * 2011-09-05 2017-01-11 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
KR101631130B1 (ko) * 2014-09-22 2016-06-17 (주) 코콤 스마트폰을 이용한 인터폰기능 구현시스템 및 방법

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07154802A (ja) * 1993-12-01 1995-06-16 Matsushita Electric Ind Co Ltd 画像符号化方法および画像符号化装置
JPH08237133A (ja) * 1995-02-28 1996-09-13 Toshiba Corp 可変レート圧縮装置及び可変レート伸長装置
JPH10164556A (ja) * 1996-12-02 1998-06-19 Matsushita Electric Ind Co Ltd デコーダ、エンコーダ、およびビデオ・オン・デマンドシステム
JP2000078531A (ja) * 1998-04-28 2000-03-14 Hitachi Ltd オ―ディオデ―タ編集方法、編集システム
JP2000206994A (ja) * 1999-01-20 2000-07-28 Victor Co Of Japan Ltd 音声符号化装置及び復号化装置
JP2001061142A (ja) * 1999-08-20 2001-03-06 Mitsubishi Electric Corp 動画像符号化装置、および動画像通信システム
JP2001339460A (ja) * 2000-05-26 2001-12-07 Matsushita Electric Ind Co Ltd デジタル送受信装置
JP2002016924A (ja) * 2000-06-27 2002-01-18 Nec Corp トランスコーダ装置およびトランスコード方法
JP2002204451A (ja) * 2000-12-28 2002-07-19 Nec Corp 符号圧縮化／データ変換装置及び符号圧縮化／データ変換方法
JP2002232847A (ja) 2001-02-05 2002-08-16 Hitachi Ltd 動画像データの記録再生方法および装置
JP2004153631A (ja) * 2002-10-31 2004-05-27 Sanyo Electric Co Ltd デジタル映像音声記録装置
JP2005136775A (ja) * 2003-10-31 2005-05-26 Nec Corp テレビ電話装置
JP2005323353A (ja) * 2004-04-15 2005-11-17 Microsoft Corp 高忠実度のトランスコーディング

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06276427A (ja) 1993-03-23 1994-09-30 Sony Corp 動画像音声制御装置
EP0656729B1 (en) 1993-12-01 2000-02-09 Matsushita Electric Industrial Co., Ltd. Method and apparatus for editing or mixing compressed pictures
JPH10243399A (ja) 1997-02-25 1998-09-11 Sharp Corp 符号量制御装置及び該符号量制御装置を含む動画像符号化装置
US6339760B1 (en) * 1998-04-28 2002-01-15 Hitachi, Ltd. Method and system for synchronization of decoded audio and video by adding dummy data to compressed audio data
JP2002300528A (ja) 2001-03-30 2002-10-11 Toshiba Corp ビデオストリーム編集方法及び装置
JP2005229547A (ja) 2004-02-16 2005-08-25 Hiroyasu Mikabe 録画方法、録画システム、再生方法及び再生システム
WO2006016437A1 (ja) 2004-08-11 2006-02-16 Ginganet Corporation テレビ電話交番システム

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07154802A (ja) * 1993-12-01 1995-06-16 Matsushita Electric Ind Co Ltd 画像符号化方法および画像符号化装置
JPH08237133A (ja) * 1995-02-28 1996-09-13 Toshiba Corp 可変レート圧縮装置及び可変レート伸長装置
JPH10164556A (ja) * 1996-12-02 1998-06-19 Matsushita Electric Ind Co Ltd デコーダ、エンコーダ、およびビデオ・オン・デマンドシステム
JP2000078531A (ja) * 1998-04-28 2000-03-14 Hitachi Ltd オ―ディオデ―タ編集方法、編集システム
JP2000206994A (ja) * 1999-01-20 2000-07-28 Victor Co Of Japan Ltd 音声符号化装置及び復号化装置
JP2001061142A (ja) * 1999-08-20 2001-03-06 Mitsubishi Electric Corp 動画像符号化装置、および動画像通信システム
JP2001339460A (ja) * 2000-05-26 2001-12-07 Matsushita Electric Ind Co Ltd デジタル送受信装置
JP2002016924A (ja) * 2000-06-27 2002-01-18 Nec Corp トランスコーダ装置およびトランスコード方法
JP2002204451A (ja) * 2000-12-28 2002-07-19 Nec Corp 符号圧縮化／データ変換装置及び符号圧縮化／データ変換方法
JP2002232847A (ja) 2001-02-05 2002-08-16 Hitachi Ltd 動画像データの記録再生方法および装置
JP2004153631A (ja) * 2002-10-31 2004-05-27 Sanyo Electric Co Ltd デジタル映像音声記録装置
JP2005136775A (ja) * 2003-10-31 2005-05-26 Nec Corp テレビ電話装置
JP2005323353A (ja) * 2004-04-15 2005-11-17 Microsoft Corp 高忠実度のトランスコーディング

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2012539A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012521703A (ja) * 2009-03-24 2012-09-13 ストリームワイド ビデオストリームの一部を記憶するための方法および装置

Also Published As

Publication number Publication date
CA2643495A1 (en) 2007-10-04
EP2012539A1 (en) 2009-01-07
US8237772B2 (en) 2012-08-07
KR100972673B1 (ko) 2010-07-27
JP4662085B2 (ja) 2011-03-30
JPWO2007111006A1 (ja) 2009-08-06
KR20090004988A (ko) 2009-01-12
US20090207317A1 (en) 2009-08-20
CN101401423A (zh) 2009-04-01
EP2012539A4 (en) 2011-05-11

Similar Documents

Publication Publication Date Title
JP2008067395A (ja) 適応可変長符号化
JP4983917B2 (ja) 動画像配信システム、変換装置および動画像配信方法
KR100922119B1 (ko) 제어 정보의 변환 장치 및 제어 정보의 변환 방법
KR100917481B1 (ko) 동화상 변환 장치, 동화상 변환 시스템 및 서버 장치
JP5516408B2 (ja) ゲートウェイ装置と方法とシステム
KR100716093B1 (ko) 멀티미디어 통신 단말기
JP4662085B2 (ja) 動画像蓄積システム、動画像蓄積方法および動画像蓄積プログラム
JP2005192073A (ja) マルチメディアデータ通信方法および装置
JP5516409B2 (ja) ゲートウェイ装置と方法とシステム並びに端末
TW202450322A (zh) 針對機器的視訊寫碼用於推斷的根據需要的附加資料傳輸
HK1124709A (en) Moving image storage system, moving image storage method, and moving image storage program
KR100397133B1 (ko) 영상 데이터 압축 전송 시스템 및 그 방법
MX2008010599A (es) Sistema de almacenamiento de imagen movil, metodo de almacenamiento de imagen movil, y programa de almacenamiento de imagen movil
JP2008211294A (ja) 符号化装置および符号化方法
JP2002044661A (ja) Ａｔｍ対応ｍｐｅｇ２コーデック装置
JP2002118850A (ja) 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置
JP2010233238A (ja) 制御情報の変換装置及び制御情報の変換方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 06834310

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2008507365

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2006834310

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: MX/a/2008/010599

Country of ref document: MX

WWE Wipo information: entry into national phase

Ref document number: 2643495

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 200680053920.3

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 12293864

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2008141294

Country of ref document: RU

Kind code of ref document: A