WO2010054779A1 - Kooperationsfenster/wand - Google Patents

Kooperationsfenster/wand Download PDF

Info

Publication number
WO2010054779A1
WO2010054779A1 PCT/EP2009/007968 EP2009007968W WO2010054779A1 WO 2010054779 A1 WO2010054779 A1 WO 2010054779A1 EP 2009007968 W EP2009007968 W EP 2009007968W WO 2010054779 A1 WO2010054779 A1 WO 2010054779A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
screen
primary
camera
combined image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2009/007968
Other languages
English (en)
French (fr)
Inventor
Michael Berthold
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universitaet Konstanz
Original Assignee
Universitaet Konstanz
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universitaet Konstanz filed Critical Universitaet Konstanz
Publication of WO2010054779A1 publication Critical patent/WO2010054779A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents

Definitions

  • the present invention relates to a method and a system for computer-aided telecommunications, that is to computer-aided communication between at least two remote locations, in particular for visual and / or audio-visual telecommunications.
  • the invention provides a method of computer-assisted communication.
  • a computer-implemented method according to the invention comprises providing primary image data for, in particular, substantially simultaneous output via a first and a second screen or by means of a first and a second screen, in particular on a first and a second image area.
  • drawings, sketches, notes, diagrams, presentations in static or animated form, films or film sequences and / or a user interface of a computer program, etc. or a combination of several of these elements are provided as primary image data.
  • This primary image data can serve as a basis for discussion of a particular interactive communication, with a first discussion participants or discussion partners the first screen is available, while a second discussion participants or discussion partners can at least partially track the primary image data on the second screen.
  • the information contained in the primary image data is provided on both screens.
  • "Essentially” here means that a small, in particular temporal deviation or shift between the output via the first screen and the output via the second screen due to signal propagation times over large, especially intercontinental distances or due to delays can be tolerated by signal processing, without to jeopardize direct and fluid communication over such a distance.
  • Such signal propagation times and signal processing times are also known and tolerable in conventional telecommunications.
  • such delays are not greater than five seconds, more preferably no greater than one second, most preferably no greater than one-half Second.
  • the method comprises capturing first secondary image data by means of a first camera, at least partially mirrored through the first screen and / or mirrored on the first screen, in particular at least partially through the first image surface and / or on the first image surface or substantially in Mirrored area of the first screen of the first screen.
  • the first camera is thus arranged in particular such that it detects the space in front of the first screen at least partially.
  • the first secondary image data thus comprise, in particular, a recording of at least part of the space in front of the first screen or in front of the first image area.
  • the first camera at least partially detects the first user or users in front of the first screen and / or the space located in front of the first screen or the first image area (eg meeting room, office, etc.), as far as from the camera the first image surface and / or mirrored in or on the first image surface is observable.
  • the camera is not directly and directly aimed at the first user (s), but the first or the first user is / are preferably detected by the first camera through the first screen or the mirror image of the first user or the first user Users on the screen, in particular on or in the image area is detected by the first camera.
  • the first camera is essentially directed to the first screen or the first image area.
  • the screen or the image area is at least partially or temporarily transparent or transparent, while for the second alternative of the
  • the method comprises generating first combined image data by superimposing the first secondary image data on the primary image data and outputting the first combined image data via the second screen or by means of the second screen, in particular on the second image surface.
  • the second user can visually capture a combination of the primary and the first secondary image data via the second screen and the second image surface, respectively.
  • Both image data that is to say in particular the basis for discussion according to the primary image data and the image of the first user or the first user mirrored by the first screen or mirrored on the first screen according to the first secondary image data are overlaid on the second screen, so that for the second user gives the visual impression as if the first or the first user are immediately behind an image area on which the primary image data are displayed.
  • the second user can also track gestural references of the first user to the primary image data on the first screen during communication directly with respect to the primary image data also displayed on the second screen in combination with the first secondary image data.
  • the first secondary image data is overlaid with the primary image data for presentation as the first combined image data on the second screen such that the spatial relationship, particularly orientation and scaling, of the first secondary image data as viewed by the first camera relative to the primary displayed on the first screen Image data is retained in the first combined image data. If, for example, the first user points to a picture element or pixel of the display of the primary picture data on the first screen, this indication is also displayed in the first combined picture data as showing the first user recorded in the first secondary picture data on the same picture element or picture element represented the same pixel of the primary image data and reproduced on the second screen.
  • the generation of the first combined image data or their output via the second screen is carried out in particular such that the in the at least two Screens displayed image data contained primary image data for the users of these screens have the same orientation. This ensures that any characters contained in the primary image data, in particular characters and / or symbols, are displayed on the screens in an equally readable manner, that is to say in particular not mirrored.
  • the invention enables the simulation of a virtual collaboration window between two rooms, on which the two discussion or communication partners or parties face each other on the two sides.
  • the method preferably also comprises capturing second secondary image data by means of a second camera, at least partially mirrored through the second screen and / or mirrored on the second screen, in particular at least partially mirrored through the second image surface and / or mirrored on the second image surface; generating second combined image data by superimposing the second secondary image data on the primary image data; and outputting the second combined image data via the second screen or by means of the second screen, in particular on the second image surface, or displaying the second combined image data on a second image surface.
  • the acquisition of second secondary image data is analogous to the detection of first secondary image data.
  • generating second combined image data and / or outputting the second combined image data is analogous to generating the first combined image data or for outputting the first combined image data.
  • generating the first and / or second combined image data or overlaying the first and / or second secondary image data with the primary image data comprises assigning at least one first or second transparency parameter to the primary image data and determining pixels of the first or second image data.
  • second combined image data as a function of both pixels of the first and second secondary image data and pixels of the primary image data with a relative weighting dependent on the at least one transparency parameter.
  • a value of the transparency parameter is assigned to each pixel of the primary image data.
  • a picture element or graphic element e.g. a line or a stroke, a value of the transparency parameter that represents a lower transparency than a background area of the primary image data.
  • the influence of the secondary image data may be less than for other pixels corresponding to a background region of the primary image data or a background area of the primary image data. This gives the impression that the graphic elements or font elements of the primary image data have come to the fore in comparison to the secondary image data.
  • the output of the first and / or second combined image data is thus preferably carried out by backprojection.
  • "partially permeable” or “partially transparent” is understood to mean that light is transmitted perma- nently to a certain proportion and / or that light is transmitted temporarily (eg, translucent and opaque in rapid change) and / or that only light of a specific polarization is transmitted.
  • the first and / or second combined image data are projected onto the projection screen from the front, ie from the viewing side.
  • the outputting of the first and / or second combined image data via the second or first screen takes place with a first polarization of the light reflected or scattered by the screen and the detection of the first and / or second secondary image data preferably takes place with one second, to the first complementary polarization.
  • the secondary image data can be acquired independently of or separately from the combined image data even if the light for both image data sets runs at least partially through the same image area.
  • the outputting of the first and / or second combined image data takes place alternating in time or alternately with the detection of the second or first secondary image data, that is to say in rapid, preferably periodic, alternating succession.
  • the secondary image data can be detected independently of the combined image data by means of the corresponding camera, even if the camera is directed onto the screen, in particular the image surface of the screen.
  • the separation or separation of the secondary image data from the entire image data captured by the camera takes place by means of a computer-implemented filtering process.
  • the camera preferably detects the space to be detected as secondary image data in front of the corresponding screen together with the image data displayed on this screen, that is to say in particular together with the combined image data shown on this screen. From all of the acquired image data, the proportion released on the screen is then preferably filtered out or removed by calculation or computer-implemented filtering in order to obtain the secondary image data.
  • filter parameters for this filtering process are determined or determined or determined automatically in an initialization process or an initial adjustment process, in particular.
  • the method also comprises detecting a user input by touching the first and / or second screen, in particular by means of an input device, e.g. a pen or a pen and / or a
  • Pointing sticks and / or at least one finger ; and modifying the primary image data or providing modified primary
  • the first or second screen in particular as a touch-sensitive screen or
  • Touchscreen or configured with a touch-sensitive surface, which preferably substantially coincides with the image surface or in front of the
  • Image area in particular with a distance of not more than 5 cm, preferably not more than 1 cm, more preferably not more than 0.5 cm, and im
  • the method further comprises detecting first and / or second secondary sound data by means of a first and second microphone, respectively; and outputting the first and / or second secondary sound data substantially synchronously with the first and second combined image data, respectively.
  • primary audio data could be output simultaneously be provided via a first and a second loudspeaker, wherein the output of the primary audio data is carried out in particular in synchronism with the simultaneous output of the primary image data or the combined image data.
  • sound signals eg spoken text, music, etc.
  • a screen presentation or a movie or a movie sequence of the primary image data could be provided and in particular provided or stored together with the primary image data.
  • no primary sound data is provided or provided, but only the secondary sound data is output via the respective loudspeaker of the other user to an auditory communication between two users, in particular synchronously with the visual communication to enable.
  • the method further comprises automatically adjusting the first and / or second secondary image data relative to the primary image data.
  • the automatic or automated adjustment of the first and / or second secondary image data relative to the primary image data comprises:. Outputting optical alignment marks known or defined or determinable relative to the primary image data in their position via the first and second screens, respectively;
  • the image area in the secondary image data is correspondingly shifted or rotated or tilted (eg with keystone distortion).
  • the adjustment can be carried out in particular by an independent adjustment routine, for example as part of an initialization of the communication system and / or continuously during the communication, for example by means of the primary and / or the combined image data as Justiertruck stylist or Justiermarken.
  • alignment marks are permanently provided on the first and second screens, respectively, so that they do not have to be output via the respective screen.
  • the adjustment comprises an adjustment of the camera, ie a hardware adjustment.
  • only the data sets are shifted relative to each other (software adjustment).
  • adjusting the first secondary image data relative to the primary image data is initialized by the second user and / or adjusting the second secondary image data relative to the primary image data is performed by the first User initialized.
  • the invention provides a communication system, in particular for visual communication comprising: a data memory for storing primary information
  • Image data at least a first screen (for example, in particular LCD, plasma, LED screen, in particular OLED screen, projection screen or screen,
  • Image information at least partially mirrored through the first screen and / or mirrored on the first screen; wherein the system is configured to generate first combined image data by overlaying the first secondary image data with the primary image data and to output the first combined image data for transmission to the first combined image data via a second screen.
  • the system comprises, in particular, a first data interface for transmitting the first combined image data to or for outputting the first combined image data via the second screen.
  • the data interface comprises in particular an interface to a network, in particular a
  • the system according to the invention can preferably be constructed with another, corresponding system, which is preferably likewise constructed according to the invention, in particular by carrying out a method according to the invention in FIG
  • the two corresponding systems preferably form a functional unit in the sense of a preferred embodiment of an entire system according to the invention.
  • the at least one first and / or second screen is designed as a touch-sensitive screen or touchscreen.
  • the screen comprises, alternatively or in addition to the touch-sensitive functionality, that is, in particular a touch-sensitive surface, a drawing or painting surface, on which can be drawn or painted in particular by means of felt pens and / or chalk.
  • the first and / or second screen is adapted to output light of a first polarization, in particular as emitted or reflected or scattered light, the first or second camera comprising an analyzer such that the analyzer substantially blocks or absorbs light of the first polarization so as not to be detected by the first or second camera.
  • the first or second screen comprises a partial translucent projection screen, in particular a rear projection screen, in particular such that the primary or combined image information can preferably be displayed in the daylight on the projection screen by projection by means of a projector recognizable.
  • the first and / or second screen as a self-luminous or light-generating screen, in particular LCD, plasma, LED screen (in particular OLED screen) is formed.
  • the system is preferably designed to record first and / or second secondary image data by means of the first or second camera in temporal alternation with output of the image data, in particular second or first combined image data, on or via the first or second screen.
  • the system also comprises a first and / or a second microphone for acquiring first and second secondary audio signals, respectively, the system being arranged to combine the first and second secondary audio data for synchronous transmission with the first and second, respectively. provide second output image data to a second or first speaker.
  • the at least one first data interface to synchronous transmission of the sound data designed.
  • the system according to the invention is preferably designed to carry out a method according to the invention, in particular according to one of its preferred embodiments.
  • the invention relates to a computer program product comprising program code which, when loaded on a computer, is suitable for carrying out a method according to the present invention or a preferred embodiment thereof.
  • Fig. 1 is a schematic representation of a communication between two different locations using the present invention in a preferred embodiment
  • FIG. 2 is a flow chart illustrating a method according to a preferred embodiment of the present invention
  • FIG. 3 is a schematic cross-sectional view of an arrangement and networking of system components according to a preferred embodiment during communication between two different locations;
  • FIG. 4 is a schematic illustration of an exemplary system for implementing the invention.
  • FIG. 1 shows a first room 10, for example an office or a meeting room, in which a first screen 12 is provided.
  • a first screen 12 In front of this screen is in the presentation 1 shows a first user 14 and points to the first screen 12 or writes with an input device 16 image or text elements 18 ("My new Idea") on the first screen 12.
  • the first screen designed as a touch-sensitive screen, whereby an input, in particular the input of the text 18 can be detected.
  • at least partially primary image data is provided, for example, by the text 18 written and captured by the first screen 12. This primary image data, in particular the written and captured text 18, is simultaneously displayed on the first screen 12 and a second screen 20.
  • the second screen 20 is located in particular at another location, in another room 22, such as an office or meeting room.
  • the simultaneous output of the primary image data on the first 12 and second screen 20 is such that the text 18 ("My New Idea") for both the first user 14 on and before the first screen 12 and a second user 24 am or readable in front of the second screen 20, in particular is not mirrored.
  • the first space 10 is preferably detected at least partially through the first screen 12, as far as the first space 10 or the first user 14 through the first screen 12 or a first image area of the first screen 12 is visible or recognizable or detectable for the first camera.
  • the first screen 12 or the first image surface of the first screen is at least partially or temporarily or partially translucent or transparent.
  • the first screen 12 is partially transparent or semitransparent.
  • the first screen 12 or the first image area of the first screen 12 is rapidly switched between a state with higher transparency and a state with lower transparency or light transmittance, preferably with a frequency of at least 25 Hz even more preferably at least 50 Hz, most preferably at least 80 Hz.
  • the data captured by the first camera form in particular first secondary image data.
  • the primary image data, in particular the text 18, is superimposed on this first secondary image data in order to generate the first combined image data.
  • the first combined image data are output via the second screen 20, in which the primary images are superimposed on the first secondary image data, that is, in particular the representation of the first user 14.
  • at least one transparency parameter is assigned to the primary image data, which particularly preferably defines or defines a separate value for each pixel or data point of the primary image data.
  • the transparency defined in the area of picture elements or drawing elements, such as the text 18, is preferably lower than in areas without picture or drawing elements.
  • the first secondary image data is mixed with the primary image data, taking into account the first secondary image data having a greater weighting in the first combined image data, especially with higher transparency of the primary image data.
  • the second user 24 preferably has the impression on the second screen 20 that the second user 14 or the image of the second user 14 'on the second screen 20 is in the background, in particular behind the primary image data (eg text 18). located.
  • the second user 24 has the impression that the first user 14 'writes in mirror-image to the rear side of the image surface of the second screen 20.
  • second secondary image data are acquired by a second camera not explicitly shown in FIG. 1, which is preferably located in or behind the second screen 20.
  • the second camera detects the second space 22, in particular the second user 24 Preferably, at least partially through the second screen 20, as far as the second space 22 and the second user 24 through the second screen 20 and a second image area of the second screen 20 through the second camera visible or recognizable or detectable.
  • the second screen 20 or the second image surface of the second screen 20 is preferably at least partially or intermittently translucent or transparent, as was already carried out in an analogous manner for preferred embodiments of the first screen 12 above. These embodiments are preferably applied to the second screen 20 accordingly.
  • the second screen 20, like the first screen 12, could be designed as a touch-sensitive screen.
  • the second secondary image data is superimposed on the primary image data, thereby generating second combined image data.
  • the primary image data is assigned at least one transparency parameter whose values do not necessarily coincide with the value (s) of the transparency parameter for superimposing the first secondary image data with the primary image data.
  • the second combined image data thus at least partially contains the second secondary image data, in particular an image of the second user 24 ", which is superimposed on the primary image data, in particular the text 18.
  • the first screen 12 does not become the mere primary image data but the second combined image data is output, whereby the first user 14 sees, as it were in the background, the image of the second user 24 'while the latter follows the execution of the first user 14 on the second screen 20.
  • sound data is also between the first space and the image data 10 and the second space 22 and between the first user 14 and the second user 24.
  • first and / or second secondary image data Upon detection of the first and / or second secondary image data by means of the first or second camera, particular care is taken to ensure that the acquired secondary image data does not match those recorded on the first screen 12 or on the second screen 24 output second and first combined image data. It is thereby avoided, in particular, that the acquired first secondary image data contain the second secondary image data taken into account in the second combined image data. On the other hand, it is particularly avoided that the acquired second secondary image data contain the first secondary image data taken into account in the first combined image data. This can prevent the individual users from seeing an image of themselves on their own screen.
  • Fig. 2 shows a kind of flow chart, by means of which a preferred embodiment of the invention is to be represented.
  • primary image data 30 is provided.
  • the provision of the primary image data 30 comprises providing in particular prefabricated or prepared drawings, sketches, notes, diagrams, presentations in particular stored in a central and / or in one or more decentralized data memory (s) static or animated form, movies or film sequences and / or a user interface of a computer program, etc. or a combination of several of these elements.
  • providing the primary image data 30 comprises creating and / or editing or modifying 32 the primary image data 30 on the side of a first user, in particular by means of a first screen 34, which is preferably designed as a touch-sensitive screen.
  • the provision of the primary image data 30 includes creating and / or editing or modifying 36 the primary image data 30 on the side of a second user, in particular by means of a second screen 38, which is preferably designed as a touch-sensitive screen.
  • the primary image data 30 created and / or edited by the first and / or second user in this manner are preferably at least partially available to both users essentially simultaneously via their respective screen.
  • first secondary image data 40 is superimposed on the primary image data 30 so as to generate first combined image data 44 by combining 42 the first secondary image data 40 and the primary image data 30.
  • the first combined image data 44 are output via the second screen 38, that is to say displayed on an image surface of the second screen 38.
  • second secondary image data 46 are detected by a second camera through the second screen 38 or mirrored on the second screen 38.
  • the second secondary image data 46 is also superimposed on the primary image data 30 so as to generate second combined image data 50 by combining 48 the second secondary image data 40 and the primary image data 30.
  • the second combined image data 50 are output via the first screen 34, that is to say displayed on a screen of the first screen 34.
  • a first screen 54 is provided in a first space 52 or at a first location, which may in particular be integrated into a first presentation wall 56.
  • the first screen 54 is designed in particular as a projection screen and comprises, for example, a projection screen or projection screen, which in particular functions as a screen of the first screen 54.
  • Image data or picture elements which are provided by a first communication module 60 are projected onto this image surface by means of a first projector 58.
  • the first communication module 60 provides primary image data and / or second combined image data which has been prepared taking into account the primary image data or which at least partially comprises the primary image data for output via the first screen 54, in particular for projection by means of the first Projector 58 available.
  • the image data from the first projector 58 is preferably projected from the back of the screen 54, while a first user 62 views the screen 54 from the front thereof.
  • This type of projection is preferably called backprojection.
  • the first screen is preferably partially translucent in order to make a picture projected by the first projector 58, that is to say projected from behind, visible to the first user 62.
  • a first camera 64 disposed in the illustrated preferred embodiment also captures first secondary image data, in particular a portion of the first space 52 in front of the first screen 54 including at least a portion of the first user 62 as far as it passes through the first screen 54 or the first image surface of the first screen 54 is visible to the first camera 64.
  • the first projector 58 preferably comprises a first polarizer 66 for projecting the image data to be output at the first screen with a first polarization
  • the first camera 64 preferably comprises a first analyzer 68, which preferably allows only light with a second polarization complementary to the first polarization to pass through the first camera 64, ie in particular blocks or absorbs the reflected or scattered light of the image data projected by the first projector 60 with the first polarization.
  • the outputting of image data on a screen takes place alternately with the acquisition of the secondary image data through this screen or mirrored on this screen, ie in particular in the fast, preferably periodic change successively.
  • the secondary image data can be independently captured by the corresponding camera separately from BtkJ data output on the screen, even if the camera is aimed at the screen, in particular the image area of the screen is.
  • the separation or separation of the secondary image data from the entire image data captured by the camera is performed by a computer-implemented filtering process, as described above.
  • the first secondary image data acquired by the first camera 64 is transmitted to the first communication module 60.
  • the first communication module 60 with a second communication module 72 at a second location or in a second room 74 via a communication line or a network or network 70, in particular the Internet, for data transmission, in particular for transmitting and / or synchronizing the primary image data between the first 60 and second communication modules 72 and / or for transmitting the first secondary image data and / or first combined image data from the first 60 to the second communication module 72.
  • a second screen 76 is preferably integrated in the second space 74.
  • the second screen 76 can be viewed on its front side by a second user 80, while a second projector 82 with a second polarizer 84 and a second camera 86 with an analyzer 88 are provided on the rear side.
  • the first communication module 60 is configured to generate first combined image data by overlaying the first secondary image data with the primary image data and to provide for transmission to the second communication module 72.
  • the primary image data and the first secondary image data are provided to the second communication module 72 by the first communication module 60 for separate or not yet superimposed transmissions.
  • the second communication module 72 is configured to generate the first combined image data by superimposing the first secondary image data transmitted from the first communication module 60 to the second communication module 72 with the primary image data.
  • the first combined image data transmitted by the first communication module 60 to the second communication module 72 or generated by the second communication module 72 are projected by the second projector 82 onto the second screen 76.
  • the second screen 76 thus acts for the second user 80, similar to a virtual window between it and the first user, the primary image data being readable on the virtual for the second user 80, as viewed in front of the second screen 76, while apparently on the opposite side first user seems to see the data mirrored.
  • second secondary image data are acquired by the second camera 86, in particular through the second screen 76, and transmitted to the second communication module 72.
  • the second communication module 72 is configured to overlay the second secondary image data with the primary image data to provide second combined image data generate and provide for transmission to the first communication module 60.
  • the second secondary image data is transmitted from the second communication module 72 to the first communication module 60 where the second combined image data is generated.
  • the second combined image data is output via the first screen 54 to present to the first user 62.
  • the first 54 and / or second screen 76 is / are formed as a touch-sensitive screen.
  • the first 54 or second screen 76 can capture a data input of the first 62 or second user 80, for example in the form of a freehand drawing, and preferably transmit them to the first 60 or second communication module.
  • the first 60 or second communication module 80 is adapted to modify the primary image data in response to the detected user input and to synchronize the thus changed primary image data between the communication modules.
  • a change of the primary image data by a user can be followed or observed substantially simultaneously by the other user on his own screen.
  • the respective other user can not only look at the changed primary image data, but preferably observe the entire process of editing, including the movements and gestures of the one user, virtually in real time or live.
  • first audio data acquired from the first communication module 60 to the second communication module 72 at the location of the first user 62 and second audio data from the second 72 transmitted to the first communication module 60 at the location of the second user 80 are also transmitted to the respective other user via a loudspeaker brought.
  • the first 54 and / or second screen 76 comprises a preferably transparent or transparent drawing surface the first 62 and second user 80 can draw or write or paint by means of a suitable pen.
  • the picture elements thus generated on the drawing surface are preferably acquired by the first 64 and second camera 86 as part of the first and second secondary image data respectively and combined with the primary image data in the form of the first and second combined image data at the second 76 and first screen 54 output. These pixels are thus also visible to both users and could appear in particular similar to the primary image data on the other screen.
  • these image elements generated on a drawing surface of a screen can only be edited or deleted by the respectively generating user.
  • the outputting takes place the combined image data on the screen and the acquisition of the secondary image data by means of the camera alternately in another preferred embodiment.
  • this change takes place so quickly that the respective user does not perceive an interruption of the image output with his eyes.
  • the quick change is preferably controlled by the respective communication module.
  • the projector and the camera are integrated in a single projection video camera module, which in particular uses a single projection or camera optics for both functions, ie the projection and the image capture (camera function) together or alternately.
  • changeable or switchable beam splitters or mirrors are provided in the projection / camera module.
  • the first projector 58 and / or the second projector 82 and / or the first camera 64 and / or the second camera 86 in the area of the space before the first 54 and / or. second screen 76 is arranged.
  • the first 54 and / or second screen 76 is not formed as a projection screen, but as a self-luminous display panel, in particular as a plasma screen or LCD screen or as an LED or OLED screen.
  • a projector can be dispensed with and the first 54 or second screen 76 receives image data, in particular the second or first combined image data directly or indirectly from the first 60 or second communication module 72.
  • An exemplary system includes a universal computing device in the form of a conventional computing environment 120, e.g. a "personal computer" (PC) 120 having a processor unit 122, a system memory 124, and a system bus 126 which connects a variety of system components, including system memory 124 and processor unit 122.
  • the processing unit 122 may perform arithmetic, logic and / or control operations by accessing the system memory 124.
  • the processing unit 122 may generate first and / or second combined image data.
  • System memory 124 may store information and / or instructions, particularly primary and / or secondary and / or combined image data for use in combination with processor unit 122.
  • System memory 124 may include volatile and non-volatile memory, such as random access memory (RAM) 128 and read-only memory (ROM) 130.
  • RAM random access memory
  • ROM read-only memory
  • the system bus 126 may be one of many bus structures, including a memory bus or memory controller, a peripheral bus, and a local bus employing a particular bus architecture from a variety of bus architectures.
  • the PC 120 may further include a hard disk drive 132 for reading or writing a hard disk (not shown) and an external disk drive 134 for Read or write a removable disk 136 or a removable disk.
  • the removable disk may be a magnetic disk for a magnetic disk drive or an optical disk such as a CD for an optical disk drive.
  • the hard disk drive 132 and the external disk drive 134 are each connected to the system bus 126 via a hard disk drive interface 138 and an external disk drive interface 140.
  • the drives and associated computer readable media provide nonvolatile storage of computer readable instructions, data structures, program modules, and other data, particularly primary image data for the PC 120 and the communication system, respectively.
  • the data structures may include the relevant data for implementing a method as described above.
  • the exemplary environment uses a hard disk (not shown) and an external disk 142, it will be apparent to those skilled in the art that other types of computer-readable media that can store computer-accessible data can be used in the exemplary work environment, such as magnetic cassettes, flash Memory cards, digital video disks, random access memory, read-only memory, etc.
  • a plurality of program modules in particular an operating system (not shown), one or more application programs 144, or program modules (not shown), in particular an adjustment routine and / or program data 146, may be stored on the hard disk, the external disk 142 , the ROM 130 or the RAM 128 are stored.
  • the application programs may include at least a portion of the functionality as shown in FIG.
  • a user may enter commands and information into the PC 120, as described above, from input devices such as a keyboard 148 and a computer mouse 150 and / or a touch-sensitive screen (eg, first and / or second screens).
  • Other input devices may include a microphone and / or other sensors, a joystick, a game pad, a scanner, a first and / or second camera, or the like similar include.
  • These or other input devices may be connected to the processor unit 122 via a serial interface 152 coupled to the system 126 or may be connected to other interfaces such as a parallel interface 154, a game port or a universal serial bus (USB) ,
  • information may be printed with a printer 156.
  • the printer 156 and other parallel input / output devices may be connected to the processor unit 122 through the parallel interface 154.
  • computing environment 120 may include other peripheral output devices (not shown) such as speakers or audio outputs.
  • the computing environment 120 may communicate with other electronic devices, e.g. a computer, a cordless phone, a cordless phone, a personal digital assistant (PDA), a television or the like. To communicate, computing environment 120 may operate in a networked environment using connections to one or more electronic devices.
  • FIG. 4 illustrates the computing environment networked to a remote computer 162.
  • the remote computer 162 may be another computing environment, such as a computer. may be a server, a router, a networked PC, a peer device or other common network node, and may include many or all of the elements described above with respect to computing environment 120.
  • the logical connections as illustrated in Figure 4, in particular the network 70 described with reference to Figure 3, include a local area network (LAN) 164 and a wide-area network (WAN) 166.
  • LAN local area network
  • WAN wide-area network
  • Such network environments are commonplace in offices, corporate-wide computer networks, intranets and the Internet.
  • the computing environment 120 When a computing environment 120 is used in a LAN network environment, the computing environment 120 may be connected to the LAN 164 through a Network input output 168 connected. When the computing environment 120 is used in a WAN networking environment, the computing environment 120 may include a modem 170 or other means of establishing communication over the WAN 166.
  • the modem 170 which may be internal and external to the computing environment 120, is connected to the system bus 126 via the serial interface 152.
  • program modules that are relative to the computing environment 120, or portions thereof may be stored in a remote storage device that is accessible to or from a remote computer 162. Furthermore, other data relevant to the method or system described above may be accessible on or from the remote computer 162.
  • RAM random access memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren, ein System und ein Computerprogrammprodukt zur computergestützten Kommunikation, wobei das Verfahren umfasst: ein Bereitstellen von primären Bilddaten zur Ausgabe über einen ersten und einen zweiten Bildschirm; ein Erfassen von ersten sekundären Bilddaten mittels einer ersten Kamera, zumindest teilweise durch den ersten Bildschirm hindurch und/oder am ersten Bildschirm gespiegelt; ein Generieren von ersten kombinierten Bilddaten durch Überlagern der ersten sekundären Bilddaten mit den primären Bilddaten; und ein Ausgeben der ersten kombinierten Bilddaten über den zweiten Bildschirm.

Description

KOOPERATIONSFENSTER/WAND
Beschreibung
Die vorliegende Erfindung betrifft ein Verfahren und ein System zur computergestützten Telekommunikation, also zu computergestützten Kommunikation zwischen zumindest zwei voneinander entfernten Orten, insbesondere zur visuellen und/oder audio-visuellen Telekommunikation.
Durch den immer besseren Ausbau von lokalen oder globalen Datennetzen sowohl im Hinblick auf die Abdeckung durch Netzverbindungen als auch hinsichtlich der Bandbreite werden Möglichkeiten für visuelle und/oder audio-visuelle Telekommunikation immer komfortabler und können damit in immer effizienterer Weise als Medium für Diskussionen und Konferenzen beispielsweise zwischen Kooperationspartner auch über große Distanzen übernehmen. So können insbesondere mittels Bildtelefon oder mit Hilfe einer Webcam, als einer über einen Computer mit dem Internet verbunden Kamera Ton und Bild gleichzeitig übermittelt werden, um damit gleichsam in Echtzeit eine interaktive Kommunikation zu ermöglichen. Dennoch ist auch diese Art der Telekommunikation einer Besprechung zwischen Diskussionspartner im selben Raum unterlegen. Soll beispielsweise spontan auf ein Dokument verwiesen werden, oder will einer der Diskussionspartner spontan eine Skizze anfertigen, ist die visuelle Vermittlung dieser Information durch bekannte Telekommunikationsmittel deutlich schwieriger als unter Anwesenden. Um diesem Problem zumindest teilweise zu begegnen, werden hierfür eigens Dokumentenkameras genutzt, die beispielsweise über einer Dokumentenablage angeordnet eine Dokument bzw. eine Skizze aufzeichnen können und die erfassten Bilddaten an den Kommunikationspartner übertrage können. Damit kann der Kooperationspartner das Dokument bzw. die Skizze über einen eigenen Bildschirm oder ein separates Bildschirmfenster beobachten und verfolgen. Es ist Aufgabe der vorliegenden Erfindung die Flexibilität und Übersichtlichkeit bei interaktiver Telekommunikation zu verbessern. Diese Aufgabe wird durch ein Verfahren, ein System und ein Computerprogrammprodukt mit den in den Ansprüchen 1 , 11 bzw. 18 angegebenen Merkmalen gelöst. Bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
Somit stellt die Erfindung in einem Aspekt ein Verfahren zur computergestützten Kommunikation bereit. Dabei umfasst ein erfindungsgemäßes computerimplementiertes Verfahren ein Bereitstellen von primären Bilddaten zur insbesondere im Wesentlichen simultanen Ausgabe über einen ersten und einen zweiten Bildschirm bzw. mittels eines ersten und eines zweiten Bildschirms, insbesondere auf einer ersten und einer zweiten Bildfläche. Als primäre Bilddaten werden dabei insbesondere Zeichnungen, Skizzen, Notizen, Diagramme, Präsentationen in statischer oder animierter Form, Filme oder Filmsequenzen und/oder eine Benutzeroberfläche eines Computerprogramms, usw. oder eine Kombination aus mehreren dieser Elemente bereitgestellt. Diese primären Bilddaten können dabei als Diskussionsgrundlage für eine insbesondere interaktive Kommunikation dienen, wobei einem ersten Diskussionsteilnehmer bzw. Diskussionspartner der erste Bildschirm zur Verfügung steht, während ein zweiten Diskussionsteilnehmer bzw. Diskussionspartner die primären Bilddaten zumindest teilweise am zweiten Bildschirm verfolgen kann. Dazu werden die in den primären Bilddaten enthalten Informationen insbesondere zur im Wesentlichen simultanen Ausgabe an beiden Bildschirmen bereitgestellt. "Im Wesentlichen" bedeutet hierbei, dass eine kleine insbesondere zeitliche Abweichung bzw. Verschiebung zwischen der Ausgabe über den ersten Bildschirm und der Ausgabe über den zweiten Bildschirm aufgrund von Signallaufzeiten über große, insbesondere interkontinentale Distanzen oder aufgrund von Verzögerungen durch Signalverarbeitung toleriert werden kann, ohne eine direkte und flüssige Kommunikation über eine solche Distanz zu gefährden. Solche Signallaufzeiten und Signalverarbeitungszeiten sind auch in herkömmlicher Telekommunikation bekannt und tolerierbar. Vorzugsweise sind solche Verzögerungen nicht größer als fünf Sekunden, besonders bevorzugt nicht größer als eine Sekunde, am meisten bevorzugt nicht größer als eine halbe Sekunde.
Außerdem umfasst das Verfahren ein Erfassen von ersten sekundären Bilddaten mittels einer ersten Kamera, zumindest teilweise durch den ersten Bildschirm hindurch und/oder am ersten Bildschirm gespiegelt, insbesondere zumindest teilweise durch die erste Bildfläche hindurch und/oder an der ersten Bildfläche bzw. im Wesentlichen im Bereich der ersten Bildfläche des ersten Bildschirms gespiegelt. Die erste Kamera wird dabei also insbesondere derart angeordnet, dass sie den Raum vor dem ersten Bildschirm zumindest teilweise erfasst. Die ersten sekundären Bilddaten umfassen damit insbesondere eine Aufzeichnung bzw. Abbildung zumindest eines Teils des Raums vor dem ersten Bildschirm bzw. vor der ersten Bildfläche. Insbesondere erfasst die erste Kamera zumindest teilweise den bzw. die ersten Benutzer vor dem ersten Bildschirm und/oder den vor dem ersten Bildschirm bzw. der ersten Bildfläche befindliche Raum (z.B. Besprechungszimmer, Büro, usw.), soweit er von der Kamera aus durch die erste Bildfläche hindurch und/oder in bzw. an der ersten Bildfläche gespiegelt beobachtbar ist. Dabei ist die Kamera insbesondere nicht unmittelbar und direkt auf den bzw. die ersten Benutzer gerichtet, sondern der erste bzw. die ersten Benutzer wird/werden vorzugsweise durch den ersten Bildschirm hindurch von der ersten Kamera erfasst oder das Spiegelbild des ersten Benutzers bzw. der ersten Benutzer am Bildschirm, insbesondere an bzw. in der Bildfläche wird von der ersten Kamera erfasst. Die erste Kamera ist dabei im Wesentlichen auf den ersten Bildschirm bzw. die erste Bildfläche gerichtet.
Für die erste Alternative des Erfassens der ersten sekundären Bilddaten, also das Erfassen der ersten sekundären Bilddaten zumindest teilweise durch den ersten
Bildschirm hindurch, ist der Bildschirm bzw. die Bildfläche zumindest teilweise bzw. zeitweise lichtdurchlässig bzw. durchsichtig, während für die zweite Alternative des
Erfassens der ersten sekundären Bilddaten, also das Erfassen der ersten sekundären Bilddaten zumindest teilweise am ersten Bildschirm gespiegelt, der Bildschirm bzw. die Bildfläche zumindest teilweise bzw. zeitweise reflektierend bzw. spiegelnd ist. Außerdem umfasst das Verfahren ein Generieren von ersten kombinierten Bilddaten durch Überlagern der ersten sekundären Bilddaten mit den primären Bilddaten und ein Ausgeben der ersten kombinierten Bilddaten über den zweiten Bildschirm bzw. mittels des zweiten Bildschirms, insbesondere auf der zweiten Bildfläche.
Damit kann der zweite Benutzer über den zweiten Bildschirm bzw. die zweite Bildfläche eine Kombination der primären und der ersten sekundären Bilddaten visuell erfassen. Beide Bilddaten, also insbesondere die Diskussionsgrundlagen gemäß der primären Bilddaten und die durch den ersten Bildschirm hindurch erfasste bzw. am ersten Bildschirm gespiegelte Abbildung des ersten Benutzers bzw. der ersten Benutzer gemäß den ersten sekundären Bilddaten sind am zweiten Bildschirm überlagert, so dass sich für den zweiten Benutzer der optische Eindruck erwecken lässt, als ob sich der erste bzw. die ersten Benutzer unmittelbar hinter einer Bildfläche befinden, auf welcher die primären Bilddaten dargestellt sind. Damit kann der zweite Benutzer auch gestische Verweise des erste Benutzer auf die primären Bilddaten am ersten Bildschirm während der Kommunikation unmittelbar mit Bezug auf die auch am zweiten Bildschirm in Kombination mit den ersten sekundären Bilddaten dargestellten primären Bilddaten verfolgen.
Insbesondere werden die ersten sekundären Bilddaten mit den primären Bilddaten zur Darstellung als erste kombinierte Bilddaten auf dem zweiten Bildschirm derart überlagert, dass die räumliche Beziehung, insbesondere Orientierung und Skalierung, der ersten sekundären Bilddaten aus Sicht der ersten Kamera relativ zu den am ersten Bildschirm dargestellten primären Bilddaten in den ersten kombinierten Bilddaten erhalten bleibt. Wenn also beispielsweise der erste Benutzer auf ein Bildelement bzw. einen Bildpunkt der Darstellung der primären Bilddaten am ersten Bildschirm zeigt bzw. hinweist, wird dieser Hinweis auch in den ersten kombinierten Bilddaten als Zeigen des in den ersten sekundären Bilddaten erfassten ersten Benutzers auf dasselbe Bildelement bzw. denselben Bildpunkt der primären Bilddaten dargestellt und am zweiten Bildschirm wiedergegeben. Das Generieren der ersten kombinierten Bilddaten bzw. deren Ausgeben über den zweiten Bildschirm erfolgt dabei insbesondere derart, dass die in den an den zumindest zwei Bildschirmen ausgegebenen Bilddaten enthaltenen primären Bilddaten für die Benutzer dieser Bildschirme dieselbe Orientierung aufweisen. Damit ist sichergestellt, dass eventuell in den primären Bilddaten enthaltene Zeichen, insbesondere Schriftzeichen und/oder Symbole, auf den Bildschirmen gleichermaßen lesbar, also insbesondere nicht spiegelverkehrt dargestellt sind.
Für den bzw. die Benutzer am zweiten Bildschirm lässt sich damit der Eindruck erwecken, als ob der erste Benutzer sich jenseits einer Scheibe bzw. eines Fensters befindet, auf dem die primären Bilddaten dargestellt sind bzw. werden. Dabei entsteht für den zweiten Benutzer insbesondere der Eindruck, als ob der erste Benutzer die primären Bilddaten spiegelverkehrt sehen müsste, sich aber auch für die Diskussion mit dem zweiten Benutzer spiegelverkehrt bewegt und eventuelle sogar spiegelverkehrt von seiner Seite an die Scheibe bzw. das Fenster schreibt und/oder gestikuliert, um die Lesbarkeit für den zweiten Benutzer zu gewährleisten. Damit ermöglicht die Erfindung in einem Aspekt die Simulation eines virtuellen Kollaborationsfensters zwischen zwei Räumen, an dem sich auf den beiden Seiten die beiden Diskussion- bzw. Kommunikationspartner bzw. -parteien gegenüberstehen.
Vorzugsweise umfasst das Verfahren außerdem ein Erfassen von zweiten sekundären Bilddaten mittels einer zweiten Kamera zumindest teilweise durch den zweiten Bildschirm hindurch und/oder am zweiten Bildschirm gespiegelt, insbesondere zumindest teilweise durch die zweite Bildfläche hindurch und/oder an der zweiten Bildfläche gespiegelt; ein Generieren von zweiten kombinierten Bilddaten durch Überlagern der zweiten sekundären Bilddaten mit den primären Bilddaten; und ein Ausgeben der zweiten kombinierten Bilddaten über den zweiten Bildschirm bzw. mittels des zweiten Bildschirms insbesondere auf der zweiten Bildfläche, bzw. ein Darstellen der zweiten kombinierten Bilddaten auf einer zweiten Bildfläche. Vorzugsweise erfolgt das Erfassen von zweiten sekundären Bilddaten analog zum Erfassen von ersten sekundären Bilddaten. In einem weiteren Aspekt erfolgt das Generieren von zweiten kombinierten Bilddaten und/oder das Ausgeben der zweiten kombinierten Bilddaten analog zum Generieren der ersten kombinierten Bilddaten bzw. zum Ausgeben der ersten kombinierten Bilddaten. Damit wird vorzugsweise für den bzw. die ersten Benutzer in vergleichbarer oder analoger Weise zum zweiten Benutzer zumindest teilweise der Eindruck erzeugt, als ob sich der jeweils andere Kommunikationspartner auf der anderen Seite eines virtuellen Kollaborationsfensters befindet und die primären Bilddaten für den jeweiligen Benutzer lesbar und für beide Kommunikationspartner simultan sichtbar an bzw. auf dem Kollaborationsfenster dargestellt sind bzw. werden.
Vorzugsweise umfasst das Generieren der ersten und/oder zweiten kombinierten Bilddaten bzw. das Überlagern der ersten und/oder zweiten sekundären Bilddaten mit den primären Bilddaten ein Zuweisen zumindest eines ersten bzw. zweiten Transparenzparameters zu den primären Bilddaten und ein Ermitteln von Bildpunkten der ersten bzw. zweiten kombinierten Bilddaten in Abhängigkeit sowohl von Bildpunkten der ersten bzw. zweiten sekundären Bilddaten als auch von Bildpunkten der primären Bilddaten mit einer vom zumindest einen Transparenzparameter abhängigen relativen Gewichtung. Dabei wird vorzugsweise jedem Bildpunkt der primären Bilddaten ein Wert des Transparenzparameters zugewiesen. Insbesondere könnte einem Bildelement bzw. Zeichnungselement bzw. Grafikelement, wie z.B. einer Linie bzw. einem Strich, ein Wert des Transparenzparameters zugewiesen werden, der eine geringere Transparenz repräsentiert als einem Hintergrundbereich der primären Bilddaten. Entsprechend könnten bei der Überlagerung der sekundären Bilddaten durch die primären Bilddaten für diejenigen Bildpunkte der kombinierten Bilddaten, welche einem Grafikelement der primären Bilddaten entsprechen, der Einfluss bzw. die Berücksichtigung der sekundären Bilddaten geringer sein als für andere Bildpunkte, welche einem Hintergrundbereich der primären Bilddaten entsprechen bzw. einen Hintergrundbereich der primären Bilddaten repräsentieren. Damit erreicht man den Eindruck als seien die Grafikelemente bzw. Schriftelemente der primären Bilddaten gegenüber den sekundären Bilddaten in den Vordergrund gerückt.
Vorzugsweise umfasst das Ausgeben der ersten und/oder zweiten kombinierten Bilddaten über den zweiten bzw. ersten Bildschirm bzw. mittels des zweiten bzw. ersten Bildschirm, insbesondere auf der zweiten und/oder ersten Bildfläche ein Projizieren der ersten bzw. zweiten kombinierten Bilddaten auf eine Rückseite eines ersten bzw. zweiten teillichtdurchlässigen bzw. teiltransparenten bzw. semitransparenten Projektionsschirms, welcher insbesondere die zweite bzw. erste Bildfläche umfasst bzw. bildet. Die Ausgabe der ersten und/oder zweiten kombinierten Bilddaten erfolgt somit vorzugsweise durch Rückprojektion. Insbesondere wird als "teildurchlässig" bzw. "teillichtdurchlässig" verstanden, dass Licht permanent zu einem bestimmten Anteil durchgelassen wird und/oder dass Licht zeitweise durchgelassen (z.B. im schnellen Wechsel lichtdurchlässig und lichtundurchlässig) und/oder dass nur Licht einer bestimmten Polarisation durchgelassen wird. In einer anderen Ausführungsform werden die ersten und/oder zweiten kombinierten Bilddaten von vorne, also von der Betrachtungsseite auf den Projektionsschirm projiziert.
In einer weiteren bevorzugten Ausführungsform erfolgt das Ausgeben der ersten und/oder zweiten kombinierten Bilddaten über den zweiten bzw. ersten Bildschirm mit einer ersten Polarisation des vom Bildschirm reflektierten bzw. gestreuten Lichts und das Erfassen der ersten und/oder zweiten sekundären Bilddaten erfolgt vorzugsweise mit einer zweiten, zur ersten komplementären Polarisation. Dadurch lassen sich die sekundären Bilddaten unabhängig bzw. separat von den kombinierten Bilddaten erfassen auch wenn das Licht für beide Bilddatensätze zumindest teilweise durch dieselbe Bildfläche verläuft.
In einer weiteren bevorzugten Ausführungsform erfolgt das Ausgeben der ersten und/oder zweiten kombinierten Bilddaten im zeitlichen Wechsel bzw. abwechselnd mit dem Erfassen der zweiten bzw. ersten sekundären Bilddaten, also insbesondere im schnellen, vorzugsweise periodischen Wechsel nacheinander. In dieser bevorzugten Ausführungsform wird ebenfalls in effizienter Weise erreicht, dass die sekundären Bilddaten mittels der entsprechenden Kamera unabhängig bzw. separat von den kombinierten Bilddaten erfasst werden können, auch wenn die Kamera auf den Bildschirm, insbesondere die Bildfläche des Bildschirms gerichtet ist. In einer weiteren bevorzugten Ausführungsform erfolgt die Separation bzw. Abtrennung der sekundären Bilddaten von den durch die Kamera erfassten gesamten Bilddaten durch einen computer-implementieten Filtervorgang. Dabei erfasst die Kamera vorzugsweise den als sekundäre Bilddaten zu erfassenden Raum vor dem entsprechenden Bildschirm zusammen mit den auf diesem Bildschirm dargestellten Bilddaten, also insbesondere zusammen mit den auf diesem Bildschirm dargestellten kombinierten Bilddaten. Aus diesen gesamten erfassten Bilddaten wird dann vorzugsweise durch Berechnung bzw. computer-implementierte Filterung der auf dem Bildschirm ausgegebene Anteil herausgefiltert bzw. entfernt, um die sekundären Bilddaten zu erhalten. Vorzugsweise werden Filterparameter für diesen Filtervorgang in einem Initialisierungsvorgang bzw. einem initialen Justage-Vorgang insbesondere automatisch bestimmt bzw. ermittelt bzw. festgelegt.
Vorzugsweise umfasst das Verfahren außerdem ein Erfassen einer Benutzereingabe durch Berührung des ersten und/oder zweiten Bildschirms insbesondere mittels eines Eingabegeräts, z.B. eines Zeichen- bzw. Schreibstifts und/oder eines
Zeigestabs und/oder zumindest eines Fingers; und ein Modifizieren bzw. Verändern bzw. Editieren der primären Bilddaten bzw. Bereitstellen veränderter primärer
Bilddaten in Abhängigkeit von den ursprünglichen Bilddaten und in Abhängigkeit vom bzw. in Reaktion auf das Erfassen einer Benutzereingabe. Dazu ist der erste bzw. zweite Bildschirm insbesondere als berührungssensitiver Bildschirm bzw.
Touchscreen bzw. mit einer berührungssensitiven Fläche ausgestaltet, welche vorzugsweise im Wesentlichen mit der Bildfläche zusammenfällt oder vor der
Bildfläche, insbesondere mit einem Abstand von nicht mehr als 5 cm, vorzugsweise nicht mehr als 1 cm, besonders bevorzugt nicht mehr als 0,5 cm, und im
Wesentlichen parallel dazu angeordnet ist.
Vorzugsweise umfasst das Verfahren außerdem ein Erfassen von ersten und/oder zweiten sekundären Tondaten mittels eines ersten bzw. zweiten Mikrofons; und ein Ausgeben der ersten und/oder zweiten sekundären Tondaten im Wesentlichen synchron bzw. simultan zu den ersten bzw. zweiten kombinierten Bilddaten. In einer bevorzugten Ausführungsform könnten primäre Tondaten zur simultanen Ausgabe über einen ersten und eine zweiten Lautsprecher vorgesehen sein, wobei die Ausgabe der primären Tondaten insbesondere synchron zur simultanen Ausgabe der primären Bilddaten bzw. der kombinierten Bilddaten erfolgt. Als primäre Tondaten könnten insbesondere zu einer Bildschirmpräsentation bzw. einem Film oder einer Filmsequenz der primären Bilddaten gehörende bzw. synchrone Tonsignale (z.B. gesprochener Text, Musik, usw.) vorgesehen werden und insbesondere gemeinsam mit den primären Bilddaten bereitgestellt bzw. gespeichert werden. In einer anderen Ausführungsform bzw. einer anderen bevorzugten Nutzung eines erfindungsgemäßen Verfahrens sind keine primären Tondaten vorgesehen bzw. bereitgestellt, sondern es werden lediglich die sekundären Tondaten über den jeweiligen Lautsprecher des anderen Benutzers ausgegeben, um eine auditive Kommunikation zwischen zwei Benutzers insbesondere synchron zur visuellen Kommunikation zu ermöglichen.
Vorzugsweise umfasst das Verfahren außerdem ein automatisches bzw. automatisiertes Justieren der ersten und/oder zweiten sekundären Bilddaten relativ zu den primären Bilddaten. Besonders bevorzugt umfasst das automatische bzw. automatisierte Justieren der ersten und/oder zweiten sekundären Bilddaten relativ zu den primären Bilddaten: -. Ausgeben von relativ zu den primären Bilddaten in ihrer Lage bekannten bzw. definierten bzw. bestimmten bzw. bestimmbaren optischen Justiermarken über den ersten bzw. zweiten Bildschirm;
Erfassen der optischen Justiermarken auf dem ersten bzw. zweiten Bildschirm mittels der ersten bzw. zweiten Kamera; - Ermitteln einer Verschiebungskorrektur und/oder einer Vergrößerungskorrektur und/oder einer Verzerrungskorrektur aus den erfassten optischen Justiermarken; und Anpassen einer Position und/oder Größe und/oder Perspektive der ersten bzw. zweiten sekundären Bilddaten relativ zu den primären Bilddaten in Abhängigkeit von der ermittelten Verschiebungskorrektur bzw. Vergrößerungskorrektur bzw. Verzerrungskorrektur.
Durch das Erfassen der sekundären Bilddaten durch den Bildschirm hindurch und/oder am Bildschirm gespiegelt wird erreicht, dass in den sekundären Bilddaten auch im Wesentlichen die Bildfläche erfasst wird, auf der die primären bzw. kombinierten Bilddaten ausgegeben werden sollen bzw. ausgegeben werden (auch wenn die primären bzw. kombinierten Bilddaten nicht zusammen mit der sekundären Bilddaten von der entsprechenden Kamera erfasst werden). Je nach genauer Positionierung bzw. Orientierung bzw. Justierung der Kamera, welche im Wesentlichen auf die jeweilige Bildfläche des entsprechenden Bildschirms gerichtet ist, kann eine Verschiebung bzw. Verkippung bzw. Größenskalierung der abgebildeten bzw. erfassten Bildfläche in den sekundären Bilddaten auftreten. Ist die Kamera beispielsweise leicht verkippt oder verdreht oder unter einem schrägen Einfallswinkel auf die entsprechende Bildfläche des jeweiligen Bildschirms gerichtet, so wird die Bildfläche in den sekundären Bilddaten entsprechend verschoben bzw. verdreht bzw. verkippt (z.B. mit Trapezverzerrung) erfasst. Durch ein automatisches Justieren der ersten und/oder zweiten sekundären Bilddaten relativ zu den primären Bilddaten wird in effizienter Weise insbesondere erreicht, dass die primären Bilddaten den sekundären Bilddaten derart überlagert werden können, dass deren Datenpunkte mit den in den sekundären Bilddaten erfassten Datenpunkten der erfassten Bildfläche zusammenfallen.
Das Justieren kann insbesondere durch eine eigenständige Justierroutine z.B. als Bestandteil einer Initialisierung des Kommunikationssystems und/oder durchgängig während der Kommunikation z.B. mittels der primären und/oder der kombinierten Bilddaten als Justierbilddaten bzw. Justiermarken erfolgen. In einer anderen bevorzugten Ausführungsform sind Justiermarken permanent am ersten bzw. zweiten Bildschirm vorgesehen, so dass sie nicht über den jeweiligen Bildschirm ausgegeben werden müssen. In einer bevorzugten Ausführungsform umfasst das Justieren ein Justieren der Kamera, also eine Hardware-Justage. In einer anderen bevorzugten Ausführungsform werden nur die Datensätze entsprechend gegeneinander verschoben (Software-Justage). In einer bevorzugten Ausführungsform wird ein Justieren der ersten sekundären Bilddaten relativ zu den primären Bilddaten vom zweiten Benutzer initialisiert und/oder ein Justieren der zweiten sekundären Bilddaten relativ zu den primären Bilddaten wird vom ersten Benutzer initialisiert.
In einem weiteren Aspekt stellt die Erfindung ein Kommunikationssystem bereit insbesondere zur visuellen Kommunikation umfassend: - einen Datenspeicher zum Speichern bzw. Bereitstellen von primären
Bilddaten; zumindest einen ersten Bildschirm (z.B. insbesondere LCD-, Plasma-, LED- Schirm, insbesondere OLED-Schirm, Projektionswand bzw. -schirm bzw. -fläche,
Leinwand, usw.); und - zumindest eine erste Kamera zum Erfassen erster sekundärer Bilddaten bzw.
Bildinformationen zumindest teilweise durch den ersten Bildschirm hindurch und/oder am ersten Bildschirm gespiegelt; wobei das System ausgelegt ist, erste kombinierte Bilddaten durch Überlagern der ersten sekundären Bilddaten mit den primären Bilddaten zu generieren und die ersten kombinierten Bilddaten zur Übertragung an bzw. zur Ausgabe der ersten kombinierten Bilddaten über einen zweiten Bildschirm bereitzustellen bzw. auszugeben.
Dazu umfasst das System insbesondere eine erste Datenschnittstelle zur Übertragung der ersten kombinierten Bilddaten an bzw. zur Ausgabe der ersten kombinierten Bilddaten über den zweiten Bildschirm. Die Datenschnittstelle umfasst insbesondere ein Schnittstelle zu einem Netzwerk, insbesondere eine
Kommunikationsleitung bzw. das Internet. Über diese Schnittstelle kann das erfindungsgemäße System vorzugsweise mit einem anderen, korrespondierenden System, welches vorzugsweise ebenfalls erfindungsgemäß aufgebaut ist, insbesondere durch Durchführung eines erfindungsgemäßen Verfahrens in
Signalverbindung stehen. Dabei bilden die beiden korrespondierenden Systeme vorzugsweise eine Funktionseinheit im Sinne einer bevorzugten Ausführungsform eines gesamten erfindungsgemäßen Systems.
Vorzugsweise ist der zumindest eine erste und/oder zweite Bildschirm als berührungssensitiver Bildschirm bzw. Touchscreen ausgebildet. In einer weiteren bevorzugten Ausführungsform umfasst der Bildschirm alternativ oder zusätzlich zur berührungssensitiven Funktionalität, also insbesondere einer berührungssensitiven Fläche, eine Zeichen- bzw. Malfläche, auf der insbesondere mittels Faserschreibern und/oder Kreide gezeichnet bzw. gemalt werden kann.
Vorzugsweise ist der erste und/oder zweite Bildschirm ausgelegt, Licht einer ersten Polarisation auszugeben insbesondere als emittiertes oder reflektiertes oder gestreutes Licht, wobei die erste bzw. zweite Kamera einen Analysator derart umfasst, dass der Analysator Licht der ersten Polarisation im Wesentlichen blockiert bzw. absorbiert, um nicht von der ersten bzw. zweiten Kamera erfasst zu werden.
Vorzugsweise umfasst der erste bzw. zweite Bildschirm einen teillichtdurchlässigen Projektionsschirm, insbesondere einen Rückprojektionsschirm, insbesondere derart, dass sich die primären bzw. kombinierten Bildinformationen vorzugsweise auch bei Tageslicht auf dem Projektionsschirm durch Projektion mittels eines Projektors erkennbar darstellen lassen. In einer weiteren bevorzugten Ausführungsform ist der erste und/oder zweite Bildschirm als selbstleuchtender bzw. lichterzeugender Bildschirm, insbesondere LCD-, Plasma-, LED-Schirm (insbesondere OLED-Schirm) ausgebildet ist.
Vorzugsweise ist das System ausgelegt, das Erfassen von ersten und/oder zweiten sekundären Bilddaten mittels der ersten bzw. zweiten Kamera im zeitlichen Wechsel bzw. abwechselnd mit einem Ausgeben vom Bilddaten, insbesondere zweiten bzw. ersten kombinierten Bilddaten, auf dem bzw. über den ersten bzw. zweiten Bildschirm auszuführen.
Vorzugsweise umfasst das System außerdem ein erstes und/oder ein zweiten Mikrofon zum Erfassen erster bzw. zweiter sekundärer Tonsignale bzw. Tondaten, wobei das System ausgelegt ist, die ersten bzw. zweiten sekundären Tondaten zur synchronen bzw. simultanen Übertragung zusammen mit den ersten bzw. zweiten kombinierten Bilddaten an einen zweiten bzw. ersten Lautsprecher bereitzustellen bzw. auszugeben. Vorzugsweise ist die zumindest eine erste Datenschnittstelle zur synchronen Übertragung der Tondaten ausgelegt.
Vorzugsweise ist das erfindungsgemäße System ausgelegt, ein erfindungsgemäßes Verfahren insbesondere gemäß einer seiner bevorzugten Ausführungsformen auszuführen.
In einem weiteren Aspekt betrifft die Erfindung ein Computerprogrammprodukt, welches Programmcode umfasst, der, wenn er geladen wird auf einem Computer, zur Ausführung eines Verfahrens gemäß der vorliegenden Erfindung oder einer bevorzugten Ausführungsform davon geeignet ist.
Die Erfindung wird nachfolgend anhand bevorzugter Ausführungsformen mit Bezug auf begleitende Zeichnungen beispielhaft beschrieben. Dabei zeigen:
Fig. 1 eine schematische Darstellung einer Kommunikation zwischen zwei verschiedenen Orten unter Nutzung der vorliegenden Erfindung in einer bevorzugten Ausführungsform;
Fig. 2 ein Flussdiagramm zur Veranschaulichung eines Verfahrens gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung;
Fig. 3 eine schematisch Querschnittsansicht einer Anordnung und Vernetzung von Systemkomponenten gemäß einer bevorzugten Ausführungsform während einer Kommunikation zwischen zwei verschiedenen Orten; und
Fig. 4 eine schematische Darstellung eines beispielhaften Systems zum Implementieren der Erfindung.
Anhand einer schematischen Darstellung in Fig. 1 soll eine bevorzugte Ausführungsform der Erfindung veranschaulicht werden. Dabei zeigt Fig. 1 einen ersten Raum 10, beispielsweise ein Büro oder ein Besprechungszimmer, in dem ein erster Bildschirm 12 vorgesehen ist. Vor diesem Bildschirm steht in der Darstellung von Fig. 1 ein erster Benutzer 14 und zeigt auf den ersten Bildschirm 12 bzw. schreibt mit einem Eingabegerät 16 Bild- bzw. Zeichnungselemente bzw. einen Text 18 ("My new Idea") auf den ersten Bildschirm 12. Vorzugsweise ist der erste Bildschirm als berührungssensitiver Bildschirm ausgebildet, wodurch eine Eingabe, insbesondere die Eingabe des Textes 18 erfasst werden kann. In der gezeigten Ausführungsform werden beispielsweise durch den geschriebenen und mittels des ersten Bildschirms 12 erfassten Text 18 zumindest teilweise primäre Bilddaten bereitgestellt. Diese primären Bilddaten, insbesondere der geschriebene und erfasste Text 18 wird simultan auf dem ersten Bildschirm 12 und einem zweiten Bildschirm 20 ausgegeben bzw. angezeigt. Der zweite Bildschirm 20 befindet sich dabei insbesondere an einem anderen Ort, in einem anderen Raum 22, beispielsweise einem Büro oder Besprechungszimmer. Dabei erfolgt der simultane Ausgabe der primären Bilddaten am ersten 12 und zweiten Bildschirm 20 derart, dass der Text 18 ("My New Idea") sowohl für den ersten Benutzer 14 am bzw. vor dem ersten Bildschirm 12 als auch für einen zweiten Benutzer 24 am bzw. vor dem zweiten Bildschirm 20 lesbar, insbesondere nicht spiegelverkehrt ist.
Mit einer in Fig. 1 nicht explizit gezeigten ersten Kamera, welche sich vorzugsweise im oder hinter dem ersten Bildschirm 12 befindet, wird der erste Raum 10, insbesondere der erste Benutzer 14 vorzugsweise zumindest teilweise durch den ersten Bildschirm 12 hindurch erfasst, soweit der erste Raum 10 bzw. der erste Benutzer 14 durch den ersten Bildschirm 12 bzw. eine erste Bildfläche des ersten Bildschirms 12 hindurch für die erste Kamera sichtbar bzw. erkennbar bzw. erfassbar ist. Dazu ist der erste Bildschirm 12 bzw. die erste Bildfläche des ersten Bildschirms zumindest teilweise bzw. zeitweise bzw. bereichsweise lichtdurchlässig bzw. durchsichtig. In einer bevorzugten Ausführungsform ist der erste Bildschirm 12 teiltransparent bzw. semitransparent. In einer anderen bevorzugten Ausführungsform wird der erste Bildschirm 12 bzw. die erste Bildfläche des ersten Bildschirms 12 im schnellen Wechsel zwischen einem Zustand mit höherer Transparenz bzw. Lichtdurchlässigkeit und einem Zustand mit niedrigerer Transparenz bzw. Lichtdurchlässigkeit umgeschaltet, vorzugsweise mit einer Frequenz von zumindest 25 Hz noch mehr bevorzugt zumindest 50 Hz, am meisten bevorzugt zumindest 80 Hz.
Die von der ersten Kamera erfassten Daten bilden insbesondere erste sekundäre Bilddaten. Diesen ersten sekundären Bilddaten werden die primären Bilddaten, insbesondere der Text 18 überlagert, um damit erste kombinierte Bilddaten zu generieren. Über den zweiten Bildschirm 20 werden somit nicht die reinen primären Bilddaten, also der bloße Text 18, sondern die ersten kombinierten Bilddaten ausgegeben, in denen den ersten sekundären Bilddaten, also insbesondere der Darstellung des ersten Benutzers 14, die primären Bilddaten überlagert sind. Dabei wird vorzugsweise den primären Bilddaten zumindest ein Transparenzparameter zugeordnet, der besonders bevorzugt für jeden Bildpunkt bzw. Datenpunkt der primären Bilddaten einen eigenen Wert definiert bzw. festlegt. Dabei ist vorzugsweise im Bereich von Bildelementen bzw. Zeichnungselementen, wie beispielsweise dem Text 18 die damit definierte Transparenz niedriger als in Bereichen ohne Bild- bzw. Zeichnungselementen. In Abhängigkeit von diesem Transparenzparameter werden beim Generieren der ersten kombinierten Bilddaten den primären Bilddaten die ersten sekundären Bilddaten beigemischt, wobei insbesondere bei höherer Transparenz der primären Bilddaten die ersten sekundären Bilddaten mit einer größeren Gewichtung in den ersten kombinierten Bilddaten berücksichtigt werden. Dadurch entsteht für den zweiten Benutzer 24 am zweiten Bildschirm 20 vorzugsweise der Eindruck, als ob sich der zweiten Benutzer 14 bzw. die Abbildung des zweiten Benutzers 14' auf dem zweiten Bildschirm 20 im Hintergrund, insbesondere hinter den primären Bilddaten (z.B. den Text 18) befindet. Wie in Fig. 1 zu erkennen, gewinnt der zweite Benutzer 24 den Eindruck, als schreibe der erste Benutzer 14' in Spiegelschrift an die Rückseite der Bildfläche des zweiten Bildschirms 20.
In analoger Weise zu den ersten sekundären Bilddaten werden in der in Fig. 1 gezeigten Ausführungsform durch eine zweite, in Fig. 1 nicht explizit dargestellte Kamera, welche sich vorzugsweise im oder hinter dem zweiten Bildschirm 20 befindet, zweite sekundäre Bilddaten erfasst. Insbesondere erfasst die zweite Kamera dazu den zweiten Raum 22, insbesondere den zweiten Benutzer 24 vorzugsweise zumindest teilweise durch den zweiten Bildschirm 20 hindurch, soweit der zweite Raum 22 bzw. der zweite Benutzer 24 durch den zweiten Bildschirm 20 bzw. eine zweite Bildfläche des zweiten Bildschirms 20 hindurch für die zweite Kamera sichtbar bzw. erkennbar bzw. erfassbar ist. Dazu ist der zweite Bildschirm 20 bzw. die zweite Bildfläche des zweiten Bildschirms 20 vorzugsweise zumindest teilweise bzw. zeitweise bzw. bereichsweise lichtdurchlässig bzw. durchsichtig, wie dies in analoger Weise für bevorzugte Ausführungsformen des ersten Bildschirms 12 oben bereits ausgeführt wurde. Diese Ausführungen sind vorzugsweise auf den zweiten Bildschirm 20 entsprechend anzuwenden. Der zweite Bildschirm 20 könnte ebenso wie der erste Bildschirm 12 als berührungssensitiver Bildschirm ausgebildet sein.
Den zweiten sekundären Bilddaten werden die primären Bilddaten überlagert, wodurch zweite kombinierte Bilddaten generiert werden. Vorzugsweise wird ähnlich oder analog zu den ersten kombinierten Bilddaten den primären Bilddaten zumindest ein Transparenzparameter zugewiesen, dessen Werte bzw. Werte nicht notwendigerweise mit dem Wert bzw. den Werten des Transparenzparameters für die Überlagerung der ersten sekundären Bilddaten mit den primären Bilddaten übereinstimmt. Die zweiten kombinierten Bilddaten enthalten damit zumindest teilweise die zweiten sekundären Bilddaten, insbesondere eine Abbildung des zweiten Benutzers 24", welchen die primären Bilddaten, insbesondere der Text 18 überlagert ist. Über den ersten Bildschirm 12 werden damit nicht die bloßen primären Bilddaten, sondern die zweiten kombinierten Bilddaten ausgegeben, wodurch der erste Benutzer 14 gleichsam im Hintergrund das Abbild der zweiten Benutzers 24' sieht, während dieser am zweiten Bildschirm 20 den Ausführungen des ersten Benutzers 14 folgt. Vorzugsweise werden simultan bzw. synchron zu den Bilddaten auch Tondaten zwischen dem ersten Raum 10 und dem zweiten Raum 22 bzw. zwischen dem ersten Benutzer 14 und dem zweiten Benutzer 24 übermittelt.
Beim Erfassen der ersten und/oder zweiten sekundären Bilddaten mittels der ersten bzw. zweiten Kamera wird insbesondere darauf geachtet, dass die erfassten sekundären Bilddaten nicht die am ersten Bildschirm 12 bzw. am zweiten Bildschirm 24 ausgegebenen zweiten bzw. ersten kombinierten Bilddaten enthalten. Es wird dabei insbesondere vermieden, dass die erfassten ersten sekundären Bilddaten die in den zweiten kombinierten Bilddaten berücksichtigten zweiten sekundären Bilddaten enthalten. Andererseits wird insbesondere vermieden, dass die erfassten zweiten sekundären Bilddaten die in den ersten kombinierten Bilddaten berücksichtigten ersten sekundären Bilddaten enthalten. Dadurch kann verhindert werden, dass die einzelnen Benutzer ein Abbild ihrer selbst am eigenen Bildschirm sehen.
Fig. 2 zeigt eine Art Flussdiagramm, anhand dessen eine bevorzugte Ausführungsform der Erfindung dargestellt werden soll. Dabei werden primäre Bilddaten 30 bereitgestellt. In einer bevorzugten Ausführungsform umfasst das Bereitstellen der primären Bilddaten 30 ein Bereitstellen von insbesondere vorgefertigten bzw. vorbereiteten und in insbesondere digitaler Form in einem zentralen und/oder in einem oder mehreren dezentralen Datenspeicher(n) abgespeicherten Zeichnungen, Skizzen, Notizen, Diagrammen, Präsentationen in statischer oder animierter Form, Filmen oder Filmsequenzen und/oder einer Benutzeroberfläche eines Computerprogramms, usw. oder einer Kombination aus mehreren dieser Elemente. In einer weiteren bevorzugten Ausführungsform umfasst das Bereitstellen der primären Bilddaten 30 ein Erstellen und/oder Editieren bzw. Modifizieren 32 der primären Bilddaten 30 auf Seiten eines ersten Benutzers insbesondere mittels eines ersten Bildschirms 34, welcher vorzugsweise als berührungssensitiver Bildschirm ausgebildet ist. Alternativ oder zusätzlich umfasst das Bereitstellen der primären Bilddaten 30 ein Erstellen und/oder Editieren bzw. Modifizieren 36 der primären Bilddaten 30 auf Seiten eines zweiten Benutzers insbesondere mittels eines zweiten Bildschirms 38, welcher vorzugsweise als berührungssensitiver Bildschirm ausgebildet ist. Die aus diese Weise vom ersten und/oder zweiten Benutzer erstellten und/oder editierten primären Bilddaten 30 stehen vorzugsweise zumindest teilweise beiden Benutzern über deren jeweiligen Bildschirm im Wesentlichen simultan zur Verfügung.
In der in Fig. 2 gezeigten Ausführungsform werden mit einer ersten Kamera durch den ersten Bildschirm 34 hindurch oder am ersten Bildschirm 34 gespiegelt erste sekundäre Bilddaten 40 erfasst. Den ersten sekundären Bilddaten 40 werden die primären Bilddaten 30 überlagert, um auf diese Weise durch Kombinieren 42 der ersten sekundären Bilddaten 40 und der primären Bilddaten 30 erste kombinierte Bilddaten 44 zu generieren. Die ersten kombinierten Bilddaten 44 werden über den zweiten Bildschirm 38 ausgegeben, also auf einer Bildfläche des zweiten Bildschirms 38 angezeigt. Außerdem werden mit einer zweiten Kamera durch den zweiten Bildschirm 38 hindurch oder am zweiten Bildschirm 38 gespiegelt zweite sekundäre Bilddaten 46 erfasst. Den zweiten sekundären Bilddaten 46 werden ebenfalls die primären Bilddaten 30 überlagert, um auf diese Weise durch Kombinieren 48 der zweiten sekundären Bilddaten 40 und der primären Bilddaten 30 zweite kombinierte Bilddaten 50 zu generieren. Die zweiten kombinierten Bilddaten 50 werden über den ersten Bildschirm 34 ausgegeben, also auf einer Bildfläche des ersten Bildschirms 34 angezeigt.
Weitere bevorzugte Ausführungsformen der vorliegenden Erfindung werden mit Bezug auf die in Fig. 3 dargestellte schematische Querschnittansicht einer verteilten Kommunikationssystems gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung beschrieben. In diese Ausführungsform ist in einem ersten Raum 52 bzw. an einem ersten Ort ein erster Bildschirm 54 vorgesehen, der insbesondere in eine erste Präsentationswand 56 integriert sein kann. Wie in Fig. 3 dargestellt ist der erste Bildschirm 54 insbesondere als Projektionsschirm ausgebildet und umfasst beispielsweise eine Projektionswand bzw. Projektionsleinwand, welche insbesondere als Bildfläche des ersten Bildschirms 54 fungiert. Auf diese Bildfläche werden mittels eines ersten Projektors 58 Bilddaten bzw. Bildelemente projiziert, welche von einem ersten Kommunikationsmodul 60 bereitgestellt werden. Vorzugsweise stellt das erste Kommunikationsmodul 60 primäre Bilddaten und/oder zweite kombinierte Bilddaten, welche unter Berücksichtigung der primären Bilddaten erstellt wurden bzw. werden bzw. welche die primären Bilddaten zumindest teilweise umfassen, zur Ausgabe über den ersten Bildschirm 54, insbesondere zur Projektion mittels des ersten Projektors 58 zur Verfügung. Gemäß der in Fig. 3 gezeigten Ausführungsform werden die Bilddaten vom ersten Projektor 58 vorzugsweise von der Rückseite bzw. auf die Rückseite des Bildschirms 54 projiziert, während ein erster Benutzer 62 den Bildschirm 54 von dessen Vorderseite betrachtet. Man nennt diese Art der Projektion vorzugsweise Rückprojektion. Dazu ist der erste Bildschirm vorzugsweise teillichtdurchlässig, um ein vom ersten Projektor 58, also von hinten projiziertes Bild für den ersten Benutzer 62 sichtbar erscheinen zu lassen. Durch den teillichtdurchlässigen Bildschirm hindurch erfasst eine in der dargestellten bevorzugten Ausführungsform ebenfalls rückwärtig vom ersten Bildschirm 54 angeordnete erste Kamera 64 erste sekundäre Bilddaten, insbesondere einen Teil des ersten Raums 52 vor dem ersten Bildschirm 54 einschließlich zumindest eines Teils des ersten Benutzers 62, soweit er durch den ersten Bildschirm 54 bzw. die erste Bildfläche des ersten Bildschirms 54 hindurch für die erste Kamera 64 sichtbar ist.
Um zu vermeiden, dass auch das vom ersten Projektor 58 auf den ersten Bildschirm projizierte Bild als Teil der ersten sekundären Bilddaten von der ersten Kamera 64 erfasst wird, um also den als erste sekundäre Bilddaten zu erfassenden Raum vor dem ersten Bildschirm 54 separat von den auf dem ersten Bildschirm 54 dargestellten Bilddaten mit der ersten Kamera 64 erfassen zu können, umfasst der erste Projektor 58 vorzugsweise einen ersten Polarisator 66 zur Projektion der am ersten Bildschirm auszugebenden Bilddaten mit einer ersten Polarisation, während die erste Kamera 64 vorzugsweise einen ersten Analysator 68 umfasst, der vorzugsweise nur Licht mit einer zur ersten Polarisation komplementären zweiten Polarisation zum Erfassen mittels der ersten Kamera 64 passieren lässt, also insbesondere das reflektierte bzw. gestreute Licht der vom ersten Projektor 60 mit der ersten Polarisation projizierten Bilddaten blockiert bzw. absorbiert.
In einer anderen bevorzugten Ausführungsform erfolgt das Ausgeben von Bilddaten auf einem Bildschirm im zeitlichen Wechsel bzw. abwechselnd mit dem Erfassen der sekundären Bilddaten durch diesen Bildschirm hindurch bzw. an diesem Bildschirm gespiegelt, also insbesondere im schnellen, vorzugsweise periodischen Wechsel nacheinander. In dieser bevorzugten Ausführungsform wird ebenfalls in effizienter Weise erreicht, dass die sekundären Bilddaten mittels der entsprechenden Kamera unabhängig bzw. separat von BtkJdaten erfasst werden können, die auf dem Bildschirm ausgegeben werden, auch wenn die Kamera auf den Bildschirm, insbesondere die Bildfläche des Bildschirms gerichtet ist. In einer weiteren bevorzugten Ausführungsform erfolgt die Separation bzw. Abtrennung der sekundären Bilddaten von den durch die Kamera erfassten gesamten Bilddaten durch einen computer-implementieten Filtervorgang, wie eingangs beschrieben.
Die von der ersten Kamera 64 erfassten ersten sekundären Bilddaten werden zum ersten Kommunikationsmodul 60 übertragen. In der in Fig. 3 dargestellten bevorzugten Ausführungsform ist das erste Kommunikationsmodul 60 mit einem zweiten Kommunikationsmodul 72 an einem zweiten Ort bzw. in einem zweiten Raum 74 über eine Kommunikationsleitung bzw. ein Kommunikationsnetz bzw. Netzwerk 70, insbesondere das Internet, zur Datenübertragung, insbesondere zur Übertragung und/oder Synchronisation der primären Bilddaten zwischen dem ersten 60 und zweiten Kommunikationsmodul 72 und/oder zur Übertragung der ersten sekundären Bilddaten und/oder erster kombinierter Bilddaten vom ersten 60 zum zweiten Kommunikationsmodul 72 verbunden.
Analog zum ersten Raum 52 ist vorzugsweise im zweiten Raum 74 ein zweiter Bildschirm 76 insbesondere in eine zweite Präsentationswand 78 integriert. Der zweite Bildschirm 76 kann dabei auf seiner Vorderseite von einem zweiten Benutzer 80 betrachtet werden, während rückseitig ein zweiter Projektor 82 mit einem zweiten Polarisator 84 und eine zweite Kamera 86 mit einem Analysator 88 vorgesehen sind. In Bezug auf die Anordnungen und Funktionsweisen der einzelnen Komponenten im zweiten Raum 74, insbesondere des zweiten Bildschirms 76, des zweiten Projektors 82, des zweiten Polärisators 84, der zweiten Kamera 86 des zweiten Analysator 88 und/oder des zweiten Kommunikationsmoduls 72 wird auf die Ausführung zu ersten entsprechenden Komponenten im ersten Raum 74 verwiesen, die alternativ oder zusätzlich in analoger Weise vorzugsweise auf die entsprechenden Komponenten im zweiten Raum anwendbar sind. In einer bevorzugten Ausführungsform ist das erste Kommunikationsmodul 60 ausgelegt, durch Überlagern der ersten sekundären Bilddaten mit den primären Bilddaten erste kombinierte Bilddaten zu generierten und für die Übertragung an das zweite Kommunikationsmodul 72 bereitzustellen. In einer anderen bevorzugten Ausführungsform werden die primären Bilddaten und die ersten sekundären Bilddaten durch das erste Kommunikationsmodul 60 zur separaten bzw. noch nicht überlagerten Übertragen an das zweite Kommunikationsmodul 72 bereitgestellt. In diesem Fall ist insbesondere das zweite Kommunikationsmodul 72 ausgelegt, die ersten kombinierten Bilddaten durch Überlagern der vom ersten Kommunikationsmodul 60 an das zweite Kommunikationsmodul 72 übertragenen ersten sekundären Bilddaten mit den primären Bilddaten zu generierten. Die vom ersten Kommunikationsmodul 60 zum zweiten Kommunikationsmodul 72 übertragenen oder vom zweiten Kommunikationsmodul 72 generierten ersten kombinierten Bilddaten werden vom zweiten Projektor 82 auf den zweiten Bildschirm 76 projiziert. Dadurch lässt sich insbesondere für den zweiten Benutzer 80 die Situation simulieren, dass die primären Bilddaten am zweiten Bildschirm als Diskussionsgrundlage präsentiert werden, während und der erste Benutzer 62 sich scheinbar auf der anderen Seite des zweiten Bildschirms 76 bzw. der zweiten Präsentationswand 78 befindet. Der zweite Bildschirm 76 wirkt damit für den zweiten Benutzer 80 ähnlich einem virtuellen Fenster zwischen ihm und dem ersten Benutzer, wobei die primären Bilddaten auf dem virtuellen für den zweiten Benutzer 80, aus der Sicht vor dem zweiten Bildschirm 76 lesbar sind, während der scheinbar auf der gegenüberliegenden Seite befindliche erste Benutzer die Daten spiegelverkehrt zu sehen scheint.
Vorzugsweise in analoger Weise zum Erfassen der ersten sekundären Bilddaten werden von der zweiten Kamera 86 insbesondere durch den zweiten Bildschirm 76 hindurch zweite sekundäre Bilddaten erfasst und an das zweite Kommunikationsmodul 72 übertragen. In einer bevorzugten Ausführungsform ist das zweite Kommunikationsmodul 72 ausgelegt die zweiten sekundären Bilddaten mit den primären Bilddaten zu überlagern, um zweite kombinierte Bilddaten zu generieren und für die Übertragung an das erste Kommunikationsmodul 60 bereitzustellen. In einer anderen bevorzugten Ausführungsform werden die zweiten sekundären Bilddaten vom zweiten Kommunikationsmodul 72 zum ersten Kommunikationsmodul 60 übertragen, wo die zweiten kombinierten Bilddaten generiert werden. Vorzugsweise werden die zweiten kombinierten Bilddaten über den ersten Bildschirm 54 ausgegeben, um sie dem ersten Benutzer 62 zu präsentieren.
In einer bevorzugten Ausführungsform ist/sind der erste 54 und/oder zweite Bildschirm 76 als berührungssensitiver Bildschirm ausgebildet. Damit kann der erste 54 bzw. zweite Bildschirm 76 eine Dateneingabe des ersten 62 bzw. zweiten Benutzers 80 beispielsweise in Form einer Freihandzeichnung erfassen und vorzugsweise an das erste 60 bzw. zweite Kommunikationsmodul übertragen. Dabei wird in einer bevorzugten Ausführungsform nicht tatsächlich auf den Bildschirm gezeichnet, sondern lediglich durch Berührung des Bildschirms beispielsweise ein Linie gezogen. Vorzugsweise ist das erste 60 bzw. zweite Kommunikationsmodul 80 ausgelegt, die primären Bilddaten in Abhängigkeit von der erfassten Benutzereingabe zu modifizieren bzw. zu editieren und die so geänderten primären Bilddaten zwischen den Kommunikationsmodulen zu synchronisieren. Vorzugsweise kann damit Änderung der primären Bilddaten durch einen Benutzer im wesentlichen simultan vom anderen Benutzer am eigenen Bildschirm verfolgt bzw. beobachtet werden. Dabei kann der jeweils andere Benutzer nicht nur die geänderten primären Bilddaten betrachten, sondern vorzugsweise den gesamten Vorgang des Editierens inklusive der Bewegungen und Gesten des einen Benutzers quasi in Echtzeit bzw. live beobachten. Vorzugsweise im wesentlichen synchron dazu auch am Ort des ersten Benutzers 62 erfasste erste Tondaten vom ersten Kommunikationsmodul 60 zum zweiten Kommunikationsmodul 72 und am Ort des zweiten Benutzers 80 erfasst zweite Tondaten vom zweiten 72 zum ersten Kommunikationsmodul 60 übertragen und dem jeweils andern Benutzer per Lautsprecher zur Gehör gebracht.
In einer anderen bevorzugten Ausführungsform umfasst der erste 54 und/oder zweite Bildschirm 76 eine vorzugsweise transparente bzw. durchsichtige Zeichenfläche, auf die der erste 62 bzw. zweite Benutzer 80 mittels eines geeigneten Stiftes zeichnen bzw. schreiben bzw. malen kann. Die auf der Zeichenfläche auf diese Weise erzeugten Bildelemente werden von der ersten 64 bzw. zweiten Kamera 86 vorzugsweise als Teil der ersten bzw. zweiten sekundären Bilddaten erfasst und mit den primären Bilddaten kombiniert in Form der ersten bzw. zweiten kombinierten Bilddaten am zweiten 76 bzw. ersten Bildschirm 54 ausgegeben. Diese Bildelement sind damit ebenfalls für beide Benutzer sichtbar und könnten insbesondere ähnlich den primären Bilddaten am jeweils anderen Bildschirm erscheinen. Im Unterschied zu den primären Bilddaten können diese an einer Zeichenfläche eines Bildschirms erzeugten Bildelemente nur von dem jeweils erzeugenden Benutzer editiert bzw. wieder gelöscht werden.
Um zu vermeiden, dass das vom ersten 58 und/oder zweiten Projektor 82 auf den ersten 54 bzw. zweiten Bildschirm 76 projizierte Bild als Teil der ersten bzw. zweiten sekundären Bilddaten von der ersten 64 bzw. zweiten Kamera 86 erfasst wird, erfolgt das Ausgeben der kombinierten Bilddaten am Bildschirm und das Erfassen der sekundären Bilddaten mittel der Kamera in einer anderen bevorzugten Ausführungsform abwechselnd. Insbesondere erfolgt dieser Wechsel so schnell, dass der jeweilige Benutzer ein Unterbrechung der Bildausgabe mit seinen Augen nicht wahrnimmt. Der schnelle Wechsel wird vorzugsweise vom jeweiligen Kommunikationsmodul gesteuert. In einer anderem bevorzugten Ausführungsform sind der Projektor und die Kamera in einem einzigen ProjektionsVKameramodul integriert, welches insbesondere eine einzige Projektions- bzw. Kameraoptik für beide Funktionen, also die Projektion und die Bilderfassung (Kamerafunktion) gemeinsam bzw. abwechselnd nutzt. Dazu sind im Projektions-/Kameramodul insbesondere veränderbare bzw. schaltbare Strahlteiler bzw. Spiegel vorgesehen.
In einer weiteren, nicht explizit in den Abbildungen dargestellten bevorzugten Ausführungsform ist/sind der erste Projektor 58 und/oder der zweite Projektor 82 und/oder die erste Kamera 64 und/oder die zweite Kamera 86 im Bereich des Raumes vor dem ersten 54 bzw. zweiten Bildschirm 76 angeordnet. In anderen, nicht explizit in den Abbildungen dargestellten bevorzugten Ausführungsformen ist der erste 54 und/oder zweite Bildschirm 76 nicht als Projektionsschirm, sondern als selbstleuchtendes Anzeigefeld, insbesondere als Plasmabildschirm oder als LCD- Bildschirm oder als LED- oder OLED-Bildschirm ausgebildet. In diesem Fall kann auf einen Projektor verzichtet werden und der erste 54 bzw. zweite Bildschirm 76 erhält Bilddaten, insbesondere die zweiten bzw. ersten kombinierten Bilddaten direkt oder indirekt vom ersten 60 bzw. zweiten Kommunikationsmodul 72.
Bezugnehmend auf Fig. 4 wird ein beispielhaftes System zum Implementieren der Erfindung beschrieben. Ein beispielhaftes System umfasst eine universelle Rechnereinrichtung in der Form einer herkömmlichen Rechnerumgebung 120 z.B. ein "personal Computer" (PC) 120, mit einer Prozessoreinheit 122, einem Systemspeicher 124 und einem Systembus 126, welcher eine Vielzahl von Systemkomponenten, unter anderem den Systemspeicher 124 und die Prozessoreinheit 122 verbindet. Die Prozessoreinheit 122 kann arithmetische, logische und/oder Kontrolloperationen durchführen, indem auf den Systemspeicher 124 zugegriffen wird. Vorzugsweise kann die Prozessoreinheit 122 erste und/oder zweite kombinierten Bilddaten generieren. Der Systemspeicher 124 kann Informationen und/oder Instruktionen, insbesondere primäre und/oder sekundäre und/oder kombinierte Bilddaten zur Verwendung in Kombination mit der Prozessoreinheit 122 speichern. Der Systemspeicher 124 kann flüchtige und nichtflüchtige Speicher, beispielsweise "random access memory" (RAM) 128 und "Nur-Lesespeicher" (ROM) 130 beinhalten. Ein Grund-Eingabe-Ausgabe-Sytem (BIOS), das die grundlegenden Routinen enthält, welche helfen, Informationen zwischen den Elementen innerhalb des PCs 120 bzw. des gesamten Kommunikationssystems, beispielsweise während des Hochfahrens, zu transferieren, kann in dem ROM 130 gespeichert sein. Der Systembus 126 kann eine von vielen Busstrukturen sein, unter anderem ein Speicherbus oder ein Speichercontroller, ein peripherer Bus und ein lokaler Bus, welcher eine bestimmte Busarchitektur aus einer Vielzahl von Busarchitekturen verwendet.
Der PC 120 kann weiterhin ein Festplattenlaufwerk 132 zum Lesen oder Schreiben einer Festplatte (nicht gezeigt) aufweisen und ein externes Disklaufwerk 134 zum Lesen oder Schreiben einer entfernbaren Disk 136 bzw. eines entfernbaren Datenträgers. Die entfernbare Disk kann eine magnetische Disk bzw. eine magnetische Diskette für ein magnetisches Disklaufwerk bzw. Diskettenlaufwerk oder eine optische Diskette wie z.B. eine CD-ROM für ein optisches Disklaufwerk sein. Das Festplattenlaufwerk 132 und das externe Disklaufwerk 134 sind jeweils mit dem Systembus 126 über eine Festplattenlaufwerkschnittstelle 138 und eine externe Disklaufwerkschnittstelle 140 verbunden. Die Laufwerke und die zugeordneten computerlesbaren Medien stellen einen nichtflüchtigen Speicher computerlesbarer Instruktionen, Datenstrukturen, Programm-Modulen und anderer Daten, insbesondere primäre Bilddaten für den PC 120 bzw. das Kommunikationssystem zur Verfügung. Die Datenstrukturen können die relevanten Daten zum Implementieren eines wie oben beschriebenen Verfahrens aufweisen. Obwohl die beispielhaft beschriebene Umgebung eine Festplatte (nicht gezeigt) und eine externe Disk 142 verwendet, ist für den Fachmann offensichtlich, daß andere Typen computerlesbarer Medien, welche computerzugreifbare Daten speichern können, in der beispielhaften Arbeitsumgebung verwendet werden können, wie z.B. magnetische Kassetten, Flash-Memory Karten, digitale Videodisketten, Random- Access-Speicher, Nur-Lesespeicher, usw..
Eine Vielzahl von Programm-Modulen, insbesondere ein Betriebssystem (nicht gezeigt) ein oder mehrere Applikationsprogramme 144, oder Programm-Module (nicht gezeigt), insbesondere eine Justierroutine bzw. Jύstierroutinen und/oder Programmdaten 146, können auf der Festplatte, der externen Disk 142, dem ROM 130 oder dem RAM 128 gespeichert werden. Die Applikationsprogramme können zumindest einen Teil der Funktionalität, wie in Fig. 2 gezeigt, umfassen.
Ein Benutzer kann Kommandos und Information, wie oben beschrieben, in den PC 120 anhand von Eingabevorrichtungen, wie z.B. einer Tastatur bzw. eines Keyboards 148 und einer Computermaus 150 und oder einen berührungssensitiven Bildschirm (z.B. erster und/oder zweiter Bildschirm) eingeben. Andere Eingabevorrichtungen (nicht gezeigt) können ein Mikrofon und/andere Sensoren, einen Joystick, ein Spielpolster bzw. -kissen, einen Scanner, eine erste und/oder zweite Kamera oder ähnliches umfassen. Diese oder andere Eingabevorrichtungen können mit der Prozessoreinheit 122 anhand einer seriellen Schnittstelle 152 verbunden sein, welche mit dem System 126 gekoppelt ist, oder können anhand anderer Schnittstellen, wie z.B. einer parallelen Schnittstelle 154, eines Spieleports oder eines universellen seriellen Busses (USB) verbunden sein. Weiterhin kann Information mit einem Drucker 156 gedruckt werden. Der Drucker 156 und andere parallele Eingabe/Ausgabevorrichtungen können mit der Prozessoreinheit 122 durch die parallele Schnittstelle 154 verbunden sein. Ein Monitor 158 oder andere Arten von Anzeigevorrichtung(en), insbesondere eine ersten und/oder zweiten Bildschirm bzw. Projektor ist/sind mit dem Systembus 126 mittels einer Schnittstelle, wie z.B. eines VideoeingangAausgangs 160 verbunden. Zusätzlich zu dem Monitor kann die Rechnerumgebung 120 andere periphere Ausgabevorrichtungen (nicht gezeigt) wie z.B. Lautsprecher oder akustische Ausgänge umfassen.
Die Rechnerumgebung 120 kann mit anderen elektronischen Vorrichtungen z.B. einem Computer, einem Schnurtelefon, einem schnurlosen Telefon, einem persönlichen digitalen Assistenten (PDA), einem Fernseher oder ähnlichem kommunizieren. Um zu kommunizieren, kann die Rechnerumgebung 120 in einer vernetzten Umgebung arbeiten, wobei Verbindungen zu einem oder mehreren elektronischen Vorrichtungen verwendet werden. Fig. 4 stellt die mit einem "remote Computer" bzw. entfernten Computer 162 vernetzte Rechnerumgebung dar. Der entfernte Computer 162 kann eine andere Rechnerumgebung, wie z.B. ein Server, ein Router, ein Netzwerk-PC, eine gleichwertige bzw. "peer" Vorrichtung oder andere gewöhnliche Netzwerkknoten sein und kann viele oder alle der hinsichtlich der Rechnerumgebung 120 oben beschriebenen Elemente umfassen. Die logischen Verbindungen, wie sie in Fig. 4 dargestellt sind, insbesondere das mit Bezug auf Fig. 3 beschriebene Netzwerk 70, umfassen ein "local area network" (LAN) 164 und ein "wide are network" (WAN) 166. Solche Netzwerkumgebungen sind alltäglich in Büros, firmenweiten Computernetzwerken, Intranetzen und dem Internet.
Wenn eine Rechnerumgebung 120 in einer LAN-Netzwerkumgebung verwendet wird, kann die Rechnerumgebung 120 mit dem LAN 164 durch einen NetzwerkeingangAausgang 168 verbunden sein. Wenn die Rechnerumgebung 120 in einer WAN-Netzwerkumgebung verwendet wird, kann die Rechnerumgebung 120 ein Modem 170 oder andere Mittel zum Herstellen einer Kommunikation über das WAN 166 umfassen. Das Modem 170, welches intern und extern bezüglich der Rechnerumgebung 120 sein kann, ist mit dem Systembus 126 mittels der seriellen Schnittstelle 152 verbunden. In der Netzwerkumgebung können Programm-Module, welche relativ zu der Rechnerumgebung 120 dargestellt sind, oder Abschnitte davon in einer entfernten Speichereinrichtung gespeichert sein, welche an oder von einem entfernten Computer 162 zugreifbar bzw. systemeigen sind. Weiterhin können andere Daten, welche für das oben beschriebene Verfahren bzw. System relevant sind, auf oder von dem entfernten Computer 162 zugreifbar vorliegen.
Bezugszeichenliste
10 erster Raum
12 erster Bildschirm
14 erster Benutzer
16 Eingabegerät 18 Text; primäre Bilddaten
20 zweiter Bildschirm
22 zweiter Raum
24 zweiter Benutzer
30 primäre Bilddaten 32 Erstellen bzw. Editieren von primären Bilddaten durch ersten Benutzer
34 erster Bildschirm
36 Erstellen bzw. Editieren von primären Bilddaten durch zweiten Benutzer
38 zweiter Bildschirm
40 erste sekundäre Bilddaten 42 Kombinieren von Bilddaten
44 erste kombinierte Bilddaten
46 zweite sekundäre Bilddaten 48 Kombinieren von Bilddaten
50 zweite kombinierte Bilddaten
52 erster Raum
54 erster Bildschirm
56 erste Präsentationswand
58 erster Pojektor
60 erstes Kommunikationsmodul
62 erster Benutzer
64 erste Kamera
66 erster Polarisator
68 erster Analysator
70 Netzwerk
72 zweites Kommunikationsmodul
74 zweiter Raum
76 zweiter Bildschirm
78 zweite Präsentationswand
80 zweiter Benutzer
82 zweiter Projektor
84 zweiter Polarisator
86 zweite Kamera
88 zweiter Analysator
120 Rechnerumgebung
122 Prozessoreinheit
124 Systemspeicher
126 Systembus
128 random access memory (RAM)
130 Nur-Lesespeicher (ROM)
132 Festplattenlaufwerk
134 Disklaufwerk
136 entfernbare Disk
138 Festplattenlaufwerkschnittstelle
140 Disklaufwerkschnittstelle 142 externe Disk
144 Applikationsprogramm
146 Programmdaten
148 Tastatur 150 Computermaus
152 serielle Schnittstelle
154 parallele Schnittstelle
156 Drucker
158 Monitor 160 Videoeingang/ -ausgang
162 entfernter Computer
164 "local area network" (LAN)
166 "wide are network" (WAN)
168 Netzwerkeingang/ -ausgang

Claims

Anmelder: Universität Konstanz "Kooperationsfenster/wand" Unser Zeichen: K 3832WO - ds / hbPatentansprüche
1. Verfahren zur computergestützten Kommunikation, umfassend: Bereitstellen von primären Bilddaten (30) zur Ausgabe über einen ersten
(12; 34; 54) und einen zweiten Bildschirm (20; 38; 76);
Erfassen von ersten sekundären Bilddaten (40) mittels einer ersten Kamera (64), zumindest teilweise durch den ersten Bildschirm (12; 34; 54) hindurch und/oder am ersten Bildschirm (12; 34) gespiegelt;
Generieren von ersten kombinierten Bilddaten (44) durch Überlagern der ersten sekundären Bilddaten (40) mit den primären Bilddaten (30); und
Ausgeben der ersten kombinierten Bilddaten (44) über den zweiten Bildschirm (20; 38; 76).
2. Verfahren nach Anspruch 1 , außerdem umfassend:
Erfassen von zweiten sekundären Bilddaten mittels einer zweiten Kamera zumindest teilweise durch den zweiten Bildschirm hindurch und/oder am zweiten Bildschirm gespiegelt;
Generieren von zweiten kombinierten Bilddaten durch Überlagern der zweiten sekundären Bilddaten mit den primären Bilddaten; und
Ausgeben der zweiten kombinierten Bilddaten über den zweiten Bildschirm.
3. Verfahren nach Anspruch 1 oder 2, wobei das Generieren der ersten und/oder zweiten kombinierten Bilddaten umfasst:
Zuweisen zumindest eines Transparenzparameters zu den primären Bilddaten; und
Ermitteln von Bildpunkten der ersten bzw. zweiten kombinierten Bilddaten in Abhängigkeit sowohl von Bildpunkten der ersten bzw. zweiten sekundären
Bilddaten als auch von Bildpunkten der primären Bilddaten mit einer vom zumindest einen Transparenzparameter abhängigen relativen Gewichtung.
4. Verfahren nach einem der vorangegangenen Ansprüche, wobei das Ausgeben der ersten und/oder zweiten kombinierten Bilddaten über den zweiten bzw. ersten Bildschirm ein Projizieren der ersten bzw. zweiten kombinierten Bilddaten auf eine Rückseite eines ersten bzw. zweiten teillichtdurchlässigen Projektionsschirms umfasst.
5. Verfahren nach einem der vorangegangenen Ansprüche, wobei das Ausgeben der ersten und/oder zweiten kombinierten Bilddaten über den zweiten bzw. ersten Bildschirm mit einer ersten Polarisation des vom Bildschirm reflektierten bzw. gestreuten Lichts erfolgt und wobei das Erfassen der ersten und/oder zweiten sekundären Bilddaten mit einer zweiten, zur ersten komplementären Polarisation erfolgt.
6. Verfahren nach einem der vorangegangenen Ansprüche, wobei das Ausgeben der ersten und/oder zweiten kombinierten Bilddaten im zeitlichen Wechsel bzw. abwechselnd mit dem Erfassen der zweiten bzw. ersten sekundären Bilddaten erfolgt.
7. Verfahren nach einem der vorangegangenen Ansprüche, außerdem umfassend:
Erfassen einer Benutzereingabe durch Berührung des ersten und/oder zweiten Bildschirms; und
Modifizieren der primären Bilddaten in Abhängigkeit vom Erfassen einer Benutzereingabe.
8. Verfahren nach einem der vorangegangenen Ansprüche, außerdem umfassend
Erfassen von ersten und/oder zweiten sekundären Tondaten mittels eines ersten bzw. zweiten Mikrofons; und
Ausgeben der ersten und/oder zweiten sekundären Tondaten im Wesentlichen synchron bzw. simultan zu den ersten bzw. zweiten kombinierten Bilddaten.
9. Verfahren nach einem der vorangegangenen Ansprüche, außerdem umfassend ein automatisches bzw. automatisiertes Justieren der ersten und/oder zweiten sekundären Bilddaten relativ zu den primären Bilddaten.
10. Verfahren nach Anspruch 9, wobei das automatische bzw. automatisierte Justieren der ersten und/oder zweiten sekundären Bilddaten relativ zu den primären Bilddaten umfasst:
Ausgeben von optischen Justiermarken über den ersten bzw. zweiten Bildschirm; - Erfassen der optischen Justiermarken auf dem ersten bzw. zweiten Bildschirm mittels der ersten bzw. zweiten Kamera;
Ermitteln einer Verschiebungskorrektur und/oder einer Vergrößerungskorrektur und/oder einer Verzerrungskorrektur aus den erfassten optischen Justiermarken; und - Anpassen einer Position und/oder Größe und/oder Perspektive der ersten bzw. zweiten sekundären Bilddaten relativ zu den primären Bilddaten in Abhängigkeit von der ermittelten Verschiebungskorrektur bzw. Vergrößerungskorrektur bzw. Verzerrungskorrektur.
11. Kommunikationssystem umfassend: einen Datenspeicher zum Speichern von primären Bilddaten (30); einen ersten Bildschirm (12; 34; 54); und eine erste Kamera (64) zum Erfassen erster sekundärer Bilddaten (40) zumindest teilweise durch den ersten Bildschirm (12; 34; 54) hindurch und/oder am ersten Bildschirm (12; 34; 54) gespiegelt; wobei das System ausgelegt ist, erste kombinierte Bilddaten (44) durch Überlagern der ersten sekundären Bilddaten (40) mit den primären Bilddaten (30) zu generieren und die ersten kombinierten Bilddaten (44) zur Übertragung an einen zweiten Bildschirm bereitzustellen.
12. System nach Anspruch 11 , wobei der zumindest eine erste Bildschirm als berührungssensitiver Bildschirm ausgebildet ist.
13. System nach Anspruch 11 oder 12, wobei der erste Bildschirm ausgelegt ist, Licht einer ersten Polarisation auszugeben und wobei die erste Kamera einen Analysator derart umfasst, dass der Analysator Licht der ersten Polarisation im Wesentlichen blockiert.
14. System nach einem der Ansprüche 11 bis 13, wobei der erste Bildschirm einen teillichtdurchlässigen Projektionsschirm, insbesondere einen Rückprojektionsschirm umfasst.
15. System nach einem der Ansprüche 11 bis 13, wobei der erste Bildschirm als selbstleuchtender bzw. lichterzeugender Bildschirm, insbesondere LCD-, Plasma-,
LED-Schirm, insbesondere OLED-Schirm ausgebildet ist.
16. System nach einem der Ansprüche 11 bis 15, welches ausgelegt ist, das Erfassen von ersten sekundären Bilddaten mittels der ersten Kamera im zeitlichen Wechsel mit einem Ausgeben vom Bilddaten auf dem ersten Bildschirm auszuführen.
17. System nach einem der Ansprüche 11 bis 16, welches außerdem ein erstes Mikrofon zum Erfassen erster sekundärer Tondaten umfasst und welches ausgelegt ist, die ersten sekundären Tondaten zur synchronen bzw. simultanen Übertragung zusammen mit den ersten kombinierten Bilddaten an einen Lautsprecher bereitzustellen.
18. Computerprogrammprodukt, welches Programmcode umfasst, der, wenn er geladen wird auf einem Computer, zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 10 geeignet ist.
PCT/EP2009/007968 2008-11-12 2009-11-06 Kooperationsfenster/wand Ceased WO2010054779A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102008056917.8 2008-11-12
DE200810056917 DE102008056917A1 (de) 2008-11-12 2008-11-12 Kooperationsfenster/wand

Publications (1)

Publication Number Publication Date
WO2010054779A1 true WO2010054779A1 (de) 2010-05-20

Family

ID=41503668

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2009/007968 Ceased WO2010054779A1 (de) 2008-11-12 2009-11-06 Kooperationsfenster/wand

Country Status (2)

Country Link
DE (1) DE102008056917A1 (de)
WO (1) WO2010054779A1 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140104431A1 (en) * 2012-10-17 2014-04-17 Anders Eikenes System and Method for Utilizing a Surface for Remote Collaboration
EP3008887A4 (de) * 2013-06-15 2016-12-21 The Supergroup Creative Omnimedia Inc Verfahren und vorrichtung zur interaktiven zwei-weg-visualisierung mithilfe gleichzeitig aufgezeichneter und projizierter videostreams
US10110848B2 (en) 2015-06-05 2018-10-23 The SuperGroup Creative Omnimedia, Inc. Imaging and display system and method
US11979448B1 (en) * 2020-08-24 2024-05-07 Shared Space Studios Inc. Systems and methods for creating interactive shared playgrounds

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018201336A1 (de) * 2018-01-29 2019-08-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Virtual-Reality-Konferenzsystem

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001011880A1 (en) * 1999-08-10 2001-02-15 Peter Mcduffie White Communications system
EP1209901A1 (de) * 2000-11-22 2002-05-29 Deutsche Thomson-Brandt Gmbh Bildaufnahme- und Wiedergabegerät
WO2003026299A1 (en) * 2001-09-14 2003-03-27 Accenture Global Services Gmbh Lab window collaboration
EP1883238A2 (de) * 2006-07-25 2008-01-30 Northrop Grumman Corporation Netzwerkgesten-Kollaborationssystem
US20080106628A1 (en) * 2006-11-02 2008-05-08 Cok Ronald S Integrated display and capture apparatus

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4928301A (en) * 1988-12-30 1990-05-22 Bell Communications Research, Inc. Teleconferencing terminal with camera behind display screen
US5117285A (en) * 1991-01-15 1992-05-26 Bell Communications Research Eye contact apparatus for video conferencing
US20020180726A1 (en) * 2000-11-06 2002-12-05 Jianbo Shi Paper-based remote sketching system
US6677979B1 (en) * 2001-06-12 2004-01-13 Cisco Technology, Inc. Method and apparatus for dual image video teleconferencing
WO2003081911A1 (en) * 2002-03-22 2003-10-02 British Telecommunications Public Limited Company Interactive video system
JP2006162692A (ja) * 2004-12-02 2006-06-22 Hosei Univ 講義コンテンツ自動作成システム
WO2008043182A1 (en) * 2006-10-13 2008-04-17 Ets (Ecole De Technologie Superieure) System for supporting collaborative work

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001011880A1 (en) * 1999-08-10 2001-02-15 Peter Mcduffie White Communications system
EP1209901A1 (de) * 2000-11-22 2002-05-29 Deutsche Thomson-Brandt Gmbh Bildaufnahme- und Wiedergabegerät
WO2003026299A1 (en) * 2001-09-14 2003-03-27 Accenture Global Services Gmbh Lab window collaboration
EP1883238A2 (de) * 2006-07-25 2008-01-30 Northrop Grumman Corporation Netzwerkgesten-Kollaborationssystem
US20080106628A1 (en) * 2006-11-02 2008-05-08 Cok Ronald S Integrated display and capture apparatus

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ISHII H ET AL: "INTEGRATION OF INTERPERSONAL SPACE AND SHARED WORKSPACE: CLEARBOARD DESIGN AND EXPERIMENTS", ACM TRANSACTIONS ON INFORMATION SYSTEMS, ACM, NEW YORK, NY, US, vol. 11, no. 4, 1 October 1993 (1993-10-01), pages 349 - 375, XP000433150, ISSN: 1046-8188 *
S.A.R. SCRIVENER, S.M. CLARK, N. KEEN: "The LookingGlass Distributed Shared Workspace", COMPUTER SUPPORTED COOPERATIVE WORK (CSCW), vol. 2, no. 3, September 1994 (1994-09-01), Netherlands, pages 137 - 157, XP002564093, ISSN: 0925-9724, DOI: 10.1007/BF00749012 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140104431A1 (en) * 2012-10-17 2014-04-17 Anders Eikenes System and Method for Utilizing a Surface for Remote Collaboration
US9426416B2 (en) * 2012-10-17 2016-08-23 Cisco Technology, Inc. System and method for utilizing a surface for remote collaboration
EP3008887A4 (de) * 2013-06-15 2016-12-21 The Supergroup Creative Omnimedia Inc Verfahren und vorrichtung zur interaktiven zwei-weg-visualisierung mithilfe gleichzeitig aufgezeichneter und projizierter videostreams
US10110848B2 (en) 2015-06-05 2018-10-23 The SuperGroup Creative Omnimedia, Inc. Imaging and display system and method
US11979448B1 (en) * 2020-08-24 2024-05-07 Shared Space Studios Inc. Systems and methods for creating interactive shared playgrounds

Also Published As

Publication number Publication date
DE102008056917A1 (de) 2010-06-02

Similar Documents

Publication Publication Date Title
DE102015100911B4 (de) Verbesserte Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen mittels erweiterter und virtueller Realität
Tang et al. VideoWhiteboard: video shadows to support remote collaboration
DE69420117T2 (de) Konferenz mit elektronischer Animation
US5025314A (en) Apparatus allowing remote interactive use of a plurality of writing surfaces
DE202010004430U1 (de) Vorrichtung zur Verarbeitung von Informationen
DE102024127880A1 (de) Systeme und verfahren zur anmerkung in einer dreidimensionalen umgebung
KR100956455B1 (ko) 가상 스튜디오 강의 및 회의 장치
US20120081611A1 (en) Enhancing video presentation systems
CN117616748A (zh) 具有多种空间交互模式的视频会议系统
WO2010054779A1 (de) Kooperationsfenster/wand
EP3718086A1 (de) Avataranimation
CN117321985A (zh) 具有多种空间交互模式特征的视频会议系统
EP3012712A1 (de) Virtuelles zeichnen in realer umgebung
US12058479B2 (en) Full color spectrum blending and digital color filtering for transparent display screens
DE10237315A1 (de) Multimediales Plakat
Davies Surface, material bodies, and the Avant-Garde in philosophy of film
DE102018201336A1 (de) Virtual-Reality-Konferenzsystem
CN109167974A (zh) 一种板书录制系统
DE102018115302A1 (de) Präsentationssystem und Präsentationsverfahren
DE10125075B4 (de) Personal Immersion: PC-basiertes Echtzeitgraphiksystem für Virtual Reality Anwendungen
DE20300799U1 (de) Multimediales Plakat
Ginslov Rippling Outwardly: Archives With Augmented And Mixed Reality
DE202005017431U1 (de) Anzeigevorrichtung
Khatieb Investigating the virtual directing strategies of a virtual cinematographer in an automatic lecture video post-processing system
KR20230152882A (ko) 텔레프리젠테이션 화상 회의 시스템을 위한 서버

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09760722

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09760722

Country of ref document: EP

Kind code of ref document: A1