WO2024090802A1 - 렌더링 스타일이 변경된 이미지를 획득하기 위한 전자 장치 및 방법 - Google Patents

렌더링 스타일이 변경된 이미지를 획득하기 위한 전자 장치 및 방법 Download PDF

Info

Publication number
WO2024090802A1
WO2024090802A1 PCT/KR2023/014321 KR2023014321W WO2024090802A1 WO 2024090802 A1 WO2024090802 A1 WO 2024090802A1 KR 2023014321 W KR2023014321 W KR 2023014321W WO 2024090802 A1 WO2024090802 A1 WO 2024090802A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
software application
style
processor
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2023/014321
Other languages
English (en)
French (fr)
Inventor
이정직
염동현
김성오
우현택
이다솜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220160962A external-priority patent/KR20240058729A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to EP23882909.7A priority Critical patent/EP4592967A4/en
Publication of WO2024090802A1 publication Critical patent/WO2024090802A1/ko
Priority to US19/174,350 priority patent/US20250265739A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/10—Texturing; Colouring; Generation of textures or colours
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/02—Non-photorealistic rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/20—Editing of three-dimensional [3D] images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination

Definitions

  • the descriptions below relate to an electronic device and method for obtaining an image with a changed rendering style.
  • an electronic device can provide users with a more diverse experience by combining information about the real space and information about the virtual space.
  • Pass-through VR is a technology that creates images of real space through a camera and mixes and displays images of virtual space.
  • a wearable electronic device may include a camera.
  • the wearable electronic device may include a display.
  • the wearable electronic device may include a processor.
  • the processor may be configured to identify a first image containing a visual object via a software application.
  • the processor may be configured to identify a color effect to be applied to a portion of the background image corresponding to the visual object, based on a property of the visual object in the first image.
  • the processor may be configured to identify a rendering style applied to the first image.
  • the processor may be configured to obtain a third image as the background image by converting the second image representing the environment around the wearable electronic device, obtained through the camera, based on the color effect and the rendering style. You can.
  • the processor may be configured to display the first image together with the third image through the display.
  • the properties may include luminescence properties, texture properties, or temperature properties.
  • the rendering style may include a cartoon style, a retro style, an outline style, or a black and white style.
  • a method performed by a wearable electronic device may include identifying a first image including a visual object through a software application.
  • the method may include identifying a color effect to be applied to a portion of the background image corresponding to the visual object, based on a property of the visual object in the first image.
  • the method may include identifying a rendering style applied to the first image.
  • the method converts a second image representing the environment around the wearable electronic device, obtained through a camera of the wearable electronic device, based on the color effect and the rendering style, thereby converting the third image into the background image. It may include acquisition operations. It may include displaying the first image together with the third image through a display of the wearable electronic device.
  • the properties may include luminescence properties, texture properties, or temperature properties.
  • the rendering style may include a cartoon style, a retro style, an outline style, or a black and white style.
  • FIG. 1 is a block diagram of an electronic device in a network environment according to various embodiments.
  • FIG. 2A shows an example of a wearable electronic device according to an embodiment of the present disclosure.
  • FIG. 2B shows an example of hardware included in a wearable electronic device according to an embodiment of the present disclosure.
  • FIG. 2C illustrates an example of obtaining an image with a changed rendering style through a wearable electronic device according to an embodiment of the present disclosure.
  • FIG. 3A is a flowchart illustrating an example of a method for obtaining a composite image based on information about a rendering style according to an embodiment of the present disclosure.
  • FIG. 3B illustrates an example of obtaining information about a rendering style through a plurality of images according to an embodiment of the present disclosure.
  • FIG. 3C shows an example of obtaining a composite image based on information about the rendering style according to an embodiment of the present disclosure.
  • FIG. 4A is a flowchart illustrating an example of a method for obtaining information about a rendering style according to an embodiment of the present disclosure.
  • FIG. 4B illustrates an example of providing a preset for a rendering style to a user according to an embodiment of the present disclosure.
  • FIG. 5 is a flowchart illustrating an example of a method for obtaining a composite image based on information about a rendering style in a plurality of software applications according to an embodiment of the present disclosure.
  • FIGS. 6A, 6B, and 6C show examples of images with changed rendering styles according to an embodiment of the present disclosure.
  • Figure 7 shows another example of obtaining a composite image based on information about the rendering style according to an embodiment of the present disclosure.
  • FIG. 8 illustrates an example of obtaining a composite image in which some areas have been changed based on information about the rendering style according to an embodiment of the present disclosure.
  • FIGS. 9A, 9B, and 9C illustrate examples of obtaining a composite image based on information about a rendering style in a plurality of software applications according to an embodiment of the present disclosure.
  • FIG. 10 illustrates an example of applying a rendering style based on a visual object including the light-emitting attribute of a software application according to an embodiment of the present disclosure.
  • Terms referring to the configuration of the device used in the following description e.g. processor, camera, display, module, etc.
  • terms for the operation state e.g. step, operation
  • terms referring to signals e.g. signal, information, etc.
  • terms referring to data e.g. parameters, values, etc.
  • the expressions greater than or less than may be used to determine whether a specific condition is satisfied or fulfilled, but this is only a description for expressing an example, and the description of more or less may be used. It's not exclusion. Conditions written as ‘more than’ can be replaced with ‘more than’, conditions written as ‘less than’ can be replaced with ‘less than’, and conditions written as ‘more than and less than’ can be replaced with ‘greater than and less than’.
  • 'A' to 'B' means at least one of the elements from A to (including A) and B (including B).
  • FIG. 1 is a block diagram of an electronic device in a network environment according to various embodiments.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100, according to various embodiments.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (e.g., a short-range wireless communication network) or a second network 199. It is possible to communicate with at least one of the electronic device 104 or the server 108 through (e.g., a long-distance wireless communication network). According to one embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • a first network 198 e.g., a short-range wireless communication network
  • a second network 199 e.g., a second network 199.
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or may include an antenna module 197.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added to the electronic device 101.
  • some of these components e.g., sensor module 176, camera module 180, or antenna module 197) are integrated into one component (e.g., display module 160). It can be.
  • the processor 120 for example, executes software (e.g., program 140) to operate at least one other component (e.g., hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and various data processing or calculations can be performed. According to one embodiment, as at least part of data processing or computation, the processor 120 stores commands or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132. The commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • software e.g., program 140
  • the processor 120 stores commands or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132.
  • the commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • the processor 120 includes a main processor 121 (e.g., a central processing unit or an application processor) or an auxiliary processor 123 that can operate independently or together (e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • a main processor 121 e.g., a central processing unit or an application processor
  • auxiliary processor 123 e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • the electronic device 101 includes a main processor 121 and a secondary processor 123
  • the secondary processor 123 may be set to use lower power than the main processor 121 or be specialized for a designated function. You can.
  • the auxiliary processor 123 may be implemented separately from the main processor 121 or as part of it.
  • the auxiliary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (e.g., sleep) state, or while the main processor 121 is in an active (e.g., application execution) state. ), together with the main processor 121, at least one of the components of the electronic device 101 (e.g., the display module 160, the sensor module 176, or the communication module 190) At least some of the functions or states related to can be controlled.
  • co-processor 123 e.g., image signal processor or communication processor
  • may be implemented as part of another functionally related component e.g., camera module 180 or communication module 190. there is.
  • the auxiliary processor 123 may include a hardware structure specialized for processing artificial intelligence models.
  • Artificial intelligence models can be created through machine learning. For example, such learning may be performed in the electronic device 101 itself on which the artificial intelligence model is performed, or may be performed through a separate server (e.g., server 108).
  • Learning algorithms may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but It is not limited.
  • An artificial intelligence model may include multiple artificial neural network layers.
  • Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the examples described above.
  • artificial intelligence models may additionally or alternatively include software structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101. Data may include, for example, input data or output data for software (e.g., program 140) and instructions related thereto.
  • Memory 130 may include volatile memory 132 or non-volatile memory 134.
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142, middleware 144, or application 146.
  • the input module 150 may receive commands or data to be used in a component of the electronic device 101 (e.g., the processor 120) from outside the electronic device 101 (e.g., a user).
  • the input module 150 may include, for example, a microphone, mouse, keyboard, keys (eg, buttons), or digital pen (eg, stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101.
  • the sound output module 155 may include, for example, a speaker or a receiver. Speakers can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 can visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector, and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 170 can convert sound into an electrical signal or, conversely, convert an electrical signal into sound. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device (e.g., directly or wirelessly connected to the electronic device 101). Sound may be output through the electronic device 102 (e.g., speaker or headphone).
  • the electronic device 102 e.g., speaker or headphone
  • the sensor module 176 detects the operating state (e.g., power or temperature) of the electronic device 101 or the external environmental state (e.g., user state) and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 includes, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that can be used to connect the electronic device 101 directly or wirelessly with an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 can convert electrical signals into mechanical stimulation (e.g., vibration or movement) or electrical stimulation that the user can perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 can capture still images and moving images.
  • the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 can manage power supplied to the electronic device 101.
  • the power management module 188 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • Communication module 190 is configured to provide a direct (e.g., wired) communication channel or wireless communication channel between electronic device 101 and an external electronic device (e.g., electronic device 102, electronic device 104, or server 108). It can support establishment and communication through established communication channels. Communication module 190 operates independently of processor 120 (e.g., an application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • processor 120 e.g., an application processor
  • the communication module 190 is a wireless communication module 192 (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (e.g., : LAN (local area network) communication module, or power line communication module) may be included.
  • a wireless communication module 192 e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 e.g., : LAN (local area network) communication module, or power line communication module
  • the corresponding communication module is a first network 198 (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (e.g., legacy It may communicate with an external electronic device 104 through a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network
  • the wireless communication module 192 uses subscriber information (e.g., International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 to communicate within a communication network such as the first network 198 or the second network 199.
  • subscriber information e.g., International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support 5G networks after 4G networks and next-generation communication technologies, for example, NR access technology (new radio access technology).
  • NR access technology provides high-speed transmission of high-capacity data (enhanced mobile broadband (eMBB)), minimization of terminal power and access to multiple terminals (massive machine type communications (mMTC)), or ultra-reliable and low-latency (URLLC). -latency communications)) can be supported.
  • the wireless communication module 192 may support high frequency bands (eg, mmWave bands), for example, to achieve high data rates.
  • the wireless communication module 192 uses various technologies to secure performance in high frequency bands, for example, beamforming, massive array multiple-input and multiple-output (MIMO), and full-dimensional multiplexing.
  • MIMO massive array multiple-input and multiple-output
  • the wireless communication module 192 may support various requirements specified in the electronic device 101, an external electronic device (e.g., electronic device 104), or a network system (e.g., second network 199). According to one embodiment, the wireless communication module 192 supports Peak data rate (e.g., 20 Gbps or more) for realizing eMBB, loss coverage (e.g., 164 dB or less) for realizing mmTC, or U-plane latency (e.g., 164 dB or less) for realizing URLLC.
  • Peak data rate e.g., 20 Gbps or more
  • loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 164 dB or less
  • the antenna module 197 may transmit or receive signals or power to or from the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator made of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is, for example, connected to the plurality of antennas by the communication module 190. can be selected. Signals or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna.
  • other components eg, radio frequency integrated circuit (RFIC) may be additionally formed as part of the antenna module 197.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • a mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the printed circuit board and capable of transmitting or receiving signals in the designated high frequency band. can do.
  • a mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the
  • peripheral devices e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the external electronic devices 102 or 104 may be of the same or different type as the electronic device 101.
  • all or part of the operations performed in the electronic device 101 may be executed in one or more of the external electronic devices 102, 104, or 108.
  • the electronic device 101 may perform the function or service instead of executing the function or service on its own.
  • one or more external electronic devices may be requested to perform at least part of the function or service.
  • One or more external electronic devices that have received the request may execute at least part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device 101.
  • the electronic device 101 may process the result as is or additionally and provide it as at least part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology can be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of Things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or server 108 may be included in the second network 199.
  • the electronic device 101 may be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • VR virtual reality
  • AR augmented reality
  • Electronic devices for VR or AR can provide virtualized or augmented information based on real-world objects.
  • the electronic device may include a wearable electronic device for providing a VR or AR environment to the user.
  • a wearable electronic device may be a pass-through VR device that can display both a virtual environment and a real environment through a camera.
  • pass-through VR can refer to a technology that generates images of real space through a camera and displays them by mixing them with images of a virtual environment.
  • VST video see-through
  • OST optical see-through
  • FIG. 2A shows an example of a wearable electronic device according to an embodiment of the present disclosure.
  • FIG. 2B shows an example of hardware included in a wearable electronic device according to an embodiment of the present disclosure.
  • the electronic device 101 (e.g., the electronic device 101 of FIG. 1) according to an embodiment includes some or all of the components of the electronic device 101 of FIG. 1. It can be included.
  • the electronic device 101 includes a housing 210, at least one display 220, at least one optical device 230, and at least one camera 240 (e.g., the camera module of FIG. 1 ( 180)), at least one microphone 250, speaker 260, antenna module 270 (e.g., antenna module 197 of FIG. 1), battery 280 (e.g., battery 189 of FIG. 1), and/or a printed circuit board 290.
  • the electronic device 101 may be referred to as a wearable device worn on part of the user's body.
  • the electronic device 101 may be configured to provide augmented reality (AR), virtual reality (VR), or mixed reality (MR) that combines augmented reality and virtual reality to the user.
  • AR augmented reality
  • VR virtual reality
  • MR mixed reality
  • the electronic device 101 uses augmented reality through a display 220 that displays a real image provided by light received from outside the electronic device 101 and a virtual object superimposed on the real image. It can be configured to provide.
  • a real image can be implemented by light received from outside the electronic device 101 without additional data processing by the electronic device 101.
  • the virtual object may include at least one of text and images corresponding to various information related to the object in the real image.
  • the virtual object is not limited thereto, and may include at least one of text and images corresponding to various information related to other objects that are not included in the real image.
  • the housing 210 may define at least a portion of the outer surface of the electronic device 101. At least a portion of the housing 210 may be in contact with a part of the user's body when the electronic device 101 is worn by the user. According to one embodiment, the housing 210 may support components included in the electronic device 101. For example, some of the components included in the electronic device 101 may be disposed inside the housing 210. For example, other parts of the electronic device 101 may be exposed to the outside of the housing 210 . According to one embodiment, the housing 210 includes at least one rim 211, a bridge 212, at least one nose pad 213, at least one temple 214, and/or a hinge structure 215. may include.
  • At least one rim 211 may support the display 220.
  • at least one rim 211 may be worn at a position corresponding to the user's eyes.
  • at least one rim 211 may include a first rim 211a and a second rim 211b.
  • the first rim 211a and the second rim 211b may be spaced apart from each other.
  • the first limb 211a is positioned to correspond to the user's left eye
  • the second limb 211b is positioned to correspond to the user's right eye. You can.
  • Bridge 212 may be coupled to at least one rim 211. According to one embodiment, the bridge 212 may connect the first rim 211a and the second rim 212b. For example, the bridge 212 may extend between the edge of the first rim 211a and the edge of the second rim 211b. When the electronic device 101 is worn by a user, the bridge 212 may be positioned between the user's left and right eyes.
  • At least one nose pad 213 may maintain the position of the electronic device 101 when the electronic device 101 is worn by a user.
  • at least one nose pad 213 may be in contact with the user's nose.
  • at least one nose pad 213 may include a first nose pad 213a and a second nose pad 213b spaced apart from the first nose pad 213a.
  • the first nose pad 213a may be disposed on the edge of the first rim 211a facing the user.
  • the second nose pad 213b may be disposed on the edge of the second rim 211b facing the user.
  • At least one temple 214 may maintain the position of the electronic device 101 when the electronic device 101 is worn by a user. For example, when the electronic device 101 is worn by a user, at least one temple 214 may be in contact with the user's ear. According to one embodiment, at least one temple 214 may be coupled to at least one rim 211. For example, the at least one temple 214 may include a first temple 214a coupled to the first rim 211a, and a second temple 214b coupled to the second rim 211b. . According to one embodiment, at least one temple 214 may provide a space where components of the electronic device 101 are arranged.
  • the hinge structure 215 may connect at least one rim 211 and at least one temple 214.
  • the hinge structure 215 may couple at least one temple 214 and at least one rim 211 such that the at least one temple 214 can rotate with respect to the at least one rim 211 .
  • the first temple 214a may be rotatably coupled to the first rim 211a through the hinge structure 215.
  • the second temple 214b may be rotatably coupled to the second rim 211b through the hinge structure 215.
  • At least one display 220 may be configured to display visual information to the user.
  • At least one display 220 may include a substantially transparent or translucent lens.
  • at least one display 220 may be referred to as a see-through display, but is not limited thereto.
  • at least one display 220 may be surrounded by at least one rim 211.
  • at least one display 220 may include a first display 221 and a second display 222.
  • the second display 220 may be spaced apart from the first display 221 .
  • the first display 221 may be coupled to the first rim 211a, and the second display 222 may be coupled to the second rim 211b.
  • At least one display 220 may include a first surface 220a and a second surface 220b opposite to the first surface 220a. At least one display 220 may include a display area disposed on the second surface 220b. For example, light incident from the outside of the electronic device 101 through the first surface 220a may pass through the first surface 220a and the second surface 220b. Light passing through the second surface 220b may be transmitted to the user.
  • At least one display 220 may include a wave guide 223.
  • the wave guide 223 may transmit light transmitted from at least one optical device 230 to the user based on changing the direction of travel of the light transmitted from the at least one optical device 230.
  • Light emitted from at least one optical device 230 may be transmitted to the user by passing through the second side 220b of at least one display 220 by the wave guide 223.
  • the wave guide 223 may transmit light emitted from at least one optical device 230 to the user by diffracting the light within the wave guide 223.
  • the wave guide 223 diffracts light emitted from the at least one optical device 230
  • the wave guide 223 is a diffractive element (e.g., a diffractive optical element (DOE)) disposed within the wave guide 223.
  • the wave guide 223 may include a holographic optical element (HOE) by reflecting the light emitted from the at least one optical device 230 within the wave guide 223 to transmit it to the user.
  • the wave guide 223 may include a plurality of mirrors disposed within the wave guide 223.
  • At least one optical device 230 may emit light to display a virtual object on at least one display 220.
  • at least one optical device 230 may include a projector.
  • the electronic device 101 may transmit data for displaying a virtual object to at least one optical device 230.
  • At least one optical device 230 may emit light toward the wave guide 223 based on receiving data for displaying a virtual object.
  • the wave guide 223 may transmit light received from the at least one optical device 230 to the display area on the second side 220b of the display 220.
  • Light emitted by at least one optical device 230 may pass through the second surface 220b and be transmitted to the user along with light embodying a real image transmitted from the outside of the electronic device 101.
  • At least one optical device 230 may be disposed on at least one display 220.
  • at least one optical device 230 may be surrounded by at least one rim 211, but is not limited thereto.
  • at least one optical device 230 may be included in at least one display 220 .
  • At least one camera 240 may be configured to acquire an image based on receiving light from an object external to the electronic device 101 .
  • the at least one camera 240 may include an eye tracking camera 241, a motion recognition camera 242, and/or a photographing camera 243.
  • the gaze tracking camera 241 may output data representing the gaze of the user wearing the electronic device 101.
  • the electronic device 101 may detect the gaze from an image including the user's pupils obtained through the gaze tracking camera 241.
  • the eye tracking camera 241 may include a plurality of eye tracking cameras corresponding to the user's left eye and the user's right eye, respectively.
  • the electronic device 101 tracks the user's gaze and at least one display 220 through a gaze tracking camera 241 for tracking the gaze of a user wearing the electronic device 101. ) can match the visual information provided.
  • Eye tracking camera 241 may be configured to capture an image of the user's pupils to determine the user's gaze.
  • eye tracking camera 241 may be configured to capture an image of the user's pupils to determine the user's gaze.
  • the gaze tracking camera 241 may receive gaze detection light reflected from the user's pupil and track the user's gaze based on the position and movement of the received gaze detection light.
  • the eye tracking camera 241 may be disposed within the housing 210.
  • the eye tracking camera 241 may be placed in the housing 210 to be directed to the user's left and/or right eye.
  • the eye tracking camera 241 may be disposed on at least one rim 211, but is not limited thereto.
  • the eye tracking camera 241 may be placed on the bridge 212.
  • the motion recognition camera 242 can provide a specific event to the screen provided on at least one display 220 by recognizing the movement of at least a part of the user's body (e.g., the user's torso, hands, or face). there is.
  • the gesture recognition camera 242 acquires a signal corresponding to the user's gesture for the electronic device 101 to recognize the user's gesture, and displays a display corresponding to the signal on at least one display 220.
  • the electronic device 101 may identify a signal corresponding to the operation and perform a designated function based on the identification. For example, the electronic device 101 can be turned on/off based on identifying a signal corresponding to the operation.
  • the electronic device 101 may display a virtual object on at least one display 220 through at least one optical device 230 based on identifying a signal corresponding to the operation.
  • the motion recognition camera 242 may be disposed within the housing 210.
  • the motion recognition camera 242 may be disposed inside at least one rim 211, but is not limited thereto.
  • the motion recognition camera 242 may be placed inside the bridge 212.
  • the shooting camera 243 can capture a real image or background to be matched with a virtual image to implement augmented reality or mixed reality content.
  • the capturing camera 243 captures an image of a specific object that exists at a location where the user is looking, and the electronic device 101 provides the image obtained from the capturing camera 243 to at least one display 220. You can.
  • At least one display 220 displays information about a real image or background including an image of the specific object acquired using a shooting camera 243 and a virtual image provided through at least one optical device 230. A single overlapping image can be displayed.
  • the photographing camera 243 may be disposed inside at least one rim 211.
  • the photographing camera 243 may include a plurality of photographing cameras spaced apart from each other.
  • At least one microphone 250 may be configured to acquire audio from outside the electronic device 101.
  • at least one microphone 250 may be placed inside the housing 210.
  • the at least one microphone 250 may include a first microphone 251, a second microphone 252, and/or a third microphone 253.
  • the first microphone 251 may be placed inside the first rim 211a.
  • the second microphone 252 may be placed inside the second rim 211b.
  • the third microphone 253 may be placed between the first microphone 251 and the second microphone 252.
  • the third microphone 253 may be placed within the bridge 212 of the housing 210.
  • the present invention is not limited thereto, and the number and arrangement of at least one microphone 250 may be changed differently from FIG. 2B.
  • At least one microphone 250 may be placed inside at least one temple 214.
  • the electronic device 101 includes a plurality of microphones disposed on different parts of the housing 200. Using the fields 251, 252, and 253, the direction of the sound signal can be identified.
  • the speaker 260 may be configured to output audio to the outside of the electronic device 101.
  • the speaker 260 may be positioned adjacent to the user's ear while the electronic device 101 is worn by the user.
  • the speaker 260 may be placed inside at least one temple 214 that is in contact with the user's ear.
  • the speaker 260 may be placed inside the first temple 214a so as to be adjacent to the user's left ear.
  • the speaker 260 may be placed inside the second temple 214b so as to be adjacent to the user's right ear.
  • the antenna module 270 may transmit a signal or power to the outside of the electronic device 101 or receive a signal or power from the outside of the electronic device 101 .
  • Antenna module 270 may be electrically and/or operationally connected to a communication circuit.
  • the antenna module 270 may be disposed within at least one temple 214.
  • the antenna module 270 may be placed inside the first temple 214a.
  • the antenna module 270 may be placed inside the second temple 214b.
  • at least a portion of the antenna module 270 may be exposed to the outside of at least one temple 214, but is not limited thereto.
  • the battery 280 may supply power to electronic components of the electronic device 101.
  • the battery 280 may be disposed within at least one temple 214.
  • the battery 280 may be placed inside the first temple 214a.
  • the battery 280 may be placed inside the second temple 214b.
  • the battery 280 may be disposed on the other end of the at least one temple 214, which is opposite to one end of the at least one temple 214 connected to the at least one rim 211.
  • the battery 280 may be disposed inside the other end of the first temple 214a, which is opposite to one end of the first temple 214a connected to the first rim 211a.
  • the battery 280 may be disposed inside the other end of the second temple 214b, which is opposite to one end of the second temple 214b connected to the second rim 211b.
  • the printed circuit board 290 may form electrical connections between electronic components within the electronic device 101 .
  • the printed circuit board 290 may form electrical connections between electronic components disposed on the printed circuit board 290.
  • the printed circuit board 290 includes electronic components disposed on the outside of the printed circuit board 290 and electronic components disposed on the printed circuit board 290 (e.g., processor 120 of FIG. 1 ). ) can form an electrical connection between
  • the printed circuit board 290 may be disposed inside at least one temple 214.
  • the printed circuit board 290 may include a plurality of printed circuit boards disposed inside the first temple 214a and the second temple 214b, respectively.
  • the printed circuit board 290 may include a flexible printed circuit board (FPCB) for connecting a plurality of printed circuit boards.
  • FPCB flexible printed circuit board
  • FIG. 2C illustrates an example of obtaining an image with a changed rendering style through a wearable electronic device according to an embodiment of the present disclosure.
  • the rendering style may indicate a style applied when rendering a two-dimensional or three-dimensional scene as an image.
  • the wearable electronic device may be the electronic device 101 of FIGS. 1, 2A, and 2B for providing a VR or AR environment to the user.
  • a wearable electronic device for providing a VR environment will be described as an example.
  • the present disclosure is not limited thereto.
  • VR image an image acquired through a software application that provides a VR environment
  • VR image an image of the surrounding environment of the wearable electronic device acquired through a camera of the wearable electronic device
  • Examples of synthesizing images of a real environment are shown.
  • the environment may also be referred to as space.
  • the first example 200-1 shows an example in which an image 205-1 of a real environment with a changed rendering style is synthesized with a VR image 203.
  • the image 205-1 of the real environment may represent a virtual image to which a rendering style that is the same or similar to that of the VR image 203 (eg, cartoon style) is applied.
  • the second example 200-2 shows an example in which an image 205-2 of a real environment in which the rendering style has not been changed is synthesized with a VR image 203.
  • the image 205-2 of the real environment may represent an actual image of the surrounding environment as seen by the user of the wearable electronic device.
  • the wearable electronic device may provide an image 205-2 of the real environment along with the VR image 203 to a user using a software application that provides a VR environment.
  • the user can be provided with an image that is a composite of the cartoon-style VR image 203 and the image 205-2 of the real environment. Due to images of different styles included in the composite image, the user can feel the heterogeneity of the composite image displayed through the display of the wearable electronic device. That is, the second example 200-2 combines the image 205-2 of the real environment and the VR image 203 as is, or only applies simple filtering to the image 205-2 of the real environment. Since information is not exchanged between the environment and the VR environment, heterogeneous composite images may be derived. Accordingly, the user may feel less immersed when experiencing the VR environment.
  • embodiments of the present disclosure identify the rendering style of the VR image 203 and the rendering style identified in the image 205-1 for the real environment viewed by the user.
  • embodiments of the present disclosure can provide a more natural and immersive VR experience by combining images with changed rendering styles and VR images and providing them to the user.
  • FIG. 3A is a flowchart illustrating an example of a method for obtaining a composite image based on information about a rendering style according to an embodiment of the present disclosure.
  • the rendering style may indicate a style applied when rendering a two-dimensional or three-dimensional scene as an image.
  • the composite image may represent an image that is a composite of an image acquired through a software application that provides a VR environment and an image of the environment around the wearable electronic device.
  • the wearable electronic device may be the electronic device 101 of FIGS. 1, 2A, and 2B for providing a VR or AR environment to the user.
  • a wearable electronic device for providing a VR environment will be described as an example.
  • the present disclosure is not limited thereto.
  • the flowchart of FIG. 3A may be performed by the electronic device 101 of FIGS. 1, 2A, and 2B.
  • the flowchart of FIG. 3A may be performed by the processor 120 of the electronic device 101 of FIGS. 1, 2A, and 2B.
  • processor 120 may identify whether the number of software applications is 1.
  • the software application may represent a software application related to a VR or AR environment.
  • the software application may be a software application that can be used in a VR environment or an AR environment.
  • the processor 120 may identify the number of software applications that can be displayed through the display of the electronic device 101 (eg, the display module 150 of FIG. 1). For example, when one software application is displayed through the entire display area of the electronic device 101, the processor 120 may identify the number of software applications as one.
  • a software application may also be referred to as an immersive software application that utilizes the entire area of the display.
  • the processor 120 may identify the number of software applications as three.
  • the three software applications may also be referred to as widget-type software applications that utilize some areas of the display.
  • operation 301 if the processor 120 identifies the number of software applications as 1, operation 303 may be performed.
  • operation 301 if the processor 120 identifies the number of software applications as 2 or more (i.e., multiple), operation 305 may be performed.
  • processor 120 may obtain information about the rendering style of one software application.
  • information about the rendering style may indicate the rendering style applied to the software application.
  • the rendering style applied to a software application may also be referred to as a rendering style defined by the software application.
  • information about the rendering style may be identified based on file information or code information of a software application. Specific details related to this are described in FIG. 4A below.
  • the rendering style may include various types of styles.
  • the rendering style may be a cartoon style, a physical based rendering (PBR) style, a black/white style, an outline style, a voxel style, a comic style, or May include retro styles.
  • PBR physical based rendering
  • the processor 120 may obtain information about the rendering style of each of the plurality of software applications.
  • information about the rendering style may indicate the rendering style applied to the software application.
  • the processor 120 may obtain information about a plurality of rendering styles corresponding to a plurality of software applications.
  • information about each rendering style may be identified based on file information or code information of a software application. Specific details related to this are described in FIG. 4A below.
  • the processor 120 may obtain boundary information for each of a plurality of software applications.
  • boundary information may indicate information about the area of each software application displayed through the display of the electronic device 101.
  • the processor 120 may map information about the rendering style applied to each of the divided areas based on the boundary information.
  • the processor 120 may store information about the rendering style applied to each of the divided areas in a memory (eg, memory 130 in FIG. 1).
  • processor 120 may identify the first image via a software application.
  • the first image may refer to a VR or AR image that the electronic device 101 provides to the user through the software application.
  • the first image may include the VR image 203 of FIG. 2C.
  • the first image is an image of a VR or AR environment provided through the software application and may include at least one visual object.
  • at least one visual object may include a light-emitting attribute, as shown in FIG. 10 below.
  • the processor 120 may identify a plurality of first images through one software application. For example, the processor 120 may identify a plurality of n first images at m second intervals. For example, the processor 120 may acquire a plurality of first images displayed through a software application. Additionally, the processor 120 may identify a plurality of first images for each of a plurality of software applications. For example, the processor 120 may identify a first set of first images through a first software application included in the plurality of software applications. Additionally, the processor 120 may identify the second set of first images through a second software application included in the plurality of software applications.
  • the set for each plurality of first images may represent a set in which the same first image is identified at different times.
  • the processor 120 may identify at least one first image for a software application. Additionally, the processor 120 may store at least one identified first image in a memory (eg, memory 130 of FIG. 1).
  • processor 120 may identify a color effect to be applied to the background image based on properties of visual objects in the first image. For example, processor 120 may identify a color effect to be applied to a portion of the background image corresponding to the visual object.
  • the properties may include luminescence properties, temperature properties, texture properties, etc. expressed from the visual object. For example, if some of the visual objects in the first image are virtual light sources, some of the visual objects may be understood to have luminescent properties.
  • the background image may be composited with the first image and may represent an image that serves as a background of the first image.
  • the background image may represent an image of the surrounding environment of the wearable electronic device (e.g., an image of the actual environment or a second image) or a third image including the same visual object as the second image and to which a rendering style is applied.
  • the background image to which the color effect will be applied may be a second image
  • the background image to which the color effect will be applied may be a third image.
  • the color effect may include the number of colors, histogram, presence or absence of outline, size of pixel with the same color, shadow color, contrast, sharpening, blurring or masking, etc.
  • the color effect may be set considering the location of a virtual light source with luminous properties included in the first image, the brightness of the virtual light source, the color temperature of the virtual light source, or the brightness of ambient light. there is. Details of the color effect are described below in FIGS. 6A to 6C.
  • processor 120 may identify a rendering style based on the first image. For example, the processor 120 may identify the rendering style of the software application based on the visual object included in the first image. According to one embodiment, when the processor 120 identifies a plurality of first images, the processor 120 may identify a rendering style of a software application based on the plurality of first images. there is. For example, the processor 120 uses the manifest file, executable file information, code information, deep learning, histogram, or image information of the software application to create the first You can identify the rendering style applied to an image. According to the above description, the processor 120 may identify at least one first image for a software application and, based on the identified at least one first image, identify a rendering style for the software application. If information about the rendering style is identified through information about the software application through operations 301 to 305, operation 311 may be omitted. Specific details related to this are described in FIG. 4A below.
  • processor 120 may obtain a third image by converting the second image.
  • the second image may represent an image of the surrounding environment of the electronic device 101. That is, the second image may represent an image of the real environment that can be identified through the camera of the electronic device 101 (eg, the camera module 180 of FIG. 1).
  • the camera may include a pass-through camera.
  • the processor 120 may acquire a second image, which is an image of the real environment, through the camera.
  • the processor 120 may obtain a second image of the actual environment in the direction the user faces with respect to the surrounding environment.
  • the processor 120 may obtain information about the surrounding environment in order to obtain the second image.
  • the information about the surrounding environment may include the color temperature of an environmental light source, the brightness of an environmental light source, or fog information.
  • the environmental light source exists in a real environment and may represent a light source related to the second image. Accordingly, the processor 120 may obtain the second image based on information about the surrounding environment.
  • the processor 120 may convert the second image into a third image based on the color effect and the rendering style.
  • the processor 120 may convert the second image of the real environment into a third image based on the color effect of the VR environment provided through the software application and the rendering style of the software application.
  • the processor 120 identifies an area of each of the plurality of software applications based on the boundary information, and sets the rendering style for the identified area to the second
  • the third image to which the image is applied can be identified.
  • the third image can be used as a background image for the first image.
  • the third image may be changed to the same or similar style as the first image.
  • processor 120 may display a first image and a third image.
  • the processor 120 may synthesize the first image and the third image and display them through the display of the electronic device 101.
  • the processor 120 may display the third image along with the first image through the display of the electronic device 101.
  • embodiments of the present disclosure acquire an image (e.g., a third image) to which a rendering style is applied to an image of a real environment (e.g., a second image), and use the acquired third image and a software application.
  • An image that is a composite of images of the VR environment (e.g., the first image) acquired through the VR environment may be provided to the user.
  • the rendering style may be identified from information about a software application or from the first image.
  • Embodiments of the present disclosure may display the display by combining the first image with a third image to which a rendering style related to the first image is applied, rather than directly combining the second image and the first image. Accordingly, the electronic device 101 can provide the user with a highly immersive VR environment through more naturally rendered images.
  • FIG. 3B illustrates an example of obtaining information about a rendering style through a plurality of images according to an embodiment of the present disclosure.
  • FIG. 3C shows an example of obtaining a composite image based on information about the rendering style according to an embodiment of the present disclosure.
  • the rendering style may indicate a style applied when rendering a two-dimensional or three-dimensional scene as an image.
  • the composite image may represent an image that is a composite of an image acquired through a software application that provides a VR environment and an image of the environment around the wearable electronic device.
  • the wearable electronic device may be the electronic device 101 of FIGS. 1, 2A, and 2B for providing a VR or AR environment to the user.
  • a wearable electronic device for providing a VR environment will be described as an example.
  • the present disclosure is not limited thereto.
  • the processor 120 may acquire the first image through a software application.
  • a plurality of first images 340-1, 340-2, 340-3, and 340-n of one software application are shown.
  • the present disclosure is not limited thereto.
  • the processor 120 may acquire one first image through a software application.
  • the processor 120 may acquire a plurality of first images through a software application.
  • the processor 120 may acquire at least one first image for each of the plurality of software applications.
  • the processor 120 may acquire at least one first image displayed through a software application.
  • each of the plurality of first images 340-1, 340-2, 340-3, and 340-n may include the same visual object.
  • each of the plurality of first images 340-1, 340-2, 340-3, and 340-n may include a visual object that is a cartoon character.
  • the plurality of first images 340-1, 340-2, 340-3, and 340-n may represent images including the same visual object over time.
  • the processor 120 renders a software application based on the plurality of first images 340-1, 340-2, 340-3, and 340-n of the first example 330.
  • Styles can be identified.
  • the processor 120 may identify the rendering style of a software application through deep learning based on an artificial neural network.
  • the processor 120 determines that the rendering style of the software application is cartoon style. can be identified.
  • the processor 120 may acquire a second image 355 of the real environment through the camera of the electronic device 101.
  • the processor 120 may acquire a second image 355 of the actual environment in the direction the user faces with respect to the surrounding environment.
  • the processor 120 may obtain information about the surrounding environment in order to obtain the second image 355.
  • the information about the surrounding environment may include the color temperature of an environmental light source, the brightness of an environmental light source, or fog information.
  • the environmental light source exists in a real environment and may represent a light source related to the second image 355. Accordingly, the processor 120 may obtain the second image 355 based on information about the surrounding environment.
  • the processor 120 may convert the second image 355 into a third image 365 based on color effects and rendering styles.
  • the processor 120 can obtain the third image 365, which is a corrected virtual image, by applying a rendering style to the second image 355 of the real space.
  • the processor 120 converts the second image 355 of the real environment into a third image 365 based on the color effect of the VR environment provided through the software application and the rendering style of the software application. It can be converted.
  • the color effect may be identified based on the plurality of first images 340-1, 340-2, 340-3, and 340-n of FIG. 3B.
  • the color effect may include the number of colors, histogram, presence or absence of outline, size of pixel with the same color, shadow color, contrast, sharpening, blurring or masking, etc.
  • the color effect may be set considering the location of a virtual light source with luminous properties included in the first image, the brightness of the virtual light source, the color temperature of the virtual light source, or the brightness of ambient light. there is.
  • the rendering style is identified based on information about the software application, identified based on a plurality of first images 340-1, 340-2, 340-3, and 340-n, or identified according to user input. It can be. Specific details related to this are described in FIG. 4A below.
  • the rendering style may include various types of styles.
  • the rendering style may be a cartoon style, a physical based rendering (PBR) style, a black/white style, an outline style, a voxel style, a comic style, or May include retro styles.
  • PBR physical based rendering
  • the third example 360 of FIG. 3C shows a case where the rendering style is cartoon style.
  • the processor 120 may obtain the third image 365 by applying a cartoon-style rendering style and color effects to the second image 355.
  • the third image 365 may represent an image in which the second image 355 has been changed to a cartoon style and a shader has been applied based on a color effect.
  • the processor 120 may display a first image 340 and a third image 365.
  • the processor 120 may synthesize and display the first image 340 and the third image 365 through the display of the electronic device 101.
  • the processor 120 may display the third image 365 along with the first image 340 through the display of the electronic device 101.
  • embodiments of the present disclosure acquire an image to which a rendering style is applied (e.g., the third image 365) with respect to an image of the real environment (e.g., the second image 355), and obtain the obtained image (e.g., the third image 365).
  • a composite image of the 3 image 365 and an image of the VR environment acquired through a software application (eg, the first image 340) may be provided to the user.
  • the rendering style may be identified from information about a software application or from the first image.
  • Embodiments of the present disclosure do not synthesize the second image 355 and the first image 340 as is, but instead combine the third image 365 and the third image 365 to which a rendering style related to the first image 340 is applied.
  • the first image 340 can be synthesized and displayed. Accordingly, the electronic device 101 can provide the user with a highly immersive VR environment through more naturally rendered images.
  • FIG. 4A is a flowchart illustrating an example of a method for obtaining information about a rendering style according to an embodiment of the present disclosure.
  • the rendering style may indicate a style applied when rendering a two-dimensional or three-dimensional scene as an image.
  • the composite image may represent an image that is a composite of an image acquired through a software application that provides a VR environment and an image of the environment around the wearable electronic device.
  • the wearable electronic device may be the electronic device 101 of FIGS. 1, 2A, and 2B for providing a VR or AR environment to the user.
  • a wearable electronic device for providing a VR environment will be described as an example.
  • the present disclosure is not limited thereto.
  • the flowchart of FIG. 4A may be performed by the electronic device 101 of FIGS. 1, 2A, and 2B.
  • the flowchart of FIG. 4A may be performed by the processor 120 of the electronic device 101 of FIGS. 1, 2A, and 2B.
  • processor 120 may identify a rendering style based on configuration file information of the software application. For example, processor 120 may identify a rendering style based on a manifest file of a software application.
  • the manifest file defines the components that make up the software application, defines the name of the package of the software application, defines the permission request of the software application, or defines device compatibility of the software application. It can indicate a file that exists.
  • the processor 120 can read the manifest file of the software application and identify the rendering style based on the manifest file. If in operation 401 the processor 120 does not identify the rendering style, operation 403 may be performed. If the processor 120 identifies a rendering style in operation 401, it may store the rendering style identified in operation 413 in memory (e.g., memory 130 of FIG. 1).
  • processor 120 may identify a rendering style based on executable file information of the software application. For example, the processor 120 may identify the rendering style by comparing the title, file name, and package name of the executable file of the software application with information on the server.
  • the server information may include a database uploaded to the server.
  • the processor 120 may search the rendering style of the software application within the server's database based on the executable file information of the software application. Accordingly, the processor 120 can identify the rendering style of the software application.
  • operation 403 if processor 120 does not identify the rendering style, operation 405 may be performed. If the processor 120 identifies a rendering style in operation 403, it may store the rendering style identified in operation 413 in memory (e.g., memory 130 in FIG. 1).
  • the processor 120 may identify a rendering style based on code information of a software application. For example, the processor 120 may identify code information about the rendering style included in code information of a software application. Here, code information about the rendering style may include string data. Additionally, code information about the rendering style may also be referred to as code information indicating a shader. According to the above, the processor 120 may search the rendering style of the software application in the server's database based on the code information of the software application. Accordingly, the processor 120 can identify the rendering style of the software application. At operation 405, if processor 120 cannot identify the rendering style, operation 407 may be performed. If processor 120 identifies a rendering style at operation 405, it may store the rendering style identified at operation 413 in memory (e.g., memory 130 of FIG. 1).
  • processor 120 may identify a rendering style based on the first image identified through the software application.
  • the first image may refer to a VR or AR image that the electronic device 101 provides to the user through the software application.
  • the first image may include the VR image 203 of FIG. 2C.
  • the first image is an image of a VR or AR environment provided through the software application and may include at least one visual object.
  • the processor 120 may identify a rendering style for the identified first image using deep learning, histogram, or image information. In FIG. 4A, the description is made with one first image, but the present disclosure is not limited thereto.
  • processor 120 may identify a rendering style for a plurality of first images for one software application.
  • the processor 120 may identify a rendering style for at least one first image for each of a plurality of software applications. In operation 407, if processor 120 does not identify the rendering style, operation 409 may be performed. If processor 120 identifies a rendering style at operation 407, it may store the rendering style identified at operation 413 in memory (e.g., memory 130 of FIG. 1).
  • processor 120 may display a preset image associated with a software application to the user and identify a rendering style based on user input.
  • a preset image related to a software application may include images to which various rendering styles are applied to the first image.
  • the various rendering styles for the first image may represent styles related to the rendering style identified according to the rendering result for the first image obtained according to the rendering result of the software application.
  • the processor 120 may display the preset image through the display of the electronic device 101.
  • the processor 120 may identify the selected preset image by identifying receipt of user input regarding the displayed preset image. Accordingly, the processor 120 may identify the rendering style for the preset image as the rendering style of the software application.
  • operation 411 may be performed. If processor 120 identifies a rendering style in operation 409, it may store the rendering style identified in operation 413 in memory (e.g., memory 130 of FIG. 1).
  • the processor 120 may identify that the rendering style related to the software application is not applied to the image of the real environment (eg, the second image). Accordingly, the processor 120 may apply the basic rendering style to the second image.
  • the basic rendering style can be saved in advance by the user.
  • processor 120 may store the identified rendering style. Additionally, the processor 120 may convert the second image into a third image based on the stored rendering style.
  • FIG. 4B illustrates an example of providing a preset for a rendering style to a user according to an embodiment of the present disclosure.
  • the rendering style may indicate a style applied when rendering a two-dimensional or three-dimensional scene as an image.
  • the composite image may represent an image that is a composite of an image acquired through a software application that provides a VR environment and an image of the environment around the wearable electronic device.
  • the wearable electronic device may be the electronic device 101 of FIGS. 1, 2A, and 2B for providing a VR or AR environment to the user.
  • a wearable electronic device for providing a VR environment will be described as an example.
  • the present disclosure is not limited thereto.
  • FIG. 4B shows preset images 450 displayed to the user through the display of the electronic device 101.
  • Preset images 450 of FIG. 4B may represent an example of a preset image presented in operation 409 of FIG. 4A.
  • the preset images 450 may represent images to which various rendering styles are applied to the first image.
  • the first image may be an image that includes visual objects such as a tree, the sun, a hill, and a road.
  • the electronic device 101 may obtain a rendering result of a software application related to the first image.
  • the rendering result for acquiring the first image may include a pencil style. Accordingly, preset images 450 may be determined based on the pencil style.
  • Preset images 450 may include preset images to which various rendering styles are applied.
  • the preset images 450 may include a first preset image 451, a second preset image 452, and a third preset image 453.
  • the first preset image 451 may be an image to which a style that displays a plurality of letters is applied to the first image.
  • the second preset image 452 may be an image to which a pencil style has been applied to the first image.
  • the third preset image 453 may be an image to which a cartoon style is applied to the first image.
  • the processor 120 may display preset images 450 through a display.
  • the processor 120 may receive a user's input for one of the preset images 450 and identify the preset image corresponding to the received user's input. Accordingly, the processor 120 can identify the rendering style of the software application.
  • FIG. 5 is a flowchart illustrating an example of a method for obtaining a composite image based on information about a rendering style in a plurality of software applications according to an embodiment of the present disclosure.
  • the rendering style may indicate a style applied when rendering a two-dimensional or three-dimensional scene as an image.
  • the composite image may represent an image that is a composite of an image acquired through a software application that provides a VR environment and an image of the environment around the wearable electronic device.
  • the wearable electronic device may be the electronic device 101 of FIGS. 1, 2A, and 2B for providing a VR or AR environment to the user.
  • a wearable electronic device for providing a VR environment will be described as an example.
  • the present disclosure is not limited thereto.
  • the flowchart of FIG. 5 may be performed by the electronic device 101 of FIGS. 1, 2A, and 2B.
  • the flowchart of FIG. 5 may be performed by the processor 120 of the electronic device 101 of FIGS. 1, 2A, and 2B.
  • processor 120 may identify an area in which a software application is displayed on the display. For example, the processor 120 may identify an area in which each software application among a plurality of software applications is displayed on the display of the electronic device 101. For example, assume that the plurality of software applications include a first software application, a second software application, and a third software application. For the entire area of the display of electronic device 101, processor 120 identifies a first area for a first software application, a second area for a second software application, and a third area for a third software application. can do. At this time, the processor 120 may identify the area based on boundary information of the software application.
  • processor 120 may identify information about the rendering style of each software application. For example, the processor 120 may identify information about the rendering style of each software application based on the operations included in the flowchart of FIG. 4A. For example, processor 120 may identify a first rendering style of a first software application. Processor 120 may identify a second rendering style of the second software application. Processor 120 may identify a third rendering style of a third software application. Here, the first rendering style, the second rendering style, and the third rendering style may be the same, different from each other, or partially identical to each other.
  • the processor 120 may obtain a plurality of third images by converting the second image for each software application. For example, the processor 120 may obtain the third image by converting the second image, which is an image of the surrounding environment of the electronic device 101, by applying the first rendering style to the first area. The processor 120 may obtain a third image by converting the second image, which is an image of the surrounding environment of the electronic device 101, by applying a second rendering style to the second area. The processor 120 may obtain the third image by converting the second image, which is an image of the surrounding environment of the electronic device 101, by applying the third rendering style to the third area.
  • processor 120 may display a first image and a plurality of third images.
  • the processor 120 may synthesize and display the first image and the plurality of third images through the display of the electronic device 101.
  • the processor 120 may display the plurality of third images together with the first image through the display of the electronic device 101.
  • the processor 120 may display a third image synthesized with the first image through the display of the electronic device 101.
  • the synthesized third image may represent one image composed of the plurality of third images.
  • the synthesized third image may represent an image created by combining the plurality of third images corresponding to the areas identified in operation 501.
  • the areas may be identified based on boundary information of each of a plurality of software applications.
  • the processor may identify areas so that there is no separation between the areas in order to minimize heterogeneity between a plurality of software applications. Alternatively, if there is a gap between the areas, the processor may convert the spaced portion based on information about the rendering style identified from a plurality of software applications.
  • the spaced portion is a portion between the first area of the first software application and the second area of the second software application, it is included in both the first software application and the second software application. Based on information about the current rendering style or similar rendering styles, the rendering style for the spaced portion may be applied.
  • embodiments of the present disclosure acquire images (e.g., a plurality of third images) to which a rendering style is applied to an image of a real environment (e.g., a second image), and A composite image of 3 images and an image of the VR environment acquired through a software application (e.g., the first image) can be provided to the user.
  • the rendering style may be identified from information about a software application or from the first image.
  • Embodiments of the present disclosure may display the first image by compositing a plurality of third images to which a rendering style related to the first image is applied, rather than compositing the second image and the first image as is. there is. Accordingly, the electronic device 101 can provide the user with a highly immersive VR environment through more naturally rendered images.
  • Figures 6A to 6C show examples of images with changed rendering styles according to an embodiment of the present disclosure.
  • the rendering style may indicate a style applied when rendering a two-dimensional or three-dimensional scene as an image.
  • a first example 600 shows an image including a visual object in 3D (dimensional).
  • the image of the second example 610 shows an image obtained by applying a rendering style (eg, cartoon style) to the image of the first example 600.
  • a rendering style eg, cartoon style
  • the colors used may be simplified compared to the first example 600. That is, the image of the second example 610 may use fewer colors compared to the image of the first example 600.
  • the image of the second example 610 may directly display the outline of a visual object.
  • the image of the second example 610 may be expressed in a simplified state in which the shading level of the shadow is compared to the first example 600.
  • the third example 620 shows an image to which a retro style rendering style has been applied.
  • the image of the third example 620 may be expressed by reducing the resolution of pixels by n times so that the visual object appears to be composed of pixels.
  • the colors used in the image of the third example 620 may be simplified.
  • the image of the third example 620 may use a histogram color map such as a 3D image. Accordingly, an image with a retro style can provide a classic feel to the user.
  • the fourth example 630 shows an image to which a pencil style rendering style has been applied.
  • the outline of a visual object may be displayed in black.
  • the image of the fourth example 630 may be displayed by connecting points included in the visual object with short straight lines. Accordingly, an image to which a pencil style is applied can provide the user with the feeling of a drawing.
  • the image may be changed based on a color effect.
  • the color effect may include the number of colors, histogram, presence or absence of outline, size of pixel with the same color, shadow color, contrast, sharpening, blurring or masking, etc.
  • An image can be altered by changing the number of colors. For example, an image can be altered by changing 16-bit or 32-bit colors to 8-bit colors. Additionally, the image can be changed by using a histogram. For example, the image can be altered by using the camera image color and histogram of the 3D rendered image. Additionally, the image may change depending on the presence or absence of an outline. Additionally, the image can be changed by changing the number of the plurality of pixels when the plurality of pixels have the same color.
  • the image can be altered by changing the level of shading of the shadows.
  • an image can be altered by simplifying the shadow colors by grading them.
  • the image can be altered by adjusting the contrast and applying sharpening.
  • the image can be altered by blurring the image.
  • the image can be altered by sharpening the image using masking.
  • the rendering style of the image may be identified based on the combination of the color effects.
  • the cartoon-style rendering style of FIG. 6A may represent a style in which the number of applied colors is small, outlines are drawn directly, and shading levels are simple.
  • Figure 7 shows another example of obtaining a composite image based on information about the rendering style according to an embodiment of the present disclosure.
  • the rendering style may indicate a style applied when rendering a two-dimensional or three-dimensional scene as an image.
  • the composite image may represent an image that is a composite of an image acquired through a software application that provides a VR environment and an image of the environment around the wearable electronic device.
  • the wearable electronic device may be the electronic device 101 of FIGS. 1, 2A, and 2B for providing a VR or AR environment to the user.
  • a wearable electronic device for providing a VR environment will be described as an example.
  • the present disclosure is not limited thereto.
  • FIG. 7 shows that, rather than converting the real environment image 205-2, which is a background image, into the image 205-1, as shown in FIG. 2C, the VR image 203 is converted into the real environment image 205-2.
  • the VR image 203 shows an example of conversion to be similar to
  • the first example 700 shows an image for a VR environment (eg, a game), and the second example 750 shows an image for a real environment.
  • the image may include a visual object 703 and a background image 705.
  • the visual object 703 may include a car.
  • the image of the first example 700 may have the same rendering style as a game screen applied.
  • the processor 120 may obtain a new visual object 753 by applying a rendering style to the visual object 703.
  • the processor 120 may identify a rendering style for the image 755 of the real environment and apply the identified rendering style to the visual object 703 of the first example 700 .
  • the processor 120 may obtain a visual object 753 to which the rendering style is applied. Afterwards, the processor 120 may synthesize the visual object 753 and the image 755 of the real environment, and the synthesized image may be provided to the user through the display of the electronic device 101. At this time, identifying the rendering style for the image 755 of the real environment is performed by selecting the acquired image 755 of the real environment, as shown in operation 311 of FIG. 3A or operation 407 of FIG. 4A. This can be done by analyzing.
  • embodiments of the present disclosure such as the second example 750, identify a rendering style of an image 755 of a real-world environment and apply the identified rendering style to a visual object 703 of the image for a VR environment. By doing so, an image with a changed rendering style can be obtained.
  • embodiments of the present disclosure can provide a more natural and immersive VR experience by combining an image of the real environment and a VR image to which the same rendering style as the real environment is applied and provided to the user.
  • FIG. 8 illustrates an example of obtaining a composite image in which some areas have been changed based on information about the rendering style according to an embodiment of the present disclosure.
  • the rendering style may indicate a style applied when rendering a two-dimensional or three-dimensional scene as an image.
  • the composite image may represent an image that is a composite of an image acquired through a software application that provides a VR environment and an image of the environment around the wearable electronic device.
  • the wearable electronic device may be the electronic device 101 of FIGS. 1, 2A, and 2B for providing a VR or AR environment to the user.
  • a wearable electronic device for providing a VR environment will be described as an example.
  • the present disclosure is not limited thereto.
  • FIG. 8 shows a first example 800 and a second example 850 in which a rendering style is applied only to some areas of the image.
  • the first example 800 shows an image of a real environment to which a rendering style is applied only to the first area 810.
  • the first area 810 may represent a sky area included in the actual environment.
  • the rendering style applied to the first area 810 may be a cartoon style.
  • the processor 120 may identify the user's input to the first area 810 and, upon identification, may separate the first area 810 from the image. Afterwards, the processor 120 may acquire an image to which the identified rendering style is applied to the first area 810, and combine the obtained image for the first area 810 with the image for the actual environment to create a composite image. can be obtained.
  • the second example 850 an image of a real environment including a plurality of people is shown with a rendering style applied only to the second area 860.
  • the second area 860 may represent a human area included in the actual environment.
  • the rendering style applied to the second area 860 may be a cartoon style.
  • the processor 120 may identify the user's input to the second area 860 and, upon identification, may separate the second area 860 from the image. Afterwards, the processor 120 may acquire an image to which the identified rendering style is applied to the second area 860, and combine the obtained image for the second area 860 with the image for the actual environment to create a composite image. can be obtained.
  • 9A to 9C illustrate examples of obtaining a composite image based on information about a rendering style in a plurality of software applications according to an embodiment of the present disclosure.
  • the rendering style may indicate a style applied when rendering a two-dimensional or three-dimensional scene as an image.
  • the wearable electronic device may be the electronic device 101 of FIGS. 1, 2A, and 2B for providing a VR or AR environment to the user.
  • a wearable electronic device for providing a VR environment will be described as an example.
  • the present disclosure is not limited thereto.
  • a first example 900 shows an example of executing three software applications.
  • the processor 120 may execute a first software application 910, a second software application 920, and a third software application 930.
  • the processor 120 generates a first image for the first software application 910, a first image for the second software application 920, and a first image for the third software application 930. 1 Images can be displayed through the display.
  • Processor 120 may identify an area of the first image for each software application. For example, the processor 120 may identify a first area 915 for the first software application 910 .
  • processor 120 may identify a second area 925 for a second software application 920 .
  • the processor 120 may identify a third area 935 for a third software application 930.
  • the first region 915 may also be referred to as a first rendering style region.
  • the second region 925 may also be referred to as a second rendering style region.
  • the third region 935 may also be referred to as a third rendering style region.
  • a second example 940 shows an example of applying a rendering style to a surrounding area of a software application.
  • processor 120 may identify a region of the image for each software application. For example, the processor 120 may identify the first area 915 where the first software application 910 is located on the display of the electronic device 101. Additionally, the processor 120 may identify a first peripheral area 917 that includes the first area 915 surrounding the first area 915 .
  • the first peripheral area 917 may represent an area to which the rendering style applied to the first software application 910 of the first area 915 can be applied.
  • the size of the first peripheral area 917 may be identified based on the importance or size of the first software application 910, or the user's interest. For example, when the size of the first software application 910 is physically large, the first peripheral area 917 may also become larger. For example, as the importance of the first software application 910 increases, the first peripheral area 917 may also become wider.
  • the first software application 910 may be displayed with visual emphasis compared to an image of the actual environment.
  • the first area 915 of the first software application 910 may be displayed with visual emphasis compared to an image of the actual environment.
  • the processor 120 may apply a rendering style of a filtering style to areas other than the first area 915.
  • the processor 120 may apply a rendering style of a relatively weak filtering style to areas other than the first area 915 or areas within the first peripheral area 917. Accordingly, the user can identify the first software application 910 more effectively.
  • FIG. 9B for convenience of explanation, application of a rendering style to emphasize one software application (eg, the first software application 910) is shown, but the present disclosure is not limited thereto.
  • the present disclosure may include the application of a rendering style to highlight a plurality of software applications.
  • a third example 970 shows an example of applying a rendering style to areas other than some of the three software applications used by the user.
  • the processor 120 may identify the first software application 910 that the user is using. For example, the processor 120 may identify the first software application 910 that the user is focusing on for a certain period of time or more by tracking the user's gaze. At this time, the processor 120 may identify the first area 915 of the first software application 910. For example, a certain time may be preset by the user or determined depending on the type of software application used. For example, if a software application requires the user to respond quickly, the certain amount of time may be shortened.
  • a rendering style may be applied to the first area 915 of the first software application 910.
  • the processor 120 may apply the rendering style of the first software application 910 to the first area 915 of the first software application 910.
  • the processor 120 may expand the area to which the rendering style is applied to the first peripheral area 917 when the user watches the first software application 910 for more than the predetermined period of time.
  • the processor 120 sets a rendering style for the entire area displayed through the display. can be applied.
  • the present disclosure acquires images (e.g., a plurality of third images) to which a rendering style is applied to an image of a real environment (e.g., a second image), and the obtained plurality of third images
  • images e.g., a plurality of third images
  • An image that is a composite of images (e.g., first image) of the VR environment acquired through a software application may be provided to the user.
  • the rendering style may be identified from information about a software application or from the first image. Specifically, not only may the entire area of the second image be applied, but the rendering style may also be applied to the area of the second image corresponding to the surrounding area of the first image acquired through a software application.
  • Embodiments of the present disclosure may display the first image by compositing a plurality of third images to which a rendering style related to the first image is applied, rather than compositing the second image and the first image as is. there is. Accordingly, the electronic device 101 can provide the user with a highly immersive VR environment through more naturally rendered images.
  • FIG. 10 illustrates an example of applying a rendering style based on a visual object including the light-emitting attribute of a software application according to an embodiment of the present disclosure.
  • the rendering style may indicate a style applied when rendering a two-dimensional or three-dimensional scene as an image.
  • the wearable electronic device may be the electronic device 101 of FIGS. 1, 2A, and 2B for providing a VR or AR environment to the user.
  • a wearable electronic device for providing a VR environment will be described as an example.
  • the luminous property refers to the fact that when some of the visual objects in the image (e.g., the first image) of the VR environment of the software application are virtual light sources, some of the visual objects have luminous properties. It can be understood.
  • the luminescence property may be included in the properties of a visual object.
  • the properties may include luminescence properties, temperature properties, or texture properties.
  • FIG. 10 shows a first example 1000 showing a first image including a visual object 1010 that is a virtual light source and a second image of a real environment, and a visual object 1010 that is a virtual light source for the second image.
  • a second example 1050 is shown in which a third image and a first image to which a rendering style is applied based on are synthesized.
  • the processor 120 may identify a color effect to be applied to the background image based on the luminous properties of the visual object in the first image.
  • the first image may include a visual object 1010.
  • the visual object may include luminous properties. That is, the visual object may be a virtual light source.
  • the processor 120 may acquire the first image including the visual object 1010 having light-emitting properties and identify a color effect from the obtained first image.
  • the color effect may include the number of colors, histogram, presence or absence of outline, size of pixels with the same color, shadow color, contrast, sharpening, blurring or masking, etc. You can.
  • the color effect may be set considering the location of a virtual light source with luminous properties included in the first image, the brightness of the virtual light source, the color temperature of the virtual light source, or the brightness of ambient light. there is.
  • the processor 120 may apply a rendering style to the second image based on the color effect obtained from the first image.
  • the processor 120 may apply a rendering style to the surrounding area 1060 of the visual object 1010.
  • the applied rendering style may represent a rendering style applied by the visual object 1010, which is a virtual light source.
  • the surrounding area 1060 may change, and the processor 120 applies a rendering style in consideration of the changing surrounding area 1060. can do.
  • the closer the location of the visual object 1010, which is a virtual light source is, the brighter the rendering style can be.
  • the processor 120 may adjust the color temperature of the rendering style by considering information about the color temperature of the visual object 1010, which is a virtual light source. Additionally, the processor 120 may adjust the brightness of the rendering style by considering information about the brightness of the visual object 1010, which is a virtual light source. Additionally, the processor 120 may adjust the brightness of the ambient light in the first image to be the same as the brightness of the ambient light in the second image.
  • ambient light can refer to light that illuminates all surroundings without a specific direction. In other words, ambient light may represent light in which a light source exists, but the direction is lost because the light emitted from the light source is reflected by multiple elements.
  • the processor 120 may apply a rendering style based on a color effect identified based on information about the visual object 1010, which is a virtual light source.
  • the processor 120 may synthesize a first image including the visual object 1010 and a third image to which a rendering style is applied to the second image and display them on a display.
  • the present disclosure acquires an image (e.g., a third image) to which a rendering style is applied to an image of a real environment (e.g., a second image), and uses the acquired third image and a software application.
  • An image that is a composite of images of the VR environment (e.g., the first image) acquired through can be provided to the user.
  • the rendering style may be identified from information about a software application or from the first image.
  • Embodiments of the present disclosure may display the display by combining the first image with a third image to which a rendering style related to the first image is applied, rather than directly combining the second image and the first image.
  • the electronic device 101 can provide the user with a highly immersive VR environment through more naturally rendered images.
  • the present disclosure can clearly indicate boundaries between software applications when using a plurality of software applications, so the usability of the user's electronic device 101 can be improved.
  • the present disclosure can provide users with a more natural VR (or AR) environment through information exchange between image information about the real environment and images acquired from a software application in the VR (or AR) environment.
  • the wearable electronic device 101 may include a camera 180.
  • the wearable electronic device 101 may include a display 160.
  • the wearable electronic device 101 may include a processor 120.
  • the processor 120 may be configured to identify a first image including a visual object through a software application. When the visual object in the first image has a light-emitting property, the processor 120 may be configured to identify a color effect to be applied to the background image based on the light-emitting property.
  • the processor 120 may be configured to identify a rendering style applied to the first image.
  • the processor 120 converts the second image representing the environment around the wearable electronic device, obtained through the camera 180, based on the color effect and the rendering style, thereby converting the third image into the background. It may be configured to acquire an image.
  • the processor 120 may be configured to display the first image together with the third image through the display.
  • the properties may include luminescence properties, texture properties, or temperature properties.
  • the rendering style may include a cartoon style, a retro style, an outline style,
  • the processor 120 may be configured to identify an area where the software application is displayed through the display 160.
  • the processor 120 may be configured to obtain information about the rendering style of the software application when the area is the entire area of the display 160.
  • the processor 120 may be configured to identify an area where each of a plurality of software applications including the software application and another software application is displayed through the display 160.
  • the processor 120 may be configured to obtain first information about the rendering style of the software application for a first area where the software application is displayed with respect to the entire area of the display 160.
  • the processor 120 may be configured to obtain second information about the rendering style of the other software application for a second area where the other software application is displayed with respect to the entire area of the display 160.
  • the processor 120 may be configured to obtain a fourth image based on the color effect and the first information with respect to the first area of the second image.
  • the processor 120 may determine a different color effect for the second area of the second image based on a different visual object having different properties in another first image obtained through the different software application and It may be configured to acquire a fifth image based on the second information.
  • the processor 120 may be configured to obtain the third image by combining the fourth image and the fifth image.
  • the processor 120 may be configured to obtain first boundary information about the first area from the software application.
  • the processor 120 may be configured to obtain second boundary information for the second area from the other software application.
  • the processor 120 may be configured to identify the software application among the plurality of software applications based on identifying the area on which the user's gaze of the wearable electronic device focuses. .
  • the processor 120 may be configured to identify a first rendering style region including the first region in which the software application is displayed.
  • the third image may be obtained by converting the second image based on the first information with respect to the first rendering style area of the second image.
  • the processor 120 creates an area expanded with respect to the first rendering style area when the gaze is located within the area corresponding to the display 160 for a certain period of time or more. It can be configured to identify.
  • the third image may be obtained by converting the second image based on the first information with respect to the expanded area of the second image.
  • the processor 120 obtains information about the rendering style based on manifest file information of the software application or determines the rendering style based on executable file information of the software application. It may be configured to obtain information about the rendering style or obtain information about the rendering style based on code information indicating a shader of the software application.
  • the processor 120 when the processor 120 fails to obtain information about the rendering style through the manifest file information, the executable file information, code information indicating the shader, or the first image, the It may be configured to display a plurality of presets determined based on the rendering results of the software application to the user through the display 160.
  • the processor 120 may be configured to obtain information about the rendering style of the software application based on the user's response to one of the plurality of presets.
  • the processor 120 may be configured to identify a partial area of the second image based on an input from a user of the wearable electronic device.
  • the processor 120 may be configured to obtain the third image by converting the partial area of the second image based on information about the color effect and the rendering style.
  • the method performed by the wearable electronic device 101 may include an operation 307 of identifying a first image including a visual object through a software application.
  • the method may include an operation 309 of identifying a color effect to be applied to a portion of the background image corresponding to the visual object, based on a property of the visual object in the first image. there is.
  • the method may include an operation 311 of identifying a rendering style applied to the first image.
  • the method converts a second image representing the environment around the wearable electronic device, obtained through the camera 180 of the wearable electronic device 101, based on the color effect and the rendering style, to a third image.
  • An operation 313 of acquiring an image as the background image may be included.
  • the properties may include luminescence properties, texture properties, or temperature properties.
  • the rendering style may include a cartoon style, a retro style, an outline style, or a black and white style.
  • the method may include an operation of identifying an area where the software application is displayed through the display 160.
  • the method may include an operation of obtaining information about the rendering style of the software application when the area is the entire area of the display 160.
  • the method may include an operation of identifying an area where each of a plurality of software applications including the software application and another software application is displayed through the display 160.
  • the method may include an operation of obtaining first information about a rendering style of the software application for a first area where the software application is displayed with respect to the entire area of the display 160.
  • the method may include an operation of obtaining second information about a rendering style of the other software application for a second area where the other software application is displayed with respect to the entire area of the display 160.
  • the method may include obtaining a fourth image based on the color effect and the first information with respect to the first area of the second image.
  • the method is based on a different color effect and the second information based on a different visual object with different properties in another first image obtained through the different software application for the second region of the second image.
  • This may include an operation of acquiring a fifth image.
  • the method may include obtaining the third image by combining the fourth image and the fifth image.
  • the method may include obtaining first boundary information about the first area from the software application.
  • the method may include obtaining second boundary information for the second area from the other software application.
  • the method may include identifying the software application among the plurality of software applications based on identifying an area on which the user's gaze of the wearable electronic device focuses.
  • the method may include identifying a first rendering style region that includes the first region in which the software application is displayed.
  • the third image may be obtained by converting the second image based on the first information with respect to the first rendering style area of the second image.
  • the method includes an operation of identifying an extended area with respect to the first rendering style area when the gaze is located within the area corresponding to the display 160 for a certain period of time or more. may include.
  • the third image may be obtained by converting the second image based on the first information with respect to the expanded area of the second image.
  • the method includes an operation of obtaining information about the rendering style based on manifest file information of the software application, or obtaining information about the rendering style based on executable file information of the software application. It may include an operation of acquiring information about information, or it may include an operation of obtaining information about the rendering style based on code information indicating a shader of the software application.
  • the software application when the method fails to obtain information about the rendering style through the manifest file information, the executable file information, the code information indicating the shader, or the first image, the software application An operation of displaying a plurality of presets determined based on rendering results to the user may be included.
  • the method may include obtaining information about the rendering style of the software application based on the user's response to one of the plurality of presets.
  • the method may include identifying a partial area of the second image based on an input from a user of the wearable electronic device 101.
  • the method may include obtaining the third image by converting the partial area of the second image based on information about the color effect and the rendering style.
  • the non-transitory computer-readable storage medium is a processor (120) of a wearable electronic device (101) including a camera (180) and a display (160). ) may store one or more programs containing instructions that cause, when executed by, to identify a first image containing a visual object through a software application.
  • the non-transitory computer-readable storage medium when executed by the processor 120, has a color to be applied to a portion of the background image corresponding to the visual object based on a property of the visual object in the first image. To identify color effects, one or more programs containing the resulting instructions can be stored.
  • the non-transitory computer-readable storage medium may store one or more programs including instructions that, when executed by the processor 120, cause to identify a rendering style applied to the first image.
  • the non-transitory computer-readable storage medium when executed by the processor 120, displays a second image representing the environment around the wearable electronic device, obtained through the camera 180, with the color effect and the One or more programs containing instructions that cause the third image to be obtained as the background image may be stored by converting based on the rendering style.
  • the non-transitory computer-readable storage medium may store one or more programs including instructions that, when executed by the processor 120, cause the first image to be displayed on the display along with the third image. there is.
  • the properties may include luminescence properties, texture properties, or temperature properties.
  • the rendering style may include a cartoon style, a retro style, an outline style, or a black and white style.
  • Electronic devices may be of various types. Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliances. Electronic devices according to embodiments of this document are not limited to the above-described devices.
  • first, second, or first or second may be used simply to distinguish one element from another, and may be used to distinguish such elements in other respects, such as importance or order) is not limited.
  • One (e.g. first) component is said to be “coupled” or “connected” to another (e.g. second) component, with or without the terms “functionally” or “communicatively”.
  • any of the components can be connected to the other components directly (e.g. wired), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as logic, logic block, component, or circuit, for example. It can be used as A module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions. For example, according to one embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document are one or more instructions stored in a storage medium (e.g., built-in memory 136 or external memory 138) that can be read by a machine (e.g., electronic device 101). It may be implemented as software (e.g., program 140) including these.
  • a processor e.g., processor 120
  • the one or more instructions may include code generated by a compiler or code that can be executed by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves). This term refers to cases where data is stored semi-permanently in the storage medium. There is no distinction between temporary storage cases.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • a machine-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play StoreTM
  • two user devices e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component (e.g., module or program) of the above-described components may include a single or plural entity, and some of the plurality of entities may be separately placed in other components. there is.
  • one or more of the components or operations described above may be omitted, or one or more other components or operations may be added.
  • multiple components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Alternatively, one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

웨어러블 전자 장치는, 카메라, 디스플레이, 및 프로세서(processor)를 포함할 수 있다. 상기 프로세서는: 소프트웨어 어플리케이션(software application)을 통해 시각적 객체를 포함하는 제1 이미지를 식별하고, 상기 제1 이미지 내의 상기 시각적 객체의 속성(property)에 기반하여, 상기 시각적 객체에 대응하는 배경 이미지의 부분에 적용될 컬러 효과(color effect)를 식별하고, 상기 제1 이미지에 적용된 렌더링 스타일(rendering style)을 식별하고, 상기 카메라를 통해 획득된 상기 웨어러블 전자 장치 주변의 환경을 표현하는 제2 이미지를, 상기 컬러 효과 및 상기 렌더링 스타일에 기반하여 변환함으로써, 제3 이미지를 상기 배경 이미지로 획득하고, 및 상기 제1 이미지를 상기 제3 이미지와 함께 상기 디스플레이를 통해 표시하도록 구성될 수 있다. 상기 속성은, 발광 속성, 질감 속성, 또는, 온도 속성을 포함할 수 있다. 상기 렌더링 스타일은, 카툰(cartoon) 스타일, 레트로(retro) 스타일, 개요(outline) 스타일, 또는 흑백(black and white) 스타일을 포함할 수 있다.

Description

렌더링 스타일이 변경된 이미지를 획득하기 위한 전자 장치 및 방법
아래의 설명들은, 렌더링 스타일(rendering style)이 변경된 이미지를 획득하기 위한 전자 장치(electronic device) 및 방법(method)에 관한 것이다.
VR(virtual reality) 또는 AR(augmented reality) 환경에 있어서, 전자 장치(electronic device)는 실제 공간에 대한 정보와 가상 공간에 대한 정보를 합성하여 제공함으로써 보다 다양한 경험을 사용자에게 제공할 수 있다. Pass-through VR은, 카메라를 통해서 실제 공간의 이미지를 생성하고, 가상 공간의 이미지를 혼합하여 보여주는 기술이다.
웨어러블 전자 장치(wearable electronic device)가 제공된다. 상기 웨어러블 전자 장치는 카메라(camera)를 포함할 수 있다. 상기 웨어러블 전자 장치는 디스플레이(display)를 포함할 수 있다. 상기 웨어러블 전자 장치는 프로세서(processor)를 포함할 수 있다. 상기 프로세서는 소프트웨어 어플리케이션(software application)을 통해 시각적 객체를 포함하는 제1 이미지를 식별하도록 구성될 수 있다. 상기 프로세서는 상기 제1 이미지 내의 상기 시각적 객체의 속성(property)에 기반하여, 상기 시각적 객체에 대응하는 배경 이미지의 부분에 적용될 컬러 효과(color effect)를 식별하도록 구성될 수 있다. 상기 프로세서는 상기 제1 이미지에 적용된 렌더링 스타일(rendering style)을 식별하도록 구성될 수 있다. 상기 프로세서는 상기 카메라를 통해 획득된, 상기 웨어러블 전자 장치 주변의 환경을 표현하는 제2 이미지를, 상기 컬러 효과 및 상기 렌더링 스타일에 기반하여 변환함으로써, 제3 이미지를 상기 배경 이미지로 획득하도록 구성될 수 있다. 상기 프로세서는 상기 제1 이미지를 상기 제3 이미지와 함께 상기 디스플레이를 통해 표시하도록 구성될 수 있다. 상기 속성은, 발광 속성, 질감 속성, 또는, 온도 속성을 포함할 수 있다. 상기 렌더링 스타일은, 카툰(cartoon) 스타일, 레트로(retro) 스타일, 개요(outline) 스타일, 또는 흑백(black and white) 스타일을 포함할 수 있다.
웨어러블 전자 장치(wearable device)에 의해 수행되는 방법은 소프트웨어 어플리케이션(software application)을 통해 시각적 객체를 포함하는 제1 이미지를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 이미지 내의 상기 시각적 객체의 속성(property)에 기반하여, 상기 시각적 객체에 대응하는 배경 이미지의 부분에 적용될 컬러 효과(color effect)를 식별하는 동작을 포함할 수 있다. 상기 방법은 상기 제1 이미지에 적용된 렌더링 스타일(rendering style)을 식별하는 동작을 포함할 수 있다. 상기 방법은 상기 웨어러블 전자 장치의 카메라를 통해 획득된, 상기 웨어러블 전자 장치 주변의 환경을 표현하는 제2 이미지를, 상기 컬러 효과 및 상기 렌더링 스타일에 기반하여 변환함으로써, 제3 이미지를 상기 배경 이미지로 획득하는 동작을 포함할 수 있다. 상기 제1 이미지를 상기 제3 이미지와 함께 상기 웨어러블 전자 장치의 디스플레이를 통해 표시하는 동작을 포함할 수 있다. 상기 속성은, 발광 속성, 질감 속성, 또는, 온도 속성을 포함할 수 있다. 상기 렌더링 스타일은, 카툰(cartoon) 스타일, 레트로(retro) 스타일, 개요(outline) 스타일, 또는 흑백(black and white) 스타일을 포함할 수 있다.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2a는 본 개시의 일 실시예에 따른 웨어러블(wearable) 전자 장치(electronic device)의 예를 도시한다.
도 2b는 본 개시의 일 실시예에 따른 웨어러블(wearable) 전자 장치(electronic device) 내에 포함되는 하드웨어들의 예를 도시한다.
도 2c는 본 개시의 일 실시예에 따른 웨어러블(wearable) 전자 장치(electronic device)를 통해, 렌더링 스타일(rendering style)이 변경된 이미지를 획득하는 예를 도시한다.
도 3a는 본 개시의 일 실시예에 따른 렌더링 스타일(rendering style)에 대한 정보에 기반하여 합성 이미지를 획득하기 위한 방법에 대한 예를 도시하는 흐름도이다.
도 3b는 본 개시의 일 실시예에 따른 복수의 이미지들을 통해 렌더링 스타일(rendering style)에 대한 정보를 획득하는 예를 도시한다.
도 3c는 본 개시의 일 실시예에 따른 렌더링 스타일(rendering style)에 대한 정보에 기반하여 합성 이미지를 획득하는 예를 도시한다.
도 4a는 본 개시의 일 실시예에 따른 렌더링 스타일(rendering style)에 대한 정보를 획득하는 방법에 대한 예를 도시하는 흐름도이다.
도 4b는 본 개시의 일 실시예에 따른 렌더링 스타일(rendering style)에 대한 프리셋(preset)을 사용자에게 제공하는 예를 도시한다.
도 5는 본 개시의 일 실시예에 따른 복수의 소프트웨어 어플리케이션들에 있어서, 렌더링 스타일(rendering style)에 대한 정보에 기반하여 합성 이미지를 획득하기 위한 방법에 대한 예를 도시하는 흐름도이다.
도 6a, 도 6b, 및 도 6c는 본 개시의 일 실시예에 따른 렌더링 스타일(rendering style)이 변경된 이미지의 예들을 도시한다.
도 7은 본 개시의 일 실시예에 따른 렌더링 스타일(rendering style)에 대한 정보에 기반하여 합성 이미지를 획득하는 다른 예를 도시한다.
도 8은 본 개시의 일 실시예에 따른 렌더링 스타일(rendering style)에 대한 정보에 기반하여, 일부 영역이 변경된 합성 이미지를 획득하는 예를 도시한다.
도 9a, 도 9b, 및 도 9c는 본 개시의 일 실시예에 따른 복수의 소프트웨어 어플리케이션들에 있어서, 렌더링 스타일(rendering style)에 대한 정보에 기반하여, 합성 이미지를 획득하는 예들을 도시한다.
도 10은 본 개시의 일 실시예에 따른 소프트웨어 어플리케이션의 발광 속성을 포함하는 시각적 객체에 기반하여, 렌더링 스타일(rendering style)을 적용하는 예를 도시한다.
본 개시에서 사용되는 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 개시에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 개시에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 개시에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 개시에서 정의된 용어일지라도 본 개시의 실시 예들을 배제하도록 해석될 수 없다.
이하에서 설명되는 본 개시의 다양한 실시 예들에서는 하드웨어적인 접근 방법을 예시로서 설명한다. 하지만, 본 개시의 다양한 실시 예들에서는 하드웨어와 소프트웨어를 모두 사용하는 기술을 포함하고 있으므로, 본 개시의 다양한 실시 예들이 소프트웨어 기반의 접근 방법을 제외하는 것은 아니다.
이하 설명에서 사용되는 장치의 구성 지칭하는 용어(예: 프로세서(processor), 카메라(camera), 디스플레이(display), 모듈(module) 등), 연산 상태를 위한 용어(예: 단계(step), 동작(operation), 절차(procedure)), 신호를 지칭하는 용어(예: 신호(signal), 정보(information) 등), 데이터를 지칭하기 위한 용어(예: 파라미터(parameter), 값(value) 등)는 설명의 편의를 위해 예시된 것이다. 따라서, 본 개시가 후술되는 용어들에 한정되는 것은 아니며, 동등한 기술적 의미를 가지는 다른 용어가 사용될 수 있다.
또한, 본 개시에서, 특정 조건의 만족(satisfied), 충족(fulfilled) 여부를 판단하기 위해, 초과 또는 미만의 표현이 사용될 수 있으나, 이는 일 예를 표현하기 위한 기재일 뿐 이상 또는 이하의 기재를 배제하는 것이 아니다. '이상'으로 기재된 조건은 '초과', '이하'로 기재된 조건은 '미만', '이상 및 미만'으로 기재된 조건은 '초과 및 이하'로 대체될 수 있다. 또한, 이하, 'A' 내지 'B'는 A부터(A 포함) B까지의(B 포함) 요소들 중 적어도 하나를 의미한다.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
VR(virtual reality)는 실재할 수 있는 객체들에 대하여 인공의 환경에 존재하는 객체처럼 보이도록 하는 기술이다. AR(augmented reality)은 실재하는 객체에 대하여 임의의 객체 또는 정보를 합성하여 마치 원래의 환경에 존재하는 객체처럼 보이도록 하는 기술이다. VR 또는 AR을 위한 전자 장치는 현실의 객체를 기반으로 정보를 가상화 또는 증강화하여 제공할 수 있다.
예를 들어, 전자 장치는 사용자에게 VR 또는 AR 환경을 제공하기 위한 웨어러블(wearable) 전자 장치를 포함할 수 있다. 예를 들어, 웨어러블 전자 장치는, 카메라를 통해서 가상 환경과 실제 환경을 함께 표시할 수 있는 pass-through VR 장치일 수 있다. 여기서, pass-through VR은 카메라를 통해 실 공간의 이미지를 생성하고, 가상 환경의 이미지와 혼합하여 보여주는 기술을 나타낼 수 있다.
이하에서는 설명의 편의를 위하여 카메라를 통해 보여지는 실제 환경에 대하여 새로운 정보를 생성하고 제공하는 VST(video see-through) 방식을 통해 서술된다. 그러나, 본 개시가 이에 제한되는 것은 아니다. 본 개시는 실제 눈에 보여지는 환경에 생성된 정보를 추가하여 제공하는 OST(optical see-through) 방식에도 적용될 수 있다.
도 2a는 본 개시의 일 실시예에 따른 웨어러블(wearable) 전자 장치(electronic device)의 예를 도시한다. 도 2b는 본 개시의 일 실시예에 따른 웨어러블(wearable) 전자 장치(electronic device) 내에 포함되는 하드웨어들의 예를 도시한다.
도 2a, 및 도 2b를 참조하면, 일 실시예에 따른 전자 장치(101)(예: 도 1의 전자 장치(101))는, 도 1의 전자 장치(101)의 구성 요소의 일부 또는 전부를 포함할 수 있다. 일 실시예에 따르면 전자 장치(101)는, 하우징(210), 적어도 하나의 디스플레이(220), 적어도 하나의 광학 장치(230), 적어도 하나의 카메라(240)(예: 도 1의 카메라 모듈(180)), 적어도 하나의 마이크(250), 스피커(260), 안테나 모듈(270)예: 도 1의 안테나 모듈(197)), 배터리(280)(예: 도 1의 배터리(189)), 및/또는 인쇄 회로 기판(290)을 포함할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 사용자의 신체의 일부 상에 착용되는 웨어러블 장치(wearable device)로 참조될 수 있다. 전자 장치(101)는, 증강 현실(augmented reality, AR), 가상 현실(virtual reality, VR), 또는 증강 현실과 가상 현실을 혼합한 혼합 현실(mixed reality, MR)을 사용자에게 제공하도록 구성될 수 있다. 예를 들어, 전자 장치(101)는, 전자 장치(101)의 외부로부터 수신되는 빛에 의해 제공되는 현실 이미지, 및 현실 이미지에 중첩된 가상의 객체를 표시하는 디스플레이(220)를 통해, 증강 현실을 제공하도록 구성될 수 있다. 현실 이미지는, 전자 장치(101)에 의한 별도의 데이터 처리 없이 전자 장치(101)의 외부로부터 수신된 빛에 의해 구현될 수 있다. 가상의 객체는, 현실 이미지 내의 오브젝트에 관련된 다양한 정보에 대응하는 텍스트, 및 이미지 중 적어도 하나를 포함할 수 있다. 다만, 이에 제한되지 않고, 가상의 객체는, 현실 이미지 내에 포함되지 않은 다른 오브젝트에 관련된 다양한 정보에 대응하는 텍스트, 및 이미지 중 적어도 하나를 포함할 수 있다.
하우징(210)은, 전자 장치(101)의 외면의 적어도 일부를 정의할 수 있다. 하우징(210)의 적어도 일부는, 전자 장치(101)가 사용자에게 착용될 때, 사용자의 신체의 일부에 접할 수 있다. 일 실시예에 따르면, 하우징(210)은, 전자 장치(101)에 포함된 부품들을 지지할 수 있다. 예를 들어, 전자 장치(101)에 포함된 부품들의 일부는, 하우징(210)의 내부에 배치될 수 있다. 예를 들어, 전자 장치(101)에 포함된 부품들의 다른 일부는, 하우징(210)의 외부에 노출될 수 있다. 일 실시예에 따르면, 하우징(210)은, 적어도 하나의 림(211), 브릿지(212), 적어도 하나의 노즈 패드(213), 적어도 하나의 템플(214), 및/또는 힌지 구조(215)를 포함할 수 있다.
적어도 하나의 림(211)은, 디스플레이(220)를 지지할 수 있다. 전자 장치(101)가 사용자에 의해 착용될 때, 적어도 하나의 림(211)은, 사용자의 눈에 대응하는 위치에 착용될 수 있다. 일 실시예에 따르면, 적어도 하나의 림(211)은, 제1 림(211a), 및 제2 림(211b)을 포함할 수 있다. 제1 림(211a), 및 제2 림(211b)은, 서로 이격될 수 있다. 예를 들어, 전자 장치(101)가 사용자에 의해 착용될 때, 제1 림(211a)은, 사용자의 좌안에 대응하도록 위치되고, 제2 림(211b)은, 사용자의 우안에 대응하도록 위치될 수 있다.
브릿지(212)는, 적어도 하나의 림(211)에 결합될 수 있다. 일 실시예에 따르면, 브릿지(212)는, 제1 림(211a) 및 제2 림(212b)을 연결할 수 있다. 예를 들어, 브릿지(212)는 제1 림(211a)의 가장자리 및 제2 림(211b)의 가장자리의 사이에서 연장될 수 있다. 전자 장치(101)가 사용자에 의해 착용될 때, 브릿지(212)는, 사용자의 좌안과 우안의 사이에 위치될 수 있다.
적어도 하나의 노즈 패드(213)는, 전자 장치(101)가 사용자에 의해 착용될 때, 전자 장치(101)의 위치를 유지할 수 있다. 예를 들어, 전자 장치(101)가 사용자에 의해 착용될 때, 적어도 하나의 노즈 패드(213)는, 사용자의 코에 접촉될 수 있다. 일 실시예에 따르면, 적어도 하나의 노즈 패드(213)는, 제1 노즈 패드(213a), 및 제1 노즈 패드(213a)로부터 이격되는 제2 노즈 패드(213b)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 사용자에 의해 착용될 때, 제1 노즈 패드(213a)는, 사용자를 향하는 제1 림(211a)의 가장자리 상에 배치될 수 있다. 예를 들어, 전자 장치(101)가 사용자에 의해 착용될 때, 제2 노즈 패드(213b)는, 사용자를 향하는 제2 림(211b)의 가장자리 상에 배치될 수 있다.
적어도 하나의 템플(214)은, 전자 장치(101)가 사용자에 의해 착용될 때, 전자 장치(101)의 위치를 유지할 수 있다. 예를 들어, 전자 장치(101)가 사용자에 의해 착용될 때, 적어도 하나의 템플(214)은, 사용자의 귀에 접촉될 수 있다. 일 실시예에 따르면, 적어도 하나의 템플(214)은, 적어도 하나의 림(211)에 결합될 수 있다. 예를 들어, 적어도 하나의 템플(214)은, 제1 림(211a)에 결합되는 제1 템플(214a), 및 제2 림(211b)에 결합되는 제2 템플(214b)을 포함할 수 있다. 일 실시예에 따르면, 적어도 하나의 템플(214)은, 전자 장치(101)의 부품들이 배치되는 공간을 제공할 수 있다.
힌지 구조(215)는, 적어도 하나의 림(211)과 적어도 하나의 템플(214)을 연결할 수 있다. 힌지 구조(215)는, 적어도 하나의 템플(214)이 적어도 하나의 림(211)에 대하여 회전 가능하도록, 적어도 하나의 템플(214)과 적어도 하나의 림(211)을 결합시킬 수 있다. 예를 들어, 제1 템플(214a)은, 힌지 구조(215)를 통해, 제1 림(211a)에 대하여 회전 가능하도록 결합될 수 있다. 예를 들어, 제2 템플(214b)은, 힌지 구조(215)를 통해, 제2 림(211b)에 대하여 회전 가능하도록 결합될 수 있다.
적어도 하나의 디스플레이(220)는, 사용자에게 시각적인 정보를 표시하도록 구성될 수 있다. 적어도 하나의 디스플레이(220)는, 실질적으로 투명하거나, 반투명한 렌즈를 포함할 수 있다. 예를 들어, 적어도 하나의 디스플레이(220)는, 시-스루(see-through) 디스플레이로 참조될 수 있으나, 이에 제한되지 않는다. 일 실시예에 따르면, 적어도 하나의 디스플레이(220)는, 적어도 하나의 림(211)에 의해 둘러싸일 수 있다. 예를 들어, 적어도 하나의 디스플레이(220)는, 제1 디스플레이(221), 및 제2 디스플레이(222)를 포함할 수 있다. 제2 디스플레이(220)는, 제1 디스플레이(221)로부터 이격될 수 있다. 제1 디스플레이(221)는 제1 림(211a)에 결합되고, 제2 디스플레이(222)는, 제2 림(211b)에 결합될 수 있다.
도 2b를 참조하면, 일 실시예에 따르면, 적어도 하나의 디스플레이(220)는, 제1 면(220a), 및 제1 면(220a)에 반대인 제2 면(220b)을 포함할 수 있다. 적어도 하나의 디스플레이(220)는, 제2 면(220b) 상에 배치되는 표시 영역을 포함할 수 있다. 예를 들어, 전자 장치(101)의 외부로부터 제1 면(220a)을 통해 입사되는 빛은, 제1 면(220a), 및 제2 면(220b)을 통과할 수 있다. 제2 면(220b)을 통과한 빛은, 사용자에게 전달될 수 있다.
일 실시예에 따르면, 적어도 하나의 디스플레이(220)는, 웨이브 가이드(223)를 포함할 수 있다. 웨이브 가이드(223)는, 적어도 하나의 광학 장치(230)로부터 전달된 빛의 진행 방향을 변경시키는 것에 기반하여, 적어도 하나의 광학 장치(230)로부터 전달된 빛을 사용자에게 전달할 수 있다. 적어도 하나의 광학 장치(230)로부터 방출된 빛은, 웨이브 가이드(223)에 의해, 적어도 하나의 디스플레이(220)의 제2 면(220b)을 통과하여 사용자에게 전달될 수 있다. 예를 들어, 웨이브 가이드(223)는 적어도 하나의 광학 장치(230)로부터 방출된 빛을 웨이브 가이드(223) 내에서 회절시킴으로써 사용자에게 전달할 수 있다. 웨이브 가이드(223)가 적어도 하나의 광학 장치(230)로부터 방출된 빛을 회절시킬 경우, 웨이브 가이드(223)는, 웨이브 가이드(223) 내에 배치되는 회절 요소(예: DOE(diffractive optical element), 또는 HOE(holographic optical element)를 포함할 수 있다. 예를 들어, 웨이브 가이드(223)는, 적어도 하나의 광학 장치(230)로부터 방출된 빛을 웨이브 가이드(223) 내에서 반사시킴으로써, 사용자에게 전달할 수 있다. 웨이브 가이드(223)가 적어도 하나의 광학 장치(230)로부터 방출된 빛을 반사시킬 경우, 웨이브 가이드(223)는, 웨이브 가이드(223) 내에 배치되는 복수의 거울들을 포함할 수 있다.
적어도 하나의 광학 장치(230)는, 적어도 하나의 디스플레이(220) 상에 가상의 객체를 표시하기 위한 빛을 방출할 수 있다. 예를 들어, 적어도 하나의 광학 장치(230)는, 프로젝터를 포함할 수 있다. 예를 들어, 전자 장치(101)는, 가상의 객체를 표시하기 위한 데이터를 적어도 하나의 광학 장치(230)로 전송할 수 있다. 적어도 하나의 광학 장치(230)는, 가상의 객체를 표시하기 위한 데이터를 수신하는 것에 기반하여, 웨이브 가이드(223)를 향해 빛을 방출할 수 있다. 웨이브 가이드(223)는, 적어도 하나의 광학 장치(230)로부터 수신된 빛을 디스플레이(220)의 제2 면(220b) 상의 표시 영역에 전달할 수 있다. 적어도 하나의 광학 장치(230)에 의해 방출된 빛은, 제2 면(220b)을 통과함으로써, 전자 장치(101)의 외부로부터 전달된 현실 이미지를 구현하는 빛과 함께 사용자에게 전달될 수 있다. 적어도 하나의 광학 장치(230)로부터 방출된 빛 및 전자 장치(101)의 외부로부터 전달된 빛은, 사용자에게 증강 현실을 제공할 수 있다. 일 실시예에 따르면, 적어도 하나의 광학 장치(230)는, 적어도 하나의 디스플레이(220) 상에 배치될 수 있다. 예를 들어, 적어도 하나의 광학 장치(230)는, 적어도 하나의 림(211)에 의해 둘러싸일 수 있으나, 이에 제한되지 않는다. 예를 들어, 적어도 하나의 광학 장치(230)는, 적어도 하나의 디스플레이(220) 내에 포함될 수 있다.
적어도 하나의 카메라(240)는, 전자 장치(101)의 외부의 객체로부터 빛을 수신하는 것에 기반하여, 이미지를 획득하도록 구성될 수 있다. 일 실시예에 따르면, 적어도 하나의 카메라(240)는, 시선 추적 카메라(241), 동작 인식 카메라(242), 및/또는 촬영 카메라(243)를 포함할 수 있다.
시선 추적 카메라(241)는, 전자 장치(101)를 착용한 사용자의 시선(gaze)을 나타내는 데이터를 출력할 수 있다. 예를 들어, 전자 장치(101)는 시선 추적 카메라(241)를 통하여 획득된 사용자의 눈동자가 포함된 이미지로부터, 상기 시선을 탐지할 수 있다. 일 실시예에 따르면, 시선 추적 카메라(241)는, 사용자의 좌안, 및 사용자의 우안에 각각 대응하는 복수의 시선 추적 카메라들을 포함할 수 있다. 일 실시예에 따르면, 전자 장치(101)는, 전자 장치(101)를 착용한 사용자의 시선(gaze)을 추적하기 위한 시선 추적 카메라(241)를 통해, 사용자의 시선과 적어도 하나의 디스플레이(220)에 제공되는 시각적인 정보를 일치시킬 수 있다. 시선 추적 카메라(241)는, 사용자의 시선을 결정하기 위하여, 사용자의 동공의 이미지를 캡쳐하도록 구성될 수 있다. 예를 들어, 시선 추적 카메라(241)는, 사용자의 시선을 결정하기 위하여, 사용자의 동공의 이미지를 캡쳐하도록 구성될 수 있다. 예를 들어, 시선 추적 카메라(241)는, 사용자의 동공에서 반사된 시선 검출 광을 수신하고, 수신된 시선 검출 광의 위치 및 움직임에 기반하여, 사용자의 시선을 추적할 수 있다. 일 실시예에 따르면, 시선 추적 카메라(241)는, 하우징(210) 내에 배치될 수 있다. 시선 추적 카메라(241)는, 사용자의 좌안 및/또는 우안을 지향하도록, 하우징(210)에 배치될 수 있다. 예를 들어, 시선 추적 카메라(241)는, 적어도 하나의 림(211) 상에 배치될 수 있으나, 이에 제한되지 않는다. 예를 들어, 시선 추적 카메라(241)는, 브릿지(212) 상에 배치될 수 있다.
동작 인식 카메라(242)는, 사용자의 신체의 적어도 일부(예: 사용자의 몸통, 손, 또는 얼굴)의 움직임을 인식함으로써, 적어도 하나의 디스플레이(220)에 제공되는 화면에 특정 이벤트를 제공할 수 있다. 동작 인식 카메라(242)는, 전자 장치(101)가 사용자의 동작을 인식(gesture recognition)하기 위한 상기 동작에 대응되는 신호를 획득하고, 상기 신호에 대응되는 표시를 적어도 하나의 디스플레이(220)에 제공할 수 있다. 전자 장치(101)는, 상기 동작에 대응되는 신호를 식별하고, 상기 식별에 기반하여, 지정된 기능을 수행할 수 있다. 예를 들어, 전자 장치(101)는, 상기 동작에 대응하는 신호를 식별하는 것에 기반하여, 온/오프될 수 있다. 예를 들어, 전자 장치(101)는, 상기 동작에 대응하는 신호를 식별하는 것에 기반하여 적어도 하나의 광학 장치(230)를 통해 가상의 객체를 적어도 하나의 디스플레이(220) 상에 표시할 수 있다. 일 실시예에 따르면, 동작 인식 카메라(242)는, 하우징(210) 내에 배치될 수 있다. 예를 들어, 동작 인식 카메라(242)는, 적어도 하나의 림(211)의 내부에 배치될 수 있으나, 이에 제한되지 않는다. 예를 들어, 동작 인식 카메라(242)는, 브릿지(212)의 내부에 배치될 수 있다.
촬영 카메라(243)는, 증강 현실 또는 혼합 현실 콘텐츠를 구현하기 위해서 가상의 이미지와 정합될 실제의 이미지나 배경을 촬영할 수 있다. 촬영 카메라(243)는, 사용자가 바라보는 위치에 존재하는 특정 사물의 이미지를 촬영하고, 전자 장치(101)는, 촬영 카메라(243)로부터 획득된 이미지를 적어도 하나의 디스플레이(220)로 제공할 수 있다. 적어도 하나의 디스플레이(220)는, 촬영 카메라(243)를 이용해 획득된 상기 특정 사물의 이미지를 포함하는 실제의 이미지나 배경에 관한 정보와, 적어도 하나의 광학 장치(230)를 통해 제공되는 가상 이미지가 겹쳐진 하나의 영상을 표시할 수 있다. 일 실시예에 따르면, 촬영 카메라(243)는, 적어도 하나의 림(211)의 내부에 배치될 수 있다. 예를 들어, 촬영 카메라(243)는, 서로 이격되는 복수의 촬영 카메라들을 포함할 수 있다.
적어도 하나의 마이크(250)는, 전자 장치(101)의 외부로부터 오디오를 획득하도록 구성될 수 있다. 일 실시예에 따르면, 적어도 하나의 마이크(250)는, 하우징(210)의 내부에 배치될 수 있다. 예를 들어, 적어도 하나의 마이크(250)는, 제1 마이크(251), 제2 마이크(252), 및/또는 제3 마이크(253)를 포함할 수 있다. 제1 마이크(251)는, 제1 림(211a)의 내부에 배치될 수 있다. 제2 마이크(252)는, 제2 림(211b)의 내부에 배치될 수 있다. 제3 마이크(253)는, 제1 마이크(251)와 제2 마이크(252)의 사이에 배치될 수 있다. 예를 들어, 제3 마이크(253)는, 하우징(210)의 브릿지(212)의 내에 배치될 수 있다. 다만 이에 제한되지 않고, 적어도 하나의 마이크(250)의 개수, 및 배치는 도 2b와 달리 변경될 수 있다. 예를 들어, 적어도 하나의 마이크(250)는, 적어도 하나의 템플(214)의 내부에 배치될 수 있다. 일 실시예에 따르면, 전자 장치(101) 내에 포함된 적어도 하나의 마이크(250)의 개수가 두 개 이상인 경우, 전자 장치(101)는 하우징(200)의 상이한 부분들 상에 배치된 복수의 마이크들(251, 252, 253)을 이용하여, 소리 신호의 방향을 식별할 수 있다.
스피커(260)는, 오디오를 전자 장치(101)의 외부로 출력하도록 구성될 수 있다. 일 실시예에 따르면, 스피커(260)는, 전자 장치(101)가 사용자에게 착용된 상태 내에서 사용자의 귀에 인접하도록 위치될 수 있다. 예를 들어, 스피커(260)는, 사용자의 귀에 접하는 적어도 하나의 템플(214)의 내부에 배치될 수 있다. 예를 들어, 스피커(260)는, 사용자의 좌측 귀에 인접하도록, 제1 템플(214a)의 내부에 배치될 수 있다. 예를 들어, 스피커(260)는, 사용자의 우측 귀에 인접하도록 제2 템플(214b)의 내부에 배치될 수 있다.
안테나 모듈(270)은, 신호 또는 전력을 전자 장치(101)의 외부로 송신하거나, 전자 장치(101)의 외부로부터 신호 또는 전력을 수신할 수 있다. 안테나 모듈(270)은, 통신 회로와 전기적으로, 및/또는 작동적으로 연결될 수 있다. 일 실시예에 따르면, 안테나 모듈(270)은, 적어도 하나의 템플(214)의 내에 배치될 수 있다. 예를 들어, 안테나 모듈(270)은, 제1 템플(214a)의 내부에 배치될 수 있다. 예를 들어, 안테나 모듈(270)은, 제2 템플(214b)의 내부에 배치될 수 있다. 일 실시예에 따르면, 안테나 모듈(270)의 적어도 일부는, 적어도 하나의 템플(214)의 외부에 노출될 수 있으나, 이에 제한되지 않는다.
배터리(280)는, 전자 장치(101)의 전자 부품들에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(280)는, 적어도 하나의 템플(214)의 내에 배치될 수 있다. 예를 들어, 배터리(280)는, 제1 템플(214a)의 내부에 배치될 수 있다. 예를 들어, 배터리(280)는, 제2 템플(214b)의 내부에 배치될 수 있다. 일 실시예에 따르면, 배터리(280)는, 적어도 하나의 림(211)에 연결되는 적어도 하나의 템플(214)의 일 단에 반대인 적어도 하나의 템플(214)의 타 단에 배치될 수 있다. 예를 들어, 배터리(280)는, 제1 림(211a)에 연결되는 제1 템플(214a)의 일 단에 반대인 제1 템플(214a)의 타 단의 내부에 배치될 수 있다. 예를 들어, 배터리(280)는, 제2 림(211b에 연결되는 제2 템플(214b)의 일 단에 반대인 제2 템플(214b)의 타 단의 내부에 배치될 수 있다.
인쇄 회로 기판(290)은, 전자 장치(101) 내의 전자 부품들 간의 전기적인 연결을 형성할 수 있다. 예를 들어, 인쇄 회로 기판(290)은, 인쇄 회로 기판(290) 상에 배치되는 전자 부품들 간의 전기적인 연결을 형성할 수 있다. 예를 들어, 인쇄 회로 기판(290)은, 인쇄 회로 기판(290)의 외부에 배치되는 전자 부품들과 인쇄 회로 기판(290) 상에 배치되는 전자 부품들(예: 도 1의 프로세서(120)) 간의 전기적인 연결을 형성할 수 있다. 일 실시예에 따르면, 인쇄 회로 기판(290)은, 적어도 하나의 템플(214)의 내부에 배치될 수 있다. 예를 들어, 인쇄 회로 기판(290)은, 각각 제1 템플(214a), 및 제2 템플(214b)의 내부에 배치되는 복수의 인쇄 회로 기판들을 포함할 수 있다. 인쇄 회로 기판(290)은 복수의 인쇄 회로 기판들을 연결하기 위한 연성 인쇄 회로 기판(FPCB, flexible printed circuit board)을 포함할 수 있다.
도 2c는, 본 개시의 일 실시예에 따른 웨어러블(wearable) 전자 장치(electronic device)를 통해, 렌더링 스타일(rendering style)이 변경된 이미지를 획득하는 예를 도시한다.
상기 렌더링 스타일은, 2차원 또는 3차원 장면(scene)을 이미지로 렌더링함에 있어서, 적용되는 스타일(style)을 나타낼 수 있다. 상기 웨어러블 전자 장치는, 사용자에게 VR 또는 AR 환경을 제공하기 위한 도 1, 도 2a 및 도 2b의 전자 장치(101)일 수 있다. 이하, 설명의 편의를 위하여, VR 환경을 제공하기 위한 웨어러블 전자 장치를 예로 설명한다. 다만, 본 개시가 이에 제한되는 것은 아니다.
도 2c를 참고하면, VR 환경을 제공하는 소프트웨어 어플리케이션(software application)을 통해 획득되는 이미지(이하, VR 이미지)와 웨어러블 전자 장치의 카메라를 통해 획득되는 웨어러블 전자 장치의 주변 환경에 대한 이미지(이하, 실제 환경의 이미지)를 합성하는 예들을 도시한다. 상기 환경은 공간으로도 지칭될 수 있다.
제1 예(200-1)는 렌더링 스타일이 변경된 실제 환경의 이미지(205-1)가 VR 이미지(203)와 합성된 예를 도시한다. 여기서, 실제 환경의 이미지(205-1)는 VR 이미지(203)의 렌더링 스타일(예: 카툰(cartoon) 스타일)과 동일하거나 유사한 렌더링 스타일이 적용된 가상의 이미지를 나타낼 수 있다. 이와 달리, 제2 예(200-2)는 렌더링 스타일이 변경되지 않은 실제 환경의 이미지(205-2)가 VR 이미지(203)와 합성된 예를 도시한다. 여기서, 실제 환경의 이미지(205-2)는 웨어러블 전자 장치의 사용자가 바라보는 주변 환경의 실제 이미지를 나타낼 수 있다.
제2 예(200-2)를 참조하면, 웨어러블 전자 장치는, VR 환경을 제공하는 소프트웨어 어플리케이션을 이용하는 사용자에게, VR 이미지(203)와 함께 실제 환경의 이미지(205-2)를 제공할 수 있다. 다시 말해서, 사용자는 카툰 스타일의 VR 이미지(203)와 함께 실제 환경에 대한 이미지(205-2)가 합성된 이미지를 제공받을 수 있다. 합성 이미지가 포함하는 서로 다른 스타일의 이미지들에 의해, 사용자는 웨어러블 전자 장치의 디스플레이를 통해 표시되는 합성 이미지의 이질감을 느낄 수 있다. 즉, 제2 예(200-2)는, 실제 환경의 이미지(205-2)와 VR 이미지(203)를 그대로 결합하거나, 실제 환경의 이미지(205-2)에 대하여 단순한 필터링만 적용할 뿐 실제 환경과 VR 환경 사이의 상호간의 정보를 교환하지 않는 바, 이질적인 합성 이미지가 도출될 수 있다. 이에 따라, 사용자는, VR 환경을 경험함에 있어, 몰입감이 떨어질 수 있다.
이하, 본 개시의 실시예들은, 제1 예(200-1)와 같이, VR 이미지(203)의 렌더링 스타일을 식별하고 사용자가 바라보는 실제 환경에 대한 이미지(205-1)에 식별된 렌더링 스타일을 적용함으로써, 렌더링 스타일이 변경된 이미지를 획득하기 위한 방법을 제안한다. 이를 통해 본 개시의 실시예들은, 렌더링 스타일이 변경된 이미지와 VR 이미지를 합성하여 사용자에게 제공함으로써, 보다 자연스럽고 몰임감이 높은 VR 경험을 제공할 수 있다.
도 3a은 본 개시의 일 실시예에 따른 렌더링 스타일(rendering style)에 대한 정보에 기반하여 합성 이미지를 획득하기 위한 방법에 대한 예를 도시하는 흐름도이다.
상기 렌더링 스타일은, 2차원 또는 3차원 장면(scene)을 이미지로 렌더링함에 있어서, 적용되는 스타일(style)을 나타낼 수 있다. 상기 합성 이미지는, VR 환경을 제공하는 소프트웨어 어플리케이션을 통해 획득되는 이미지와 웨어러블 전자 장치 주변의 환경에 대한 이미지를 합성한 이미지를 나타낼 수 있다. 상기 웨어러블 전자 장치는, 사용자에게 VR 또는 AR 환경을 제공하기 위한 도 1, 도 2a 및 도 2b의 전자 장치(101)일 수 있다. 이하, 설명의 편의를 위하여, VR 환경을 제공하기 위한 웨어러블 전자 장치를 예로 설명한다. 다만, 본 개시가 이에 제한되는 것은 아니다.
도 3a의 흐름도는, 도 1, 도 2a 및 도 2b의 전자 장치(101)에 의해 수행될 수 있다. 예를 들면, 도 3a의 흐름도는 도 1, 도 2a 및 도 2b의 전자 장치(101)의 프로세서(120)에 의해 수행될 수 있다.
도 3a를 참고하면, 동작(301)에서, 프로세서(120)는 소프트웨어 어플리케이션의 수가 1인지 여부를 식별할 수 있다. 여기서, 소프트웨어 어플리케이션은 VR 또는 AR 환경과 관련된 소프트웨어 어플리케이션을 나타낼 수 있다. 예를 들면, 소프트웨어 어플리케이션은 VR 환경 또는 AR 환경에서 이용될 수 있는 소프트웨어 어플리케이션일 수 있다. 프로세서(120)는 전자 장치(101)의 디스플레이(예: 도 1의 디스플레이 모듈(150))를 통해 표시될 수 있는 소프트웨어 어플리케이션의 수를 식별할 수 있다. 예를 들어, 하나의 소프트웨어 어플리케이션이 전자 장치(101)의 디스플레이 전체 영역을 통해 표시되는 경우, 프로세서(120)는 소프트웨어 어플리케이션의 수를 1개로 식별할 수 있다. 하나의 소프트웨어 어플리케이션은 디스플레이의 전체 영역을 이용하는 몰입형(immersive) 소프트웨어 어플리케이션으로 지칭될 수도 있다. 예를 들어, 3개의 소프트웨어 어플리케이션들이 전자 장치(101)의 디스플레이를 통해 표시되는 경우, 프로세서(120)는 소프트웨어 어플리케이션의 수를 3개로 식별할 수 있다. 3개의 소프트웨어 어플리케이션들은 디스플레이의 일부 영역을 이용하는 위젯형(widget) 소프트웨어 어플리케이션으로 지칭될 수도 있다. 동작(301)에서, 프로세서(120)가 소프트웨어 어플리케이션의 수를 1로 식별하는 경우, 동작(303)을 수행할 수 있다. 동작(301)에서, 프로세서(120)가 소프트웨어 어플리케이션의 수를 2 이상으로(즉, 복수로) 식별하는 경우, 동작(305)을 수행할 수 있다.
동작(303)에서, 프로세서(120)는 하나의 소프트웨어 어플리케이션의 렌더링 스타일에 대한 정보를 획득할 수 있다. 여기서, 렌더링 스타일에 대한 정보는, 소프트웨어 어플리케이션에 적용되는 렌더링 스타일을 나타낼 수 있다. 소프트웨어 어플리케이션에 적용되는 렌더링 스타일은 소프트웨어 어플리케이션이 정의하는 렌더링 스타일로도 지칭될 수 있다. 예를 들면, 렌더링 스타일에 대한 정보는, 소프트웨어 어플리케이션의 파일 정보, 또는 코드 정보에 기반하여 식별될 수 있다. 이와 관련된 구체적인 내용은 이하 도 4a에서 서술된다. 상기 렌더링 스타일은 다양한 형식의 스타일들을 포함할 수 있다. 예를 들어, 렌더링 스타일은, 카툰 스타일(cartoon style), PBR(physical based rendering) 스타일, 흑백(black/white) 스타일, 개요(outline) 스타일, 복셀(voxel) 스타일, 코믹(comic) 스타일, 또는 레트로(retro) 스타일을 포함할 수 있다. 다만, 이에 제한되는 것은 아니며, 다른 스타일의 렌더링 스타일도 본 개시의 실시예에 적용될 수 있다.
동작(305)에서, 프로세서(120)는 복수의 소프트웨어 어플리케이션들 각각의 렌더링 스타일에 대한 정보를 획득할 수 있다. 여기서, 렌더링 스타일에 대한 정보는, 소프트웨어 어플리케이션에 적용되는 렌더링 스타일을 나타낼 수 있다. 다시 말해서, 프로세서(120)는 복수의 소프트웨어 어플리케이션들에 대응하는 복수의 렌더링 스타일에 대한 정보를 획득할 수 있다. 예를 들면, 각각의 렌더링 스타일에 대한 정보는, 소프트웨어 어플리케이션의 파일 정보, 또는 코드 정보에 기반하여 식별될 수 있다. 이와 관련된 구체적인 내용은 이하 도 4a에서 서술된다. 또한, 동작(305)에서, 프로세서(120)는 복수의 소프트웨어 어플리케이션들 각각에 대한 경계(boundary) 정보를 획득할 수 있다. 예를 들어, 경계 정보는 전자 장치(101)의 디스플레이를 통해 표시되는 각 소프트웨어 어플리케이션의 영역에 대한 정보를 나타낼 수 있다. 프로세서(120)는 경계 정보에 기반하여, 구분된 영역들 각각에 대하여 적용되는 렌더링 스타일에 대한 정보를 매핑할 수 있다. 또한, 프로세서(120)는 구분된 영역들 각각에 대하여 적용되는 렌더링 스타일에 대한 정보를 메모리(예: 도 1의 메모리(130))에 저장할 수 있다.
동작(307)에서, 프로세서(120)는 소프트웨어 어플리케이션을 통해 제1 이미지를 식별할 수 있다. 예를 들면, 제1 이미지는, 전자 장치(101)가 상기 소프트웨어 어플리케이션을 통해 사용자에게 제공하는 VR 또는 AR 이미지를 지칭할 수 있다. 예를 들어, 제1 이미지는, 도 2c의 VR 이미지(203)를 포함할 수 있다. 일 실시예에 따르면, 제1 이미지는 상기 소프트웨어 어플리케이션을 통해 제공되는 VR 또는 AR 환경에 대한 이미지로, 적어도 하나의 시각적 객체를 포함할 수 있다. 예를 들면, 적어도 하나의 시각적 객체는, 이하 도 10에서 도시하는 바와 같이, 발광 속성을 포함할 수 있다.
일 실시예에 따르면, 프로세서(120)는 하나의 소프트웨어 어플리케이션을 통해 복수의 제1 이미지들을 식별할 수 있다. 예를 들면, 프로세서(120)는 m초 간격으로 n개의 복수의 제1 이미지들을 식별할 수 있다. 예를 들어, 프로세서(120)는 소프트웨어 어플리케이션을 통해 표시되는 복수의 제1 이미지들을 획득할 수 있다. 또한, 프로세서(120)는 복수의 소프트웨어 어플리케이션들 각각에 대하여, 복수의 제1 이미지들을 식별할 수 있다. 예를 들면, 프로세서(120)는 복수의 소프트웨어 어플리케이션들에 포함된 제1 소프트웨어 어플리케이션을 통해 제1 세트의 복수의 제1 이미지들을 식별할 수 있다. 또한, 프로세서(120)는 복수의 소프트웨어 어플리케이션들에 포함된 제2 소프트웨어 어플리케이션을 통해 제2 세트의 복수의 제1 이미지들을 식별할 수 있다. 여기서, 각각의 복수의 제1 이미지들에 대한 세트는, 동일한 제1 이미지를 시간을 달리하여 식별한 세트를 나타낼 수 있다.
상술한 바에 따르면, 프로세서(120)는 소프트웨어 어플리케이션에 대하여 적어도 하나의 제1 이미지를 식별할 수 있다. 또한, 프로세서(120)는 식별된 적어도 하나의 제1 이미지를 메모리(예: 도 1의 메모리(130))에 저장할 수 있다.
동작(309)에서, 프로세서(120)는 제1 이미지 내 시각적 객체의 속성에 기반하여, 배경 이미지에 적용될 컬러 효과를 식별할 수 있다. 예를 들어, 프로세서(120)는 상기 시각적 객체에 대응하는 상기 배경 이미지의 부분에 적용될 컬러 효과를 식별할 수 있다. 상기 속성은, 상기 시각적 객체로부터 표현되는 발광 속성, 온도 속성, 질감 속성 등을 포함할 수 있다. 예를 들면, 제1 이미지 내의 시각적 객체들 중 일부가 가상의(virtual) 광원(light source)인 경우, 일부의 시각적 객체들은 발광 속성을 갖는 것으로 이해될 수 있다. 예를 들면, 상기 배경 이미지는, 상기 제1 이미지와 합성되고, 상기 제1 이미지의 배경이 되는 이미지를 나타낼 수 있다. 상기 배경 이미지는, 웨어러블 전자 장치의 주변 환경의 이미지(예: 실제 환경의 이미지 또는 제2 이미지) 또는 상기 제2 이미지와 동일한 시각적 객체를 포함하고 렌더링 스타일이 적용된 제3 이미지를 나타낼 수 있다. 예를 들어, 컬러 효과가 적용될 배경 이미지는 제2 이미지일 수 있고, 컬러 효과가 적용된 배경 이미지는 제3 이미지일 수 있다. 상기 컬러 효과는, 색상의 수, 히스토그램, 윤곽선 유무, 동일 색상을 갖는 픽셀의 크기, 그림자 색상, 콘트라스트, 샤프닝(sharpening), 블러링(blurring) 또는 마스킹(masking) 등을 포함할 수 있다. 예를 들어, 상기 컬러 효과는, 상기 제1 이미지에 포함되는 발광 속성을 갖는 가상의 광원의 위치, 가상의 광원의 밝기, 가상의 광원의 색 온도, 또는 주변광의 밝기를 고려하여, 설정될 수 있다. 상기 컬러 효과에 대한 구체적인 내용은, 이하 도 6a 내지 도 6c에서 서술된다.
동작(311)에서, 프로세서(120)는 제1 이미지에 기반하여, 렌더링 스타일을 식별할 수 있다. 예를 들면, 프로세서(120)는 제1 이미지가 포함하는 시각적 객체에 기반하여, 소프트웨어 어플리케이션의 렌더링 스타일을 식별할 수 있다. 일 실시예에 따라, 프로세서(120)가 복수의 제1 이미지들을 식별하는 경우, 상기 복수의 제1 이미지들에 기반하여, 프로세서(120)는 소프트웨어 어플리케이션의 렌더링 스타일(rendering style)을 식별할 수 있다. 예를 들면, 프로세서(120)는 상기 소프트웨어 어플리케이션의 매니페스트(manifest) 파일, 실행 파일 정보, 코드(code) 정보, 딥 러닝(deep learning), 히스토그램(histogram), 또는 이미지 정보를 이용하여, 제1 이미지에 적용된 렌더링 스타일을 식별할 수 있다. 상술한 바에 따르면, 프로세서(120)는 소프트웨어 어플리케이션에 대한 적어도 하나의 제1 이미지를 식별하고, 식별된 적어도 하나의 제1 이미지에 기반하여, 소프트웨어 어플리케이션에 대한 렌더링 스타일을 식별할 수 있다. 만약, 동작(301) 내지 동작(305)을 통해, 소프트웨어 어플리케이션에 대한 정보를 통해 렌더링 스타일에 대한 정보를 식별하는 경우, 동작(311)은 생략될 수 있다. 이와 관련된 구체적인 내용은, 이하 도 4a에서 서술된다.
동작(313)에서, 프로세서(120)는 제2 이미지를 변환함으로써 제3 이미지를 획득할 수 있다. 예를 들면, 상기 제2 이미지는, 전자 장치(101)의 주변 환경에 대한 이미지를 나타낼 수 있다. 즉, 상기 제2 이미지는 상기 전자 장치(101)의 카메라(예: 도 1의 카메라 모듈(180))를 통해 식별가능한 실제 환경에 대한 이미지를 나타낼 수 있다. 여기서, 카메라는 pass-through 카메라를 포함할 수 있다.
일 실시예에 따르면, 프로세서(120)는 상기 카메라를 통해 실제 환경에 대한 이미지인 제2 이미지를 획득할 수 있다. 예를 들면, 프로세서(120)는 주변 환경에 대하여 사용자가 바라보는 방향의 실제 환경에 대한 제2 이미지를 획득할 수 있다. 프로세서(120)는, 상기 제2 이미지를 획득하기 위하여, 상기 주변 환경에 대한 정보를 획득할 수 있다. 예를 들면, 상기 주변 환경에 대한 정보는, 환경 광원의 색 온도, 환경 광원의 밝기, 또는 안개 정보를 포함할 수 있다. 상기 환경 광원은 실제 환경에 존재하고, 상기 제2 이미지와 관련된 광원을 나타낼 수 있다. 따라서, 프로세서(120)는 상기 주변 환경에 대한 정보에 기반하여, 상기 제2 이미지를 획득할 수 있다.
일 실시예에 따르면, 프로세서(120)는 상기 컬러 효과 및 상기 렌더링 스타일에 기반하여 제2 이미지를 제3 이미지로 변환할 수 있다. 예를 들어, 프로세서(120)는 실제 환경에 대한 제2 이미지를, 소프트웨어 어플리케이션을 통해 제공되는 VR 환경에 대한 컬러 효과 및 소프트웨어 어플리케이션의 렌더링 스타일에 기반하여, 제3 이미지로 변환할 수 있다. 일 실시예에 따르면, 복수의 소프트웨어 어플리케이션들이 이용되는 경우, 프로세서(120)는 상기 경계 정보에 기반하여, 복수의 소프트웨어 어플리케이션들 각각의 영역을 식별하고, 식별된 영역에 대하여 렌더링 스타일이 상기 제2 이미지가 적용된 제3 이미지를 식별할 수 있다. 여기서, 제3 이미지는, 상기 제1 이미지에 대한 배경 이미지로 이용될 수 있다. 상술한 바에 따라, 상기 제3 이미지는 상기 제1 이미지와 동일하거나 유사한 스타일로 변경될 수 있다.
동작(315)에서, 프로세서(120)는 제1 이미지 및 제3 이미지를 표시할 수 있다. 예를 들면, 프로세서(120)는 전자 장치(101)의 디스플레이를 통해 상기 제1 이미지 및 상기 제3 이미지를 합성하여 표시할 수 있다. 예를 들면, 프로세서(120)는 전자 장치(101)의 디스플레이를 통해 상기 제1 이미지와 함께 상기 제3 이미지를 표시할 수 있다.
상술한 바에 따르면, 본 개시의 실시예들은 실제 환경에 대한 이미지(예: 제2 이미지)에 대하여 렌더링 스타일이 적용된 이미지(예: 제3 이미지)를 획득하고, 획득된 제3 이미지와 소프트웨어 어플리케이션을 통해 획득되는 VR 환경에 대한 이미지(예: 제1 이미지)가 합성된 이미지를 사용자에게 제공할 수 있다. 상기 렌더링 스타일은, 소프트웨어 어플리케이션에 대한 정보 또는 상기 제1 이미지로부터 식별될 수 있다. 본 개시의 실시예들은, 상기 제2 이미지와 상기 제1 이미지를 그대로 합성하는 것이 아니라, 상기 제1 이미지와 관련된 렌더링 스타일이 적용된 제3 이미지와 상기 제1 이미지를 합성하여 표시할 수 있다. 이에 따라, 전자 장치(101)는 사용자에게 보다 자연스럽게 렌더링된 이미지를 통해 몰입감 높은 VR 환경을 제공할 수 있다.
도 3b는 본 개시의 일 실시예에 따른 복수의 이미지들을 통해 렌더링 스타일(rendering style)에 대한 정보를 획득하는 예를 도시한다. 도 3c는 본 개시의 일 실시예에 따른 렌더링 스타일(rendering style)에 대한 정보에 기반하여 합성 이미지를 획득하는 예를 도시한다.
상기 렌더링 스타일은, 2차원 또는 3차원 장면(scene)을 이미지로 렌더링함에 있어서, 적용되는 스타일(style)을 나타낼 수 있다. 상기 합성 이미지는, VR 환경을 제공하는 소프트웨어 어플리케이션을 통해 획득되는 이미지와 웨어러블 전자 장치 주변의 환경에 대한 이미지를 합성한 이미지를 나타낼 수 있다. 상기 웨어러블 전자 장치는, 사용자에게 VR 또는 AR 환경을 제공하기 위한 도 1, 도 2a 및 도 2b의 전자 장치(101)일 수 있다. 이하, 설명의 편의를 위하여, VR 환경을 제공하기 위한 웨어러블 전자 장치를 예로 설명한다. 다만, 본 개시가 이에 제한되는 것은 아니다.
도 3b를 참조하면, 프로세서(120)는 소프트웨어 어플리케이션을 통해 제1 이미지를 획득할 수 있다. 도 3b의 예(330)에서는, 설명의 편의를 위하여, 하나의 소프트웨어 어플리케이션의 복수의 제1 이미지들(340-1, 340-2, 340-3, 340-n)을 도시한다. 그러나, 본 개시가 이에 제한되는 것은 아니다. 예를 들면, 프로세서(120)는 소프트웨어 어플리케이션을 통해 하나의 제1 이미지를 획득할 수 있다. 또는, 프로세서(120)는 소프트웨어 어플리케이션을 통해 복수의 제1 이미지를 획득할 수 있다. 일 실시예에 따르면, 프로세서(120)는, 복수의 소프트웨어 어플리케이션들을 이용하는 경우, 복수의 소프트웨어 어플리케이션들 각각에 대하여 적어도 하나의 제1 이미지를 획득할 수 있다. 예를 들어, 프로세서(120)는 소프트웨어 어플리케이션을 통해 표시되는 적어도 하나의 제1 이미지를 획득할 수 있다.
일 실시예에 따르면, 복수의 제1 이미지들(340-1, 340-2, 340-3, 340-n) 각각은 동일한 시각적 객체를 포함할 수 있다. 예를 들면, 복수의 제1 이미지들(340-1, 340-2, 340-3, 340-n) 각각은 만화 캐릭터인 시각적 객체를 포함할 수 있다. 상기 복수의 제1 이미지들(340-1, 340-2, 340-3, 340-n)은 시간의 흐름에 따라 동일한 시각적 객체를 포함하는 이미지들을 나타낼 수 있다.
도 3b에서 도시하지는 않았으나, 프로세서(120)는 제1 예(330)의 복수의 제1 이미지들(340-1, 340-2, 340-3, 340-n)에 기반하여, 소프트웨어 어플리케이션의 렌더링 스타일을 식별할 수 있다. 예를 들면, 프로세서(120)는 인공 신경망(artificial neural network)에 따른 딥 러닝(deep learning)을 통해 소프트웨어 어플리케이션의 렌더링 스타일을 식별할 수 있다. 만화 캐릭터인 시각적 객체를 포함하는 복수의 제1 이미지들(340-1, 340-2, 340-3, 340-n)의 예에 대하여, 프로세서(120)는 소프트웨어 어플리케이션의 렌더링 스타일이 카툰 스타일임을 식별할 수 있다.
도 3c를 참조하면, 제2 예(350)에서, 프로세서(120)는 전자 장치(101)의 카메라를 통해 실제 환경에 대한 제2 이미지(355)를 획득할 수 있다. 예를 들면, 프로세서(120)는 주변 환경에 대하여 사용자가 바라보는 방향의 실제 환경에 대한 제2 이미지(355)를 획득할 수 있다. 또한, 프로세서(120)는, 상기 제2 이미지(355)를 획득하기 위하여, 상기 주변 환경에 대한 정보를 획득할 수 있다. 예를 들면, 상기 주변 환경에 대한 정보는, 환경 광원의 색 온도, 환경 광원의 밝기, 또는 안개 정보를 포함할 수 있다. 상기 환경 광원은 실제 환경에 존재하고, 상기 제2 이미지(355)와 관련된 광원을 나타낼 수 있다. 따라서, 프로세서(120)는 상기 주변 환경에 대한 정보에 기반하여, 상기 제2 이미지(355)를 획득할 수 있다.
도 3c를 참조하면, 제3 예(360)에서, 프로세서(120)는 컬러 효과 및 렌더링 스타일에 기반하여 상기 제2 이미지(355)를 제3 이미지(365)로 변환할 수 있다. 다시 말해서, 프로세서(120)는 실제 공간에 대한 제2 이미지(355)에 렌더링 스타일을 적용함으로써, 보정된 가상의 이미지인 제3 이미지(365)를 획득할 수 있다. 예를 들어, 프로세서(120)는 실제 환경에 대한 제2 이미지(355)를, 소프트웨어 어플리케이션을 통해 제공되는 VR 환경에 대한 컬러 효과 및 소프트웨어 어플리케이션의 렌더링 스타일에 기반하여, 제3 이미지(365)로 변환할 수 있다. 상기 컬러 효과는, 도 3b의 복수의 제1 이미지들(340-1, 340-2, 340-3, 340-n)에 기반하여 식별될 수 있다. 상기 컬러 효과는, 색상의 수, 히스토그램, 윤곽선 유무, 동일 색상을 갖는 픽셀의 크기, 그림자 색상, 콘트라스트, 샤프닝(sharpening), 블러링(blurring) 또는 마스킹(masking) 등을 포함할 수 있다. 예를 들어, 상기 컬러 효과는, 상기 제1 이미지에 포함되는 발광 속성을 갖는 가상의 광원의 위치, 가상의 광원의 밝기, 가상의 광원의 색 온도, 또는 주변광의 밝기를 고려하여, 설정될 수 있다.
상기 렌더링 스타일은 소프트웨어 어플리케이션에 대한 정보에 기반하여 식별되거나 복수의 제1 이미지들(340-1, 340-2, 340-3, 340-n)에 기반하여 식별되거나, 또는 사용자의 입력에 따라 식별될 수 있다. 이와 관련된 구체적인 내용은 이하 도 4a에서 서술된다. 상기 렌더링 스타일은 다양한 형식의 스타일들을 포함할 수 있다. 예를 들어, 렌더링 스타일은, 카툰 스타일(cartoon style), PBR(physical based rendering) 스타일, 흑백(black/white) 스타일, 개요(outline) 스타일, 복셀(voxel) 스타일, 코믹(comic) 스타일, 또는 레트로(retro) 스타일을 포함할 수 있다. 도 3c의 제3 예(360)에서는, 렌더링 스타일이 카툰 스타일인 경우를 도시한다.
제3 예(360)를 참조하면, 프로세서(120)는 제2 이미지(355)에 대하여 카툰 스타일의 렌더링 스타일 및 컬러 효과들이 적용함으로써, 제3 이미지(365)를 획득할 수 있다. 다시 말해서, 제3 이미지(365)는 제2 이미지(355)를 카툰 스타일로 변경하고, 컬러 효과에 기반하여 쉐이더(shader)가 적용된 이미지를 나타낼 수 있다.
도 3c를 참조하면, 제4 예(370)에서, 프로세서(120)는 제1 이미지(340) 및 제3 이미지(365)를 표시할 수 있다. 예를 들면, 프로세서(120)는 전자 장치(101)의 디스플레이를 통해 상기 제1 이미지(340) 및 상기 제3 이미지(365)를 합성하여 표시할 수 있다. 예를 들면, 프로세서(120)는 전자 장치(101)의 디스플레이를 통해 상기 제1 이미지(340)와 함께 상기 제3 이미지(365)를 표시할 수 있다.
상술한 바에 따르면, 본 개시의 실시예들은 실제 환경에 대한 이미지(예: 제2 이미지(355))에 대하여 렌더링 스타일이 적용된 이미지(예: 제3 이미지(365))를 획득하고, 획득된 제3 이미지(365)와 소프트웨어 어플리케이션을 통해 획득되는 VR 환경에 대한 이미지(예: 제1 이미지(340))가 합성된 이미지를 사용자에게 제공할 수 있다. 상기 렌더링 스타일은, 소프트웨어 어플리케이션에 대한 정보 또는 상기 제1 이미지로부터 식별될 수 있다. 본 개시의 실시예들은, 상기 제2 이미지(355)와 상기 제1 이미지(340)를 그대로 합성하는 것이 아니라, 상기 제1 이미지(340)와 관련된 렌더링 스타일이 적용된 제3 이미지(365)와 상기 제1 이미지(340)를 합성하여 표시할 수 있다. 이에 따라, 전자 장치(101)는 사용자에게 보다 자연스럽게 렌더링된 이미지를 통해 몰입감 높은 VR 환경을 제공할 수 있다.
도 4a는 본 개시의 일 실시예에 따른 렌더링 스타일(rendering style)에 대한 정보를 획득하는 방법에 대한 예를 도시하는 흐름도이다.
상기 렌더링 스타일은, 2차원 또는 3차원 장면(scene)을 이미지로 렌더링함에 있어서, 적용되는 스타일(style)을 나타낼 수 있다. 상기 합성 이미지는, VR 환경을 제공하는 소프트웨어 어플리케이션을 통해 획득되는 이미지와 웨어러블 전자 장치 주변의 환경에 대한 이미지를 합성한 이미지를 나타낼 수 있다. 상기 웨어러블 전자 장치는, 사용자에게 VR 또는 AR 환경을 제공하기 위한 도 1, 도 2a 및 도 2b의 전자 장치(101)일 수 있다. 이하, 설명의 편의를 위하여, VR 환경을 제공하기 위한 웨어러블 전자 장치를 예로 설명한다. 다만, 본 개시가 이에 제한되는 것은 아니다.
도 4a의 흐름도는, 도 1, 도 2a 및 도 2b의 전자 장치(101)에 의해 수행될 수 있다. 예를 들면, 도 4a의 흐름도는 도 1, 도 2a 및 도 2b의 전자 장치(101)의 프로세서(120)에 의해 수행될 수 있다.
도 4a를 참고하면, 동작(401)에서, 프로세서(120)는 소프트웨어 어플리케이션의 구성 파일 정보에 기반하여, 렌더링 스타일을 식별할 수 있다. 예를 들면, 프로세서(120)는 소프트웨어 어플리케이션의 매니페스트(manifest) 파일에 기반하여 렌더링 스타일을 식별할 수 있다. 상기 매니페스트 파일은, 소프트웨어 어플리케이션을 구성하는 컴포넌트(component)들에 대하여 정의하거나, 소프트웨어 어플리케이션의 패키지(package)의 이름을 정의하거나, 소프트웨어 어플리케이션의 권한 요청을 정의하거나, 소프트웨어 어플리케이션의 기기 호환성을 정의하고 있는 파일을 나타낼 수 있다. 상술한 바에 따르면, 프로세서(120)는 소프트웨어 어플리케이션의 매니페스트 파일을 읽고, 매니페스트 파일에 기반하여 렌더링 스타일을 식별할 수 있다. 동작(401)에서, 프로세서(120)가 렌더링 스타일을 식별하지 못하는 경우, 동작(403)을 수행할 수 있다. 동작(401)에서, 프로세서(120)가 렌더링 스타일을 식별하는 경우, 동작(413)에서 식별된 렌더링 스타일을 메모리(예: 도 1의 메모리(130))에 저장할 수 있다.
동작(403)에서, 프로세서(120)는 소프트웨어 어플리케이션의 실행 파일 정보에 기반하여, 렌더링 스타일을 식별할 수 있다. 예를 들면, 프로세서(120)는 소프트웨어 어플리케이션의 실행 파일의 제목(title), 파일명(file name), 패키지명(package name)을 서버의 정보와 비교함으로써, 렌더링 스타일을 식별할 수 있다. 여기서, 서버의 정보는, 서버에 업로드된 데이터베이스(database)를 포함할 수 있다. 상술한 바에 따르면, 프로세서(120)는 소프트웨어 어플리케이션의 실행 파일 정보에 기반하여, 서버의 데이터베이스 내에서 소프트웨어 어플리케이션의 렌더링 스타일을 검색할 수 있다. 이에 따라, 프로세서(120)는 소프트웨어 어플리케이션의 렌더링 스타일을 식별할 수 있다. 동작(403)에서, 프로세서(120)가 렌더링 스타일을 식별하지 못하는 경우, 동작(405)을 수행할 수 있다. 동작(403)에서, 프로세서(120)가 렌더링 스타일을 식별하는 경우, 동작(413)에서 식별된 렌더링 스타일을 메모리(예: 도 1의 메모리(130))에 저장할 수 있다.
동작(405)에서, 프로세서(120)는 소프트웨어 어플리케이션의 코드(code) 정보에 기반하여, 렌더링 스타일을 식별할 수 있다. 예를 들면, 프로세서(120)는 소프트웨어 어플리케이션의 코드 정보에 포함되어 있는, 렌더링 스타일에 대한 코드 정보를 식별할 수 있다. 여기서, 렌더링 스타일에 대한 코드 정보는, 스트링(string) 데이터를 포함할 수 있다. 또한, 렌더링 스타일에 대한 코드 정보는 쉐이더를 지시하는 코드 정보로도 지칭될 수 있다. 상술한 바에 따르면, 프로세서(120)는 소프트웨어 어플리케이션의 코드 정보에 기반하여, 서버의 데이터베이스 내에서 소프트웨어 어플리케이션의 렌더링 스타일을 검색할 수 있다. 이에 따라, 프로세서(120)는 소프트웨어 어플리케이션의 렌더링 스타일을 식별할 수 있다. 동작(405)에서, 프로세서(120)가 렌더링 스타일을 식별하지 못하는 경우, 동작(407)을 수행할 수 있다. 동작(405)에서, 프로세서(120)가 렌더링 스타일을 식별하는 경우, 동작(413)에서 식별된 렌더링 스타일을 메모리(예: 도 1의 메모리(130))에 저장할 수 있다.
동작(407)에서, 프로세서(120)는 소프트웨어 어플리케이션을 통해 식별된 제1 이미지에 기반하여, 렌더링 스타일을 식별할 수 있다. 예를 들면, 제1 이미지는, 전자 장치(101)가 상기 소프트웨어 어플리케이션을 통해 사용자에게 제공하는 VR 또는 AR 이미지를 지칭할 수 있다. 예를 들어, 제1 이미지는, 도 2c의 VR 이미지(203)를 포함할 수 있다. 예를 들면, 제1 이미지는 상기 소프트웨어 어플리케이션을 통해 제공되는 VR 또는 AR 환경에 대한 이미지로, 적어도 하나의 시각적 객체를 포함할 수 있다. 프로세서(120)는 딥 러닝(deep learning), 히스토그램(histogram), 또는 이미지 정보를 이용하여, 식별된 제1 이미지에 대한 렌더링 스타일을 식별할 수 있다. 도 4a에서는, 하나의 제1 이미지로 설명하나, 본 개시가 이에 제한되는 것은 아니다. 예를 들면, 프로세서(120)는 하나의 소프트웨어 어플리케이션에 대한 복수의 제1 이미지들에 대한 렌더링 스타일을 식별할 수 있다. 또는, 프로세서(120)는, 복수의 소프트웨어 어플리케이션들 각각에 대하여, 적어도 하나의 제1 이미지에 대한 렌더링 스타일을 식별할 수 있다. 동작(407)에서, 프로세서(120)가 렌더링 스타일을 식별하지 못하는 경우, 동작(409)을 수행할 수 있다. 동작(407)에서, 프로세서(120)가 렌더링 스타일을 식별하는 경우, 동작(413)에서 식별된 렌더링 스타일을 메모리(예: 도 1의 메모리(130))에 저장할 수 있다.
동작(409)에서, 프로세서(120)는 소프트웨어 어플리케이션과 관련된 프리셋(preset) 이미지를 사용자에게 표시하고, 사용자 입력에 따라 렌더링 스타일을 식별할 수 있다. 예를 들면, 소프트웨어 어플리케이션과 관련된 프리셋 이미지는, 상기 제1 이미지에 대하여 다양한 렌더링 스타일이 적용된 이미지를 포함할 수 있다. 상기 제1 이미지에 대하여 다양한 렌더링 스타일은, 소프트웨어 어플리케이션의 렌더링 결과에 따라 획득되는 상기 제1 이미지에 대하여, 상기 렌더링 결과에 따라 식별된 렌더링 스타일과 관련된 스타일을 나타낼 수 있다. 프로세서(120)는, 상기 프리셋 이미지를 전자 장치(101)의 디스플레이를 통해 표시할 수 있다. 프로세서(120)는 표시된 프리셋 이미지에 대하여 사용자들의 입력에 대한 수신을 식별함에 따라, 선택된 프리셋 이미지를 식별할 수 있다. 이에 따라, 프로세서(120)는 프리셋 이미지에 대한 렌더링 스타일을, 소프트웨어 어플리케이션의 렌더링 스타일로 식별할 수 있다. 동작(409)에서, 프로세서(120)가 렌더링 스타일을 식별하지 못하는 경우, 동작(411)을 수행할 수 있다. 동작(409)에서, 프로세서(120)가 렌더링 스타일을 식별하는 경우, 동작(413)에서 식별된 렌더링 스타일을 메모리(예: 도 1의 메모리(130))에 저장할 수 있다.
동작(411)에서, 프로세서(120)는 실제 환경에 대한 이미지(예: 제2 이미지)에 대하여, 소프트웨어 어플리케이션과 관련된 렌더링 스타일을 적용하지 않는 것으로 식별할 수 있다. 이에 따라, 프로세서(120)는 기본 렌더링 스타일을 제2 이미지에 적용할 수 있다. 상기 기본 렌더링 스타일은, 사용자에 의해 미리 저장될 수 있다.
동작(413)에서, 프로세서(120)는 식별된 렌더링 스타일을 저장할 수 있다. 또한, 프로세서(120)는 저장된 렌더링 스타일에 기반하여, 제2 이미지를 제3 이미지로 변환할 수 있다.
도 4b는 본 개시의 일 실시예에 따른 렌더링 스타일(rendering style)에 대한 프리셋(preset)을 사용자에게 제공하는 예를 도시한다.
상기 렌더링 스타일은, 2차원 또는 3차원 장면(scene)을 이미지로 렌더링함에 있어서, 적용되는 스타일(style)을 나타낼 수 있다. 상기 합성 이미지는, VR 환경을 제공하는 소프트웨어 어플리케이션을 통해 획득되는 이미지와 웨어러블 전자 장치 주변의 환경에 대한 이미지를 합성한 이미지를 나타낼 수 있다. 상기 웨어러블 전자 장치는, 사용자에게 VR 또는 AR 환경을 제공하기 위한 도 1, 도 2a 및 도 2b의 전자 장치(101)일 수 있다. 이하, 설명의 편의를 위하여, VR 환경을 제공하기 위한 웨어러블 전자 장치를 예로 설명한다. 다만, 본 개시가 이에 제한되는 것은 아니다.
도 4b는 전자 장치(101)의 디스플레이를 통해 사용자에게 표시되는 프리셋 이미지들(450)을 도시한다. 도 4b의 프리셋 이미지들(450)은 도 4a의 동작(409)에서 제시되는 프리셋 이미지의 예를 나타낼 수 있다. 예를 들면, 프리셋 이미지들(450)은 제1 이미지에 대하여 다양한 렌더링 스타일이 적용된 이미지를 나타낼 수 있다. 도 4b의 예에서, 제1 이미지는 나무, 해, 언덕 및 길이라는 시각적 객체들을 포함하는 이미지일 수 있다. 전자 장치(101)는 상기 제1 이미지를 획득하는 과정에서 상기 제1 이미지와 관련된 소프트웨어 어플리케이션의 렌더링 결과를 획득할 수 있다. 예를 들어, 상기 제1 이미지를 획득하기 위한 상기 렌더링 결과는 연필(pencil) 스타일을 포함할 수 있다. 따라서, 프리셋 이미지들(450)은 상기 연필 스타일에 기반하여 결정될 수 있다.
프리셋 이미지들(450)은 다양한 렌더링 스타일이 적용된 프리셋 이미지들을 포함할 수 있다. 예를 들어, 프리셋 이미지들(450)은 제1 프리셋 이미지(451), 제2 프리셋 이미지(452), 및 제3 프리셋 이미지(453)를 포함할 수 있다. 예를 들면, 제1 프리셋 이미지(451)는 제1 이미지에 대하여 복수의 글자들(letters)로 표시하는 스타일이 적용된 이미지일 수 있다. 또한, 제2 프리셋 이미지(452)는 제1 이미지에 대하여 연필(pencil) 스타일이 적용된 이미지일 수 있다. 또한, 제3 프리셋 이미지(453)는 제1 이미지에 대하여 카툰 스타일이 적용된 이미지일 수 있다.
일 실시예에 따르면, 프로세서(120)는, 프리셋 이미지들(450)을 디스플레이를 통해 표시할 수 있다. 프로세서(120)는, 프리셋 이미지들(450) 중 하나에 대한 사용자의 입력을 수신할 수 있고, 수신된 사용자의 입력에 대응하는 프리셋 이미지를 식별할 수 있다. 이에 따라, 프로세서(120)는, 소프트웨어 어플리케이션의 렌더링 스타일을 식별할 수 있다.
도 5는 본 개시의 일 실시예에 따른 복수의 소프트웨어 어플리케이션들에 있어서, 렌더링 스타일(rendering style)에 대한 정보에 기반하여 합성 이미지를 획득하기 위한 방법에 대한 예를 도시하는 흐름도이다.
상기 렌더링 스타일은, 2차원 또는 3차원 장면(scene)을 이미지로 렌더링함에 있어서, 적용되는 스타일(style)을 나타낼 수 있다. 상기 합성 이미지는, VR 환경을 제공하는 소프트웨어 어플리케이션을 통해 획득되는 이미지와 웨어러블 전자 장치 주변의 환경에 대한 이미지를 합성한 이미지를 나타낼 수 있다. 상기 웨어러블 전자 장치는, 사용자에게 VR 또는 AR 환경을 제공하기 위한 도 1, 도 2a 및 도 2b의 전자 장치(101)일 수 있다. 이하, 설명의 편의를 위하여, VR 환경을 제공하기 위한 웨어러블 전자 장치를 예로 설명한다. 다만, 본 개시가 이에 제한되는 것은 아니다.
도 5의 흐름도는, 도 1, 도 2a 및 도 2b의 전자 장치(101)에 의해 수행될 수 있다. 예를 들면, 도 5의 흐름도는 도 1, 도 2a 및 도 2b의 전자 장치(101)의 프로세서(120)에 의해 수행될 수 있다.
도 5를 참조하면, 동작(501)에서, 프로세서(120)는 소프트웨어 어플리케이션이 디스플레이에 표시되는 영역을 식별할 수 있다. 예를 들면, 프로세서(120)는 복수의 소프트웨어 어플리케이션들 중 각각의 소프트웨어 어플리케이션이 전자 장치(101)의 디스플레이를 통해 표시되는 영역을 식별할 수 있다. 예를 들어, 복수의 소프트웨어 어플리케이션들이 제1 소프트웨어 어플리케이션, 제2 소프트웨어 어플리케이션 및 제3 소프트웨어 어플리케이션을 포함함을 가정하자. 전자 장치(101)의 디스플레이의 전체 영역에 있어서, 프로세서(120)는 제1 소프트웨어 어플리케이션에 대한 제1 영역, 제2 소프트웨어 어플리케이션에 대한 제2 영역, 및 제3 소프트웨어 어플리케이션에 대한 제3 영역을 식별할 수 있다. 이 때, 프로세서(120)는 소프트웨어 어플리케이션의 경계(boundary) 정보에 기반하여, 영역을 식별할 수 있다.
동작(503)에서, 프로세서(120)는 각각의 소프트웨어 어플리케이션의 렌더링 스타일에 대한 정보를 식별할 수 있다. 예를 들면, 프로세서(120)는 도 4a의 흐름도에 포함되는 동작들에 기반하여, 각각의 소프트웨어 어플리케이션의 렌더링 스타일에 대한 정보를 식별할 수 있다. 예를 들면, 프로세서(120)는 제1 소프트웨어 어플리케이션의 제1 렌더링 스타일을 식별할 수 있다. 프로세서(120)는 제2 소프트웨어 어플리케이션의 제2 렌더링 스타일을 식별할 수 있다. 프로세서(120)는 제3 소프트웨어 어플리케이션의 제3 렌더링 스타일을 식별할 수 있다. 여기서, 제1 렌더링 스타일, 제2 렌더링 스타일, 및 제3 렌더링 스타일은 서로 같거나, 서로 다르거나, 일부끼리 동일할 수 있다.
동작(505)에서, 프로세서(120)는 소프트웨어 어플리케이션 별로 제2 이미지를 변환함으로써, 복수의 제3 이미지들을 획득할 수 있다. 예를 들면, 프로세서(120)는 전자 장치(101)의 주변 환경에 대한 이미지인 제2 이미지를 제1 영역에 대하여 제1 렌더링 스타일을 적용하여 변환함으로써, 제3 이미지를 획득할 수 있다. 프로세서(120)는 전자 장치(101)의 주변 환경에 대한 이미지인 제2 이미지를 제2 영역에 대하여 제2 렌더링 스타일을 적용하여 변환함으로써, 제3 이미지를 획득할 수 있다. 프로세서(120)는 전자 장치(101)의 주변 환경에 대한 이미지인 제2 이미지를 제3 영역에 대하여 제3 렌더링 스타일을 적용하여 변환함으로써, 제3 이미지를 획득할 수 있다.
동작(507)에서, 프로세서(120)는 제1 이미지와 복수의 제3 이미지들을 표시할 수 있다. 예를 들면, 프로세서(120)는 전자 장치(101)의 디스플레이를 통해 상기 제1 이미지 및 상기 복수의 제3 이미지들을 합성하여 표시할 수 있다. 예를 들면, 프로세서(120)는 전자 장치(101)의 디스플레이를 통해 상기 제1 이미지와 함께 상기 복수의 제3 이미지들을 표시할 수 있다. 예를 들면, 프로세서(120)는 전자 장치(101)의 디스플레이를 통해 상기 제1 이미지와 함께 합성된 제3 이미지를 표시할 수 있다.
일 실시예에 따르면, 상기 합성된 제3 이미지는 상기 복수의 제3 이미지들이 합성된 하나의 이미지를 나타낼 수 있다. 예를 들어, 상기 합성된 제3 이미지는, 동작(501)에서 식별된 영역들에 대응하는 상기 복수의 제3 이미지들을 합성한 이미지를 나타낼 수 있다. 상기 영역들은, 복수의 소프트웨어 어플리케이션들 각각의 경계 정보에 기반하여 식별될 수 있다. 일 실시예에 따르면, 프로세서는, 복수의 소프트웨어 어플리케이션들 사이의 이질감을 최소화하기 위하여, 상기 영역들 사이의 이격이 없도록 영역들을 식별할 수 있다. 또는, 프로세서는, 상기 영역들 사이의 이격이 존재하는 경우, 복수의 소프트웨어 어플리케이션들로부터 식별된 렌더링 스타일에 대한 정보에 기반하여, 상기 이격 부분을 변환할 수 있다. 예를 들어, 상기 이격 부분이 상기 제1 소프트웨어 어플리케이션의 상기 제1 영역과 상기 제2 소프트웨어 어플리케이션의 상기 제2 영역 사이의 부분인 경우, 상기 제1 소프트웨어 어플리케이션과 상기 제2 소프트웨어 어플리케이션들 모두에 포함되는 렌더링 스타일 또는 유사한 렌더링 스타일에 대한 정보에 기반하여, 상기 이격 부분에 대한 렌더링 스타일이 적용될 수 있다.
상술한 바에 따르면, 본 개시의 실시예들은 실제 환경에 대한 이미지(예: 제2 이미지)에 대하여 렌더링 스타일이 적용된 이미지들(예: 복수의 제3 이미지들)를 획득하고, 획득된 복수의 제3 이미지들과 소프트웨어 어플리케이션을 통해 획득되는 VR 환경에 대한 이미지(예: 제1 이미지)가 합성된 이미지를 사용자에게 제공할 수 있다. 상기 렌더링 스타일은, 소프트웨어 어플리케이션에 대한 정보 또는 상기 제1 이미지로부터 식별될 수 있다. 본 개시의 실시예들은, 상기 제2 이미지와 상기 제1 이미지를 그대로 합성하는 것이 아니라, 상기 제1 이미지와 관련된 렌더링 스타일이 적용된 복수의 제3 이미지들과 상기 제1 이미지를 합성하여 표시할 수 있다. 이에 따라, 전자 장치(101)는 사용자에게 보다 자연스럽게 렌더링된 이미지를 통해 몰입감 높은 VR 환경을 제공할 수 있다.
도 6a 내지 도 6c는 본 개시의 일 실시예에 따른 렌더링 스타일(rendering style)이 변경된 이미지의 예들을 도시한다. 상기 렌더링 스타일은, 2차원 또는 3차원 장면(scene)을 이미지로 렌더링함에 있어서, 적용되는 스타일(style)을 나타낼 수 있다.
도 6a를 참조하면, 제1 예(600)는, 3D(dimensional)에서의 시각적 객체를 포함하는 이미지를 도시한다. 이와 달리, 제2 예(610)의 이미지는, 제1 예(600)의 이미지에 렌더링 스타일(예: 카툰 스타일)을 적용한 이미지를 도시한다. 예를 들면, 제2 예(610)의 이미지는, 제1 예(600)에 대비하여, 사용되는 컬러들이 단순화될 수 있다. 즉, 제2 예(610)의 이미지는 제1 예(600)에 대비하여 적은 수의 색들이 이용될 수 있다. 예를 들면, 제2 예(610)의 이미지는 제1 예(600)에 대비하여, 시각적 객체의 윤곽선을 직접적으로 표시할 수 있다. 또한, 제2 예(610)의 이미지는 제1 예(600)에 대비하여, 그림자의 음영 단계가 단순화된 상태로 표현될 수 있다. 상술한 바와 같은 효과들이 적용됨으로써, 카툰 스타일의 렌더링 스타일이 이미지에 적용될 수 있다. 이에 따라, 카툰 스타일이 적용된 이미지는 사용자에게 만화와 같은 느낌을 제공할 수 있다.
도 6b를 참조하면, 제3 예(620)는 레트로(retro) 스타일의 렌더링 스타일이 적용된 이미지를 도시한다. 예를 들면, 제3 예(620)의 이미지는 픽셀(pixel)의 해상도를 n배 줄여 시각적 객체가 픽셀로 구성되는 것처럼 보이도록 표현될 수 있다. 또한, 제3 예(620)의 이미지는 사용되는 색상들이 단순화될 수 있다. 또한, 제3 예(620)의 이미지는, 3D 이미지와 같은 히스토그램(histogram)의 컬러 맵이 사용될 수 있다. 이에 따라, 레트로 스타일이 적용된 이미지는 사용자에게 고전적인(classical) 느낌을 제공할 수 있다.
도 6c를 참조하면, 제4 예(630)는 연필(pencil) 스타일의 렌더링 스타일이 적용된 이미지를 도시한다. 예를 들면, 제4 예(630)의 이미지는 시각적 객체의 윤곽선이 검은색으로 표시될 수 있다. 또한, 제4 예(630)의 이미지는 시각적 객체가 포함하는 점(point)들을 짧은 직선들로 연결하여 표시될 수 있다. 이에 따라, 연필 스타일이 적용된 이미지는 사용자에게 소묘(drawing) 느낌을 제공할 수 있다.
도 6a 내지 도 6c를 참조하면, 이미지는 컬러 효과(color effect)에 기반하여 변경될 수 있다. 상기 컬러 효과는 색상의 수, 히스토그램, 윤곽선 유무, 동일 색상을 갖는 픽셀의 크기, 그림자 색상, 콘트라스트, 샤프닝(sharpening), 블러링(blurring) 또는 마스킹(masking) 등을 포함할 수 있다. 이미지는, 색상의 수를 변경함으로써 변경될 수 있다. 예를 들어, 이미지는, 16 비트 또는 32 비트의 색상을 8비트의 색상으로 변경함으로써 변경될 수 있다. 또한, 이미지는, 히스토그램을 이용함으로써 변경될 수 있다. 예를 들어, 이미지는, 카메라 이미지 색상과 3D 렌더링 이미지의 히스토그램을 이용함으로써 변경될 수 있다. 또한, 이미지는, 윤곽선의 유무에 따라 변경될 수 있다. 또한, 이미지는, 복수의 픽셀들이 동일한 색상을 갖는 경우, 상기 복수의 픽셀들의 수를 변경함으로써, 변경될 수 있다. 또한, 이미지는, 그림자의 음영 처리에 대한 레벨(level)을 변경함으로써, 변경될 수 있다. 예를 들어, 이미지는, 그림자 색상을 단계화하여 단순화함으로써, 변경될 수 있다. 또한, 이미지는, 콘트라스트(contrast)를 조정하여 샤프닝(sharpening)을 적용함으로써, 변경될 수 있다. 또한, 이미지는, 이미지를 흐리게(blurry) 처리함으로써, 변경될 수 있다. 또한, 이미지는, 마스킹(masking)을 사용하여 이미지를 뚜렷하게 함으로써, 변경될 수 있다. 상기 이미지의 렌더링 스타일은, 상기 컬러 효과의 조합(combination)에 기반하여 식별될 수 있다. 예를 들어, 도 6a의 카툰 스타일의 렌더링 스타일은, 적용되는 색상의 수가 적고, 윤곽선을 직접적으로 그리고, 음영을 나타내는 단계(level)를 간소한 스타일을 나타낼 수 있다.
도 7은 본 개시의 일 실시예에 따른 렌더링 스타일(rendering style)에 대한 정보에 기반하여 합성 이미지를 획득하는 다른 예를 도시한다.
상기 렌더링 스타일은, 2차원 또는 3차원 장면(scene)을 이미지로 렌더링함에 있어서, 적용되는 스타일(style)을 나타낼 수 있다. 상기 합성 이미지는, VR 환경을 제공하는 소프트웨어 어플리케이션을 통해 획득되는 이미지와 웨어러블 전자 장치 주변의 환경에 대한 이미지를 합성한 이미지를 나타낼 수 있다. 상기 웨어러블 전자 장치는, 사용자에게 VR 또는 AR 환경을 제공하기 위한 도 1, 도 2a 및 도 2b의 전자 장치(101)일 수 있다. 이하, 설명의 편의를 위하여, VR 환경을 제공하기 위한 웨어러블 전자 장치를 예로 설명한다. 다만, 본 개시가 이에 제한되는 것은 아니다.
도 7은, 도 2c에서 개시하는 바와 같이 배경 이미지인 실제 환경의 이미지(205-2)를 이미지(205-1)로 변환하는 것이 아닌, VR 이미지(203)를 실제 환경의 이미지(205-2)와 유사하도록 변환하는 예를 도시한다.
도 7을 참조하면, 제1 예(700)는 VR 환경(예: 게임)에 대한 이미지를 도시하고, 제2 예(750)는 실제 환경에 대한 이미지를 도시한다. 제1 예(700)를 참조하면, 이미지는 시각적 객체(703) 및 배경 이미지(705)를 포함할 수 있다. 여기서, 시각적 객체(703)는 자동차를 포함할 수 있다. 제1 예(700)의 이미지는 게임 화면과 같은 렌더링 스타일이 적용될 수 있다. 일 실시예에 따르면, 제2 예(750)를 참조하면, 프로세서(120)는 시각적 객체(703)에 대하여 렌더링 스타일을 적용하여 새로운 시각적 객체(753)를 획득할 수 있다. 예를 들어, 프로세서(120)는 실제 환경의 이미지(755)에 대한 렌더링 스타일을 식별할 수 있고, 식별된 렌더링 스타일을 제1 예(700)의 시각적 객체(703)에 대하여 적용할 수 있다. 이에 따라, 프로세서(120)는 렌더링 스타일이 적용된 시각적 객체(753)를 획득할 수 있다. 이 후, 프로세서(120)는 시각적 객체(753)와 실제 환경의 이미지(755)를 합성할 수 있고, 합성된 이미지는 사용자에게 전자 장치(101)의 디스플레이를 통해 제공될 수 있다. 이 때, 실제 환경의 이미지(755)에 대한 렌더링 스타일을 식별하는 것은, 도 3a의 동작(311) 또는 도 4a의 동작(407)에서 도시하는 바와 같이, 획득된 실제 환경의 이미지(755)를 분석함으로써 수행될 수 있다.
이에 따라, 본 개시의 실시예들은, 제2 예(750)와 같이, 실제 환경의 이미지(755)의 렌더링 스타일을 식별하고 VR 환경에 대한 이미지의 시각적 객체(703)에 식별된 렌더링 스타일을 적용함으로써, 렌더링 스타일이 변경된 이미지를 획득할 수 있다. 이를 통해 본 개시의 실시예들은, 실제 환경에 대한 이미지와 실제 환경과 같은 렌더링 스타일이 적용된 VR 이미지를 합성하여 사용자에게 제공함으로써, 보다 자연스럽고 몰임감이 높은 VR 경험을 제공할 수 있다.
도 8은 본 개시의 일 실시예에 따른 렌더링 스타일(rendering style)에 대한 정보에 기반하여, 일부 영역이 변경된 합성 이미지를 획득하는 예를 도시한다.
상기 렌더링 스타일은, 2차원 또는 3차원 장면(scene)을 이미지로 렌더링함에 있어서, 적용되는 스타일(style)을 나타낼 수 있다. 상기 합성 이미지는, VR 환경을 제공하는 소프트웨어 어플리케이션을 통해 획득되는 이미지와 웨어러블 전자 장치 주변의 환경에 대한 이미지를 합성한 이미지를 나타낼 수 있다. 상기 웨어러블 전자 장치는, 사용자에게 VR 또는 AR 환경을 제공하기 위한 도 1, 도 2a 및 도 2b의 전자 장치(101)일 수 있다. 이하, 설명의 편의를 위하여, VR 환경을 제공하기 위한 웨어러블 전자 장치를 예로 설명한다. 다만, 본 개시가 이에 제한되는 것은 아니다.
도 8은 이미지의 일부 영역에 대하여만 렌더링 스타일이 적용되는 제1 예(800) 및 제2 예(850)를 도시한다. 제1 예(800)는, 실제 환경에 대한 이미지에 대하여, 제1 영역(810)만 렌더링 스타일이 적용된 이미지가 도시된다. 여기서, 제1 영역(810)은 실제 환경에 포함되는 하늘 영역을 나타낼 수 있다. 예를 들어, 제1 영역(810)에 적용된 렌더링 스타일은 카툰 스타일일 수 있다. 일 실시예에 따르면, 프로세서(120)는 제1 영역(810)에 대한 사용자의 입력을 식별할 수 있고, 식별됨에 따라, 제1 영역(810)을 이미지에서 분리할 수 있다. 이 후, 프로세서(120)는 식별된 렌더링 스타일이 제1 영역(810)에 적용된 이미지를 획득할 수 있고, 획득된 제1 영역(810)에 대한 이미지와 실제 환경에 대한 이미지를 합성함으로써 합성 이미지를 획득할 수 있다.
제2 예(850)는, 복수의 사람들을 포함하는 실제 환경에 대한 이미지에 대하여, 제2 영역(860)만 렌더링 스타일이 적용된 이미지가 도시된다. 여기서, 제2 영역(860)은 실제 환경에 포함되는 사람 영역을 나타낼 수 있다. 예를 들어, 제2 영역(860)에 적용된 렌더링 스타일은 카툰 스타일일 수 있다. 일 실시예에 따르면, 프로세서(120)는 제2 영역(860)에 대한 사용자의 입력을 식별할 수 있고, 식별됨에 따라, 제2 영역(860)을 이미지에서 분리할 수 있다. 이 후, 프로세서(120)는 식별된 렌더링 스타일이 제2 영역(860)에 적용된 이미지를 획득할 수 있고, 획득된 제2 영역(860)에 대한 이미지와 실제 환경에 대한 이미지를 합성함으로써 합성 이미지를 획득할 수 있다.
도 9a 내지 9c는 본 개시의 일 실시예에 따른 복수의 소프트웨어 어플리케이션들에 있어서, 렌더링 스타일(rendering style)에 대한 정보에 기반하여, 합성 이미지를 획득하는 예들을 도시한다.
상기 렌더링 스타일은, 2차원 또는 3차원 장면(scene)을 이미지로 렌더링함에 있어서, 적용되는 스타일(style)을 나타낼 수 있다. 상기 웨어러블 전자 장치는, 사용자에게 VR 또는 AR 환경을 제공하기 위한 도 1, 도 2a 및 도 2b의 전자 장치(101)일 수 있다. 이하, 설명의 편의를 위하여, VR 환경을 제공하기 위한 웨어러블 전자 장치를 예로 설명한다. 다만, 본 개시가 이에 제한되는 것은 아니다.
도 9a 내지 도 9c는, 복수의 소프트웨어 어플리케이션들을 이용하는 전자 장치(101)의 예를 도시한다. 도 9a를 참조하면, 제1 예(900)는 3개의 소프트웨어 어플리케이션들을 실행하는 예를 도시한다. 제1 예(900)에 있어서, 프로세서(120)는 제1 소프트웨어 어플리케이션(910), 제2 소프트웨어 어플리케이션(920), 및 제3 소프트웨어 어플리케이션(930)을 실행할 수 있다. 프로세서(120)는 실제 환경에 대한 이미지에 더하여, 제1 소프트웨어 어플리케이션(910)에 대한 제1 이미지, 제2 소프트웨어 어플리케이션(920)에 대한 제1 이미지, 및 제3 소프트웨어 어플리케이션(930)에 대한 제1 이미지를 디스플레이를 통해 표시할 수 있다. 프로세서(120)는 각 소프트웨어 어플리케이션에 대한 제1 이미지의 영역을 식별할 수 있다. 예를 들어, 프로세서(120)는 제1 소프트웨어 어플리케이션(910)에 대한 제1 영역(915)을 식별할 수 있다. 예를 들어, 프로세서(120)는 제2 소프트웨어 어플리케이션(920)에 대한 제2 영역(925)을 식별할 수 있다. 예를 들어, 프로세서(120)는 제3 소프트웨어 어플리케이션(930)에 대한 제3 영역(935)을 식별할 수 있다. 이 때, 제1 영역(915)은 제1 렌더링 스타일 영역(rendering style region)으로도 지칭될 수 있다. 제2 영역(925)은 제2 렌더링 스타일 영역(rendering style region)으로도 지칭될 수 있다. 제3 영역(935)은 제3 렌더링 스타일 영역(rendering style region)으로도 지칭될 수 있다.
도 9b를 참조하면, 제2 예(940)는 소프트웨어 어플리케이션의 주변 영역에 대하여 렌더링 스타일을 적용하는 예를 도시한다. 일 실시예에 따르면, 프로세서(120)는 각 소프트웨어 어플리케이션에 대한 이미지의 영역을 식별할 수 있다. 예를 들어, 프로세서(120)는 제1 소프트웨어 어플리케이션(910)이 전자 장치(101)의 디스플레이상에서 위치하는 제1 영역(915)을 식별할 수 있다. 또한, 프로세서(120)는 제1 영역(915)의 주변의 제1 영역(915)을 포함하는 제1 주변 영역(917)을 식별할 수 있다. 여기서, 제1 주변 영역(917)은 제1 영역(915)의 제1 소프트웨어 어플리케이션(910)에 적용되는 렌더링 스타일이 적용될 수 있는 영역을 나타낼 수 있다. 제1 주변 영역(917)의 크기는 제1 소프트웨어 어플리케이션(910)의 중요도, 크기, 또는 사용자의 관심도 등에 기반하여 식별될 수 있다. 예를 들어, 제1 소프트웨어 어플리케이션(910)의 크기가 물리적으로 큰 경우, 제1 주변 영역(917)도 넓어질 수 있다. 예를 들어, 제1 소프트웨어 어플리케이션(910)의 중요도가 높을수록, 제1 주변 영역(917)도 넓어질 수 있다.
일 실시예에 따르면, 제1 소프트웨어 어플리케이션(910)은 실제 환경에 대한 이미지에 비하여 시각적으로 강조되어 표시될 수 있다. 예를 들어, 제1 소프트웨어 어플리케이션(910)의 제1 영역(915)은 실제 환경에 대한 이미지에 비하여 시각적으로 강조되어 표시될 수 있다. 예를 들어, 프로세서(120)는 제1 영역(915) 외의 영역에 대하여 필터링(filtering) 스타일의 렌더링 스타일을 적용할 수 있다. 이 때, 프로세서(120)는, 제1 영역(915) 외의 영역이나 제1 주변 영역(917) 내의 영역에는, 비교적 정도가 약한 필터링 스타일의 렌더링 스타일을 적용할 수 있다. 이에 따라, 사용자는 제1 소프트웨어 어플리케이션(910)을 보다 효과적으로 식별할 수 있다. 도 9b에서는, 설명의 편의를 위하여 하나의 소프트웨어 어플리케이션(예: 제1 소프트웨어 어플리케이션(910))을 강조하기 위한 렌더링 스타일의 적용을 도시하나, 본 개시가 이에 제한되는 것은 아니다. 본 개시는, 복수의 소프트웨어 어플리케이션들을 강조하기 위한 렌더링 스타일의 적용을 포함할 수 있다.
도 9c를 참조하면, 제3 예(970)는 3개의 소프트웨어 어플리케이션들 중 사용자가 이용하는 일부 소프트웨어 어플리케이션 외의 영역에 대하여 렌더링 스타일을 적용하는 예를 도시한다. 제3 예(970)에서, 전자 장치(101)의 사용자는 제1 소프트웨어 어플리케이션(910)을 사용하는 것으로 가정하자. 일 실시예에 따르면, 프로세서(120)는 사용자가 사용하고 있는 제1 소프트웨어 어플리케이션(910)을 식별할 수 있다. 예를 들어, 프로세서(120)는 사용자의 시선을 추적함으로써, 사용자가 일정 시간 이상 포커싱(focusing)하고 있는 제1 소프트웨어 어플리케이션(910)을 식별할 수 있다. 이 때, 프로세서(120)는 제1 소프트웨어 어플리케이션(910)의 제1 영역(915)을 식별할 수 있다. 예를 들어, 일정 시간은 사용자에 의해 미리 설정되거나, 사용하는 소프트웨어 어플리케이션의 종류에 따라 결정될 수 있다. 예를 들어, 소프트웨어 어플리케이션이 사용자의 빠른 반응 속도를 요구하는 경우, 일정 시간은 짧아질 수 있다.
일 실시예에 따르면, 제1 소프트웨어 어플리케이션(910)의 제1 영역(915)은 렌더링 스타일이 적용될 수 있다. 예를 들어, 프로세서(120)는 제1 소프트웨어 어플리케이션(910)의 제1 영역(915)에 대하여, 제1 소프트웨어 어플리케이션(910)의 렌더링 스타일을 적용할 수 있다. 또한, 프로세서(120)는, 사용자가 상기 일정 시간 이상 제1 소프트웨어 어플리케이션(910)을 주시하고 있는 경우, 렌더링 스타일이 적용되는 영역을 제1 주변 영역(917)으로 확장할 수 있다. 이 후, 사용자가 다른 일정 시간(예: 상기 일정 시간보다 긴 시간) 이상 제1 소프트웨어 어플리케이션(910)을 주시하는 것을 식별하는 경우, 프로세서(120)는 디스플레이를 통해 표시되는 전체 영역에 대하여 렌더링 스타일을 적용할 수 있다.
상술한 바에 따르면, 본 개시는 실제 환경에 대한 이미지(예: 제2 이미지)에 대하여 렌더링 스타일이 적용된 이미지들(예: 복수의 제3 이미지들)를 획득하고, 획득된 복수의 제3 이미지들과 소프트웨어 어플리케이션을 통해 획득되는 VR 환경에 대한 이미지(예: 제1 이미지)가 합성된 이미지를 사용자에게 제공할 수 있다. 상기 렌더링 스타일은, 소프트웨어 어플리케이션에 대한 정보 또는 상기 제1 이미지로부터 식별될 수 있다. 구체적으로, 제2 이미지의 전체 영역이 적용될 수 있을 뿐만 아니라, 소프트웨어 어플리케이션을 통해 획득되는 제1 이미지의 주변 영역에 대응하는 제2 이미지의 영역에 대하여 렌더링 스타일이 적용될 수도 있다. 본 개시의 실시예들은, 상기 제2 이미지와 상기 제1 이미지를 그대로 합성하는 것이 아니라, 상기 제1 이미지와 관련된 렌더링 스타일이 적용된 복수의 제3 이미지들과 상기 제1 이미지를 합성하여 표시할 수 있다. 이에 따라, 전자 장치(101)는 사용자에게 보다 자연스럽게 렌더링된 이미지를 통해 몰입감 높은 VR 환경을 제공할 수 있다.
도 10은 본 개시의 일 실시예에 따른 소프트웨어 어플리케이션의 발광 속성을 포함하는 시각적 객체에 기반하여, 렌더링 스타일(rendering style)을 적용하는 예를 도시한다.
상기 렌더링 스타일은, 2차원 또는 3차원 장면(scene)을 이미지로 렌더링함에 있어서, 적용되는 스타일(style)을 나타낼 수 있다. 상기 웨어러블 전자 장치는, 사용자에게 VR 또는 AR 환경을 제공하기 위한 도 1, 도 2a 및 도 2b의 전자 장치(101)일 수 있다. 이하, 설명의 편의를 위하여, VR 환경을 제공하기 위한 웨어러블 전자 장치를 예로 설명한다. 다만, 본 개시가 이에 제한되는 것은 아니다. 상기 발광 속성은, 소프트웨어 어플리케이션의 VR 환경에 대한 이미지(예: 제1 이미지) 내의 시각적 객체들 중 일부가 가상의(virtual) 광원(light source)인 경우, 일부의 시각적 객체들은 발광 속성을 갖는 것으로 이해될 수 있다. 상기 발광 속성은, 시각적 객체가 갖는 속성에 포함될 수 있다. 예를 들어, 상기 속성은 발광 속성, 온도 속성, 또는 질감 속성 등을 포함할 수 있다.
도 10은 가상의 광원인 시각적 객체(1010)를 포함하는 제1 이미지와 실제 환경에 대한 제2 이미지를 도시하는 제1 예(1000) 및 제2 이미지에 대하여 가상의 광원인 시각적 객체(1010)에 기반하여 렌더링 스타일을 적용한 제3 이미지와 제1 이미지를 합성한 제2 예(1050)를 도시한다.
제1 예(1000)를 참조하면, 프로세서(120)는 제1 이미지의 시각적 객체의 발광 속성에 기반하여, 배경 이미지에 적용될 컬러 효과를 식별할 수 있다. 상기 제1 이미지는 시각적 객체(1010)를 포함할 수 있다. 상기 시각적 객체는 발광 속성을 포함할 수 있다. 즉, 상기 시각적 객체는, 가상의 광원일 수 있다. 일 실시예에 따르면, 프로세서(120)는 발광 속성을 갖는 시각적 객체(1010)를 포함하는 상기 제1 이미지를 획득할 수 있고, 획득된 상기 제1 이미지로부터 컬러 효과를 식별할 수 있다. 예를 들면, 상기 컬러 효과는, 색상의 수, 히스토그램, 윤곽선 유무, 동일 색상을 갖는 픽셀의 크기, 그림자 색상, 콘트라스트, 샤프닝(sharpening), 블러링(blurring) 또는 마스킹(masking) 등을 포함할 수 있다. 예를 들어, 상기 컬러 효과는, 상기 제1 이미지에 포함되는 발광 속성을 갖는 가상의 광원의 위치, 가상의 광원의 밝기, 가상의 광원의 색 온도, 또는 주변광의 밝기를 고려하여, 설정될 수 있다.
제2 예(1050)를 참조하면, 프로세서(120)는 제1 이미지로부터 획득된 컬러 효과에 기반하여, 제2 이미지에 대하여 렌더링 스타일을 적용할 수 있다. 예를 들면, 프로세서(120)는 시각적 객체(1010)의 주변 영역(1060) 내에 대하여 렌더링 스타일을 적용할 수 있다. 이 때, 적용되는 상기 렌더링 스타일은 가상의 광원인 시각적 객체(1010)에 의해 적용되는 렌더링 스타일을 나타낼 수 있다. 예를 들면, 가상의 광원인 시각적 객체(1010)의 위치가 변경되는 경우, 주변 영역(1060)은 변경될 수 있고, 프로세서(120)는 변경되는 주변 영역(1060)을 고려하여 렌더링 스타일을 적용할 수 있다. 이 때, 가상의 광원인 시각적 객체(1010)의 위치에 가까울수록 렌더링 스타일은 밝아질 수 있다. 또한, 프로세서(120)는, 가상의 광원인 시각적 객체(1010)의 색 온도에 대한 정보를 고려하여, 렌더링 스타일의 색 온도를 조절할 수 있다. 또한, 프로세서(120)는 가상의 광원인 시각적 객체(1010))의 밝기에 대한 정보를 고려하여, 렌더링 스타일의 밝기를 조절할 수 있다. 또한, 프로세서(120)는 제1 이미지 내의 주변광의 밝기와 제2 이미지의 주변광의 밝기를 동일하게 조절할 수 있다. 여기서, 주변광은 특정한 방향이 없이 주변을 모두 비추고 있는 빛을 나타낼 수 있다. 다시 말해서, 주변광은 광원은 존재하나 상기 광원으로부터 방사된 빛이 다수의 요소들에 의해 반사되어, 방향을 소실한 빛을 나타낼 수 있다. 상술한 바와 같이, 프로세서(120)는 가상의 광원인 시각적 객체(1010)에 대한 정보에 기반하여 식별된 컬러 효과에 기반하여, 렌더링 스타일을 적용할 수 있다. 프로세서(120)는 시각적 객체(1010)를 포함하는 제1 이미지 및 제2 이미지에 렌더링 스타일이 적용된 제3 이미지를 합성하여 디스플레이를 통해 표시할 수 있다.
도 1 내지 도 10을 참조하면, 본 개시는 실제 환경에 대한 이미지(예: 제2 이미지)에 대하여 렌더링 스타일이 적용된 이미지(예: 제3 이미지)를 획득하고, 획득된 제3 이미지와 소프트웨어 어플리케이션을 통해 획득되는 VR 환경에 대한 이미지(예: 제1 이미지)가 합성된 이미지를 사용자에게 제공할 수 있다. 상기 렌더링 스타일은, 소프트웨어 어플리케이션에 대한 정보 또는 상기 제1 이미지로부터 식별될 수 있다. 본 개시의 실시예들은, 상기 제2 이미지와 상기 제1 이미지를 그대로 합성하는 것이 아니라, 상기 제1 이미지와 관련된 렌더링 스타일이 적용된 제3 이미지와 상기 제1 이미지를 합성하여 표시할 수 있다. 이에 따라, 전자 장치(101)는 사용자에게 보다 자연스럽게 렌더링된 이미지를 통해 몰입감 높은 VR 환경을 제공할 수 있다. 또한, 본 개시는, 복수의 소프트웨어 어플리케이션들을 사용하는 경우, 소프트웨어 어플리케이션들 사이의 경계를 명확하게 나타낼 수 있는 바, 사용자의 전자 장치(101)의 사용성이 개선될 수 있다. 또한, 본 개시는, 실제 환경에 대한 이미지의 정보와 VR(또는 AR) 환경의 소프트웨어 어플리케이션으로부터 획득되는 이미지 사이의 정보 교환을 통해, 보다 자연스러운 VR(또는 AR) 환경을 사용자에게 제공할 수 있다.
상술한 바와 같은, 웨어러블 전자 장치(wearable electronic device)(101)는 카메라(camera)(180)를 포함할 수 있다. 상기 웨어러블 전자 장치(101)는 디스플레이(display)(160)를 포함할 수 있다. 상기 웨어러블 전자 장치(101)는 프로세서(processor)(120)를 포함할 수 있다. 상기 프로세서(120)는 소프트웨어 어플리케이션(software application)을 통해 시각적 객체를 포함하는 제1 이미지를 식별하도록 구성될 수 있다. 상기 프로세서(120)는 상기 제1 이미지 내의 상기 시각적 객체가 발광 속성을 갖는 경우, 상기 발광 속성에 기반하여 배경 이미지에 적용될 컬러 효과(color effect)를 식별하도록 구성될 수 있다. 상기 프로세서(120)는 상기 제1 이미지에 적용된 렌더링 스타일(rendering style)을 식별하도록 구성될 수 있다. 상기 프로세서(120)는 상기 카메라(180)를 통해 획득된, 상기 웨어러블 전자 장치 주변의 환경을 표현하는 제2 이미지를, 상기 컬러 효과 및 상기 렌더링 스타일에 기반하여 변환함으로써, 제3 이미지를 상기 배경 이미지로 획득하도록 구성될 수 있다. 상기 프로세서(120)는 상기 제1 이미지를 상기 제3 이미지와 함께 상기 디스플레이를 통해 표시하도록 구성될 수 있다. 상기 속성은, 발광 속성, 질감 속성, 또는, 온도 속성을 포함할 수 있다. 상기 렌더링 스타일은, 카툰(cartoon) 스타일, 레트로(retro) 스타일, 개요(outline) 스타일, 또는 흑백(black and white) 스타일을 포함할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는 상기 소프트웨어 어플리케이션이 상기 디스플레이(160)를 통해 표시되는 영역을 식별하도록 구성될 수 있다. 상기 프로세서(120)는 상기 영역이 상기 디스플레이(160)의 전체 영역인 경우, 상기 소프트웨어 어플리케이션의 렌더링 스타일에 대한 정보를 획득하도록, 구성될 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는 상기 소프트웨어 어플리케이션 및 다른(another) 소프트웨어 어플리케이션을 포함하는 복수의 소프트웨어 어플리케이션들 각각이 상기 디스플레이(160)를 통해 표시되는 영역을 식별하도록 구성될 수 있다. 상기 프로세서(120)는 상기 디스플레이(160)의 전체 영역에 대하여 상기 소프트웨어 어플리케이션이 표시되는 제1 영역에 대한, 상기 소프트웨어 어플리케이션의 렌더링 스타일에 대한 제1 정보를 획득하도록 구성될 수 있다. 상기 프로세서(120)는 상기 디스플레이(160)의 전체 영역에 대하여 상기 다른 소프트웨어 어플리케이션이 표시되는 제2 영역에 대한, 상기 다른 소프트웨어 어플리케이션의 렌더링 스타일에 대한 제2 정보를 획득하도록, 구성될 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는 상기 제2 이미지의 상기 제1 영역에 대하여 상기 컬러 효과 및 상기 제1 정보에 기반하여 제4 이미지를 획득하도록 구성될 수 있다. 상기 프로세서(120)는 상기 제2 이미지의 상기 제2 영역에 대하여 상기 다른 소프트웨어 어플리케이션을 통해 획득되는 다른(another) 제1 이미지 내의 다른 속성을 갖는 다른 시각적 객체에 기반하여 결정되는 다른 컬러 효과 및 상기 제2 정보에 기반하여 제5 이미지를 획득하도록 구성될 수 있다. 상기 프로세서(120)는 상기 제4 이미지 및 상기 제5 이미지를 합성함으로써 상기 제3 이미지를 획득하도록, 구성될 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는 상기 소프트웨어 어플리케이션으로부터 상기 제1 영역에 대한 제1 경계(boundary) 정보를 획득하도록 구성될 수 있다. 상기 프로세서(120)는 상기 다른 소프트웨어 어플리케이션으로부터 상기 제2 영역에 대한 제2 경계 정보를 획득하도록, 구성될 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는 상기 웨어러블 전자 장치의 사용자의 시선이 포커싱(focusing)하는 영역을 식별함에 기반하여, 상기 복수의 소프트웨어 어플리케이션들 중 상기 소프트웨어 어플리케이션을 식별하도록 구성될 수 있다. 상기 프로세서(120)는 상기 소프트웨어 어플리케이션이 표시되는 상기 제1 영역을 포함하는 제1 렌더링 스타일 영역(rendering style region)을 식별하도록, 구성될 수 있다. 상기 제3 이미지는 상기 제2 이미지를, 상기 제2 이미지의 상기 제1 렌더링 스타일 영역에 대하여 상기 제1 정보에 기반하여, 변환함으로써 획득될 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는 상기 시선이 상기 소프트웨어 어플리케이션이 상기 디스플레이(160)에 대응하는 영역 내에 위치하는 시간이 일정 시간 이상인 경우, 상기 제1 렌더링 스타일 영역에 대하여 확장된 영역을 식별하도록, 구성될 수 있다. 상기 제3 이미지는 상기 제2 이미지를, 상기 제2 이미지의 상기 확장된 영역에 대하여 상기 제1 정보에 기반하여, 변환함으로써 획득될 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는 상기 소프트웨어 어플리케이션의 매니페스트 파일(manifest file) 정보에 기반하여 상기 렌더링 스타일에 대한 정보를 획득하거나, 상기 소프트웨어 어플리케이션의 실행 파일 정보에 기반하여 상기 렌더링 스타일에 대한 정보를 획득하거나, 또는 상기 소프트웨어 어플리케이션의 쉐이더(shader)를 지시하는 코드(code) 정보에 기반하여, 상기 렌더링 스타일에 대한 정보를 획득하도록, 구성될 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는 상기 매니페스트 파일 정보, 상기 실행 파일 정보, 상기 쉐이더를 지시하는 코드 정보, 또는 상기 제1 이미지를 통해 상기 렌더링 스타일에 대한 정보를 획득하지 못하는 경우, 상기 소프트웨어 어플리케이션의 렌더링 결과에 기반하여 결정되는 복수의 프리셋들을 상기 디스플레이(160)를 통해 사용자에게 표시하도록 구성될 수 있다. 상기 프로세서(120)는 상기 복수의 프리셋들 중 하나의 프리셋에 대한 상기 사용자의 응답에 기반하여, 상기 소프트웨어 어플리케이션의 상기 렌더링 스타일에 대한 정보를 획득하도록 구성될 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는 상기 웨어러블 전자 장치의 사용자에 입력에 기반하여, 상기 제2 이미지의 일부 영역을 식별하도록 구성될 수 있다. 상기 프로세서(120)는 상기 컬러 효과 및 상기 렌더링 스타일에 대한 정보에 기반하여, 상기 제2 이미지의 상기 일부 영역에 대하여 변환함으로써 상기 제3 이미지를 획득하도록, 구성될 수 있다.
상술한 바와 같은, 웨어러블 전자 장치(101)(wearable device)에 의해 수행되는 방법은 소프트웨어 어플리케이션(software application)을 통해 시각적 객체를 포함하는 제1 이미지를 식별하는 동작(307)을 포함할 수 있다. 상기 방법은, 상기 제1 이미지 내의 상기 시각적 객체의 속성(property)에 기반하여, 상기 시각적 객체에 대응하는 배경 이미지의 부분에 적용될 컬러 효과(color effect)를 식별하는 동작(309)을 포함할 수 있다. 상기 방법은 상기 제1 이미지에 적용된 렌더링 스타일(rendering style)을 식별하는 동작(311)을 포함할 수 있다. 상기 방법은 상기 웨어러블 전자 장치(101)의 카메라(180)를 통해 획득된, 상기 웨어러블 전자 장치 주변의 환경을 표현하는 제2 이미지를, 상기 컬러 효과 및 상기 렌더링 스타일에 기반하여 변환함으로써, 제3 이미지를 상기 배경 이미지로 획득하는 동작(313)을 포함할 수 있다. 상기 제1 이미지를 상기 제3 이미지와 함께 상기 웨어러블 전자 장치의 디스플레이를 통해 표시하는 동작(315)을 포함할 수 있다. 상기 속성은, 발광 속성, 질감 속성, 또는, 온도 속성을 포함할 수 있다. 상기 렌더링 스타일은, 카툰(cartoon) 스타일, 레트로(retro) 스타일, 개요(outline) 스타일, 또는 흑백(black and white) 스타일을 포함할 수 있다.
일 실시예에 따르면, 상기 방법은 상기 소프트웨어 어플리케이션이 상기 디스플레이(160)를 통해 표시되는 영역을 식별하는 동작을 포함할 수 있다. 상기 방법은 상기 영역이 상기 디스플레이(160)의 전체 영역인 경우, 상기 소프트웨어 어플리케이션의 렌더링 스타일에 대한 정보를 획득하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 방법은 상기 소프트웨어 어플리케이션 및 다른(another) 소프트웨어 어플리케이션을 포함하는 복수의 소프트웨어 어플리케이션들 각각이 상기 디스플레이(160)를 통해 표시되는 영역을 식별하는 동작을 포함할 수 있다. 상기 방법은 상기 디스플레이(160)의 전체 영역에 대하여 상기 소프트웨어 어플리케이션이 표시되는 제1 영역에 대한, 상기 소프트웨어 어플리케이션의 렌더링 스타일에 대한 제1 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은 상기 디스플레이(160)의 전체 영역에 대하여 상기 다른 소프트웨어 어플리케이션이 표시되는 제2 영역에 대한, 상기 다른 소프트웨어 어플리케이션의 렌더링 스타일에 대한 제2 정보를 획득하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 방법은 상기 제2 이미지의 상기 제1 영역에 대하여 상기 컬러 효과 및 상기 제1 정보에 기반하여 제4 이미지를 획득하는 동작을 포함할 수 있다. 상기 방법은 상기 제2 이미지의 상기 제2 영역에 대하여 상기 다른 소프트웨어 어플리케이션을 통해 획득되는 다른(another) 제1 이미지 내의 다른 속성을 갖는 다른 시각적 객체에 기반하여 다른 컬러 효과 및 상기 제2 정보에 기반하여 제5 이미지를 획득하는 동작을 포함할 수 있다. 상기 방법은 상기 제4 이미지 및 상기 제5 이미지를 합성함으로써 상기 제3 이미지를 획득하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 방법은 상기 소프트웨어 어플리케이션으로부터 상기 제1 영역에 대한 제1 경계(boundary) 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은 상기 다른 소프트웨어 어플리케이션으로부터 상기 제2 영역에 대한 제2 경계 정보를 획득하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 방법은 상기 웨어러블 전자 장치의 사용자의 시선이 포커싱(focusing)하는 영역을 식별함에 기반하여, 상기 복수의 소프트웨어 어플리케이션들 중 상기 소프트웨어 어플리케이션을 식별하는 동작을 포함할 수 있다. 상기 방법은 상기 소프트웨어 어플리케이션이 표시되는 상기 제1 영역을 포함하는 제1 렌더링 스타일 영역(rendering style region)을 식별하는 동작을 포함할 수 있다. 상기 제3 이미지는 상기 제2 이미지를, 상기 제2 이미지의 상기 제1 렌더링 스타일 영역에 대하여 상기 제1 정보에 기반하여, 변환함으로써 획득될 수 있다.
일 실시예에 따르면, 상기 방법은 상기 시선이 상기 소프트웨어 어플리케이션이 상기 디스플레이(160)에 대응하는 영역 내에 위치하는 시간이 일정 시간 이상인 경우, 상기 제1 렌더링 스타일 영역에 대하여 확장된 영역을 식별하는 동작을 포함할 수 있다. 상기 제3 이미지는 상기 제2 이미지를, 상기 제2 이미지의 상기 확장된 영역에 대하여 상기 제1 정보에 기반하여, 변환함으로써 획득될 수 있다.
일 실시예에 따르면, 상기 방법은 상기 소프트웨어 어플리케이션의 매니페스트 파일(manifest file) 정보에 기반하여 상기 렌더링 스타일에 대한 정보를 획득하는 동작을 포함하거나, 상기 소프트웨어 어플리케이션의 실행 파일 정보에 기반하여 상기 렌더링 스타일 정보에 대한 정보를 획득하는 동작을 포함하거나, 또는 상기 소프트웨어 어플리케이션의 쉐이더(shader)를 지시하는 코드(code) 정보에 기반하여, 상기 렌더링 스타일에 대한 정보를 획득하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 방법은 상기 매니페스트 파일 정보, 상기 실행 파일 정보, 상기 쉐이더를 지시하는 코드 정보, 또는 상기 제1 이미지를 통해 상기 렌더링 스타일에 대한 정보를 획득하지 못하는 경우, 상기 소프트웨어 어플리케이션의 렌더링 결과에 기반하여 결정되는 복수의 프리셋들을 사용자에게 표시하는 동작을 포함할 수 있다. 상기 방법은 상기 복수의 프리셋들 중 하나의 프리셋에 대한 상기 사용자의 응답에 기반하여, 상기 소프트웨어 어플리케이션의 상기 렌더링 스타일에 대한 정보를 획득하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 방법은 상기 웨어러블 전자 장치(101)의 사용자에 입력에 기반하여, 상기 제2 이미지의 일부 영역을 식별하는 동작을 포함할 수 있다. 상기 방법은 상기 컬러 효과 및 상기 렌더링 스타일에 대한 정보에 기반하여, 상기 제2 이미지의 상기 일부 영역에 대하여 변환함으로써 상기 제3 이미지를 획득하는 동작을 포함할 수 있다.
상술한 바와 같은, 비일시적 컴퓨터 판독가능 저장 매체는, 카메라(camera)(180) 및 디스플레이(display)(160)를 포함하는 웨어러블 전자 장치(wearable electronic device)(101)의 프로세서(processor)(120)에 의해 실행될 시, 소프트웨어 어플리케이션(software application)을 통해 시각적 객체를 포함하는 제1 이미지를 식별하도록, 야기하는 인스트럭션들을 포함하는 하나 이상의 프로그램들을 저장할 수 있다. 상기 비일시적 컴퓨터 판독가능 저장 매체는, 상기 프로세서(120)에 의해 실행될 시, 상기 제1 이미지 내의 상기 시각적 객체의 속성(property)에 기반하여, 상기 시각적 객체에 대응하는 배경 이미지의 부분에 적용될 컬러 효과(color effect)를 식별하도록, 야기하는 인스트럭션들을 포함하는 하나 이상의 프로그램들을 저장할 수 있다. 상기 비일시적 컴퓨터 판독가능 저장 매체는, 상기 프로세서(120)에 의해 실행될 시, 상기 제1 이미지에 적용된 렌더링 스타일(rendering style)을 식별하도록, 야기하는 인스트럭션들을 포함하는 하나 이상의 프로그램들을 저장할 수 있다. 상기 비일시적 컴퓨터 판독가능 저장 매체는, 상기 프로세서(120)에 의해 실행될 시, 상기 카메라(180)를 통해 획득된, 상기 웨어러블 전자 장치 주변의 환경을 표현하는 제2 이미지를, 상기 컬러 효과 및 상기 렌더링 스타일에 기반하여 변환함으로써, 제3 이미지를 상기 배경 이미지로 획득하도록, 야기하는 인스트럭션들을 포함하는 하나 이상의 프로그램들을 저장할 수 있다. 상기 비일시적 컴퓨터 판독가능 저장 매체는, 상기 프로세서(120)에 의해 실행될 시, 상기 제1 이미지를 상기 제3 이미지와 함께 상기 디스플레이를 통해 표시하도록, 야기하는 인스트럭션들을 포함하는 하나 이상의 프로그램들을 저장할 수 있다. 상기 속성은, 발광 속성, 질감 속성, 또는, 온도 속성을 포함할 수 있다. 상기 렌더링 스타일은, 카툰(cartoon) 스타일, 레트로(retro) 스타일, 개요(outline) 스타일, 또는 흑백(black and white) 스타일을 포함할 수 있다.
본 문서에 개시된 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어™)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 웨어러블 전자 장치(wearable electronic device)(101)에 있어서,
    카메라(camera)(180);
    디스플레이(display)(160); 및
    프로세서(processor)(120)를 포함하고,
    상기 프로세서(120)는,
    소프트웨어 어플리케이션(software application)을 통해 시각적 객체를 포함하는 제1 이미지를 식별하고,
    상기 제1 이미지 내의 상기 시각적 객체의 속성(property)에 기반하여, 상기 시각적 객체에 대응하는 배경 이미지의 부분에 적용될 컬러 효과(color effect)를 식별하고,
    상기 제1 이미지에 적용된 렌더링 스타일(rendering style)을 식별하고,
    상기 카메라(180)를 통해 획득된, 상기 웨어러블 전자 장치 주변의 환경을 표현하는 제2 이미지를, 상기 컬러 효과 및 상기 렌더링 스타일에 기반하여 변환함으로써, 제3 이미지를 상기 배경 이미지로 획득하고, 및
    상기 제1 이미지를 상기 제3 이미지와 함께 상기 디스플레이를 통해 표시하도록, 구성되고,
    상기 속성은, 발광 속성, 질감 속성, 또는, 온도 속성을 포함하고,
    상기 렌더링 스타일은, 카툰(cartoon) 스타일, 레트로(retro) 스타일, 개요(outline) 스타일, 또는 흑백(black and white) 스타일을 포함하는,
    웨어러블 전자 장치(101).
  2. 청구항 1에 있어서,
    상기 프로세서(120)는:
    상기 소프트웨어 어플리케이션이 상기 디스플레이(160)를 통해 표시되는 영역을 식별하고,
    상기 영역이 상기 디스플레이(160)의 전체 영역인 경우, 상기 소프트웨어 어플리케이션의 렌더링 스타일에 대한 정보를 획득하도록, 구성되는,
    웨어러블 전자 장치(101).
  3. 청구항 1에 있어서,
    상기 프로세서(120)는:
    상기 소프트웨어 어플리케이션 및 다른(another) 소프트웨어 어플리케이션을 포함하는 복수의 소프트웨어 어플리케이션들 각각이 상기 디스플레이(160)를 통해 표시되는 영역을 식별하고,
    상기 디스플레이(160)의 전체 영역에 대하여 상기 소프트웨어 어플리케이션이 표시되는 제1 영역에 대한, 상기 소프트웨어 어플리케이션의 렌더링 스타일에 대한 제1 정보를 획득하고,
    상기 디스플레이(160)의 전체 영역에 대하여 상기 다른 소프트웨어 어플리케이션이 표시되는 제2 영역에 대한, 상기 다른 소프트웨어 어플리케이션의 렌더링 스타일에 대한 제2 정보를 획득하도록, 구성되는,
    웨어러블 전자 장치(101).
  4. 청구항 3에 있어서,
    상기 프로세서(120)는:
    상기 제2 이미지의 상기 제1 영역에 대하여 상기 컬러 효과 및 상기 제1 정보에 기반하여 제4 이미지를 획득하고,
    상기 제2 이미지의 상기 제2 영역에 대하여 상기 다른 소프트웨어 어플리케이션을 통해 획득되는 다른(another) 제1 이미지 내의 다른 속성을 갖는 다른 시각적 객체에 기반하여 결정되는 다른 컬러 효과 및 상기 제2 정보에 기반하여 제5 이미지를 획득하고,
    상기 제4 이미지 및 상기 제5 이미지를 합성함으로써 상기 제3 이미지를 획득하도록, 구성되는,
    웨어러블 전자 장치(101).
  5. 청구항 3에 있어서,
    상기 프로세서(120)는:
    상기 소프트웨어 어플리케이션으로부터 상기 제1 영역에 대한 제1 경계(boundary) 정보를 획득하고,
    상기 다른 소프트웨어 어플리케이션으로부터 상기 제2 영역에 대한 제2 경계 정보를 획득하도록, 구성되는,
    웨어러블 전자 장치(101).
  6. 청구항 3에 있어서,
    상기 프로세서(120)는:
    상기 웨어러블 전자 장치의 사용자의 시선이 포커싱(focusing)하는 영역을 식별함에 기반하여, 상기 복수의 소프트웨어 어플리케이션들 중 상기 소프트웨어 어플리케이션을 식별하고,
    상기 소프트웨어 어플리케이션이 표시되는 상기 제1 영역을 포함하는 제1 렌더링 스타일 영역(rendering style region)을 식별하도록, 구성되고,
    상기 제3 이미지는 상기 제2 이미지를, 상기 제2 이미지의 상기 제1 렌더링 스타일 영역에 대하여 상기 제1 정보에 기반하여, 변환함으로써 획득되는,
    웨어러블 전자 장치(101).
  7. 청구항 6에 있어서,
    상기 프로세서(120)는:
    상기 시선이 상기 소프트웨어 어플리케이션이 상기 디스플레이(160)에 대응하는 영역 내에 위치하는 시간이 일정 시간 이상인 경우, 상기 제1 렌더링 스타일 영역에 대하여 확장된 영역을 식별하도록, 구성되고,
    상기 제3 이미지는 상기 제2 이미지를, 상기 제2 이미지의 상기 확장된 영역에 대하여 상기 제1 정보에 기반하여, 변환함으로써 획득되는,
    웨어러블 전자 장치(101).
  8. 청구항 1에 있어서,
    상기 프로세서(120)는,
    상기 소프트웨어 어플리케이션의 매니페스트 파일(manifest file) 정보에 기반하여 상기 렌더링 스타일에 대한 정보를 획득하거나,
    상기 소프트웨어 어플리케이션의 실행 파일 정보에 기반하여 상기 렌더링 스타일에 대한 정보를 획득하거나, 또는
    상기 소프트웨어 어플리케이션의 쉐이더(shader)를 지시하는 코드(code) 정보에 기반하여, 상기 렌더링 스타일에 대한 정보를 획득하도록, 구성되는,
    웨어러블 전자 장치(101).
  9. 청구항 8에 있어서,
    상기 프로세서(120)는,
    상기 매니페스트 파일 정보, 상기 실행 파일 정보, 상기 쉐이더를 지시하는 코드 정보, 또는 상기 제1 이미지를 통해 상기 렌더링 스타일에 대한 정보를 획득하지 못하는 경우, 상기 소프트웨어 어플리케이션의 렌더링 결과에 기반하여 결정되는 복수의 프리셋들을 상기 디스플레이(160)를 통해 사용자에게 표시하고,
    상기 복수의 프리셋들 중 하나의 프리셋에 대한 상기 사용자의 응답에 기반하여, 상기 소프트웨어 어플리케이션의 상기 렌더링 스타일에 대한 정보를 획득하도록, 구성되는,
    웨어러블 전자 장치(101).
  10. 청구항 1에 있어서,
    상기 프로세서(120)는,
    상기 웨어러블 전자 장치의 사용자에 입력에 기반하여, 상기 제2 이미지의 일부 영역을 식별하고,
    상기 컬러 효과 및 상기 렌더링 스타일에 대한 정보에 기반하여, 상기 제2 이미지의 상기 일부 영역에 대하여 변환함으로써 상기 제3 이미지를 획득하도록, 구성되는,
    웨어러블 전자 장치(101).
  11. 웨어러블 전자 장치(101)(wearable device)에 의해 수행되는 방법에 있어서,
    소프트웨어 어플리케이션(software application)을 통해 시각적 객체를 포함하는 제1 이미지를 식별하는 동작(307),
    상기 제1 이미지 내의 상기 시각적 객체의 속성(property)에 기반하여, 상기 시각적 객체에 대응하는 배경 이미지의 부분에 적용될 컬러 효과(color effect)를 식별하는 동작(309),
    상기 제1 이미지에 적용된 렌더링 스타일(rendering style)을 식별하는 동작(311),
    상기 웨어러블 전자 장치의 카메라(180)를 통해 획득된, 상기 웨어러블 전자 장치 주변의 환경을 표현하는 제2 이미지를, 상기 컬러 효과 및 상기 렌더링 스타일에 기반하여 변환함으로써, 제3 이미지를 상기 배경 이미지로 획득하는 동작(313)을 포함하고, 및
    상기 제1 이미지를 상기 제3 이미지와 함께 상기 웨어러블 전자 장치의 디스플레이를 통해 표시하는 동작(315)을 포함하고,
    상기 속성은, 발광 속성, 질감 속성, 또는, 온도 속성을 포함하고,
    상기 렌더링 스타일은, 카툰(cartoon) 스타일, 레트로(retro) 스타일, 개요(outline) 스타일, 또는 흑백(black and white) 스타일을 포함하는,
    방법.
  12. 청구항 11에 있어서,
    상기 방법은:
    상기 소프트웨어 어플리케이션이 상기 디스플레이(160)를 통해 표시되는 영역을 식별하는 동작;
    상기 영역이 상기 디스플레이(160)의 전체 영역인 경우, 상기 소프트웨어 어플리케이션의 렌더링 스타일에 대한 정보를 획득하는 동작을 포함하는,
    방법.
  13. 청구항 11에 있어서,
    상기 방법은:
    상기 소프트웨어 어플리케이션 및 다른(another) 소프트웨어 어플리케이션을 포함하는 복수의 소프트웨어 어플리케이션들 각각이 상기 디스플레이(160)를 통해 표시되는 영역을 식별하는 동작;
    상기 디스플레이(160)의 전체 영역에 대하여 상기 소프트웨어 어플리케이션이 표시되는 제1 영역에 대한, 상기 소프트웨어 어플리케이션의 렌더링 스타일에 대한 제1 정보를 획득하는 동작;
    상기 디스플레이(160)의 전체 영역에 대하여 상기 다른 소프트웨어 어플리케이션이 표시되는 제2 영역에 대한, 상기 다른 소프트웨어 어플리케이션의 렌더링 스타일에 대한 제2 정보를 획득하는 동작을 포함하는,
    방법.
  14. 청구항 13에 있어서,
    상기 방법은:
    상기 제2 이미지의 상기 제1 영역에 대하여 상기 컬러 효과 및 상기 제1 정보에 기반하여 제4 이미지를 획득하는 동작,
    상기 제2 이미지의 상기 제2 영역에 대하여 상기 다른 소프트웨어 어플리케이션을 통해 획득되는 다른(another) 제1 이미지 내의 다른 속성을 갖는 다른 시각적 객체에 기반하여 다른 컬러 효과 및 상기 제2 정보에 기반하여 제5 이미지를 획득하는 동작;
    상기 제4 이미지 및 상기 제5 이미지를 합성함으로써 상기 제3 이미지를 획득하는 동작을 포함하는,
    방법.
  15. 비일시적 컴퓨터 판독가능 저장 매체는, 카메라(camera)(180) 및 디스플레이(display)(160)를 포함하는 웨어러블 전자 장치(wearable electronic device)(101)의 프로세서(processor)(120)에 의해 실행될 시,
    소프트웨어 어플리케이션(software application)을 통해 시각적 객체를 포함하는 제1 이미지를 식별하고,
    상기 제1 이미지 내의 상기 시각적 객체의 속성(property)에 기반하여, 상기 시각적 객체에 대응하는 배경 이미지의 부분에 적용될 컬러 효과(color effect)를 식별하고,
    상기 제1 이미지에 적용된 렌더링 스타일(rendering style)을 식별하고,
    상기 카메라(180)를 통해 획득된, 상기 웨어러블 전자 장치 주변의 환경을 표현하는 제2 이미지를, 상기 컬러 효과 및 상기 렌더링 스타일에 기반하여 변환함으로써, 제3 이미지를 상기 배경 이미지로 획득하고, 및
    상기 제1 이미지를 상기 제3 이미지와 함께 상기 디스플레이를 통해 표시하도록, 야기하는 인스트럭션들을 포함하는 하나 이상의 프로그램들을 저장하고,
    상기 속성은, 발광 속성, 질감 속성, 또는, 온도 속성을 포함하고,
    상기 렌더링 스타일은, 카툰(cartoon) 스타일, 레트로(retro) 스타일, 개요(outline) 스타일, 또는 흑백(black and white) 스타일을 포함하는,
    비일시적 컴퓨터 판독가능 저장 매체.
PCT/KR2023/014321 2022-10-25 2023-09-20 렌더링 스타일이 변경된 이미지를 획득하기 위한 전자 장치 및 방법 Ceased WO2024090802A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP23882909.7A EP4592967A4 (en) 2022-10-25 2023-09-20 ELECTRONIC DEVICE AND IMAGE ACQUISITION METHOD HAVING A MODIFIED RENDERING STYLE
US19/174,350 US20250265739A1 (en) 2022-10-25 2025-04-09 Electronic device and method for acquiring image having changed rendering style

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220138762 2022-10-25
KR10-2022-0138762 2022-10-25
KR1020220160962A KR20240058729A (ko) 2022-10-25 2022-11-25 렌더링 스타일이 변경된 이미지를 획득하기 위한 전자 장치 및 방법
KR10-2022-0160962 2022-11-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/174,350 Continuation US20250265739A1 (en) 2022-10-25 2025-04-09 Electronic device and method for acquiring image having changed rendering style

Publications (1)

Publication Number Publication Date
WO2024090802A1 true WO2024090802A1 (ko) 2024-05-02

Family

ID=90831330

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/014321 Ceased WO2024090802A1 (ko) 2022-10-25 2023-09-20 렌더링 스타일이 변경된 이미지를 획득하기 위한 전자 장치 및 방법

Country Status (3)

Country Link
US (1) US20250265739A1 (ko)
EP (1) EP4592967A4 (ko)
WO (1) WO2024090802A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160044252A (ko) * 2014-10-15 2016-04-25 삼성전자주식회사 색 보정 방법 및 장치
JP2020530925A (ja) * 2017-08-01 2020-10-29 スリーエム イノベイティブ プロパティズ カンパニー 画像の多様化及び認識のためのニューラルスタイル変換
KR20220017242A (ko) * 2020-08-04 2022-02-11 삼성전자주식회사 피사체와 배경에 효과를 적용하여 이미지를 생성하는 전자 장치 및 그 방법
JP2022530518A (ja) * 2019-04-29 2022-06-29 センスタイム グループ リミテッド 画像生成方法及び装置、電子機器並びに記憶媒体
KR20220138112A (ko) * 2021-04-05 2022-10-12 고려대학교 산학협력단 카툰 배경 자동 생성 방법 및 그 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11037359B1 (en) * 2020-06-24 2021-06-15 Microsoft Technology Licensing, Llc Real-time rendering stylized passthrough images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160044252A (ko) * 2014-10-15 2016-04-25 삼성전자주식회사 색 보정 방법 및 장치
JP2020530925A (ja) * 2017-08-01 2020-10-29 スリーエム イノベイティブ プロパティズ カンパニー 画像の多様化及び認識のためのニューラルスタイル変換
JP2022530518A (ja) * 2019-04-29 2022-06-29 センスタイム グループ リミテッド 画像生成方法及び装置、電子機器並びに記憶媒体
KR20220017242A (ko) * 2020-08-04 2022-02-11 삼성전자주식회사 피사체와 배경에 효과를 적용하여 이미지를 생성하는 전자 장치 및 그 방법
KR20220138112A (ko) * 2021-04-05 2022-10-12 고려대학교 산학협력단 카툰 배경 자동 생성 방법 및 그 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4592967A4 *

Also Published As

Publication number Publication date
EP4592967A1 (en) 2025-07-30
US20250265739A1 (en) 2025-08-21
EP4592967A4 (en) 2026-01-07

Similar Documents

Publication Publication Date Title
WO2022098204A1 (ko) 가상현실 서비스를 제공하는 전자 장치 및 방법
WO2024090802A1 (ko) 렌더링 스타일이 변경된 이미지를 획득하기 위한 전자 장치 및 방법
WO2023106895A1 (ko) 가상 입력 장치를 이용하기 위한 전자 장치 및 그 전자 장치에서의 동작 방법
WO2023022494A1 (ko) 아바타 생성 및 가상 피팅을 위한 전자 장치 및 전자 장치의 동작 방법
WO2025155065A1 (ko) 확장 현실 이미지를 표시하는 웨어러블 전자 장치, 이의 동작 방법, 및 기록 매체
WO2025023473A1 (ko) 아바타를 표시하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 매체
WO2024117515A1 (ko) 시나리오 컨텍스트에 따른 렌더링 이미지를 생성하기 위한 전자 장치 및 방법
WO2025263768A1 (ko) 투명 디스플레이를 포함하는 전자 장치 및 이의 동작 방법
WO2024071776A1 (ko) 증강 현실 객체 표시 방법 및 이를 지원하는 전자 장치
WO2024063253A1 (ko) 카메라로부터 획득한 이미지 내에 포함된 복수의 영역들 각각의 해상도들을 제어하기 위한 전자 장치 및 그 방법
WO2026049289A1 (ko) 전자 장치 및 가상 객체 표시 방법
WO2026095355A1 (ko) 디스플레이를 통해 표시되는 화면을 제어하기 위한 전자 장치, 방법, 및 비-일시적 컴퓨터 판독가능 저장 매체
WO2025121749A1 (ko) 전자 장치 및 이의 동작 방법
WO2025165071A1 (ko) 이미지를 생성하는 전자 장치와 이의 동작 방법
WO2025018508A1 (ko) 음성 명령에 의하여 지칭된 객체를 결정하는 방법 및 장치
WO2025048131A1 (ko) 추적을 위한 이미지를 획득하기 위한 전자 장치, 방법, 및 저장 매체
WO2025244266A1 (ko) 확장 현실 컨텐츠 생성 방법 및 이를 수행하는 전자 장치
WO2024080579A1 (ko) 사용자의 자세를 가이드하기 위한 웨어러블 장치 및 그 방법
WO2026059183A1 (ko) 관심 영역에 대한 프로세싱을 수행하기 위한 웨어러블 장치, 방법, 및 비일시적 컴퓨터 판독 가능 저장 매체
WO2025023452A1 (ko) 실제 객체에 대응하는 가상 객체를 생성 및 배치하는 방법 및 장치
WO2026049223A1 (ko) 쓰리디 공간 내에서의 터치 입력을 위한 머리-착용 전자 장치, 방법, 및 비일시적 컴퓨터 판독 가능 저장 매체
WO2024063463A1 (ko) 디스플레이를 통해 보여지는 객체와 관련된 오디오 신호를 조절하기 위한 전자 장치 및 그 방법
WO2026034811A1 (ko) 외부 객체에 대응하는 시각적 객체를 표시하기 위한 웨어러블 장치, 방법, 및 비일시적 컴퓨터 판독 가능 저장 매체
WO2025154914A1 (ko) 소스 객체 및 타겟 객체에 기초하여 추가 객체를 획득하는 방법 및 장치
WO2026043146A1 (ko) 손에 대응하는 시각적 표현을 표시하기 위한 머리-착용가능한 전자 장치, 방법, 및 비일시적 컴퓨터 판독 가능 저장 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23882909

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023882909

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2023882909

Country of ref document: EP

Effective date: 20250422

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2023882909

Country of ref document: EP