WO2026005253A1 - 프로젝터를 포함하는 전자 장치 및 그 동작 방법 - Google Patents

프로젝터를 포함하는 전자 장치 및 그 동작 방법

Info

Publication number
WO2026005253A1
WO2026005253A1 PCT/KR2025/005797 KR2025005797W WO2026005253A1 WO 2026005253 A1 WO2026005253 A1 WO 2026005253A1 KR 2025005797 W KR2025005797 W KR 2025005797W WO 2026005253 A1 WO2026005253 A1 WO 2026005253A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
electronic device
area
information
projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/KR2025/005797
Other languages
English (en)
French (fr)
Inventor
이보나
강승규
김무정
손동일
엄준훤
황선민
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020240088096A external-priority patent/KR20260001430A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of WO2026005253A1 publication Critical patent/WO2026005253A1/ko
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]

Definitions

  • Various embodiments according to the present disclosure relate to an electronic device including a projector and a method of operating the same.
  • a display device is a device that outputs content, such as video, images, or text, and can display the content through a display panel.
  • a projector is one such display device.
  • a projector projects a screen containing the content onto an external surface (e.g., a screen), thereby causing light emitted from the projector to appear on the surface. Users can view the content through the screen projected onto the surface.
  • An artificial intelligence system (or integrated intelligence system) is a computer system that implements intelligence, and is a system that performs judgment based on the results of the machine learning data.
  • Artificial intelligence technology can be composed of machine learning (deep learning) technology that uses an algorithm to classify/learn the characteristics of input data on its own, and element technologies that imitate the functions of the human brain, such as cognition and judgment, by utilizing machine learning algorithms.
  • An artificial intelligence model based on generative artificial intelligence can generate content (e.g., text, images, or other media) in response to a prompt containing natural language text requesting the performance of a task.
  • An electronic device may include a memory for storing instructions, a projector for projecting a screen including contents onto a projection surface of an external object, at least one sensor configured to obtain environmental information about a surrounding environment in which the projector projects the screen, and at least one processor. At least one processor may, when the instructions are executed, execute an application for displaying a screen including first contents through the projector. When the instructions are executed, at least one processor may, based on the executed application, determine a projection area including an area where light emitted from the projector is irradiated onto the projection surface. When the instructions are executed, at least one processor may, based on the environmental information, determine a content display area within the projection area.
  • At least one processor when the instructions are executed, can obtain data including second content generated through a machine-learned artificial intelligence model from content information related to the first content based on context information including at least one of the content display area or the environment information. At least one processor, when the instructions are executed, can project a screen including the second content onto the projection surface through the projector.
  • a method of operating an electronic device may include an operation of executing an application that displays a screen including first content through a projector that projects a screen including content onto a projection surface of an external object, and an operation of determining a projection area including an area where light emitted from the projector is irradiated onto the projection surface based on the executed application, and an operation of determining a content display area within the projection area based on environmental information acquired by at least one sensor configured to acquire environmental information about a surrounding environment in which the projector projects a screen, and an operation of acquiring data including second content generated through a machine-learned artificial intelligence model from content information related to the first content based on context information including at least one of the content display area and the environmental information, and an operation of projecting a screen including the second content onto the projection surface through the projector.
  • a computer-readable recording medium may store a computer program that causes an electronic device to execute the above-described method.
  • FIG. 1 is a block diagram of an electronic device within a network environment according to various embodiments of the present disclosure.
  • FIG. 2 is a block diagram illustrating components of an electronic device according to various embodiments of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of an electronic device including a projector projecting a screen according to one embodiment of the present disclosure.
  • FIG. 4 is a flowchart illustrating a process in which an electronic device outputs content through a projector according to one embodiment of the present disclosure.
  • FIG. 5 is a flowchart illustrating a process of an electronic device including a projector generating content using a prompt according to one embodiment of the present disclosure.
  • FIG. 6 is a flowchart illustrating a process in which an electronic device outputs content based on the result of identifying an obstacle, according to one embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating an example of second content generated from first content based on an area where an obstacle is identified by an electronic device according to one embodiment of the present disclosure.
  • FIG. 8 is a diagram illustrating an example of second content generated from first content based on an area where an obstacle is identified by an electronic device according to one embodiment of the present disclosure.
  • FIG. 9 is a flowchart illustrating a process by which an electronic device generates a prompt according to one embodiment of the present disclosure.
  • FIG. 10 is a flowchart illustrating a process for determining whether content is viewable based on a plurality of conditions according to one embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating an example of displaying content based on whether the content is viewable, according to one embodiment of the present disclosure.
  • FIG. 12 is a diagram illustrating an example of obtaining second content by summarizing text included in first content according to one embodiment of the present disclosure.
  • FIG. 13 is a diagram illustrating an example of obtaining second content by summarizing an image included in first content and changing the font of text according to one embodiment of the present disclosure.
  • FIG. 14 is a flowchart illustrating a process for generating content in a blank space within a projecting area according to one embodiment of the present disclosure.
  • FIG. 15 is a drawing for explaining an example of creating content in a blank space within a projecting area according to one embodiment of the present disclosure.
  • FIG. 16 is a flowchart illustrating a process for generating second content by replacing a portion of first content according to one embodiment of the present disclosure.
  • FIG. 17 is a drawing for explaining an example of generating second content by replacing a portion of first content according to one embodiment of the present disclosure.
  • FIG. 18 is a flowchart illustrating a process for generating second content by taking into account user preference information according to one embodiment of the present disclosure.
  • FIG. 19 is a diagram illustrating an example of generating content expanded to a certain area by considering user preference information according to one embodiment of the present disclosure.
  • FIG. 20 is a drawing showing a cylindrical electronic device as an example of an electronic device according to one embodiment of the present disclosure.
  • FIG. 21 is a drawing showing a robotic electronic device as an example of an electronic device according to one embodiment of the present disclosure.
  • FIG. 22 is a drawing showing a box-shaped electronic device as an example of an electronic device according to one embodiment of the present disclosure.
  • FIG. 23 is a diagram for explaining an example of a method of operating a machine-learned artificial intelligence model in an electronic device according to one embodiment of the present disclosure.
  • FIG. 24 is a flowchart illustrating a process for an electronic device to generate content according to one embodiment of the present disclosure.
  • connection lines or connecting members between components depicted in the drawings are merely exemplary representations of functional connections and/or physical or circuit connections.
  • connections between components may be represented by various functional connections, physical connections, or circuit connections that may be replaced or added.
  • the projection distance (e.g., the projection distance (330) of FIG. 3) may refer to the distance between a projector (e.g., the display module (160) of FIG. 1, the projector (220) of FIG. 2, and the electronic device (310) including the projector of FIG. 3) and a projection area (e.g., the projection area (320) of FIG. 3) on which a screen including content is projected onto a projection surface of an external object.
  • the projection distance may refer to the shortest distance between the projector and the projection area.
  • the projection distance may also refer to the distance between the projector and the center of the projection area.
  • a projection area (e.g., a projection area (320) of FIG. 3) may refer to an area of a projection surface of an external object onto which light emitted by a projector (e.g., a display module (160) of FIG. 1, a projector (220) of FIG. 2, an electronic device (310) including a projector of FIG. 3) of an electronic device (e.g., an electronic device (101) of FIG. 1, an electronic device (200) of FIG. 2, an electronic device including a projector of FIG. 3) may be projected.
  • the projection area may refer to an area onto which a screen including content may be projected by the electronic device.
  • the projection area may be determined based on an angular range and a projection distance at which the projector may emit light to display a screen.
  • the content display area may refer to an area used to display content generated by an electronic device (e.g., the electronic device (101) of FIG. 1, the electronic device (200) of FIG. 2, or the electronic device (310) including the projector of FIG. 3) within a projection area (e.g., the projection area (320) of FIG. 3).
  • an electronic device e.g., the electronic device (101) of FIG. 1, the electronic device (200) of FIG. 2, or the electronic device (310) including the projector of FIG. 3
  • a projection area e.g., the projection area (320) of FIG. 3
  • the content display area e.g., it may refer to an area where second content generated through a machine-learned artificial intelligence model is projected.
  • context information may include information related to a situation in which an electronic device displays content.
  • the context information may include information collected by a sensor (e.g., a sensor module (176) of FIG. 1, a sensor unit (210) of FIG. 2), information stored in a memory (e.g., a memory (130) of FIG. 1, a memory (230) of FIG. 2), and information generated through a machine-learned artificial intelligence model).
  • the context information may include at least one of environmental information, spatial information, or situational information.
  • environmental information may refer to information about the surrounding environment of a location where a projector (e.g., a display module (160) of FIG. 1, a projector (220) of FIG. 2, or an electronic device (310) including a projector of FIG. 3) is placed.
  • the environmental information may include at least one of a distance between a projection area and a user, an area of the projection area, the number of users, or age information of the users.
  • the environmental information may include information collected through a sensor of an electronic device (e.g., a sensor module (176) of FIG. 1, a sensor unit (210) of FIG. 2) or a sensor included in an external device (e.g., an electronic device (102, 104) of FIG. 1).
  • spatial information may refer to information related to a space in which an electronic device is placed.
  • the spatial information may include information detected by an image sensor among sensors (e.g., the sensor module (176) of FIG. 1, the sensor unit (210) of FIG. 2).
  • the spatial information may include information identified through image recognition of an image acquired by the image sensor.
  • the spatial information may include information related to an object located around an electronic device (e.g., the electronic device (101) of FIG. 1, the electronic device (200) of FIG. 2, the electronic device including a projector (310) of FIG. 3) detected by the image sensor.
  • the spatial information may include at least one of projecting distance information, projecting area information, user location information, or obstacle information.
  • context information may refer to information related to a situation in which a projector (e.g., a display module (160) of FIG. 1, a projector (220) of FIG. 2, or an electronic device (310) including a projector of FIG. 3) projects a screen.
  • the context information may include information acquired from a memory or received from an external device.
  • the context information may include information related to an external situation that may be acquired from a sensor other than an image sensor or an external device.
  • the context information may include at least one of noise information surrounding the electronic device, information related to the user's age, information related to the user's preference, or information related to the battery of the electronic device.
  • content information may refer to information related to the original content, the first content.
  • content information may include at least one of the following: the original content itself, the format of the original content (text, image, video), the category to which the original content belongs, or the amount of information contained in the original content.
  • information contained in the content may be difficult to convey to the user through the screen output by the projector, depending on the projector itself or the surrounding environment. For example, if an obstacle exists in the projection area, the screen containing the content may be obscured by the obstacle, preventing proper transmission of information. Alternatively, the distance between the projection area and the user may be too far, preventing proper transmission of information to the user.
  • various embodiments of the present invention are directed to providing a method and device for generating content to be projected from an electronic device including a projector to smoothly convey information to a user.
  • FIG. 1 is a block diagram of an electronic device (101) within a network environment (100) according to various embodiments of the present disclosure.
  • an electronic device (101) may communicate with an electronic device (102) via a first network (198) (e.g., a short-range wireless communication network), or may communicate with at least one of an electronic device (104) or a server (108) via a second network (199) (e.g., a long-range wireless communication network).
  • the electronic device (101) may communicate with the electronic device (104) via the server (108).
  • the electronic device (101) may include a processor (120), a memory (130), an input module (150), an audio output module (155), a display module (160), an audio module (170), a sensor module (176), an interface (177), a connection terminal (178), a haptic module (179), a camera module (180), a power management module (188), a battery (189), a communication module (190), a subscriber identification module (196), or an antenna module (197).
  • the electronic device (101) may omit at least one of these components (e.g., the connection terminal (178)), or may have one or more other components added.
  • some of these components e.g., the sensor module (176), the camera module (180), or the antenna module (197) may be integrated into one component (e.g., the display module (160)).
  • the processor (120) may, for example, execute software (e.g., a program (140)) to control at least one other component (e.g., a hardware or software component) of the electronic device (101) connected to the processor (120) and perform various data processing or operations.
  • the processor (120) may store commands or data received from other components (e.g., a sensor module (176) or a communication module (190)) in a volatile memory (132), process the commands or data stored in the volatile memory (132), and store result data in a non-volatile memory (134).
  • the processor (120) may include a main processor (121) (e.g., a central processing unit or an application processor) or an auxiliary processor (123) (e.g., a graphics processing unit, a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor) that can operate independently or together with the main processor (121).
  • a main processor (121) e.g., a central processing unit or an application processor
  • an auxiliary processor (123) e.g., a graphics processing unit, a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor
  • the auxiliary processor (123) may be configured to use less power than the main processor (121) or to be specialized for a given function.
  • the auxiliary processor (123) may be implemented separately from the main processor (121) or as a part thereof.
  • the auxiliary processor (123) may control at least a portion of functions or states associated with at least one component (e.g., a display module (160), a sensor module (176), or a communication module (190)) of the electronic device (101), for example, on behalf of the main processor (121) while the main processor (121) is in an inactive (e.g., sleep) state, or together with the main processor (121) while the main processor (121) is in an active (e.g., application execution) state.
  • the auxiliary processor (123) e.g., an image signal processor or a communication processor
  • the auxiliary processor (123) may include a hardware structure specialized for processing artificial intelligence models.
  • the artificial intelligence models may be generated through machine learning. This learning can be performed, for example, in the electronic device (101) itself where the artificial intelligence model is executed, or can be performed through a separate server (e.g., server (108)).
  • the learning algorithm can include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but is not limited to the examples described above.
  • the artificial intelligence model can include a plurality of artificial neural network layers.
  • the artificial neural network can be one of a deep neural network (DNN), a convolutional neural network (CNN), a recurrent neural network (RNN), a restricted Boltzmann machine (RBM), a deep belief network (DBN), a bidirectional recurrent deep neural network (BRDNN), deep Q-networks, or a combination of two or more of the above, but is not limited to the examples described above.
  • the artificial intelligence model can additionally or alternatively include a software structure.
  • the memory (130) can store various data used by at least one component (e.g., processor (120) or sensor module (176)) of the electronic device (101).
  • the data can include, for example, software (e.g., program (140)) and input data or output data for commands related thereto.
  • the memory (130) can include volatile memory (132) or non-volatile memory (134).
  • the program (140) may be stored as software in the memory (130) and may include, for example, an operating system (142), middleware (144), or an application (146).
  • the input module (150) can receive commands or data to be used in a component of the electronic device (101) (e.g., a processor (120)) from an external source (e.g., a user) of the electronic device (101).
  • the input module (150) can include, for example, a microphone, a mouse, a keyboard, a key (e.g., a button), or a digital pen (e.g., a stylus pen).
  • the audio output module (155) can output audio signals to the outside of the electronic device (101).
  • the audio output module (155) can include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes, such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. In one embodiment, the receiver can be implemented separately from the speaker or as part of the speaker.
  • the display module (160) can visually provide information to an external party (e.g., a user) of the electronic device (101).
  • the display module (160) may include, for example, a display, a holographic device, or a projector and a control circuit for controlling the device.
  • the display module (160) may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the audio module (170) can convert sound into an electrical signal, or vice versa, convert an electrical signal into sound. According to one embodiment, the audio module (170) can acquire sound through the input module (150), output sound through the sound output module (155), or an external electronic device (e.g., electronic device (102)) (e.g., speaker or headphone) directly or wirelessly connected to the electronic device (101).
  • an external electronic device e.g., electronic device (102)
  • speaker or headphone directly or wirelessly connected to the electronic device (101).
  • the sensor module (176) can detect the operating status (e.g., power or temperature) of the electronic device (101) or the external environmental status (e.g., user status) and generate an electrical signal or data value corresponding to the detected status.
  • the sensor module (176) can include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface (177) may support one or more designated protocols that may be used to directly or wirelessly connect the electronic device (101) with an external electronic device (e.g., the electronic device (102)).
  • the interface (177) may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal (178) may include a connector through which the electronic device (101) may be physically connected to an external electronic device (e.g., electronic device (102)).
  • the connection terminal (178) may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (e.g., a headphone connector).
  • the haptic module (179) can convert electrical signals into mechanical stimuli (e.g., vibration or movement) or electrical stimuli that a user can perceive through tactile or kinesthetic sensations.
  • the haptic module (179) can include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module (180) can capture still images and videos.
  • the camera module (180) may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module (188) can manage power supplied to the electronic device (101).
  • the power management module (188) can be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • a battery (189) may power at least one component of the electronic device (101).
  • the battery (189) may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • the communication module (190) may support the establishment of a direct (e.g., wired) communication channel or a wireless communication channel between the electronic device (101) and an external electronic device (e.g., electronic device (102), electronic device (104), or server (108)), and the performance of communication through the established communication channel.
  • the communication module (190) may operate independently from the processor (120) (e.g., application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • the communication module (190) may include a wireless communication module (192) (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module (194) (e.g., a local area network (LAN) communication module, or a power line communication module).
  • a wireless communication module (192) e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module (194) e.g., a local area network (LAN) communication module, or a power line communication module.
  • the corresponding communication module can communicate with an external electronic device (104) via a first network (198) (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network (199) (e.g., a long-range communication network such as a legacy cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., a LAN or WAN)).
  • a first network (198) e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network (199) e.g., a long-range communication network such as a legacy cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., a LAN or WAN)
  • a computer network e.g., a
  • the wireless communication module (192) can verify or authenticate the electronic device (101) within a communication network such as the first network (198) or the second network (199) by using subscriber information (e.g., an international mobile subscriber identity (IMSI)) stored in the subscriber identification module (196).
  • subscriber information e.g., an international mobile subscriber identity (IMSI)
  • the wireless communication module (192) can support 5G networks and next-generation communication technologies following the 4G network, such as NR access technology (new radio access technology).
  • the NR access technology can support high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and connection of multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency communications)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low-latency communications
  • the wireless communication module (192) can support, for example, a high-frequency band (e.g., mmWave band) to achieve a high data transmission rate.
  • a high-frequency band e.g., mmWave band
  • the wireless communication module (192) can support a peak data rate (e.g., 20 Gbps or more) for eMBB realization, a loss coverage (e.g., 164 dB or less) for mMTC realization, or a U-plane latency (e.g., 0.5 ms or less for downlink (DL) and uplink (UL), or 1 ms or less for round trip) for URLLC realization.
  • a peak data rate e.g., 20 Gbps or more
  • a loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 0.5 ms or less for downlink (DL) and uplink (UL), or 1 ms or less for round trip
  • the antenna module (197) may form a mmWave antenna module.
  • the mmWave antenna module may include a printed circuit board, an RFIC disposed on or adjacent a first side (e.g., a bottom side) of the printed circuit board and capable of supporting a designated high-frequency band (e.g., a mmWave band), and a plurality of antennas (e.g., an array antenna) disposed on or adjacent a second side (e.g., a top side or a side side) of the printed circuit board and capable of transmitting or receiving signals in the designated high-frequency band.
  • a first side e.g., a bottom side
  • a plurality of antennas e.g., an array antenna
  • At least some of the above components can be interconnected and exchange signals (e.g., commands or data) with each other via a communication method between peripheral devices (e.g., a bus, GPIO (general purpose input and output), SPI (serial peripheral interface), or MIPI (mobile industry processor interface)).
  • peripheral devices e.g., a bus, GPIO (general purpose input and output), SPI (serial peripheral interface), or MIPI (mobile industry processor interface)).
  • commands or data may be transmitted or received between the electronic device (101) and an external electronic device (104) via a server (108) connected to a second network (199).
  • Each of the external electronic devices (102 or 104) may be the same or a different type of device as the electronic device (101).
  • all or part of the operations executed in the electronic device (101) may be executed in one or more of the external electronic devices (102, 104, or 108). For example, when the electronic device (101) is to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device (101) may, instead of or in addition to executing the function or service itself, request one or more external electronic devices to perform the function or at least a part of the service.
  • One or more external electronic devices that receive the request may execute at least a portion of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device (101).
  • the electronic device (101) may process the result as is or additionally and provide it as at least a portion of a response to the request.
  • cloud computing, distributed computing, mobile edge computing (MEC), or client-server computing technology may be used, for example.
  • the electronic device (101) may provide an ultra-low latency service by using distributed computing or mobile edge computing, for example.
  • the external electronic device (104) may include an Internet of Things (IoT) device.
  • the server (108) may be an intelligent server utilizing machine learning and/or a neural network.
  • the external electronic device (104) or the server (108) may be included in the second network (199).
  • the electronic device (101) can be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • Electronic devices may take various forms. Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliances. Electronic devices according to the embodiments of this document are not limited to the aforementioned devices.
  • first,” “second,” or “first” or “second” may be used merely to distinguish one component from another, and do not limit the components in any other respect (e.g., importance or order).
  • a component e.g., a first component
  • another e.g., a second component
  • functionally e.g., a third component
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit.
  • a module may be an integral component, or a minimum unit or part of such a component that performs one or more functions.
  • a module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document may be implemented as software (e.g., a program (140)) including one or more instructions stored in a storage medium (e.g., an internal memory (136) or an external memory (138)) readable by a machine (e.g., an electronic device (101)).
  • a processor e.g., a processor (120)
  • the machine e.g., an electronic device (101)
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the machine-readable storage medium may be provided in the form of a non-transitory storage medium.
  • ‘non-transitory’ simply means that the storage medium is a tangible device and does not contain signals (e.g., electromagnetic waves), and the term does not distinguish between cases where data is stored semi-permanently or temporarily on the storage medium.
  • each component e.g., a module or a program of the above-described components may include one or more entities, and some of the entities may be separated and placed in other components.
  • one or more components or operations of the aforementioned components may be omitted, or one or more other components or operations may be added.
  • a plurality of components e.g., a module or a program
  • the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration.
  • FIG. 2 is a block diagram illustrating components of an electronic device according to various embodiments of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of an electronic device including a projector projecting a screen according to one embodiment of the present disclosure. At least some of the operations related to FIGS. 1 through 24 below may be described with reference to FIG. 3.
  • the sensor unit (210) may obtain environmental information about the surrounding environment of the location where the projector (220) is placed.
  • the environmental information may include information related to objects located around the projector.
  • the environmental information may include information related to at least one of noise or brightness around the projector.
  • the environmental information may include at least one of user age information or user preference information related to a user located around the projector.
  • the environmental information may include battery information related to an electronic device (200) including a projector (e.g., information about the remaining power stored in the battery, information about the battery charge status).
  • the sensor unit (210) may include an image sensor.
  • At least one processor (240) may obtain environmental information including spatial information obtained through the image sensor.
  • the spatial information may include information related to the space where the electronic device is placed.
  • the spatial information may include a projection distance (e.g., a projection distance (330) in FIG. 3), which is a distance between the projector (220) and a screen onto which a screen including content is projected.
  • the spatial information may include information about a projection area (e.g., a projection area (320) in FIG. 3), which is an area onto which a screen including content is projected by the projector (220).
  • the spatial information may include information related to a location of a user (e.g., a user (340) in FIG. 3) located around the projector (220) and recognized through an image sensor.
  • the spatial information may include obstacle information, which is information recognized through an image sensor about an obstacle located between the projector (220) and the projection area.
  • the obstacle information may indicate, for example, an area including an area in the projection area where light emitted from the projector (220) is blocked by an obstacle.
  • the obstacle information may indicate, for example, an area including an area blocked by an obstacle when a user looks at the projection area.
  • the electronic device (200) can sense information about the surroundings of the electronic device through the sensor unit (210).
  • the electronic device can recognize information about the sensing area (360) through sensors such as an image sensor, an ultrasonic sensor, an infrared sensor, a radar sensor, a laser sensor, and/or a lidar sensor.
  • the electronic device can recognize a user (340) within the sensing area (360) and collect location information of the user.
  • the electronic device can determine the distance (350) between the user (340) within the sensing area (360) and the projection area (320).
  • the distance (350) between the user and the projection area may mean the distance to the closest user in the projection area (320).
  • the distance (350) between the user and the projection area may mean the distance to the farthest user in the projection area (320).
  • the distance between the user and the projecting area (350) may mean the distance from the user to the center of the projecting area (320).
  • the projector (220) may project a screen containing content onto a projection surface of an external object.
  • the projector (220) may project a screen containing content by emitting light onto the projection surface of the external object.
  • the projection surface of the external object may include a wall with a white background to ensure that the projected screen is easily recognized.
  • the projection surface of the external object may include a screen on which the projector may project a screen containing content.
  • the projection surface may include a surface onto which light emitted from the projector (220) reaches.
  • the characteristics of the projection surface are not limited to the examples described above.
  • the memory (230) may store instructions.
  • the instructions may be executed by at least one processor (240).
  • the instructions may include code for the electronic device (200) to perform various data processing or calculations.
  • the memory (230) may store instructions for the electronic device (200) to perform data processing or calculations according to at least one of the embodiments described with reference to FIGS. 1 to 24.
  • the at least one processor (240) may execute the instructions stored in the memory (230) to control components of the electronic device (200) or perform calculations.
  • the memory (230) may store data obtained by at least one processor (240) performing a calculation.
  • the memory (230) may store data obtained by the electronic device (200) performing data processing or calculation according to at least one of the embodiments described below with reference to FIGS. 1 to 24.
  • the memory (230) may store at least one of context information and content information.
  • the context information may include environmental information about the surrounding environment of the projector (220).
  • the context information may include information about the content display area.
  • the context information may include spatial information related to an object located within the space surrounding the electronic device (200).
  • the electronic device (200) may identify spatial information through image recognition of an image acquired through an image sensor.
  • the context information may include situational information related to a situation in which the projector (220) projects a screen including content.
  • the content information may include information about content to be displayed on a screen projected and displayed on a projection surface by the projector (220).
  • the content information may include at least one of information about the original content to be displayed, such as the content itself, the format of the content (text, image, video), the category to which the content belongs, or the amount of information included in the content.
  • the operation of the electronic device (200) can be understood as being performed by executing instructions stored in a memory (230) by at least one processor (240).
  • the electronic device (200) may execute an application that displays a screen including first content via the projector (220).
  • the electronic device (200) may execute an application that displays content for presentation purposes.
  • the electronic device (200) may execute an application that displays content linked to at least one of a computer or a mobile electronic device.
  • the electronic device may perform the operation with reference to operation 410 of FIG. 4 .
  • the electronic device (200) may determine a projection area including an area where light emitted from the projector (220) is irradiated onto the projection surface based on the execution of an application that displays a screen including first content.
  • the electronic device (200) may include at least one camera capable of taking pictures in a direction in which light is emitted from the projector (220).
  • the electronic device (200) may determine the projection area based on an image captured by the at least one camera.
  • the electronic device (200) may obtain a depth map based on an image captured by a stereo camera.
  • the electronic device (200) may obtain the depth map based on distance information acquired through a time of flight (TOF) sensor.
  • TOF time of flight
  • the electronic device (200) may determine the projection area based on a depth value included in the depth map and a range (e.g., an angular range) in which light is emitted from the projector (220). For example, the electronic device (200) may receive information about at least one of the color, curvature, step, material, pattern, or color of the projection surface of an external object from the sensor unit (210) or the external device. The electronic device (200) may determine a projection area based on at least one of the color, curvature, step, material, pattern, or color of the projection surface of the external object. The electronic device may perform an operation with reference to operation 420 of FIG. 4.
  • the electronic device (200) may determine a content display area within a projection area (e.g., the projection area (320) of FIG. 3) based on the executed application and environmental information.
  • the content display area may include an area where content is displayed.
  • the electronic device may perform the operation with reference to operation 430 of FIG. 4.
  • the electronic device (200) may obtain data including second content generated through a machine-learned artificial intelligence model from content information related to first content based on context information including at least one of a content display area or environment information based on an executed application. For example, the electronic device (200) may request the artificial intelligence model to generate the second content based on information regarding the determined content display area and content information regarding the first content, which is the original content. For example, the electronic device (200) may generate a prompt to generate the second content from the first content based on the context information. The electronic device (200) may request the artificial intelligence model to generate the second content based on the generated prompt. The electronic device may perform the operation with reference to operation 440 of FIG. 4.
  • the electronic device (200) can project a screen including second content onto a projection surface via a projector (220).
  • the electronic device can perform the operation with reference to operation 450 of FIG. 4.
  • FIG. 4 is a flowchart (400) illustrating a process in which an electronic device (200) including a projector (240) outputs content through the projector (240), according to one embodiment of the present disclosure.
  • each operation may be performed sequentially, but is not necessarily performed sequentially. For example, the order of each operation may be changed, and at least two operations may be performed in parallel.
  • an electronic device may execute an application to display a screen including first content through a projector (e.g., the display module (160) of FIG. 1, the projector (220) of FIG. 2).
  • the first content may include original content.
  • the first content may include original content that is a target generated through a machine-learned artificial intelligence model.
  • the application may be executed by a user input.
  • the user input may include a touch input to the electronic device (200).
  • the application may be executed by a user input to display a screen including content through the electronic device (200).
  • the electronic device (200) may execute an application to display content for presentation.
  • the electronic device (200) may execute an application to display content linked to at least one of a computer or a mobile electronic device.
  • an electronic device may determine a projection area including an area where light emitted from a projector (e.g., the display module (160) of FIG. 1, the projector (220) of FIG. 2) is irradiated onto a projection surface, based on an executed application.
  • the electronic device may determine the projection area based on information related to the projection surface of an external object. For example, the electronic device (200) may collect information about the projection surface of an external object through a sensor (e.g., the sensor unit (210) of FIG.
  • the electronic device (200) may detect at least one of a curvature, a step, a pattern, a color, or a material of the projection surface to determine whether the projection surface is a surface on which a screen can be displayed.
  • the electronic device (200) may physically emit light based on sensed information, and determine an area where the emitted light is irradiated on the projection surface to determine a projection area (e.g., a projection area (320) of FIG. 3).
  • the electronic device (200) may determine the projection area as a rectangular shape.
  • the electronic device may determine the projection area as a rectangular shape having the same ratio as a display displayed on a mobile electronic device or a computer device.
  • the electronic device may determine the projection area as an area having a width-to-height ratio of 16:9, 16:10, or 4:3.
  • the shape of the projection area is not limited thereto.
  • the electronic device may determine the projection area differently depending on the arrangement of the projection surface, the shape of the projection surface, or the characteristics of the projector (220).
  • an electronic device may determine a content display area within a projecting area based on an executed application and environmental information.
  • the content display area may include an area excluding an area in which light output from the projector (220) is blocked by an obstacle between the projector (220) and the projecting area (e.g., the projecting area (320) of FIG. 3).
  • the electronic device (200) may identify an area in which the person is captured through a camera, and determine an area excluding a part of the projecting area corresponding to the identified area as a content display area. For example, if a person or an object is positioned between the projector (220) and the projection area, and light is not irradiated to some areas of the projection area, the electronic device (200) may determine an area within the projection area where light is irradiated, excluding the person or object, as a content display area.
  • the electronic device (200) may determine an area including an area excluding an obstacle between the user and the projection area (e.g., the projection area (320) of FIG. 3) as a content display area. For example, if there is an obstacle between a user looking at the projection surface and the projection area, which is the projection surface, the electronic device (200) may set the area excluding the obstacle as a content display area. For example, if there is no person between a projector (220) hanging from the ceiling and a screen onto which light is irradiated from the projector (220), and a person is standing between the user looking at the screen and the screen, the electronic device (200) may determine an area excluding the person between the user and the screen as a content display area.
  • the environmental information may include information receivable from a sensor (210) or an external device regarding the environment surrounding the electronic device (200).
  • the environmental information may include at least one of obstacle information between a projector (220) and a projection area (e.g., a projection area (320) of FIG. 3) collected through an image sensor (e.g., a sensor module (176) of FIG. 1, a sensor unit (210) of FIG. 2), or obstacle information between a user (e.g., a user (340) of FIG. 3) and a projection area (e.g., a projection area (320) of FIG. 3).
  • a projection area e.g., a projection area (320) of FIG. 3
  • an electronic device may obtain data including second content generated through an artificial intelligence model.
  • the electronic device 200 may obtain data including second content generated through a machine-learned artificial intelligence model from content information related to first content based on context information including a content display area.
  • the electronic device 200 may obtain data regarding second content generated to be displayed in the content display area from content information related to the first content, which is original content.
  • the electronic device 200 may obtain data including second content summarized based on at least one of the size or shape of the content display area through content information related to the first content composed of text.
  • the electronic device (200) may obtain data including second content edited to be displayed within a content display area for first content composed of images through content information.
  • the electronic device (200) may obtain data including second content edited to be displayed within a content display area for first content composed of videos through content information.
  • the electronic device (200) may obtain data including second content generated through a machine-learned artificial intelligence model from content information related to the first content based on context information including environmental information.
  • the electronic device (200) may obtain data including second content generated through a machine-learned artificial intelligence model from content information based on visibility information.
  • the electronic device (200) may obtain data regarding second content generated by summarizing text included in original content based on visibility information indicating that it is difficult for users to ensure visibility.
  • the electronic device (200) may obtain data regarding second content generated by enlarging original content based on visibility information indicating that it is difficult for users to ensure visibility.
  • the electronic device (200) can obtain data regarding second content generated by synthesizing original content based on visibility information that is difficult to secure for users.
  • the electronic device (200) can obtain data including second content through a machine-learned artificial intelligence model.
  • the electronic device (200) can reproduce data including second content through a deep learning technology that creates new content based on learned content.
  • Deep learning technology may include Gen AI (generative AI (artificial intelligence)) and LLM (large language model).
  • Gen AI generative AI (artificial intelligence)
  • LLM large language model
  • the electronic device can obtain data regarding the second data by using a machine-learned artificial intelligence model that creates new content based on a prompt.
  • the electronic device can determine a prompt requesting the artificial intelligence model to create content based on context information.
  • the electronic device can obtain data regarding the second data through the artificial intelligence model by inputting the determined prompt into the artificial intelligence model.
  • an electronic device may project a screen including second content onto a projection surface.
  • the electronic device (200) may project a screen including second content onto the projection surface through a projector (220).
  • the electronic device (200) may project a screen including second content onto an area corresponding to a projection area.
  • a content display area including second content may be included in the projection area. For example, if the electronic device (200) sets an area excluding obstacles as a content display area, the electronic device (200) may project the second content onto an area corresponding to the content display area.
  • FIG. 5 is a flowchart (500) illustrating a process for generating content using a prompt by an electronic device including a projector, according to one embodiment of the present disclosure.
  • the operations may be performed sequentially, but are not necessarily sequential. For example, the order of the operations may be changed, and at least two operations may be performed in parallel.
  • the process illustrated in FIG. 5 may be performed subsequent to operation 430 of FIG. 4 .
  • the electronic device (200) may generate a prompt including information related to properties of the second content based on at least one of context information and content information.
  • the electronic device (200) may generate a prompt based on the projection distance corresponding to context information (e.g., the projection distance (330) of FIG. 3) and the distance between the user and the projection area (e.g., 350 of FIG. 3). For example, if the projection distance (e.g., 330 of FIG. 3) or the distance between the user and the projection area (e.g., 350 of FIG. 3) is greater than a threshold distance, the electronic device (200) may determine that visibility cannot be secured and generate a prompt to generate summarized content that reduces the number of characters.
  • context information e.g., the projection distance (330) of FIG. 3
  • the distance between the user and the projection area e.g., 350 of FIG. 3
  • the electronic device (200) may generate a prompt to generate content that provides an enlarged portion that is determined to be important. For example, the electronic device (200) may generate a prompt to reduce the number of texts included in the content and increase the font size of the characters included in the text as the distance between the user and the projection area increases. For example, if the projection distance or the distance between the user and the projection area is greater than a threshold distance, the electronic device (200) may generate a prompt to generate summarized or expanded content centered on content reflecting the user's preference information. For example, the electronic device (200) may generate a prompt to crop an image or video with content related to the user's preference information. For example, the electronic device (200) may generate a prompt to include phrases related to the user's preference information or to reduce the amount of text.
  • the electronic device (200) may generate a prompt based on the projection area corresponding to the context information (e.g., the projection area (320) of FIG. 3). For example, if there is a curve or a step on the projection surface of an external object corresponding to the projection area, the electronic device (200) may generate a prompt to generate content by using at least one of a method of enlarging distant content or a method of providing it by increasing its clarity. For example, if there is a pattern on the projection surface of an external object corresponding to the projection area, the electronic device (200) may generate a prompt to generate content by using at least one of a method of increasing the color contrast intensity of the background or a method of outlining or black and white processing.
  • the context information e.g., the projection area (320) of FIG. 3
  • the electronic device (200) may generate a prompt to generate content by using at least one of a method of enlarging distant content or a method of providing it by increasing its clarity.
  • the electronic device (200) may generate a prompt to generate content by adjusting at least one of brightness, contrast, or color temperature of the non-white portion. For example, the electronic device (200) may compare the projecting area with the area where the first content is displayed, and if there is an area where the first content is not displayed, it may generate a prompt to generate content related to the first content in an area excluding the first content.
  • the electronic device (200) may generate a prompt based on at least one of obstacle information or a content display area corresponding to context information. For example, if at least a portion of the projection area is obscured by an obstacle, the electronic device (200) may generate a prompt to generate content in an area corresponding to an unobstructed area of the projection area. For example, the electronic device (200) may generate a prompt to generate content corresponding to an area corresponding to the content display area.
  • the electronic device (200) may generate a prompt based on user information corresponding to context information. For example, if the user who is farthest from the plurality of users is at a distance greater than a threshold distance, the electronic device (200) may generate a prompt to generate secondary content by enlarging or summarizing the content. For example, if a user performs a set action, the electronic device (200) may generate a prompt to generate enlarged or summarized content.
  • the set action may be at least one of a user approaching the projection area or a user extending their face toward the projection area, and may be an action related to visibility.
  • the electronic device (200) may generate a prompt based on noise information surrounding the electronic device (200), which corresponds to context information. For example, if the ambient noise exceeds a threshold value, the electronic device (200) may generate a prompt to reduce the number of words included in the voice data or generate content with at least one of the volume or sound changed so that users can hear it even in an environment where ambient noise exists.
  • the electronic device (200) may generate a prompt based on information about the electronic device (200) corresponding to context information. For example, if the electronic device (200) is a movable device, a prompt may be generated to generate content that can be moved from a first location to a second location and then projected onto a projection area at the second location. For example, if the battery information of the electronic device (200) indicates that the battery is below a threshold value, the electronic device (200) may generate a prompt to generate content that reduces the amount of text, reduces the number of images, or reduces at least one of the resolution or brightness to reduce power consumption. For example, if the battery of the electronic device (200) is above a threshold value or is being charged, a prompt may be generated to generate content that increases at least one of the resolution or brightness.
  • the electronic device (200) may generate a prompt including information related to the properties of the second content based on at least one of the content display area or the content information. For example, the electronic device (200) may generate a prompt to generate second content from the first content in accordance with the content display area based on the content display area determined in operation 430 of FIG. 4 and content information related to the first content, which is the original content. For example, if the content display area is smaller than the area where the first content is displayed, the electronic device (200) may generate a prompt to generate second content that is a reduced or summarized version of the first content in accordance with the content display area based on the content display area and the content information.
  • the electronic device (200) may generate a prompt to generate second content in accordance with the content display area based on the content display area and the content information.
  • the second content may include the first content displayed in the first area and content related to the first content.
  • Content associated with the first content may be displayed in a second area different from the first area.
  • the projection area may include the first area and the second area.
  • the electronic device (200) may generate a prompt including information related to the properties of the second content based on the visibility information. For example, if the electronic device (200) determines that visibility is secured, it may output content identical to the first content, which is the original content. For example, if the electronic device (200) determines that visibility is not secured, it may generate a prompt to generate second content from the first content. The electronic device (200) may generate a prompt to summarize the text of the first content. The electronic device (200) may generate a prompt to change the font of the first content. The electronic device (200) may generate a prompt to enlarge an image or video of the first content.
  • the electronic device (200) may generate a prompt to synthesize a plurality of images or videos included in the first content.
  • a process for generating a prompt by determining whether visibility is secured by an electronic device (200) is described in FIGS. 9 and 10.
  • the electronic device (200) may obtain data including second content by inputting a prompt to an artificial intelligence model.
  • the electronic device (200) may obtain data including second content by inputting a prompt to a machine-learned artificial intelligence model.
  • the machine-learned artificial intelligence model may be a generative AI.
  • the electronic device (200) may input the generated prompt to the machine-learned artificial intelligence model and obtain data including second content as output data through the prompt, which is a single input data unit.
  • FIG. 6 is a flowchart (600) illustrating a process for identifying an obstacle and outputting content when an obstacle is placed between a projection area and a projector, according to an embodiment of the present disclosure.
  • each operation may be performed sequentially, but is not necessarily performed sequentially. For example, the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the process illustrated in FIG. 6 may be performed subsequent to operation 420 of FIG. 4. At least some operations of FIG. 6 will be described below with reference to FIGS. 7 and 8.
  • FIG. 7 and FIG. 8 are diagrams illustrating an example of second content generated from first content based on an area in which an obstacle is identified by an electronic device, according to an embodiment of the present disclosure.
  • the electronic device (200) can identify an obstacle.
  • the electronic device (200) can identify an obstacle placed between a projection area (e.g., the projection area (320) of FIG. 3) and a projector (e.g., the electronic device (310) including the projector of FIG. 3).
  • a projection area e.g., the projection area (320) of FIG. 3
  • a projector e.g., the electronic device (310) including the projector of FIG. 3
  • the electronic device (200) can identify the object as an obstacle.
  • the electronic device (200) can identify if a person is located between the projector (220) and the projection area included in the projection surface of an external object (e.g., the projection area (320) of FIG.
  • the electronic device (200) can identify the person as an obstacle.
  • the electronic device (200) can identify the obstacle through the sensor unit (210).
  • the electronic device (200) can identify an obstacle placed between a user (e.g., the user (340) of FIG. 3) and a projection area (e.g., the projection area (320) of FIG. 3). For example, if an obstacle exists in the direction in which the user (e.g., the user (340) of FIG. 3) views the projection surface of an external object, the electronic device (200) can identify the obstacle through environmental information including user information.
  • the electronic device (200) may determine a content display area as an area that excludes an area including an obstacle from the projecting area.
  • the electronic device (200) may determine a content display area by excluding an area including an identified obstacle from the projecting area. For example, in situation 701 of FIG. 7, if no obstacle is identified in the projecting area (711), the electronic device (200) may determine a content display area (713) as the same area as the projecting area (711). In situation 703 of FIG. 7, if an obstacle (735) is identified in the projecting area (731), the electronic device (200) may determine a content display area (733) as an area that excludes the obstacle (735) from the projecting area (731).
  • the electronic device (200) can determine a content display area (813) as an area excluding the obstacle (815) in the projecting area (811).
  • the electronic device (200) can determine a content display area (833) as an area excluding the obstacle (835) in the projecting area (831).
  • the electronic device (200) may obtain data including second content generated through an artificial intelligence model.
  • operation 650 may be the same operation as operation 440 of FIG. 4.
  • the second content generated through the artificial intelligence model may be content that summarizes the text of the first content.
  • the content displayed in the content display area (713) illustrated in situation 701 may be the first content, which is the original content.
  • the content displayed in the content display area (733) illustrated in situation 703 may be the second content generated by summarizing the text of the first content.
  • the second content generated through the artificial intelligence model may be an image or video that summarizes, selects, synthesizes, or enlarges an image or video of the first content.
  • the content displayed in the content display area (713) illustrated in situation 701 may be the first content, which is the original content.
  • the content displayed in the content display area (733) illustrated in situation 703 may be second content generated by selecting and enlarging an image of the first content.
  • the second content generated through the artificial intelligence model may be content that displays the first content in the content display area excluding obstacles.
  • the content displayed in the projecting area (811) illustrated in situation 801 may be the original content, the first content.
  • the content displayed in the content display area (833) illustrated in situation 803 may be second content generated by displaying the first content in the content display area (833).
  • the electronic device (200) may generate the second content by rearranging the first content in the content display area (833) excluding obstacles (835).
  • operation 660 the electronic device (200) may project a screen including second content onto a projection surface.
  • operation 660 may be the same operation as operation 450 of FIG. 4.
  • the electronic device (200) may determine whether the identified obstacle is moving. According to one embodiment, the electronic device (200) may determine whether the identified obstacle is moving through the sensor unit (210). For example, the electronic device (200) may determine whether the obstacle is moving through image recognition of an image acquired through an image sensor. For example, the electronic device (200) may determine whether the obstacle is moving through information received from an external electronic device (102, 104). According to one embodiment, if the obstacle identified by the electronic device (200) is moving, the electronic device (200) may perform operation 680. According to one embodiment, if the obstacle identified by the electronic device (200) is not moving, the electronic device (200) may terminate the process of FIG. 6.
  • the electronic device (200) may change the content display area.
  • the electronic device (200) may change the content display area when the identified obstacle moves. For example, when the identified obstacle (e.g., 735 of FIG. 7, 815 of FIG. 8, 835 of FIG. 8) moves, the electronic device (200) may change the content display area by excluding the area including the identified obstacle within the projecting area.
  • the content display area changed by the electronic device (200) may include an area different from the content display area determined before the obstacle moves.
  • the electronic device (200) may project a screen including third content, which is different from the second content, onto a projection surface based on a changed content display area.
  • the electronic device (200) may obtain data including third content, which is different from the second content, generated through a machine-learned artificial intelligence model from content information related to the first content, based on the changed content display area.
  • the electronic device (200) may obtain data including third content, which is different from the second content, through a machine-learned artificial intelligence model from content information, based on the changed content display area.
  • the third content may be content displayed in a different area from the second content.
  • the electronic device (200) may project a screen including third content, which is different from the second content, onto a projection surface.
  • the electronic device (200) may project the third content on a content display area newly set to match the changed location of the obstacle.
  • the electronic device (200) may perform operation 670 after projecting a screen including third content onto a projection surface.
  • FIG. 9 is a flowchart (900) illustrating a process by which an electronic device generates a prompt, according to an embodiment of the present disclosure.
  • the operations may be performed sequentially, but are not necessarily performed sequentially. For example, the order of the operations may be changed, and at least two operations may be performed in parallel.
  • the process illustrated in FIG. 9 may be one embodiment of operation 540 of FIG. 5. At least some operations of FIG. 9 will be described below with reference to FIGS. 11, 12, and 13.
  • FIG. 11 is a diagram illustrating an example of displaying content based on whether the content is viewable, according to an embodiment of the present disclosure.
  • FIG. 12 is a diagram illustrating an example of obtaining second content by summarizing text included in first content, according to an embodiment of the present disclosure.
  • FIG. 13 is a diagram illustrating an example of obtaining second content by summarizing an image included in first content and changing the font of the text, according to an embodiment of the present disclosure.
  • the electronic device (200) may compare information related to the visibility of content with a threshold.
  • the information related to the visibility of content may include a distance between a projection area (e.g., projection area (320) of FIG. 3) and a user (e.g., 350 of FIG. 3).
  • the electronic device (200) may determine the distance between the projection area and the user based on user information recognized through the sensor unit (210) (e.g., user (340) of FIG. 3) and information about the projection area located on the projection surface of an external object.
  • the information related to the visibility of content may include the area of the projection area (e.g., projection area (320) of FIG. 3).
  • the electronic device (200) may collect information about the area of the projection area through the sensor unit (210).
  • the information related to the visibility of content may include the number of users.
  • information related to the visibility of content may include the user's age information.
  • the electronic device (200) may collect the user's age information from memory (230) or an external device.
  • the user's age information may be classified by the number of users by age group.
  • the electronic device (200) may obtain visibility information.
  • the electronic device (200) may obtain visibility information through information related to the visibility of content.
  • the electronic device (200) may obtain visibility information indicating that visibility is secured when users' visibility of the content is secured.
  • the electronic device (200) may obtain visibility information indicating that the user's visibility is secured.
  • the electronic device (200) may obtain visibility information indicating that visibility is not secured when users' visibility of the content is not secured. As illustrated in situation 1103 of FIG. 11, when a large number of users use electronic devices in a large space such as a classroom, if the distance between the users and the projection area is greater than a threshold and the number of users is greater than a threshold, the electronic device (200) can obtain visibility information indicating that the user's visibility is not secured.
  • the electronic device (200) may generate a prompt using the acquired visibility information.
  • the electronic device (200) may generate a prompt to generate content identical to the first content, which is the original content, using the visibility information indicating that the visibility of users is secured. For example, as illustrated in situation 1101 of FIG. 11, if the electronic device (200) acquires visibility information indicating that the visibility is secured, the electronic device (200) may generate a prompt to generate content identical to the first content, which is the original content.
  • the electronic device (200) may generate a prompt to produce the first content by modifying it using the visibility information indicating that the visibility of users is not secured. For example, as illustrated in situation 1103 of FIG.
  • the electronic device (200) may generate a prompt to summarize the text of the first content, which is the original content. For example, when the electronic device (200) obtains visibility information indicating that visibility is not secured, the electronic device (200) may generate a prompt to summarize text as illustrated in FIG. 12.
  • the electronic device (200) may generate a prompt to recognize text in the first content (1201), which is the original content, and generate second content (1203) with a reduced number of texts.
  • the electronic device (200) may generate a prompt to change the font of the text in the first content (1201), which is the original content, and generate second content (1203) with an expanded font size.
  • the electronic device (200) may generate a prompt to summarize or select an image or video and change the font of the text as illustrated in FIG. 13.
  • the electronic device (200) may generate a prompt to select an image in the first content (1301), which is the original content, and generate second content (1303) with a changed font of the text.
  • FIG. 10 is a flowchart (1000) illustrating a process for determining whether content is viewable based on a plurality of conditions, according to one embodiment of the present disclosure.
  • each operation may be performed sequentially, but is not necessarily performed sequentially.
  • the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the process illustrated in FIG. 10 may be one embodiment of operation 540 of FIG. 5.
  • At least some operations of FIG. 10 will be described below with reference to FIGS. 11, 12, and 13.
  • FIG. 11 is a diagram illustrating an example of displaying content based on whether the content is viewable, according to one embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating an example of displaying content based on whether the content is viewable, according to one embodiment of the present disclosure.
  • FIG. 12 is a diagram illustrating an example of obtaining second content by summarizing text included in first content, according to one embodiment of the present disclosure.
  • FIG. 13 is a diagram illustrating an example of obtaining second content by summarizing an image included in first content and changing the font of text according to one embodiment of the present disclosure.
  • the electronic device (200) may obtain context information.
  • the context information may include at least one of the distance between the projection area and the user, the area of the projection area, the number of users, or the age information of the users.
  • the electronic device (200) may receive the context information from the sensor unit (210), the memory (230), or an external device.
  • operation 1010 may be a part of operation 910 of FIG. 9 .
  • the electronic device (200) may determine whether a distance among context information is greater than or equal to a first threshold.
  • operation 1020 may be a part of operation 910 of FIG. 9.
  • the electronic device (200) may determine whether a distance between a projecting area and a user is greater than or equal to a first threshold. For example, in situation 1101 of FIG. 11, the electronic device (200) may determine that a distance between a projecting area and a user is less than or equal to a first threshold. For example, in situation 1103 of FIG. 11, the electronic device (200) may determine that a distance between a projecting area and a user is greater than or equal to a first threshold.
  • the first threshold may be changed according to characteristics and setting information of the electronic device (200). According to one embodiment, if the electronic device (200) determines that a distance is greater than or equal to a first threshold, the electronic device (200) may perform operation 1070. According to one embodiment, the electronic device (200) may perform operation 1030 when it is determined that the distance is less than the first threshold or there is no distance information.
  • the electronic device (200) may determine whether the area of the context information is less than or equal to a second threshold. According to one embodiment, operation 1030 may be a part of operation 910 of FIG. 9. According to one embodiment, the electronic device (200) may determine whether the area of the projecting area is less than or equal to a second threshold. For example, the electronic device (200) may determine the area of the projecting area (e.g., the projecting area (320) of FIG. 3) and compare it with a second threshold. For example, the electronic device (200) may set a second threshold for determining whether the area of the projecting area is such that the user's visibility is not determined.
  • a second threshold for determining whether the area of the projecting area is such that the user's visibility is not determined.
  • the electronic device (200) may perform operation 1070.
  • the electronic device (200) may perform operation 1040 when it is determined that the area exceeds the second threshold or there is no area information.
  • the electronic device (200) may determine whether the number of users among the context information is greater than or equal to a third threshold.
  • operation 1040 may be a part of operation 910 of FIG. 9.
  • the electronic device (200) may determine whether the number of users is greater than or equal to the third threshold. For example, in situation 1101 of FIG. 11, the electronic device (200) may determine that the number of users in a room around the electronic device (200) is less than the third threshold. For example, in situation 1103 of FIG. 11, the electronic device (200) may determine that the number of users in a classroom around the electronic device (200) is greater than or equal to the third threshold.
  • the third threshold may be changed according to the characteristics of the electronic device (200), information surrounding the electronic device (200), user information, and setting information. According to one embodiment, the electronic device (200) may perform operation 1070 when it is determined that the number of users is greater than or equal to the third threshold. According to one embodiment, the electronic device (200) may perform operation 1050 when it is determined that the number of users is less than the third threshold or there is no user information.
  • the electronic device (200) may determine whether the age among the context information is equal to or greater than the fourth threshold.
  • operation 1050 may be a part of operation 910 of FIG. 9.
  • the electronic device (200) may determine whether the age of the users is equal to or greater than the fourth threshold. For example, in situation 1101 of FIG. 11, if a college student user is using the electronic device (200), the electronic device (200) may determine that the age of the user is less than the fourth threshold based on the user information. For example, in situation 1103 of FIG. 11, if adult students of various ages are in the classroom, the electronic device (200) may determine that the ages of the users are equal to or greater than the fourth threshold.
  • the ages of the users may be determined based on the users who are older.
  • the fourth threshold may be changed depending on the characteristics of the electronic device (200), information surrounding the electronic device (200), user information, and setting information. According to one embodiment, if the electronic device (200) determines that the user's age is equal to or greater than the fourth threshold, the electronic device (200) may perform operation 1070. According to one embodiment, if the electronic device (200) determines that the user's age is less than the fourth threshold or there is no user age information, the electronic device (200) may perform operation 1060.
  • the electronic device (200) may obtain visibility information indicating that visibility to users is secured.
  • operation 1060 may be a part of operation 920 of FIG. 9.
  • operation 1070 the electronic device (200) may obtain visibility information indicating that visibility to users is not secured.
  • operation 1070 may be a part of operation 920 of FIG. 9.
  • operation 1080 the electronic device (200) may generate a prompt using visibility information.
  • operation 1080 may be a part of operation 930 of FIG. 9.
  • FIG. 14 is a flowchart (1400) illustrating a process for generating content in a blank space within a projection area, according to one embodiment of the present disclosure.
  • the respective operations may be performed sequentially, but are not necessarily performed sequentially. For example, the order of the respective operations may be changed, and at least two operations may be performed in parallel.
  • the process illustrated in FIG. 14 may be performed subsequent to operation 420 of FIG. 4. At least some of the operations of FIG. 14 will be described below with reference to FIG. 15.
  • FIG. 15 is a diagram illustrating an example of generating content in a blank space within a projection area, according to one embodiment of the present disclosure.
  • the electronic device (200) may compare the area of the projecting area with the area where the first content is displayed. According to one embodiment, the electronic device (200) may compare the area of the projecting area determined in operation 420 with the area of the area where the first content, which is the original content, is displayed. For example, in situation 1510 of FIG. 15, the electronic device (200) may compare the area of the area (1513) where the first content, which is the original content, is displayed with the area of the projecting area (1511). The electronic device may determine that the area of the projecting area (1511) is larger than the area (1513) where the first content is displayed.
  • the electronic device (200) may perform operation 1420. According to one embodiment, if the electronic device (200) determines that the area of the projecting area is less than or equal to the area of the area where the first content is displayed, the electronic device (200) may perform operation 430.
  • the electronic device (200) may determine whether the second content can be generated in an area corresponding to the determined content display area. For example, the electronic device (200) may determine whether the second content can be generated based on context information. The electronic device (200) may determine whether the second content can be generated based on at least one of the capacity of the memory (230), battery information of the electronic device (200), the communication speed of the electronic device (200), the number of applications running on the electronic device, or user information. For example, the electronic device (200) may determine that the remaining capacity of the memory (230) is insufficient to generate the second content if it is below a threshold value. The electronic device may determine that the remaining capacity of the memory is sufficient to generate the second content if it exceeds the threshold value.
  • the electronic device may determine that the battery is sufficient to generate the second content if it is above a threshold value based on battery information.
  • the electronic device may determine that a situation is sufficient to generate secondary content if the communication speed is above a threshold.
  • the electronic device may determine that a situation is sufficient to generate secondary content if the Internet speed is above a threshold.
  • the electronic device may determine that a situation is sufficient to generate secondary content if the number of applications running on the electronic device is below a threshold.
  • the electronic device (200) may perform operation 1430. According to one embodiment, if the electronic device (200) does not determine that the situation is sufficient to generate the second content, it may perform operation 1440.
  • the electronic device (200) may generate second content including an outpainting image or an outpainting video.
  • an outpainting image or an outpainting video may refer to an image or video that can be displayed by extending from existing content around an area where existing content (e.g., an original image, an original video) is displayed on the electronic device (e.g., an image or video including an object that is continuously displayed from the boundary of the original image or the original video).
  • the electronic device may output second content including the existing content and the outpainting image. For example, referring to FIG.
  • the electronic device (200) may generate second content (1531) of a situation 1530 including an outpainting image by using first content (1513), which is existing content of a situation 1510.
  • the electronic device (200) can generate content (1535) that is displayed as an extension from existing content (1513), which is an outpainting image, and output second content (1531) that displays the generated outpainting content (1535) and existing content (1533) together.
  • the present invention is not limited thereto.
  • the electronic device (200) can also generate content related to existing content in a manner other than generating an outpainting image, and display the content around the existing content.
  • the electronic device (200) may determine an area corresponding to the projection area as a content display area and generate second content including an outpainting image (1535) or an outpainting video in the area corresponding to the content display area. For example, in a situation where the area of the projection area is larger than the area of the area where the first content is displayed, the electronic device (200) may determine the area corresponding to the projection area as the content display area. For example, in situation 1510 of FIG. 15, the electronic device (200) may determine an area corresponding to the projection area (1511) as the content display area (1511).
  • the electronic device (200) may determine a region including a first region where first content is displayed and a second region different from the first region as a content display region. For example, in situation 1510 of FIG. 15 , the electronic device (200) may determine a first region (1513) where first content is displayed and a second region (1515) different from the first region (1513) and included in the projecting region (1511) as a content display region.
  • the electronic device (200) may generate second content including an outpainting image generated by a machine-learned artificial intelligence model from content information related to the first content based on context information including a content display area.
  • the electronic device (200) may display, based on the context information including the content display area, first content arranged in the first area and including a first image, and second content including a second image generated by the artificial intelligence model and displayed in a second area different from the first area. For example, as illustrated in FIG.
  • the electronic device (200) may display, based on the determined content display area (1531), first content (1533) arranged in the first area (1533) and second content (1535) generated by the artificial intelligence model and displayed in a second area (1535) in a projection area (1531) different from the first area (1533).
  • the first content or the second content may include at least one of a video, text, or image.
  • the electronic device (200) may generate second content (1531) using an artificial intelligence model and perform operation 450 as a subsequent operation.
  • an ambient light image or an ambient light video may refer to an image or video that may be displayed by extending from existing content around an area where existing content (e.g., an original image or an original video) is displayed.
  • the electronic device may output second content including the existing content and an ambient light image or video.
  • the ambient light image may be an image generated using at least one of a color or an outline associated with the existing content.
  • content generated based on an ambient light technique may include simplified content compared to content generated based on an outpainting technique. For example, referring to FIG.
  • the electronic device (200) can generate second content (1551) of situation 1550 including an ambient light image (1555) or an ambient light video using first content (1513), which is existing content of situation 1510.
  • the electronic device (200) can generate an ambient light image or an ambient light video (1555) associated with the existing content (1513) using colors and outlines associated with the existing content (1513) through an ambient light technique, and output second content (1551) that displays the generated content (1555) and the existing content (1553) together.
  • the electronic device may generate an ambient light image or an ambient light video when it is difficult to smoothly generate second content based on at least one of the capacity of the memory (230), battery information of the electronic device (200), communication speed of the electronic device (200), number of applications running on the electronic device, or user information.
  • the present invention is not limited thereto.
  • the electronic device (200) may also generate content related to existing content in a manner other than the ambient light technique and display the content around the existing content.
  • the electronic device (200) may determine an area corresponding to the projection area as a content display area and generate second content including ambient light content in the area corresponding to the content display area. For example, in a situation where the area of the projection area is larger than the area of the area where the first content is displayed, the electronic device (200) may determine the area corresponding to the projection area as the content display area. For example, in situation 1510 of FIG. 15, the electronic device (200) may determine an area corresponding to the projection area (1511) as the content display area (1511).
  • the electronic device (200) may determine a region including a first region where first content is displayed and a second region different from the first region as a content display region. For example, in situation 1510 of FIG. 15 , the electronic device (200) may determine a first region (1513) where first content is displayed and a second region (1515) different from the first region (1513) and included in the projecting region (1511) as a content display region.
  • the electronic device (200) may generate second content including outpainting content through an artificial intelligence model machine-learned from content information related to the first content based on context information including the content display area.
  • the electronic device (200) may display, based on the context information including the content display area, first content arranged in the first area and including a first image, and second content including a second image generated by the artificial intelligence model and displayed in a second area different from the first area. For example, as illustrated in FIG.
  • the electronic device (200) may display, based on the determined content display area (1551), first content (1553) arranged in the first area (1553) and second content (1555) generated by the artificial intelligence model and displayed in a second area (1555) in a projection area (1551) different from the first area (1553).
  • the first content or the second content may include at least one of a video, text, or image.
  • the electronic device (200) may generate second content (1551) using an artificial intelligence model and perform operation 450 as a subsequent operation.
  • FIG. 16 is a flowchart (1600) illustrating a process for generating second content by replacing a portion of first content, according to one embodiment of the present disclosure.
  • the operations may be performed sequentially, but are not necessarily performed sequentially. For example, the order of the operations may be changed, and at least two operations may be performed in parallel.
  • the process illustrated in FIG. 16 may be performed subsequent to operation 420 of FIG. 4. At least some of the operations of FIG. 16 will be described below with reference to FIG. 17.
  • FIG. 17 is a diagram illustrating an example of generating second content by replacing a portion of first content, according to one embodiment of the present disclosure.
  • the electronic device (200) may determine a main area and a sub area within the first content. According to one embodiment, the electronic device (200) may determine a main area and a sub area within the content display area. For example, in situation 1710 of FIG. 17, the electronic device (200) may determine the content display area as an area including both the third area (1711) and the fourth area (1713). The electronic device (200) may determine the main area (1711) and the sub area (1713) within the content display area.
  • the third area (1711), which is the main area (1711) may be an area including a location where the user is gazing.
  • the electronic device (200) may use user information to determine information about the location where the user is gazing, and the electronic device (200) may determine the area including the location where the user is gazing as the main area (1711).
  • the first content may be content that includes both the third area (1711) and the fourth area (1713), as illustrated in situation 1710 of FIG. 17.
  • the electronic device (200) may generate content corresponding to a sub-region based on the content of the main region.
  • the electronic device (200) may generate content corresponding to the sub-region through a machine-learned artificial intelligence model based on the determined content of the main region.
  • the electronic device (200) may generate content (1723) corresponding to the sub-region through a machine-learned artificial intelligence model based on the determined content (1711) of the main region.
  • the content generated in the sub-region (1723) may be content generated through an artificial intelligence model based on the content of the third region (1721), which is the main region (1721).
  • the content (1723) generated in the sub-region may be content that is related to at least one of the background, a person, or a feeling of the content (1721) of the main region.
  • the electronic device (200) may obtain second content in which the sub-region is replaced with the generated content.
  • the electronic device (200) may obtain second content including content placed in the main region (third region) and content generated by an artificial intelligence model and placed in the sub-region (fourth region).
  • the electronic device (200) may obtain second content including content placed in the main region (1721) and content generated by an artificial intelligence model and placed in the sub-region (1723).
  • the content in the third region (1721) may be placed as part of the second content without change.
  • the original content (1713) in the fourth region may be generated by an artificial intelligence model and replaced in the fourth region (1723).
  • the electronic device (200) may acquire second content including a third image arranged in a third area (1721) and a fifth image (1723) generated by an artificial intelligence model and displayed in a fourth area (1723).
  • the fifth image (1723) may be an image related to the third image (1711).
  • the content according to embodiments may be embodiments including at least one of text, an image, or an image.
  • the electronic device (200) may perform operation 450 of FIG. 4 .
  • FIG. 18 is a flowchart (1800) illustrating a process for generating second content by considering user preference information according to one embodiment of the present disclosure.
  • the respective operations may be performed sequentially, but are not necessarily performed sequentially. For example, the order of the respective operations may be changed, and at least two operations may be performed in parallel.
  • the process illustrated in FIG. 18 may be performed subsequent to operation 420 of FIG. 4. At least some of the operations of FIG. 18 will be described below with reference to FIG. 19.
  • FIG. 19 is a diagram illustrating an example of generating content expanded to a certain area by considering user preference information according to one embodiment of the present disclosure.
  • the electronic device (200) may determine whether user preference information exists.
  • the electronic device (200) may determine whether user preference information included in context information exists in the memory (230) or an external device.
  • the user preference information may include content information associated with the user's gaze information, preference information input by the user, content information consumed by the user, or user behavior information.
  • the user preference information may be information collected by at least one of information collected by the sensor unit (210), information stored in the memory (230), or information collected by an external device.
  • the user preference information may be information indicating a preference for one character among various characters.
  • the electronic device (200) determines that the user preference information does not exist, it may perform operation 430 of FIG. 4.
  • the electronic device (200) determines that user preference information exists, it may perform operation 1820.
  • the electronic device (200) may determine whether visibility is difficult to secure.
  • the electronic device (200) may obtain visibility information by performing at least one of operation 1020, operation 1030, operation 1040, operation 1050, operation 1060, or operation 1070 of FIG. 10.
  • the electronic device (200) may obtain visibility information indicating that visibility is secured by comparing information related to distance, area, number of users, or age with a threshold.
  • the electronic device (200) may obtain visibility information indicating that visibility is not secured by comparing information related to distance, area, number of users, or age with a threshold.
  • the electronic device (200) may perform operation 1830.
  • the electronic device (200) when the electronic device (200) obtains visibility information indicating that visibility is secured, it can perform operation 430 of FIG. 4.
  • the electronic device (200) may generate second content by enlarging a portion of the first content.
  • the electronic device (200) may generate second content by enlarging a portion of the first content based on user preference information through an artificial intelligence model.
  • the electronic device (200) may select a portion of the first content based on user preference information and generate second content by enlarging the first content to the portion of the first content.
  • the electronic device (200) may generate a prompt to enlarging the first content to the portion of the first content based on user preference information.
  • the electronic device (200) may generate the second content using the generated prompt through a machine-learned artificial intelligence model. For example, as illustrated in FIG.
  • the electronic device (200) may determine a portion of the first content (1911) as an area where one person is located based on user preference information among various people included in the first content (1911) illustrated in situation 1910.
  • the electronic device (200) may generate second content (1921) enlarged to a determined portion of the area, as illustrated in situation 1920.
  • the electronic device (200) may determine a portion of the area as an area where at least one object, either singular or plural, is located, based on user preference information among various objects included in the first content.
  • the electronic device may generate second content enlarged to an area where at least one object, either singular or plural, appears, based on the determined portion of the area.
  • the electronic device (200) may generate second content enlarged to a portion of the first content and then perform operation 450 of FIG. 4 .
  • FIG. 20 is a diagram illustrating a cylindrical electronic device as an example of an electronic device according to one embodiment of the present disclosure.
  • identification number 2010 may be a perspective view of a cylindrical electronic device (200).
  • the electronic device (200) may include a projector (2001) (e.g., 160 of FIG. 1 , 220 of FIG. 2 ).
  • the electronic device (200) may include sensors (2012, 2013) (e.g., 210 of FIG. 2 ) on both sides of the projector (2001).
  • the sensors (2012, 2013) may include image sensors.
  • identification number 2020 may be a front view of the cylindrical electronic device (200).
  • the electronic device (200) may include a sensor (2022) on a side of the projector (2001).
  • the electronic device (200) may include a cylindrical projector (2001) and sensors (2012, 2013, 2022, 2032), and the device portion including the cylindrical projector may rotate to change the projected area.
  • identification number 2030 may be a side view of the cylindrical electronic device (200).
  • the electronic device (200) may include a sensor (2032) on the side of the projector (2001).
  • FIG. 21 is a drawing illustrating a robotic electronic device as an example of an electronic device according to one embodiment of the present disclosure.
  • identification number 2100 may be a perspective view of a robotic electronic device (200).
  • the electronic device (200) may include a projector (2101).
  • the electronic device (200) may include a sensor (2102) at least one of the bottom, top, or side of the projector.
  • the electronic device (200) may be a robotic form including wheels (2103).
  • the electronic device (200) may project a screen onto a projection surface while moving using the wheels.
  • the electronic device (200) may move to avoid obstacles and project the screen.
  • the electronic device (200) may move and project the screen when communication is not smooth, the resolution of the screen to be projected is low, or there is a need to project the screen onto another projection surface.
  • FIG. 22 is a drawing illustrating a box-type electronic device as an example of an electronic device according to one embodiment of the present disclosure.
  • reference numeral 2201 may be a top view of a box-type electronic device (200).
  • the electronic device (200) may include a projector (2211) on a side surface.
  • the electronic device (200) may include a sensor (2221) on a top surface.
  • the electronic device (200) may include sensors on a bottom surface and a side surface.
  • reference numeral 2202 may be a perspective view of a box-type electronic device (200).
  • the electronic device (200) may include a projector (2212) on a side surface and a sensor (2222) next to the projector.
  • the electronic device (200) may be used while being placed on a floor surface, as illustrated in reference numeral 2202.
  • the electronic device (200) may be used while being hung from a ceiling.
  • the sensor (2221, 2222) of the electronic device may include an image sensor.
  • FIG. 23 is a diagram for explaining an example of a method of operating a machine-learned artificial intelligence model in an electronic device according to one embodiment of the present disclosure.
  • the electronic device (200) can use context information (2301) in relation to the operation of the artificial intelligence model.
  • the electronic device (200) can use context information (2301) stored in the memory (230).
  • the electronic device (200) can store the context information (2301) illustrated in FIG. 23 in the memory (230).
  • the context information (2301) can include information collected through the sensor unit (210) or information collected through an external device.
  • the context information (2301) can include environmental information about the surrounding environment, information related to a content display area determined by the electronic device, spatial information, or situational information.
  • the artificial intelligence framework (AI framework) (2302) can receive user input and coordinate and control each component necessary to perform the user's intention based on the user's query.
  • context information (2301) may be transmitted to a prompt generation unit (2312).
  • the prompt generation unit (2312) may be used to generate a prompt suitable for inputting user input into a large language model (LLM) or large multimodal models (LMM).
  • the prompt generation unit (2312) may be an AI component that uses a machine learning algorithm or a neural network to develop better prompts over time.
  • the prompt generation unit (2312) may access a prompt library (2303) containing user preference data, a prompt library, and prompt examples based on the user input to generate a prompt, and transmit the generated prompt to the LLM or LMM.
  • the prompt generation unit (2312) may receive information about the external environment of the electronic device from at least one sensor or at least one external device, and generate a prompt based on the received information about the external environment of the electronic device.
  • the prompt generation unit (2312) may transmit the prompt to the content generation unit (2305).
  • the API/plug-in management component (2322) may communicate with external information when there is a request for additional information when passing user input as input to the generative model.
  • the API/plug-in management component (2322) may establish a channel for communicating with the outside of the AI interface through the API, and may enable access to various data sources (e.g., prompt library (2303)) through the established channel.
  • the API/plug-in management component (2322) may request the application/service component (2304) through the API to perform an action that ultimately performs the user input, rather than an intermediate result, when the application or service needs to perform the action.
  • Information obtained from the outside may be used to generate a prompt in the prompt generation unit (2312) together with the user input, or may be passed as input to the generative model.
  • the projection area and content layout management unit (2332) can fine-tune the output from the generative model. For example, the projection area and content layout management unit (2332) can verify that the LLM and/or the content generated through the LLM is not irrelevant, does not contain biased content, or does not contain harmful content. In addition, the projection area and content layout management unit (2332) can determine the degree to which the result matches the user's desired result and, if necessary, can proceed with additional processing. The projection area and content layout management unit (2332) can additionally configure and provide the user with hints to avoid undesired output. The projection area and content layout management unit (2332) can receive information about the projection area from at least one sensor. The projection area and content layout management unit (2332) can receive information about the projection area and, if a change in the first content is required, can transmit a signal requesting the creation of second content including information about the projection area to the content creation unit (2305).
  • the content generation unit (2305) may include a generative AI model (2315).
  • the content generation unit (2305) may receive a signal and a prompt requesting the generation of second content and generate the second content through a machine-learned AI model.
  • a generative AI model (2315) may generally refer to an artificial intelligence neural network that creates new types of data based on user input information.
  • the generative AI model (2315) may include a model that generates images and/or a model that generates language.
  • Representative models that generate images include a generative adversarial network (GAN) and a variational autoencoder (VAE), and examples include a generative model (e.g., a latent diffusion model) based on diffusion (e.g., stable diffusion, illusion diffusion) that uses a VAE and a transformer structure.
  • GAN generative adversarial network
  • VAE variational autoencoder
  • a model that generates language is a model that is trained to output the most statistically appropriate output value based on an input value, and representative examples include models such as CHAT-GPT 3 and CHAT-GPT 4.
  • models such as CHAT-GPT 3 and CHAT-GPT 4.
  • LMM that can recognize various types of data input such as text, images, and voice and generate new data corresponding to them.
  • Figure 24 is a flowchart (2400) illustrating a process for generating content by an electronic device according to one embodiment of the present disclosure.
  • the operations may be performed sequentially, but are not necessarily sequential.
  • the order of the operations may be changed, and at least two operations may be performed in parallel.
  • the electronic device (200) may determine whether the projection distance is less than or equal to a threshold distance.
  • the electronic device may determine the projection distance and compare it with the threshold distance. For example, the electronic device may determine the distance between the electronic device and the projection area (e.g., 330 of FIG. 3). The electronic device may determine the distance between the user and the projection area (e.g., 350 of FIG. 3). According to one embodiment, if the projection distance is less than or equal to the threshold distance, the electronic device may perform operation 2430. If the projection distance exceeds the threshold distance, the electronic device may perform operation 2421.
  • the electronic device may obtain visibility information.
  • the electronic device may obtain visibility information by considering distance, area, number of users, and/or age information.
  • the electronic device may obtain visibility information indicating that visibility is not secured when the projecting distance is greater than or equal to a threshold, the projecting area is less than or equal to a threshold, the number of users is greater than or equal to a threshold, and/or the age of the users is greater than or equal to a threshold.
  • operation 2421 may correspond to operations 1020, 1030, 1040, 1050, 1060, and/or 1070 of FIG. 10.
  • the electronic device (200) may determine whether a non-displayable area is included in the projecting area.
  • the non-displayable area may include an area containing an obstacle. For example, if an obstacle exists between the user and the projecting area, the electronic device may determine the area containing the obstacle as a non-displayable area. If an obstacle exists between the electronic device and the projecting area, the electronic device may determine the area containing the obstacle as a non-displayable area. For example, as illustrated in FIG. 7, if there is an obstacle (735) in the projecting area (731), the electronic device may determine the area containing the obstacle (735) as a non-displayable area. For example, as illustrated in FIG.
  • the electronic device may determine the area containing the obstacle as a non-displayable area. According to one embodiment, the electronic device may perform operation 2422 if the projection area includes a non-displayable area, and may perform operation 2430 if the projection area does not include a non-displayable area.
  • the electronic device (200) may obtain information about a content display area.
  • the content display area may include an area excluding an area in which light output from a projector is blocked by an obstacle between the projector and the projecting area in the projecting area.
  • the content display area may include an area including an area excluding an obstacle between a user and the projecting area.
  • operation 2422 may be a part of operation 430 of FIG. 4, and the electronic device may determine the content display area according to operation 430.
  • the electronic device (200) may determine whether device status information satisfies a specified condition in operation 2413.
  • the device status information may include movement information of the electronic device, charging information of the electronic device, battery information of the electronic device, and/or noise information.
  • the movement information of the electronic device may be information regarding whether the electronic device is a movable device.
  • the electronic device may be a movable device including wheels (2103) as illustrated in FIG. 21.
  • the charging information of the electronic device may be information indicating whether the electronic device is charging.
  • the battery information of the electronic device may be information indicating the remaining battery of the electronic device.
  • the noise information may be information recognized through the sensor unit (210) of the electronic device (200) and may include a sound signal existing around the electronic device.
  • the electronic device may perform operation 2423, and if it does not satisfy the condition, the electronic device may perform operation 2430.
  • an electronic device may determine that a set condition is met if there is movement information indicating that the electronic device is mobile.
  • the electronic device may determine that a set condition is met if the electronic device is charging and has more than 50% remaining battery life.
  • the electronic device may determine that a set condition is met if noise information exceeds a certain decibel level.
  • the electronic device (200) may acquire content output setting information.
  • the content output setting information may be information related to device status information.
  • the content output setting information may include volume information, screen resolution information, brightness information, or sound information, as information that must be considered when outputting content.
  • the electronic device (200) may determine whether the light-receiving surface analysis information satisfies a specified condition.
  • the electronic device may collect characteristic information regarding the light-receiving surface through the sensor unit (210). For example, the electronic device may collect color information, curvature information, step information, material information, pattern information, and/or texture information of the external projection surface. If the collected light-receiving surface analysis information satisfies a specified condition by comparing it with a threshold value, the electronic device may perform operation 2424. If the light-receiving surface analysis information does not satisfy the specified condition, the electronic device may perform operation 2430.
  • the electronic device (200) can obtain light-receiving surface characteristic information. For example, the electronic device can determine the color of the external projection surface corresponding to the projection area, and if it is not white, the electronic device can obtain color characteristic information of the light-receiving surface. If the color of a part of the external projection surface is different due to a shadow, the electronic device can obtain related light-receiving surface characteristic information. If the external projection surface has a curve or a step, the electronic device can obtain information related to the distance difference that occurs between the electronic device and the projection area due to the curve or the step. If the external projection surface is made of a flashy material or has a pattern, the electronic device can obtain information regarding the material and pattern of the light-receiving surface.
  • the electronic device (200) can determine whether multiple users exist. According to one embodiment, the electronic device can determine whether multiple users exist through user information collected by the sensor unit (210) or an external device. If multiple users exist, the electronic device can perform operation 2425, and if only one user exists, the electronic device can perform operation 2430.
  • the electronic device may acquire user information.
  • the user information may include information about users gazing at the projection area, information about people speaking around the projection area, user motion information, information about the user located farthest away, or user identification information.
  • information about users gazing at the projection area may include information about the number of users among multiple users gazing at the projection area.
  • Information about people speaking around the projection area may include information about a presenter speaking around the projection area.
  • User motion information may include information about a user bending or approaching the projection area, or information about whether the user performs a set motion.
  • the user motion information may include motions related to motions performed by the user due to visibility issues with the projection area.
  • User identification information may include information about some users when content needs to be displayed to some users.
  • the electronic device (200) may determine whether the projection area and the first content area satisfy a specified condition. According to one embodiment, the electronic device may compare the projection area and the first content area to determine whether the projection area has a larger area than the first content area. If the projection area is larger than the first content area, the electronic device may perform operation 2426. If the projection area and the first content area have the same area, the electronic device may perform operation 2430.
  • the electronic device may acquire content information.
  • the content information may include information related to the original content, i.e., first content.
  • the content information may include content information required to generate an outpainting image, an outpainting video, an ambient light image, or an ambient light video.
  • the electronic device may generate second content based on the acquired information.
  • the electronic device may generate the second content through a machine-learned artificial intelligence model based on the acquired information.
  • the electronic device may generate content that summarizes the text by reducing the amount of text for the first content consisting of text.
  • the electronic device may generate content that summarizes the text for the first content consisting of text and enlarges the font so that visibility can be secured.
  • the electronic device may generate content (1203) that summarizes the text for the first content (1201) and enlarges the font.
  • the electronic device may generate content that enlarges a portion of the first content consisting of an image or video so that a portion determined to be important is included.
  • the electronic device may determine the portion determined to be important based on at least one of the area, amount, size, position, or setting within the first content.
  • the electronic device may generate second content that reflects the user's preference based on the visibility information indicating that visibility is not secured.
  • the electronic device (200) can generate content in the form of enlarged or cropped images, videos, or texts centered on relevant content, reflecting the user's preferences.
  • the electronic device can generate content that summarizes the user's preferred content, reflecting the user's preferences for text content. As illustrated in FIG. 19, the electronic device can generate content by enlarging the first content to fit a selected area (1912) based on the user's preference information.
  • an electronic device when it acquires information about a content display area, it can generate second content based on the content display area. For example, the electronic device can generate second content according to operation 440 of FIG. 4. For example, the electronic device can generate second content suitable for the content display area (733), as shown in FIG. 7.
  • an electronic device can generate second content based on content output setting information. For example, the electronic device can change the location of the electronic device based on information that the electronic device is capable of moving on its own and generate content based on the changed location. If content needs to be generated for a specific person, the electronic device can generate content tailored to the specific person based on the movement of the electronic device. For example, the electronic device can generate content identical to the original content based on information that the electronic device is charging. The electronic device can generate content with the resolution, brightness, or volume adjusted based on information that the electronic device's battery is insufficient. The electronic device can generate content identical to the original content based on information that the electronic device's battery is sufficient. The electronic device can analyze ambient noise signals and generate content with a volume and sound that can be heard by the user even in a noisy environment. The noise-related information can include voice signals collected from the external environment, excluding voice signals included in the content of the electronic device.
  • the electronic device can generate second content based on the light-receiving surface characteristic information. For example, if the color of the external projection surface is not white, the electronic device can generate content in which the brightness, contrast, or color temperature of the content is adjusted so that the color of the original content is expressed. If the color of some areas of the external projection surface is different due to shadows, the electronic device can generate content with reduced contrast by adjusting the brightness, contrast, or color temperature of those areas with different colors. If the external projection surface has a curve or a step, the electronic device can generate content that enlarges content in a distant area in proportion to the distance difference between the electronic device and the projection area due to the curve or step.
  • the electronic device can generate content in which the clarity of content in a distant area is increased in proportion to the distance difference between the electronic device and the projection area due to the curve or step. If the external projection surface is made of a flashy material, the electronic device can generate content with enhanced background color contrast, and can generate content using black and white or outline processing for video or image content. If the external projection surface has a pattern, the electronic device can generate content with enhanced background color contrast and outline or black and white processing.
  • an electronic device can generate secondary content based on user information. For example, the electronic device can generate content that allows multiple users to view the content. As described in the description of FIG. 11, if there are multiple users (1103), the electronic device can change the font and generate content that summarizes the content so that all users can view the content. If there is only one user, the electronic device can generate content identical to the original content, as in situation 1101 of FIG. 11. For example, if content needs to be displayed to some users based on user identification information, the electronic device can change the location of the content, adjust the size of the content, or generate content so that it is easily visible to some users based on information about the users to whom the content needs to be displayed.
  • the electronic device can generate content that is displayed according to the user's changed location based on user motion information. For example, the electronic device can recognize a user's motion of bending toward the projection area or a user's motion of bending forward due to not recognizing the content, and generate content with an adjusted location and size that can alleviate user discomfort. For example, as illustrated in FIGS. 16 and 17, the electronic device can use information related to a location where the user is looking to generate content in a sub-area (1713) that is replaced with content related to the main area (1711), which is an area that includes the location where the user is looking.
  • an electronic device can generate second content using content information. For example, as illustrated in FIGS. 14 and 15 , if there is a blank space (1515) in addition to the original content, the electronic device can generate content for the second area (1515), which is the blank space.
  • the electronic device can generate the second content by generating an outpainting image (or video) or an ambient light image (or video) in the second area using the first content of the first area (1513).
  • An electronic device (e.g., an electronic device (101) of FIG. 1, an electronic device (200) of FIG. 2) according to various embodiments of the present disclosure may include a memory (e.g., a memory (130) of FIG. 1, a memory (230) of FIG. 2)) for storing instructions, a projector (e.g., a display module (160) of FIG. 1, a projector (220) of FIG. 2)) for projecting a screen including content onto a projection surface of an external object, at least one sensor (e.g., a sensor module (176) of FIG. 1, a sensor unit (210) of FIG.
  • a memory e.g., a memory (130) of FIG. 1, a memory (230) of FIG. 2)
  • a projector e.g., a display module (160) of FIG. 1, a projector (220) of FIG. 2
  • at least one sensor e.g., a sensor module (176) of FIG. 1, a sensor unit (210) of FIG.
  • the at least one processor may execute an application that, when the instructions are executed, causes a screen including first content to be displayed through the projector (e.g., the display module (160) of FIG. 1, the projector (220) of FIG. 2). Based on the executed application, a projection area including an area where light emitted from the projector (e.g., the display module (160) of FIG. 1, the projector (220) of FIG.
  • a content display area may be determined within the projection area based on the environmental information.
  • data including second content generated through an artificial intelligence model machine-learned from content information related to the first content may be acquired based on context information including at least one of the content display area or the environmental information.
  • a screen including the second content may be projected onto the projection surface through the projector.
  • the at least one processor may, when the instructions are executed, generate a prompt including information related to a property of the second content based on at least one of the context information and the content information, and input the prompt to the machine-learned artificial intelligence model to obtain data including the second content.
  • the context information may further include context information related to a situation in which the projector projects a screen, and the context information may include information acquired from the memory or received from an external device.
  • the at least one processor e.g., the processor (120) of FIG. 1, the processor (240) of FIG. 2 may acquire data including the second content based on the context information including the context information when the instructions are executed.
  • the at least one sensor e.g., sensor module (176) of FIG. 1, sensor unit (210) of FIG. 2 may include an image sensor, and the environmental information may be identified through image recognition of an image acquired through the image sensor and may include spatial information related to an object located around the electronic device.
  • the spatial information is information about the external environment of the electronic device detected through the image sensor, and may include at least one of projecting distance information, projecting area information, location information of the user, or obstacle information.
  • the situation information may include at least one of noise information, user age information, user preference information, or battery information.
  • the second content may include a summary text that reduces the number of characters by summarizing text included in the first content based on the context information.
  • the second content may include at least one of an enlarged image obtained by enlarging an image included in the first content based on the context information, a reduced image obtained by reducing an image included in the first content, a composite image obtained by synthesizing two or more images included in the first content, and a predicted image generated based on a prediction result of the artificial intelligence model from the first content.
  • the at least one processor e.g., the processor (120) of FIG. 1, the processor (240) of FIG. 2) can identify an obstacle disposed between the projection area and the projector, determine the content display area by excluding an area including the identified obstacle from the projection area, change the content display area when the obstacle moves after projecting a screen including the second content onto the projection surface, and obtain data including third content different from the second content from content information related to the first content based on the changed content display area and project a screen including the third content onto the projection surface.
  • the context information may include at least one of a distance between the projecting area and a user, an area of the projecting area, the number of users, or age information of the users.
  • the at least one processor e.g., the processor (120) of FIG. 1, the processor (240) of FIG. 2 may, when the instructions are executed, obtain visibility information indicating whether the user can view the first content based on at least one of the distance, the area, the number of users, or the age information of the users, and may generate the prompt using the obtained visibility information.
  • the at least one processor may obtain visibility information indicating that the first content is not viewable by the user based on at least one of the following: when the distance is equal to or greater than a first threshold, when the area is equal to or less than a second threshold, when the number of users is equal to or greater than a third threshold, or when age information of the users is equal to or greater than a fourth threshold, when the instructions are executed.
  • the first content may include a first image displayed in a first area within the projecting area
  • the content display area may include the first area and a second area different from the first area
  • the second content may include the first image arranged in the first area and a second image generated by the artificial intelligence model and displayed in the second area.
  • the context information may include information about a location at which a user gazes within the projecting area
  • the first content may include a third image displayed in a third area within the projecting area and a fourth image displayed in a fourth area different from the third area
  • the content display area may include the third area including the location at which the user gazes and the fourth area
  • the second content may include the third image arranged within the third area
  • the fifth image may be an image related to the third image.
  • the context information may include situation information including user preference information.
  • the at least one processor e.g., the processor (120) of FIG. 1, the processor (240) of FIG. 2 may, when the instructions are executed, generate the prompt based on the user preference information, and, using the prompt, acquire second content generated by expanding a portion of the first content selected based on the user preference information through the machine-learned artificial intelligence model.
  • the machine-learned artificial intelligence model may have learned data to generate content displayed in the content display area by changing content placed in the projection area.
  • a method for operating an electronic device may include an operation of executing an application that displays a screen including first content through a projector that projects a screen including content onto a projection surface of an external object, an operation of determining a projection area including an area where light emitted from the projector is irradiated onto the projection surface based on the executed application, an operation of determining a content display area within the projection area based on environmental information acquired by at least one sensor configured to acquire environmental information about a surrounding environment in which the projector projects a screen, an operation of acquiring data including second content generated through a machine-learned artificial intelligence model from content information related to the first content based on context information including at least one of the content display area or the environmental information, and an operation of projecting a screen including the second content onto the projection surface through the projector.
  • an operation of generating a prompt including information related to a property of the second content based on at least one of the context information and the content information, and inputting the prompt into the machine-learned artificial intelligence model to obtain data including the second content may be included.
  • the method may include an operation of identifying an obstacle placed between the projection area and the projector, an operation of determining the content display area by excluding an area including the identified obstacle from the projection area, an operation of changing the content display area when the obstacle moves after projecting a screen including the second content on the projection surface, and an operation of acquiring data including third content different from the second content from content information related to the first content based on the changed content display area and projecting a screen including the third content on the projection surface.
  • the context information may include at least one of a distance between the projecting area and the user, an area of the projecting area, the number of the users, or age information of the users, and may include an operation of obtaining visibility information indicating that the first content is not viewable by the user based on at least one of a case in which the distance is greater than or equal to a first threshold, a case in which the area is less than or equal to a second threshold, a case in which the number of the users is greater than or equal to a third threshold, or a case in which the age information of the users is greater than or equal to a fourth threshold, and may include an operation of generating the prompt using the obtained visibility information.
  • the first content may include a first image displayed in a first area within the projecting area
  • the content display area may include the first area and a second area different from the first area
  • the second content may include an operation including a first image disposed in the first area and a second image generated by the artificial intelligence model and displayed in the second area.
  • text, images, or videos included in content to be projected through an electronic device are generated and projected according to the surrounding environment of the electronic device, thereby enabling all users viewing the projected content to consume the content without inconvenience. Furthermore, even in situations where the electronic device cannot ensure visibility of the text content, the text can be summarized and projected, thereby maintaining the information transmission effect.
  • the electronic device can generate content according to an area excluding obstacles, thereby enabling efficient information transmission and screen utilization even in environments with obstacles.
  • the electronic device can generate content according to the projection area, thereby increasing screen immersion and enabling efficient screen utilization.
  • a computer-readable storage medium storing one or more programs (software modules) may be provided.
  • the one or more programs stored in the computer-readable storage medium are configured for execution by one or more processors within an electronic device.
  • the one or more programs include instructions that cause the electronic device to execute methods according to embodiments described in the claims or specification of the present disclosure.
  • a function or operation performed by an electronic device may be performed by one or more processors executing one or more instructions stored in a memory.
  • the function or operation of the electronic device mentioned in the present disclosure may be performed by one processor executing one or more instructions, or may be performed by a combination of multiple processors executing one or more instructions.
  • the processor mentioned in the present disclosure may be understood to include a circuit for performing an operation or controlling other components of the electronic device.
  • the one or more processors may include at least one of a central processing unit (CPU), a microprocessor unit (MPU), an application processor (AP), a communication processor (CP), a neural processing unit (NPU), a system on chip (SoC), an application-specific integrated circuit (ASIC), or an integrated circuit (IC) configured to execute one or more instructions.
  • the one or more processors may be configured to perform the operations of the electronic device described above.
  • a program (software module, software) may be stored in a non-volatile memory including a random access memory (RAM), a flash memory, a read only memory (ROM), an electrically erasable programmable read only memory (EEPROM), a magnetic disc storage device, a compact disc ROM (CD-ROM), digital versatile discs (DVDs) or other forms of optical storage devices, a magnetic cassette. Or, it may be stored in a memory formed by a combination of some or all of these.
  • the memory may be formed by a single storage medium, or may be formed by a combination of a plurality of storage media.
  • the one or more commands may be stored in a single storage medium, or may be distributed and stored in a plurality of storage media.
  • terms such as “part”, “module”, etc. may refer to a hardware component such as a processor or circuit, and/or a software component executed by a hardware component such as a processor.
  • a “component” or “module” may be implemented by a program stored in an addressable storage medium and executed by a processor.
  • a “component” or “module” may be implemented by components such as software components, object-oriented software components, class components, and task components, as well as processes, functions, attributes, procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables.
  • “comprising at least one of a, b, or c” may mean “comprising only a, including only b, including only c, or including a combination of two or more (including a and b, including b and c, including a and c, or including all of a, b, and c).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

다양한 실시예들에 따른 전자 장치(electronic device)는 인스트럭션들을 저장하는 메모리, 컨텐츠를 포함하는 화면을 외부 물체의 투사면에 투사하는 프로젝터, 상기 프로젝터가 화면을 투사하는 주변 환경에 대한 환경 정보를 획득하도록 구성된 적어도 하나의 센서, 적어도 하나의 프로세서를 포함하고, 상기 전자 장치는, 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 인스트럭션들이, 상기 프로젝터를 통해서 제1 컨텐츠를 포함하는 화면을 표시하도록 하는 어플리케이션을 실행하고, 상기 실행된 어플리케이션에 기초하여 상기 프로젝터로부터 방출된 광이 상기 투사면에 조사되는 영역을 포함하는 프로젝팅 영역을 결정하고, 상기 환경 정보에 기초하여 상기 프로젝팅 영역 내에서 내용 표시 영역을 결정하고, 상기 내용 표시 영역 또는 상기 환경 정보 중 적어도 하나를 포함하는 컨텍스트 정보에 기초하여 상기 제1 컨텐츠에 관련된 컨텐츠 정보로부터 기계학습된 인공지능 모델을 통해서 생성된 제2 컨텐츠를 포함하는 데이터를 획득하고, 상기 프로젝터를 통해서 상기 제2 컨텐츠를 포함하는 화면을 상기 투사면에 투사하도록 구성될 수 있다.

Description

프로젝터를 포함하는 전자 장치 및 그 동작 방법
본 개시에 따른 다양한 실시 예들은 프로젝터를 포함하는 전자 장치 및 그 동작 방법에 관한 것이다.
디스플레이 장치는 영상, 이미지, 또는 텍스트 등의 컨텐츠를 출력하기 위한 장치로서 디스플레이 패널을 통해 컨텐츠를 표시할 수 있다. 디스플레이 장치의 하나로서 프로젝터 장치가 사용되고 있다. 프로젝터 장치는 컨텐츠를 포함하는 화면을 외부 물체의 투사면(예를 들어, 스크린)에 투사함으로써, 프로젝터로부터 방출된 광이 투사면에 표시되도록 한다. 사용자들은 투사면에 투사된 화면을 통해 컨텐츠를 볼 수 있다.
인공지능　시스템(또는 통합 지능화 시스템)은 지능을 구현하는 컴퓨터 시스템으로서 기계가 데이터를 학습한 결과에 기초하여 판단을 수행하는 시스템이다.　인공지능　기술은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘을 이용하는　기계학습(딥러닝) 기술 및　기계학습　알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 요소 기술들로 구성될 수 있다. 생성형 인공지능(generative artificial intelligence)에 기반한 인공지능 모델은 작업을 수행하도록 요청하는 자연어 텍스트를 포함하는 프롬프트(prompt)에 대응하여 컨텐츠(예: 텍스트, 이미지 또는 다른 미디어)를 생성할 수 있다.
상술한 정보는 본 개시에 대한 이해를 돕기 위한 목적으로 하는 배경 기술(related art)로 제공될 수 있다. 상술한 내용 중 어느 것도 본 개시와 관련하여 종래 기술(prior art)로서 적용될 수 있는지에 관해서는 어떠한 주장이나 결정이 제기되지 않는다.
일 실시예에 따른 전자 장치(electronic device)는, 인스트럭션(instruction)들을 저장하는 메모리, 컨텐츠(contents)를 포함하는 화면을 외부 물체의 투사면에 투사하는 프로젝터(projector), 상기 프로젝터가 화면을 투사하는 주변 환경에 대한 환경 정보를 획득하도록 구성된 적어도 하나의 센서(sensor), 및 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시, 상기 프로젝터를 통해서 제1 컨텐츠를 포함하는 화면을 표시하도록 하는 어플리케이션을 실행할 수 있다. 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시, 상기 실행된 어플리케이션에 기초하여, 상기 프로젝터로부터 방출된 광이 상기 투사면에 조사되는 영역을 포함하는 프로젝팅 영역을 결정할 수 있다. 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시, 상기 환경 정보에 기초하여 상기 프로젝팅 영역 내에서 내용 표시 영역을 결정할 수 있다. 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시, 상기 내용 표시 영역 또는 상기 환경 정보 중 적어도 하나를 포함하는 컨텍스트(context) 정보에 기초하여 상기 제1 컨텐츠에 관련된 컨텐츠 정보로부터 기계학습된 인공지능 모델을 통해서 생성된 제2 컨텐츠를 포함하는 데이터를 획득할 수 있다. 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시, 상기 프로젝터를 통해서 상기 제2 컨텐츠를 포함하는 화면을 상기 투사면에 투사할 수 있다.
일 실시예에 따른 전자 장치의 동작 방법은, 컨텐츠를 포함하는 화면을 외부 물체의 투사면에 투사하는 프로젝터를 통해서 제1 컨텐츠를 포함하는 화면을 표시하도록 하는 어플리케이션을 실행하는 동작을 포함할 수 있고, 상기 실행된 어플리케이션에 기초하여, 상기 프로젝터로부터 방출된 광이 상기 투사면에 조사되는 영역을 포함하는 프로젝팅 영역을 결정하는 동작을 포함할 수 있고, 상기 프로젝터가 화면을 투사하는 주변 환경에 대한 환경 정보를 획득하도록 구성된 적어도 하나의 센서가 획득한 상기 환경 정보에 기초하여 상기 프로젝팅 영역 내에서 내용 표시 영역을 결정하는 동작을 포함할 수 있고, 상기 내용 표시 영역 또는 상기 환경 정보 중 적어도 하나를 포함하는 컨텍스트 정보에 기초하여 상기 제1 컨텐츠에 관련된 컨텐츠 정보로부터 기계학습된 인공지능 모델을 통해서 생성된 제2 컨텐츠를 포함하는 데이터를 획득하는 동작을 포함할 수 있고, 상기 프로젝터를 통해서 상기 제2 컨텐츠를 포함하는 화면을 상기 투사면에 투사하는 동작을 포함할 수 있다.
일 실시예에 따른 컴퓨터로 판독 가능한 기록 매체는, 전자 장치가 실행하여 상술한 방법을 수행하도록 하는 컴퓨터 프로그램을 저장한 것일 수 있다.
도 1은 본 개시의 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 본 개시의 다양한 실시예들에 따른, 전자 장치의 구성요소를 도시한 블록도이다.
도 3은 본 개시의 일 실시예에 따른, 프로젝터를 포함하는 전자 장치가 화면을 투사하는 예시를 도시한 도면이다.
도 4는 본 개시의 일 실시예에 따른, 전자 장치가 프로젝터를 통해서 컨텐츠를 출력하는 프로세스를 도시한 흐름도이다.
도 5는 본 개시의 일 실시예에 따른, 프로젝터를 포함하는 전자 장치가 프롬프트를 이용해서 컨텐츠를 생성하는 프로세스를 도시한 흐름도이다.
도 6은, 본 개시의 일 실시예에 따른, 전자 장치가 장애물을 식별한 결과에 기초하여 컨텐츠를 출력하는 프로세스를 도시한 흐름도이다.
도 7은, 본 개시의 일 실시예에 따른, 전자 장치가 장애물이 식별된 영역에 기초하여 제1 컨텐츠로부터 생성한 제2 컨텐츠의 예시를 설명하기 위한 도면이다.
도 8은, 본 개시의 일 실시예에 따른, 전자 장치가 장애물이 식별된 영역에 기초하여 제1 컨텐츠로부터 생성한 제2 컨텐츠의 예시를 설명하기 위한 도면이다.
도 9는, 본 개시의 일 실시예에 따른, 전자 장치가 프롬프트를 생성하는 프로세스를 도시한 흐름도이다.
도 10은, 본 개시의 일 실시예에 따른, 복수개의 조건에 기초하여 컨텐츠가 시인 가능한지 여부를 판단하는 프로세스를 도시한 흐름도이다.
도 11은, 본 개시의 일 실시예에 따른, 컨텐츠가 시인 가능한지 여부에 기초하여 컨텐츠를 표시하는 예시를 설명하기 위한 도면이다.
도 12는, 본 개시의 일 실시예에 따른, 제1 컨텐츠에 포함된 텍스트를 요약하여 제2 컨텐츠를 획득하는 예시를 설명하기 위한 도면이다.
도 13은, 본 개시의 일 실시예에 따른, 제1 컨텐츠에 포함된 이미지를 요약하고 텍스트의 폰트를 변경하여 제2 컨텐츠를 획득하는 예시를 설명하기 위한 도면이다.
도 14는, 본 개시의 일 실시예에 따른, 프로젝팅 영역 내의 여백 공간에 컨텐츠를 생성하는 프로세스를 도시한 흐름도이다.
도 15는, 본 개시의 일 실시예에 따른, 프로젝팅 영역 내의 여백 공간에 컨텐츠를 생성하는 예시를 설명하기 위한 도면이다.
도 16은, 본 개시의 일 실시예에 따른, 제1 컨텐츠의 일부를 대체하여 제2 컨텐츠를 생성하는 프로세스를 도시한 흐름도이다.
도 17은, 본 개시의 일 실시예에 따른, 제1 컨텐츠의 일부를 대체하여 제2 컨텐츠를 생성하는 예시를 설명하기 위한 도면이다.
도 18은, 본 개시의 일 실시예에 따른, 사용자의 선호도 정보를 고려하여 제2 컨텐츠를 생성하는 프로세스를 도시한 흐름도이다.
도 19는, 본 개시의 일 실시예에 따른, 사용자의 선호도 정보를 고려하여 일부 영역으로 확대한 컨텐츠를 생성하는 예시를 설명하기 위한 도면이다.
도 20은, 본 개시의 일 실시예에 따른 전자 장치의 예시로서, 원통형 전자 장치를 나타낸 도면이다.
도 21은, 본 개시의 일 실시예에 따른 전자 장치의 예시로서, 로봇형 전자 장치를 나타낸 도면이다.
도 22는, 본 개시의 일 실시예에 따른 전자 장치의 예시로서, 박스형 전자 장치를 나타낸 도면이다.
도 23은, 본 개시의 일 실시예에 따른, 전자 장치에서 기계학습된 인공지능 모델의 동작 방법과 관련한 예시를 설명하기 위한 도면이다.
도 24는 본 개시의 일 실시예에 따른, 전자 장치가 컨텐츠를 생성하는 프로세스를 도시한 흐름도이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
본 문서에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이하에서는 첨부된 도면을 참고로 하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 실시예를 상세히 설명한다. 그러나 개시된 실시예는 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시예에 한정되는 것은 아니다.
본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되지 아니하며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 이 용어들에 의해 한정되지 아니한다. 이 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용된다.
본 개시에서 다양한 곳에 등장하는 "일 실시예에서"는 반드시 모두 동일한 실시예를 가리키는 것은 아니다.
본 개시에서 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
본 개시에서, 프로젝팅 거리(예: 도 3의 프로젝팅 거리(330))는 프로젝터(예: 도 1의 디스플레이 모듈(160), 도 2의 프로젝터(220), 도 3의 프로젝터를 포함하는 전자 장치(310))와 컨텐츠가 포함된 화면이 외부 물체의 투사면에 투사되는 프로젝팅 영역(예: 도 3의 프로젝팅 영역(320)) 사이의 거리를 의미할 수 있다. 예를 들어, 상기 프로젝팅 거리는 프로젝터와 프로젝팅 영역 사이의 최단 거리를 의미할 수 있다. 예를 들어, 프로젝팅 거리는 프로젝터와 프로젝팅 영역의 중심 사이의 거리를 의미할 수도 있다.
본 개시에서, 프로젝팅 영역(예: 도 3의 프로젝팅 영역(320))은 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200), 도 3의 프로젝터를 포함하는 전자 장치(310))의 프로젝터(예: 도 1의 디스플레이 모듈(160), 도 2의 프로젝터(220), 도 3의 프로젝터를 포함하는 전자 장치(310))에 의해 방출된 광이 투사될 수 있는 외부 물체의 투사면의 영역을 의미할 수 있다. 예를 들어, 프로젝팅 영역은 상기 전자 장치에 의해 컨텐츠를 포함한 화면을 투사할 수 있는 영역을 의미할 수 있다. 예를 들어, 프로젝팅 영역은 프로젝터가 화면을 표시하기 위해 광을 방출할 수 있는 각도 범위 및 프로젝팅 거리에 기초하여 결정될 수 있다.
본 개시에서, 내용 표시 영역은 프로젝팅 영역(예: 도 3의 프로젝팅 영역(320)) 내에서 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200), 도 3의 프로젝터를 포함하는 전자 장치(310))가 생성한 컨텐츠를 표시하기 위해 사용되는 영역을 의미할 수 있다. 예를 들어, 장애물로 인해 상기 프로젝팅 영역의 일부가 가려지는 경우, 상기 프로젝팅 영역에서 장애물을 제외한 영역이 내용 표시 영역이 될 수 있다. 예를 들어, 기계학습된 인공지능 모델을 통해서 생성된 제2 컨텐츠가 투사되는 영역을 의미할 수 있다.
본 개시에서, 컨텍스트 정보는 전자 장치가 컨텐츠를 표시하는 상황과 관련된 정보를 포함할 수 있다. 컨텍스트 정보는 센서(예: 도 1의 센서 모듈(176), 도 2의 센서부(210))에 의해 수집되는 정보와 메모리(예: 도 1의 메모리(130), 도 2의 메모리(230))에 저장된 정보와 기계학습된 인공지능 모델을 통해 생성된 정보)를 포함할 수 있다. 상기 컨텍스트 정보는 환경 정보, 공간 정보, 또는 상황 정보 중 적어도 하나를 포함할 수 있다.
본 개시에서, 환경 정보는 프로젝터(예: 도 1의 디스플레이 모듈(160), 도 2의 프로젝터(220), 도 3의 프로젝터를 포함하는 전자 장치(310))가 배치된 위치의 주변 환경에 대한 정보를 의미할 수 있다. 예를 들어 환경 정보는 프로젝팅 영역과 사용자 간의 거리, 프로젝팅 영역의 면적, 사용자의 수, 또는 사용자의 연령 정보 중 적어도 하나를 포함할 수 있다. 환경 정보는 전자 장치의 센서(예: 도 1의 센서 모듈(176), 도 2의 센서부(210)) 또는 외부 장치(예: 도 1의 전자 장치(102, 104))에 포함된 센서를 통해 수집되는 정보를 포함할 수 있다.
본 개시에서, 공간 정보는 전자 장치가 배치된 공간과 관련된 정보를 의미할 수 있다. 공간 정보는 센서(예: 도 1의 센서 모듈(176), 도 2의 센서부(210)) 중에서 이미지 센서를 통해 감지되는 정보를 포함할 수 있다. 상기 공간 정보는 상기 이미지 센서를 통해서 획득된 영상에 대한 영상 인식을 통해서 식별되는 정보를 포함할 수 있다. 상기 공간 정보는 상기 이미지 센서를 통해 감지되는 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200), 도 3의 프로젝터를 포함하는 전자 장치(310)) 주변에 위치한 객체에 관련된 정보를 포함할 수 있다. 예를 들어, 상기 공간 정보는 프로젝팅 거리 정보, 프로젝팅 영역 정보, 사용자의 위치 정보, 또는 장애물 정보 중 적어도 하나를 포함할 수 있다.
본 개시에서, 상황 정보는 프로젝터(예: 도 1의 디스플레이 모듈(160), 도 2의 프로젝터(220), 도 3의 프로젝터를 포함하는 전자 장치(310))가 화면을 투사하는 상황과 관련된 정보를 의미할 수 있다. 상기 상황 정보는 메모리로부터 획득하거나 외부 장치로부터 수신된 정보를 포함할 수 있다. 상기 상황 정보는 이미지 센서가 아닌 다른 센서 또는 외부 장치로부터 획득할 수 있는 외부 상황과 관련된 정보를 포함할 수 있다. 예를 들어, 상기 상황 정보는 전자 장치 주변의 소음 정보, 사용자의 연령과 관련된 정보, 사용자의 선호도와 관련된 정보, 또는 전자 장치의 배터리와 관련된 정보 중 적어도 하나를 포함할 수 있다.
본 개시에서 컨텐츠 정보는 원본 컨텐츠인 제1 컨텐츠와 관련된 정보를 의미할 수 있다. 예를 들어, 컨텐츠 정보는 원본 컨텐츠 자체, 원본 컨텐츠의 형식(텍스트, 이미지, 영상), 원본 컨텐츠가 속하는 카테고리, 또는 원본 컨텐츠에 포함된 정보의 분량 중 적어도 하나를 포함할 수 있다.
프로젝터 장치를 사용하는 과정에서, 프로젝터 장치 또는 주변 환경에 따라서 컨텐츠에 포함된 정보가 프로젝터 장치에 의해서 출력된 화면을 통해서 사용자에게 전달되기 어려울 수 있다. 예를 들어, 프로젝팅 영역 상에 장애물이 존재하는 경우 컨텐츠를 포함하는 화면이 장애물로 인해 가려져 정보가 제대로 전달되지 못하거나, 프로젝팅 영역과 사용자와의 거리가 멀어 사용자에게 정보가 제대로 전달되지 못하는 경우가 발생할 수 있다.
따라서, 본 발명의 다양한 실시예들은 프로젝터를 포함하는 전자 장치에서 투사되는 컨텐츠를 생성하여 사용자에게 원활하게 정보를 전달하기 위한 방법 및 장치를 제공하기 위한 것이다.
본 문서에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 본 개시의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이하에서는 첨부된 도면을 참고로 하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 실시예를 상세히 설명한다. 그러나 개시된 실시예는 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시예에 한정되는 것은 아니다.
도 1은 본 개시의 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 2는 본 개시의 다양한 실시예들에 따른, 전자 장치의 구성요소를 도시한 블록도이다. 도 3은 본 개시의 일 실시예에 따른, 프로젝터를 포함하는 전자 장치가 화면을 투사하는 예시를 도시한 도면이다. 이하 도1 내지 도 24에 관한 적어도 일부 동작은 도 3을 참조하여 설명될 수 있다.
일 실시예에 따르면, 전자 장치(200)(예: 도 1의 전자 장치(101))는 적어도 하나의 프로세서(240)(예: 도 1의 프로세서(120)), 프로젝터(220)(예: 도 1의 디스플레이 모듈(160)), 센서부(210)(예: 도 1의 센서 모듈(176)), 및 메모리(230)(예: 도 1의 메모리(130))를 포함할 수 있다. 예를 들어, 전자 장치(200)는 도 1의 전자 장치(101)에 대응될 수 있다.
일 실시예에 따르면, 센서부(210)는 프로젝터(220)가 배치된 위치의 주변 환경에 대한 환경 정보를 획득할 수 있다. 예를 들면, 환경 정보는 프로젝터 주변에 위치한 객체에 관련된 정보를 포함할 수 있다. 예를 들면, 환경 정보는 프로젝터 주변의 소음 또는 밝기 중 적어도 하나에 관련된 정보를 포함할 수 있다. 예를 들면, 환경 정보는 프로젝터 주변에 위치한 사용자와 관련한 사용자의 연령 정보 또는 사용자의 선호도 정보 중 적어도 하나를 포함할 수 있다. 예를 들면, 환경 정보는 프로젝터를 포함하는 전자 장치(200)와 관련한 배터리 정보(예: 배터리에 저장된 잔여 전력에 관한 정보, 배터리 충전 상태에 관한 정보)를 포함할 수 있다. 일 실시예에 따르면, 센서부(210)는 이미지 센서를 포함할 수 있다. 적어도 하나의 프로세서(240)는 이미지 센서를 통해 획득된 공간 정보를 포함하는 환경 정보를 획득할 수 있다. 공간 정보는 전자 장치가 배치된 공간과 관련된 정보를 포함할 수 있다. 예를 들면, 공간 정보는 프로젝터(220)와 컨텐츠를 포함하는 화면이 투사되는 스크린 간의 거리인 프로젝팅 거리(예: 도 3의 프로젝팅 거리(330))를 포함할 수 있다. 예를 들면, 공간 정보는 프로젝터(220)에 의해 컨텐츠를 포함하는 화면이 투사되는 영역인 프로젝팅 영역(예: 도 3의 프로젝팅 영역(320))에 관한 정보를 포함할 수 있다. 예를 들면, 공간 정보는 프로젝터(220) 주변에 위치하여 이미지 센서를 통해 인식된 사용자(예: 도 3의 사용자(340))의 위치와 관련된 정보를 포함할 수 있다. 예를 들면, 공간 정보는 프로젝터(220)와 프로젝팅 영역 사이에 위치한 장애물에 대해 이미지 센서를 통해 인식한 정보인 장애물 정보를 포함할 수 있다. 장애물 정보는, 예를 들어, 프로젝팅 영역 중에서 프로젝터(220)로부터 방출되는 광이 장애물에 의해 차단되는 영역을 포함하는 영역을 지시할 수 있다. 장애물 정보는, 예를 들어, 사용자가 프로젝팅 영역을 바라볼 때 장애물에 의해 차단되는 영역을 포함하는 영역을 지시할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 센서부(210)를 통해 전자 장치 주변 상황에 대한 정보를 센싱할 수 있다. 전자 장치는 이미지 센서, 초음파 센서, 적외선 센서, 레이더 센서, 레이저 센서, 및/또는 라이다 센서의 센서를 통해 센싱 영역(360)에 대한 정보를 인식할 수 있다. 전자 장치는 센싱 영역(360)내의 사용자(340)에 대해 인식하고 사용자의 위치 정보를 수집할 수 있다. 전자 장치는 센싱 영역(360)내의 사용자(340)와 프로젝팅 영역(320) 사이의 거리(350)을 판단할 수 있다. 예를 들어, 사용자(340)가 복수일 경우, 사용자와 프로젝팅 영역 사이의 거리(350)는 프로젝팅 영역(320)에서 가장 가까운 사용자와의 거리를 의미할 수 있다. 예를 들어, 사용자(340)가 복수일 경우, 사용자와 프로젝팅 영역 사이의 거리(350)는 프로젝팅 영역(320)에서 가장 먼 사용자와의 거리를 의미할 수 있다. 예를 들어, 사용자와 프로젝팅 영역 사이의 거리(350)는 사용자로부터 프로젝팅 영역(320) 중심까지의 거리를 의미할 수 있다.
일 실시예에 따르면, 프로젝터(220)는 컨텐츠를 포함하는 화면을 외부 물체의 투사면에 투사할 수 있다. 예를 들어, 프로젝터(220)는 외부 물체의 투사면에 광을 방출하여 컨텐츠를 포함하는 화면을 투사할 수 있다. 예를 들어, 외부 물체의 투사면은 투사되는 화면이 잘 인식되도록 하기 위한 흰색 배경의 벽면을 포함할 수 있다. 예를 들어, 외부 물체의 투사면은 프로젝터가 컨텐츠를 포함하는 화면을 투사할 수 있는 스크린을 포함할 수 있다. 예를 들어, 투사면은 프로젝터(220)로부터 방출된 광이 도달하는 면을 포함할 수 있다. 다만, 투사면의 특징은 상술한 예시에 한정되지 아니한다.
일 실시예에 따르면, 메모리(230)는 명령어들(instructions)을 저장할 수 있다. 명령어들은 적어도 하나의 프로세서(240)에 의해서 실행될 수 있다. 명령어들은 전자 장치(200)가 다양한 데이터 처리 또는 연산을 수행하기 위한 코드를 포함할 수 있다. 예를 들면, 메모리(230)는 전자 장치(200)가 도 1 내지 도 24를 참조하여 설명되는 실시예들 중에서 적어도 하나의 실시예에 관한 데이터 처리 또는 연산을 수행하기 위한 명령어들을 저장할 수 있다. 적어도 하나의 프로세서(240)는 메모리(230)에 저장된 명령어들을 실행하여 전자 장치(200)의 구성요소를 제어하거나 연산을 수행할 수 있다.
일 실시예에 따르면, 메모리(230)는 적어도 하나의 프로세서(240)가 연산을 수행함으로써 획득된 데이터를 저장할 수 있다. 예를 들면, 메모리(230)는 전자 장치(200)가 도 1 내지 도 24를 참조하여 아래에서 설명되는 실시예들 중에서 적어도 하나의 실시예에 관한 데이터 처리 또는 연산을 수행함으로써 획득된 데이터를 저장할 수 있다.
일 실시예에 따르면, 메모리(230)는 컨텍스트(context) 정보 또는 컨텐츠(contents) 정보 중 적어도 하나를 저장할 수 있다. 예를 들면, 컨텍스트 정보는 프로젝터(220)의 주변 환경에 대한 환경 정보를 포함할 수 있다. 예를 들면, 컨텍스트 정보는 내용 표시 영역에 대한 정보를 포함할 수 있다. 예를 들면, 컨텍스트 정보는 전자 장치(200) 주변의 공간 내에 위치한 객체에 관련된 공간 정보가 포함될 수 있다. 전자 장치(200)는 이미지 센서를 통해 획득된 영상에 대한 영상 인식을 통해서 공간 정보를 식별할 수 있다. 예를 들면, 컨텍스트 정보는 프로젝터(220)가 컨텐츠를 포함한 화면을 투사하는 상황과 관련된 상황 정보를 포함할 수 있다. 예를 들면, 컨텐츠 정보는 프로젝터(220)에 의해 투사면에 투사되어 표시되는 화면에 표시될 컨텐츠에 관한 정보를 포함할 수 있다. 예를 들면, 컨텐츠 정보는 표시될 원본 컨텐츠에 관한 정보로써, 컨텐츠 자체, 컨텐츠의 포맷(텍스트, 이미지, 영상), 컨텐츠가 속하는 카테고리, 또는 컨텐츠에 포함된 정보의 분량에 관한 정보 중 적어도 하나를 포함할 수 있다.
본 개시에서, 전자 장치(200)의 동작은 메모리(230)에 저장된 인스트럭션들을 적어도 하나의 프로세서(240)에 의해 실행하여 수행되는 것으로 이해될 수 있다.
일 실시예에 따르면, 전자 장치(200)는 프로젝터(220)를 통해서 제1 컨텐츠를 포함하는 화면을 표시하도록 하는 어플리케이션을 실행할 수 있다. 예를 들어, 전자 장치(200)는 프리젠테이션용 컨텐츠를 표시하도록 하는 어플리케이션을 실행할 수 있다. 예를 들어, 전자 장치(200)는 컴퓨터 또는 모바일 전자기기 중 적어도 하나와 연동된 컨텐츠를 표시하도록 하는 어플리케이션을 실행할 수 있다. 전자 장치는 도 4의 동작 410을 참조하여 동작을 수행할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 제1 컨텐츠를 포함하는 화면을 표시하도록 하는 어플리케이션의 실행에 기초하여, 프로젝터(220)로부터 방출된 광이 투사면에 조사되는 영역을 포함하는 프로젝팅 영역을 결정할 수 있다. 예를 들어, 전자 장치(200)는 프로젝터(220)로부터 광이 방출되는 방향을 향해서 촬영을 수행할 수 있는 적어도 하나의 카메라를 포함할 수 있다. 전자 장치(200)는 적어도 하나의 카메라를 통해서 촬영된 영상에 기초하여 프로젝팅 영역을 결정할 수 있다. 예를 들어, 전자 장치(200)는 스테레오 카메라를 통해서 촬영된 영상에 기초하여 깊이 맵(depth map)을 획득할 수 있다. 예를 들어, 전자 장치(200)는 TOF(time of flight)센서를 통해 획득한 거리 정보에 기반하여 깊이 맵(depth map)을 획득할 수 있다. 전자 장치(200)는 깊이 맵에 포함된 깊이 값과 프로젝터(220)로부터 광이 방출되는 범위(예: 각도 범위)에 기초하여 프로젝팅 영역을 결정할 수 있다. 예를 들어, 전자 장치(200)는 외부 물체의 투사면의 색상, 굴곡, 단차, 재질, 패턴, 또는 색감 중 적어도 하나에 관한 정보에 대해 센서부(210) 또는 외부 장치로부터 수신할 수 있다. 전자 장치(200)는 외부 물체의 투사면의 색상, 굴곡, 단차, 재질, 패턴, 또는 색감 중 적어도 하나에 기반하여 프로젝팅 영역을 결정할 수 있다. 전자 장치는 도 4의 동작 420을 참조하여 동작을 수행할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 실행된 어플리케이션에 기초하여, 환경 정보에 기초하여 프로젝팅 영역(예: 도 3의 프로젝팅 영역(320)) 내에서 내용 표시 영역을 결정할 수 있다. 내용 표시 영역은 컨텐츠가 표시되는 영역을 포함할 수 있다. 전자 장치는 도 4의 동작 430을 참조하여 동작을 수행할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 실행된 어플리케이션에 기초하여, 내용 표시 영역 또는 환경 정보 중 적어도 하나를 포함하는 컨텍스트 정보에 기초하여 제1 컨텐츠에 관련된 컨텐츠 정보로부터 기계학습된 인공지능 모델을 통해서 생성된 제2 컨텐츠를 포함하는 데이터를 획득할 수 있다. 예를 들어, 전자 장치(200)는 결정한 내용 표시 영역에 관한 정보와 원본 컨텐츠인 제1 컨텐츠에 관한 컨텐츠 정보에 기초하여 인공지능 모델에 제2 컨텐츠의 생성을 요청할 수 있다. 예를 들어, 전자 장치(200)는 컨텍스트 정보에 기초하여 제1 컨텐츠로부터 제2 컨텐츠를 생성하도록 하는 프롬프트를 생성할 수 있다. 전자 장치(200)는 생성된 프롬프트에 기초하여 인공지능 모델에 제2 컨텐츠의 생성을 요청할 수 있다. 전자 장치는 도 4의 동작 440을 참조하여 동작을 수행할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 프로젝터(220)를 통해서 제2 컨텐츠를 포함하는 화면을 투사면에 투사할 수 있다. 전자 장치는 도 4의 동작 450을 참조하여 동작을 수행할 수 있다.
도 4는 본 개시의 일 실시예에 따른, 프로젝터(240)를 포함하는 전자 장치(200)가 프로젝터(240)를 통해서 컨텐츠를 출력하는 프로세스를 도시한 흐름도(400)이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 4를 참조하면, 동작 410에서 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))는, 프로젝터(예: 도 1의 디스플레이 모듈(160), 도 2의 프로젝터(220))를 통해서 제1 컨텐츠를 포함하는 화면을 표시하도록 하는 어플리케이션을 실행할 수 있다. 예를 들어, 제1 컨텐츠는 원본 컨텐츠를 포함할 수 있다. 제1 컨텐츠는 기계학습된 인공지능 모델을 통해 생성되는 대상이 되는 원본 컨텐츠를 포함할 수 있다. 예를 들어, 어플리케이션은 사용자의 입력에 의해 실행될 수 있다. 사용자의 입력은 전자 장치(200)에 대한 터치 입력을 포함할 수 있다. 어플리케이션은 전자 장치(200)를 통해 컨텐츠를 포함하는 화면을 표시하도록 하는 사용자 입력에 의해 실행될 수 있다. 예를 들어, 전자 장치(200)는 프리젠테이션용 컨텐츠를 표시하도록 하는 어플리케이션을 실행할 수 있다. 예를 들어, 전자 장치(200)는 컴퓨터 또는 모바일 전자기기 중 적어도 하나와 연동된 컨텐츠를 표시하도록 하는 어플리케이션을 실행할 수 있다.
도 4를 참조하면, 동작 420에서 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))는, 실행된 어플리케이션에 기초하여, 프로젝터(예: 도 1의 디스플레이 모듈(160), 도 2의 프로젝터(220))로부터 방출된 광이 투사면에 조사되는 영역을 포함하는 프로젝팅 영역을 결정할 수 있다. 일 실시예에 따르면, 전자 장치는 외부 물체의 투사면에 관련된 정보에 기초하여 프로젝팅 영역을 결정할 수 있다. 예를 들면, 전자 장치(200)는 센서(예: 도 2의 센서부(210))를 통해 외부 물체의 투사면에 관한 정보를 수집하고 컨텐츠를 포함한 화면이 투사될 수 있는 영역에 관한 면적, 크기, 또는 형태 중 적어도 하나를 결정할 수 있다. 예를 들면, 전자 장치(200)는 투사면의 굴곡, 단차, 패턴, 색상 또는 재질 중 적어도 하나를 검출하여 투사면이 화면을 표시할 수 있는 면인지 여부를 판단할 수 있다. 예를 들면, 전자 장치(200)는 센싱한 정보에 따라 물리적으로 광을 방출하고, 방출된 광이 투사면에 조사되는 영역을 판단하여 프로젝팅 영역(예: 도 3의 프로젝팅 영역(320))을 결정할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 프로젝팅 영역을 직사각형 형태로 결정할 수 있다. 예를 들면, 전자 장치는 프로젝팅 영역을 모바일 전자 장치 또는 컴퓨터 장치에서 표시되는 디스플레이와 같은 비율을 가지는 직사각형 형태로 결정할 수 있다. 예를 들면, 전자 장치는 프로젝팅 영역을 가로와 세로의 비율이 16:9, 16:10, 또는 4:3의 비율을 가지는 영역으로 결정할 수 있다. 다만, 프로젝팅 영역의 형태는 이에 한정되지 아니한다. 예를 들어, 전자 장치는 프로젝팅 영역을 투사면의 배치, 투사면의 형태 또는 프로젝터(220)의 특성에 따라서 다르게 결정할 수 있다.
도 4를 참조하면, 동작 430에서 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))는, 실행된 어플리케이션에 기초하여, 환경 정보에 기초하여 프로젝팅 영역 내에서 내용 표시 영역을 결정할 수 있다. 일 실시예에 따르면, 내용 표시 영역은 프로젝팅 영역(예: 도 3의 프로젝팅 영역(320))에서 프로젝터(220)와 프로젝팅 영역(예: 도 3의 프로젝팅 영역(320)) 사이의 장애물에 의해 프로젝터(220)에서 출력되는 광이 차단되는 영역을 제외한 영역을 포함할 수 있다. 예를 들어, 프로젝터(220)와 프로젝팅 영역 사이에 사람이 서있을 경우, 전자 장치(200)는 카메라를 통해서 사람이 촬영된 영역을 식별하고, 식별된 영역에 상응하는 프로젝팅 영역의 일부를 제외한 영역을 내용 표시 영역으로 결정할 수 있다. 예를 들면, 프로젝터(220)와 프로젝팅 영역 사이에 사람과 물체가 위치하고 있어 프로젝팅 영역 중 일부 영역에 광이 조사되지 않을 경우, 전자 장치(200)는 사람과 물체를 제외한 영역으로서 프로젝팅 영역 내에서 광이 조사되고 있는 영역을 내용 표시 영역으로 결정할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 사용자와 프로젝팅 영역(예: 도 3의 프로젝팅 영역(320)) 사이의 장애물을 제외한 영역을 포함하는 영역을 내용 표시 영역으로 결정할 수 있다. 예를 들면, 투사면을 바라보는 사용자와 투사면인 프로젝팅 영역 사이에 장애물이 있을 경우, 전자 장치(200)는 장애물을 제외한 영역을 내용 표시 영역으로 설정할 수 있다. 예를 들면, 천장에 달려있는 프로젝터(220)와 프로젝터(220)로부터 광이 조사되는 스크린 사이에 사람이 없고, 스크린을 바라보는 사용자와 스크린 사이에 사람이 서있는 경우, 전자 장치(200)는 사용자와 스크린 사이의 사람을 제외한 영역을 내용 표시 영역으로 결정할 수 있다. 일 실시예에 따르면, 환경 정보는 전자 장치(200) 주변의 환경에 관해 센서(210) 또는 외부 장치로부터 수신할 수 있는 정보를 포함할 수 있다. 예를 들면, 환경 정보는 이미지 센서(예: 도 1의 센서 모듈(176), 도 2의 센서부(210))를 통해 수집한 프로젝터(220)와 프로젝팅 영역(예: 도 3의 프로젝팅 영역(320)) 사이의 장애물 정보, 또는 사용자(예: 도 3의 사용자(340)와 프로젝팅 영역(예: 도 3의 프로젝팅 영역(320)) 사이의 장애물 정보 중 적어도 하나를 포함할 수 있다.
도 4를 참조하면, 동작 440에서 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))는, 인공지능 모델을 통해서 생성된 제2 컨텐츠를 포함하는 데이터를 획득할 수 있다. 일 실시예에 따르면, 전자 장치(200)는, 내용 표시 영역을 포함하는 컨텍스트 정보에 기초하여 제1 컨텐츠에 관련된 컨텐츠 정보로부터 기계학습된 인공지능 모델을 통해서 생성된 제2 컨텐츠를 포함하는 데이터를 획득할 수 있다. 예를 들면, 전자 장치(200)는 원본 컨텐츠인 제1 컨텐츠에 관련된 컨텐츠 정보로부터 내용 표시 영역 내에 표시되도록 생성된 제2 컨텐츠에 관한 데이터를 획득할 수 있다. 예를 들면, 전자 장치(200)가 프로젝팅 영역에서 장애물을 제외한 영역으로 내용 표시 영역을 설정한 경우, 전자 장치(200)는 텍스트로 이루어진 제1 컨텐츠와 관련된 컨텐츠 정보를 통해 내용 표시 영역의 크기 또는 형태 중 적어도 하나에 기초하여 요약된 제2 컨텐츠를 포함하는 데이터를 획득할 수 있다. 전자 장치(200)는, 이미지들로 이루어진 제1 컨텐츠에 대해 컨텐츠 정보를 통해 내용 표시 영역내에 표시되도록 편집된 제2 컨텐츠를 포함하는 데이터를 획득할 수 있다. 전자 장치(200)는, 동영상으로 이루어진 제1 컨텐츠에 대해 컨텐츠 정보를 통해 내용 표시 영역 내에 표시되도록 편집된 제2 컨텐츠를 포함하는 데이터를 획득할 수 있다. 일 실시예에 따르면, 전자 장치(200)는, 환경 정보를 포함하는 컨텍스트 정보에 기초하여 제1 컨텐츠에 관련된 컨텐츠 정보로부터 기계학습된 인공지능 모델을 통해서 생성된 제2 컨텐츠를 포함하는 데이터를 획득할 수 있다. 예를 들면, 전자 장치(200)는 시인성 정보에 기초하여 컨텐츠 정보로부터 기계학습된 인공지능 모델을 통해서 생성된 제2 컨텐츠를 포함하는데 데이터를 획득할 수 있다. 전자 장치(200)는 사용자들의 시인성 확보가 어렵다는 시인성 정보에 기초하여 원본 컨텐츠에 포함된 텍스트를 요약하여 생성한 제2 컨텐츠에 관한 데이터를 획득할 수 있다. 전자 장치(200)는 사용자들의 시인성 확보가 어렵다는 시인성 정보에 기초하여 원본 컨텐츠를 확대하여 생성한 제2 컨텐츠에 관한 데이터를 획득할 수 있다. 전자 장치(200)는 사용자들의 시인성 확보가 어렵다는 시인성 정보에 기초하여 원본 컨텐츠를 합성하여 생성한 제2 컨텐츠에 관한 데이터를 획득할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 기계학습된 인공지능 모델을 통해 제2 컨텐츠를 포함하는 데이터를 획득할 수 있다. 예를 들면, 전자 장치(200)는 학습된 컨텐츠를 바탕으로 새로운 컨텐츠를 만드는 딥러닝 기술을 통해 제2 컨텐츠를 포함하는 데이터를 재생산할 수 있다. 딥러닝 기술에는 Gen AI(generative AI(artificial intelligence), LLM(large language model)이 포함될 수 있다. 예를 들어, 전자 장치는 프롬프트를 바탕으로 새로운 컨텐츠를 생성하는 기계학습된 인공지능 모델을 이용하여 제2 데이터에 관한 데이터를 획득할 수 있다. 전자 장치는 컨텍스트 정보에 기초하여 인공지능 모델에 컨텐츠의 생성을 요청하는 프롬프트를 결정할 수 있다. 전자 장치는 결정된 프롬프트를 인공지능 모델에 입력함으로써 인공지능 모델을 통해서 제2 데이터에 관한 데이터를 획득할 수 있다.
도 4를 참조하면, 동작 450에서 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))는, 제2 컨텐츠를 포함하는 화면을 투사면에 투사할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 프로젝터(220)를 통해서 제2 컨텐츠를 포함하는 화면을 투사면에 투사할 수 있다. 예를 들어, 전자 장치(200)는 프로젝팅 영역에 상응하는 영역에 제2 컨텐츠를 포함하는 화면을 투사할 수 있다. 제2 컨텐츠가 포함된 내용 표시 영역은 프로젝팅 영역에 포함될 수 있다. 예를 들어, 전자 장치(200)가 장애물을 제외한 영역을 내용 표시 영역으로 설정한 경우, 전자 장치(200)는 내용 표시 영역에 상응하는 영역에 제2 컨텐츠를 투사할 수 있다.
도 5는 본 개시의 일 실시예에 따른, 프로젝터를 포함하는 전자 장치가 프롬프트를 이용해서 컨텐츠를 생성하는 프로세스를 도시한 흐름도(500)이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 도 5에 도시되는 프로세스는 도 4의 동작 430에 후속하여 수행될 수 있다.
도 5를 참조하면, 동작 540에서 전자 장치(200)는 컨텍스트 정보 또는 컨텐츠 정보 중 적어도 하나에 기초하여 제2 컨텐츠의 속성과 관련된 정보를 포함하는 프롬프트를 생성할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 컨텍스트 정보에 해당하는 프로젝팅 거리(예: 도 3의 프로젝팅 거리(330))와 사용자와 프로젝팅 영역 사이의 거리(예: 도 3의 350)에 기초하여 프롬프트를 생성할 수 있다. 예를 들면, 전자 장치(200)는 프로젝팅 거리(예: 도 3의 330) 또는 사용자와 프로젝팅 영역 사이의 거리(예: 도 3의 350)가 임계 거리보다 멀 경우, 시인성 확보가 불가능하다고 판단하고 문자의 수를 감소시키는 요약된 컨텐츠를 생성하도록 하는 프롬프트를 생성할 수 있다. 전자 장치(200)는 프로젝팅 거리 또는 사용자와 프로젝팅 영역 사이의 거리가 임계 거리보다 멀 경우, 중요하다고 판단되는 부분을 확대하여 제공하는 컨텐츠를 생성하도록 하는 프롬프트를 생성할 수 있다. 예를 들어, 전자 장치(200)는 사용자와 프로젝팅 영역 사이의 거리가 멀수록 컨텐츠에 포함된 텍스트의 수를 줄이고, 텍스트에 포함된 문자의 폰트 크기를 증가시키도록 프롬프트를 생성할 수 있다. 예를 들어, 전자 장치(200)는 프로젝팅 거리 또는 사용자와 프로젝팅 영역 사이의 거리가 임계 거리보다 멀 경우, 사용자의 취향 정보가 반영된 내용 중심으로 요약되거나 확대된 컨텐츠를 생성하도록 하는 프롬프트를 생성할 수 있다. 예를 들어, 전자 장치(200)는 사용자의 취향 정보에 관련된 내용으로 이미지 또는 영상을 크롭(crop)하도록 하는 프롬프트를 생성할 수 있다. 예를 들어, 전자 장치(200)는 사용자의 취향 정보에 관련된 문구가 포함되거나, 텍스트의 수를 줄이도록 하는 프롬프트를 생성할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 컨텍스트 정보에 해당하는 프로젝팅 영역(예: 도 3의 프로젝팅 영역(320))에 기초하여 프롬프트를 생성할 수 있다. 예를 들면, 전자 장치(200)는 프로젝팅 영역에 해당하는 외부 물체의 투사면에 굴곡 또는 단차가 있는 경우, 원거리의 컨텐츠를 확대하는 방법, 또는 선명도를 높여 제공하는 방법 중 적어도 하나를 이용해 컨텐츠를 생성하도록 하는 프롬프트를 생성할 수 있다. 예를 들면, 전자 장치(200)는 프로젝팅 영역에 해당하는 외부 물체의 투사면에 패턴이 존재하는 경우, 배경의 색 대비 강도를 높이는 방법, 또는 아웃라인이나 흑백 처리하는 방법 중 적어도 하나를 통해 컨텐츠를 생성하도록 하는 프롬프트를 생성할 수 있다. 예를 들면, 전자 장치(200)는 프로젝팅 영역에 해당하는 외부 물체의 투사면에 흰색이 아닌 부분이 존재하는 경우, 흰색이 아닌 부분에 대해 밝기, 명암, 또는 색 온도 중 적어도 하나를 조절하여 컨텐츠를 생성하도록 하는 프롬프트를 생성할 수 있다. 예를 들면, 전자 장치(200)는 프로젝팅 영역과 제1 컨텐츠가 표시되고 있는 영역을 비교하여 표시되고 있지 않는 영역이 있는 경우, 제1 컨텐츠를 제외한 영역에 제1 컨텐츠와 관련된 컨텐츠를 생성하도록 하는 프롬프트를 생성할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 컨텍스트 정보에 해당하는 장애물 정보 또는 내용 표시 영역 중 적어도 하나에 기초하여 프롬프트를 생성할 수 있다. 예를 들면, 전자 장치(200)는, 장애물로 인해 프로젝팅 영역 중 적어도 일부의 영역이 가려지는 경우, 프로젝팅 영역 중 가려지지 않은 영역에 상응하는 영역에 컨텐츠를 생성하도록 하는 프롬프트를 생성할 수 있다. 예를 들면, 전자 장치(200)는, 내용 표시 영역에 해당하는 영역에 상응하는 컨텐츠를 생성하도록 하는 프롬프트를 생성할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 컨텍스트 정보에 해당하는 사용자 정보에 기초하여 프롬프트를 생성할 수 있다. 예를 들면, 전자 장치(200)는, 복수의 사용자 중 가장 원거리에 있는 사용자가 임계 거리 이상의 거리에 있는 경우, 컨텐츠를 확대하거나 컨텐츠를 요약하여 제2 컨텐츠를 생성하도록 하는 프롬프트를 생성할 수 있다. 예를 들면, 전자 장치(200)는, 설정된 동작을 수행하는 사용자가 있을 경우, 확대되거나 요약된 컨텐츠를 생성하도록 하는 프롬프트를 생성할 수 있다. 설정된 동작은 사용자가 프로젝팅 영역을 향해 접근하는 동작, 사용자가 얼굴을 프로젝팅 영역으로 내미는 동작 중 적어도 하나로 시인성과 관련된 동작이 해당할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 컨텍스트 정보에 해당하는 전자 장치(200) 주변의 소음 정보에 기초하여 프롬프트를 생성할 수 있다. 예를 들면, 전자 장치(200)는 주변의 소음이 임계 값 이상인 경우, 주변의 소음이 존재하는 환경에서도 사용자들이 들을 수 있도록 음성 데이터에 포함된 단어의 수를 줄이거나, 음량 또는 음향 중 적어도 하나를 변경한 컨텐츠를 생성하도록 하는 프롬프트를 생성할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 컨텍스트 정보에 해당하는 전자 장치(200)에 관한 정보에 기초하여 프롬프트를 생성할 수 있다. 예를 들면, 전자 장치(200)가 이동 가능한 장치인 경우, 제1 위치에서 제2 위치로 이동한 뒤 제2 위치에서 프로젝팅 영역에 투사할 수 있는 컨텐츠를 생성하도록 하는 프롬프트를 생성할 수 있다. 예를 들면, 전자 장치(200)의 배터리 정보에서 배터리가 임계 값 이하인 경우, 전자 장치(200)는 전력 소모를 줄일 수 있도록 텍스트의 양을 줄이거나, 이미지의 수를 줄이거나, 해상도 또는 밝기 중 적어도 하나가 낮은 컨텐츠를 생성하도록 하는 프롬프트를 생성할 수 있다. 예를 들면, 전자 장치(200)의 배터리가 임계 값 이상이거나, 또는 충전 중인 경우, 해상도 또는 밝기 중 적어도 하나를 높인 컨텐츠를 생성하도록 하는 프롬프트를 생성할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 내용 표시 영역 또는 컨텐츠 정보 중 적어도 하나에 기초하여 제2 컨텐츠의 속성과 관련된 정보를 포함하는 프롬프트를 생성할 수 있다. 예를 들면, 전자 장치(200)는 도 4의 동작 430에서 결정한 내용 표시 영역과 원본 컨텐츠인 제1 컨텐츠와 관련된 컨텐츠 정보에 기초하여, 내용 표시 영역에 상응하게 제1 컨텐츠로부터 제2 컨텐츠를 생성하도록 하는 프롬프트를 생성할 수 있다. 예를 들면, 제1 컨텐츠가 표시되는 영역보다 내용 표시 영역이 작은 경우, 전자 장치(200)는 내용 표시 영역과 컨텐츠 정보에 기초하여, 내용 표시 영역에 상응하게 제1 컨텐츠를 축소 또는 요약한 제2 컨텐츠를 생성하도록 하는 프롬프트를 생성할 수 있다. 예를 들면, 제1 컨텐츠가 표시되는 영역보다 내용 표시 영역이 큰 경우, 전자 장치(200)는 내용 표시 영역과 컨텐츠 정보에 기초하여, 내용 표시 영역에 상응하게 제2 컨텐츠를 생성하도록 하는 프롬프트를 생성할 수 있다. 제2 컨텐츠는 제1 영역에 표시되는 제1 컨텐츠와, 제1 컨텐츠와 연관된 컨텐츠를 포함할 수 있다. 제1 컨텐츠와 연관된 컨텐츠는 제1 영역과 다른 제2 영역에 표시될 수 있다. 프로젝팅 영역은 제1 영역 및 제2 영역을 포함할 수 있다.
일 실시예에 따르면, 도 5의 동작 540에서, 전자 장치(200)는 시인성 정보에 기초하여 제2 컨텐츠의 속성과 관련된 정보를 포함하는 프롬프트를 생성할 수 있다. 예를 들면, 전자 장치(200)는 시인성이 확보된다고 판단한다면, 원본 컨텐츠인 제1 컨텐츠와 동일한 컨텐츠를 출력할 수 있다. 예를 들면, 전자 장치(200)는 시인성이 확보되지 않는다고 판단한다면, 제1 컨텐츠로부터 제2 컨텐츠를 생성하도록 하는 프롬프트를 생성할 수 있다. 전자 장치(200)는 제1 컨텐츠의 텍스트를 요약하도록 하는 프롬프트를 생성할 수 있다. 전자 장치(200)는 제1 컨텐츠의 폰트를 변경하도록 하는 프롬프트를 생성할 수 있다. 전자 장치(200)는 제1 컨텐츠의 영상 또는 이미지를 확대하도록 하는 프롬프트를 생성할 수 있다. 전자 장치(200)는 제1 컨텐츠에 포함된 복수의 영상 또는 이미지들을 합성하도록 하는 프롬프트를 생성할 수 있다. 일 실시예에서, 전자 장치(200)가 시인성이 확보되는지 판단하여 프롬프트를 생성하는 프로세스에 대한 실시예는, 도 9 및 도 10에서 기재하도록 한다.
도 5를 참조하면, 동작 550에서 전자 장치(200)는 인공지능 모델에 프롬프트를 입력하여 제2 컨텐츠를 포함하는 데이터를 획득할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 기계학습된 인공지능 모델에 프롬프트를 입력함으로써 제2 컨텐츠를 포함하는 데이터를 획득할 수 있다. 예를 들면, 기계학습된 인공지능 모델은 생성형 AI일 수 있다. 예를 들면, 전자 장치(200)는 생성한 프롬프트를 기계학습된 인공지능 모델에 입력하고, 하나의 입력 데이터 단위인 프롬프트를 통해 출력 데이터인 제2 컨텐츠를 포함하는 데이터를 획득할 수 있다.
도 6은 본 개시의 일 실시예에 따른, 프로젝팅 영역과 프로젝터 사이에 장애물이 배치되어 있을 경우 장애물을 식별하고 컨텐츠를 출력하는 프로세스를 도시한 흐름도(600)이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 도 6에 도시되는 프로세스는 도 4의 동작 420에 후속하여 수행될 수 있다. 이하 도 6의 적어도 일부 동작은 도 7 및 도 8을 참조하여 설명할 것이다. 도 7과 도 8은, 본 개시의 일 실시예에 따른, 도 8은, 본 개시의 일 실시예에 따른, 전자 장치가 장애물이 식별된 영역에 기초하여 제1 컨텐츠로부터 생성한 제2 컨텐츠의 예시를 설명하기 위한 도면이다.
도 6을 참조하면, 동작 630에서 전자 장치(200)는 장애물을 식별할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 프로젝팅 영역(예: 도 3의 프로젝팅 영역(320))과 프로젝터(예: 도 3의 프로젝터를 포함하는 전자 장치(310)) 사이에 배치된 장애물을 식별할 수 있다. 예를 들면, 프로젝터(220)와 외부 물체의 투사면이 포함하는 프로젝팅 영역(예: 도 3의 프로젝팅 영역(320)) 사이에 물체가 위치한 경우, 전자 장치(200)는 물체를 장애물로 식별할 수 있다. 예를 들면, 프로젝터(220)와 외부 물체의 투사면이 포함하는 프로젝팅 영역(예: 도 3의 프로젝팅 영역(320)) 사이에 사람이 위치한 경우, 전자 장치(200)는 사람을 장애물로 식별할 수 있다. 전자 장치(200)는 장애물을 센서부(210)를 통해 식별할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 사용자(예: 도 3의 사용자(340))와 프로젝팅 영역(예: 도 3의 프로젝팅 영역(320)) 사이에 배치된 장애물을 식별할 수 있다. 예를 들면, 사용자(예: 도 3의 사용자(340))가 외부 물체의 투사면을 바라보는 방향에 장애물이 존재하는 경우, 전자 장치(200)는 사용자 정보를 포함하는 환경 정보를 통해 장애물을 식별할 수 있다.
도 6을 참조하면, 동작 640에서 전자 장치(200)는 프로젝팅 영역에서 장애물을 포함하는 영역을 제외하는 영역으로 내용 표시 영역을 결정할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 프로젝팅 영역에서 식별된 장애물을 포함하는 영역을 제외함으로써 내용 표시 영역을 결정할 수 있다. 예를 들면, 도 7의 상황 701에서, 프로젝팅 영역(711)에 장애물이 식별되지 않은 경우, 전자 장치(200)는 프로젝팅 영역(711)과 동일한 영역으로 내용 표시 영역(713)을 결정할 수 있다. 도 7의 상황 703에서, 프로젝팅 영역(731)에 장애물(735)이 식별된 경우, 전자 장치(200)는 프로젝팅 영역(731)에서 장애물(735)을 제외하는 영역으로 내용 표시 영역(733)을 결정할 수 있다. 예를 들면, 도 8의 상황 801에서, 프로젝팅 영역(811)에 장애물(815)이 식별된 경우, 전자 장치(200)는 프로젝팅 영역(811)에서 장애물(815)을 제외하는 영역으로 내용 표시 영역(813)을 결정할 수 있다. 도 8의 상황 803에서, 프로젝팅 영역(831)에 장애물(835)이 식별된 경우, 전자 장치(200)는 프로젝팅 영역(831)에서 장애물(835)을 제외하는 영역으로 내용 표시 영역(833)을 결정할 수 있다.
도 6을 참조하면, 동작 650에서 전자 장치(200)는 인공지능 모델을 통해서 생성된 제2 컨텐츠를 포함하는 데이터를 획득할 수 있다. 일 실시예에 따르면, 동작 650은 도 4의 동작 440과 동일한 동작일 수 있다. 일 실시예에 따르면, 인공지능 모델을 통해 생성된 제2 컨텐츠는 제1 컨텐츠의 텍스트를 요약한 컨텐츠일 수 있다. 예를 들면, 도 7에서, 상황 701에 도시된 내용 표시 영역(713)에 표시된 컨텐츠는 원본 컨텐츠인 제1 컨텐츠일 수 있다. 도 7에서, 상황 703에 도시된 내용 표시 영역(733)에 표시된 컨텐츠는 제1 컨텐츠의 텍스트를 요약하는 방법으로 생성한 제2 컨텐츠일 수 있다. 일 실시예에 따르면, 인공지능 모델을 통해 생성된 제2 컨텐츠는 제1 컨텐츠의 이미지 또는 영상을 요약, 선택, 합성, 또는 확대한 이미지 또는 영상일 수 있다. 예를 들면, 도 7에서, 상황 701에 도시된 내용 표시 영역(713)에 표시된 컨텐츠는 원본 컨텐츠인 제1 컨텐츠일 수 있다. 상황 703에 도시된 내용 표시 영역(733)에 표시된 컨텐츠는 제1 컨텐츠의 이미지를 선택 및 확대하는 방법으로 생성한 제2 컨텐츠일 수 있다. 일 실시예에 따르면, 인공지능 모델을 통해 생성된 제2 컨텐츠는 제1 컨텐츠를 장애물을 제외한 내용 표시 영역에 표시한 컨텐츠일 수 있다. 예를 들면, 도 8에서, 상황 801에 도시된 프로젝팅 영역(811)에 표시된 컨텐츠는 원본 컨텐츠인 제1 컨텐츠일 수 있다. 상황 801에서, 제1 컨텐츠의 일부 텍스트는 장애물(815)에 의해 가려져 사용자가 식별하지 못하는 상황일 수 있다. 도 8에서, 상황 803에 도시된 내용 표시 영역(833)에 표시된 컨텐츠는 제1 컨텐츠를 내용 표시 영역(833)에 표시하는 방법으로 생성한 제2 컨텐츠일 수 있다. 전자 장치(200)는 제1 컨텐츠를 장애물(835)을 제외한 내용 표시 영역(833)에 재배치함으로써 제2 컨텐츠를 생성할 수 있다.
도 6을 참조하면, 동작 660에서 전자 장치(200)는 제2 컨텐츠를 포함하는 화면을 투사면에 투사할 수 있다. 일 실시예에 따르면, 동작 660은 도 4의 동작 450과 동일한 동작일 수 있다.
도 6을 참조하면, 동작 670에서 전자 장치(200)는 식별된 장애물이 이동하는지 여부를 결정할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 센서부(210)를 통해 식별한 장애물이 이동하는지 여부를 결정할 수 있다. 예를 들면, 전자 장치(200)는 이미지 센서를 통해서 획득된 영상에 대한 영상 인식을 통해 장애물이 이동하는지 여부를 결정할 수 있다. 예를 들면, 전자 장치(200)는 외부 전자 장치(102, 104)로부터 수신된 정보를 통해 장애물이 이동하는지 여부를 결정할 수 있다. 일 실시예에 따르면, 전자 장치(200)가 식별한 장애물이 이동하는 경우, 전자 장치(200)는 동작 680을 수행할 수 있다. 일 실시예에 따르면, 전자 장치(200)가 식별한 장애물이 이동하지 않는 경우, 전자 장치(200)는 도 6의 프로세스를 종료할 수 있다.
도 6을 참조하면, 동작 680에서 전자 장치(200)는 내용 표시 영역을 변경할 수 있다. 일 실시예에 따르면, 전자장치(200)는 식별한 장애물이 이동하는 경우, 내용 표시 영역을 변경할 수 있다. 예를 들어, 전자 장치(200)는 식별된 장애물(예: 도 7의 735, 도 8의 815, 도 8의 835)이 이동하는 경우, 프로젝팅 영역 내에서 식별된 장애물이 포함된 영역을 제외함으로써 내용 표시 영역을 변경할 수 있다. 전자 장치(200)가 변경한 내용 표시 영역은, 장애물이 이동하기 전 결정된 내용 표시 영역과 상이한 영역을 포함할 수 있다.
도 6을 참조하면, 동작 690에서 전자 장치(200)는 변경된 내용 표시 영역에 기초하여 제2 컨텐츠와 상이한 제3 컨텐츠를 포함하는 화면을 투사면에 투사할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 변경된 내용 표시 영역에 기초하여 제1 컨텐츠에 관련된 컨텐츠 정보로부터 기계학습된 인공지능 모델을 통해서 생성된 제2 컨텐츠와 상이한 제3 컨텐츠를 포함하는 데이터를 획득할 수 있다. 예를 들면, 전자 장치(200)는 변경된 내용 표시 영역에 기초하여 컨텐츠 정보로부터 기계학습된 인공지능 모델을 통해서 제3 컨텐츠를 포함하는 데이터를 획득할 수 있다. 제3 컨텐츠는 제2 컨텐츠와 다른 영역에 표시되는 컨텐츠일 수 있다. 일 실시예에 따르면, 전자 장치(200)는 제2 컨텐츠와 상이한 제3 컨텐츠를 포함하는 화면을 투사면에 투사할 수 있다. 예를 들면, 전자 장치(200)는 변경된 장애물의 위치에 맞게 새로 설정된 내용 표시 영역에 제3 컨텐츠를 투사할 수 있다. 일 실시예에 따르면, 전자 장치(200)가 제3 컨텐츠를 포함하는 화면을 투사면에 투사한 이후 동작 670을 수행할 수 있다.
도 9는 본 개시의 일 실시예에 따른, 전자 장치가 프롬프트를 생성하는 프로세스를 도시한 흐름도(900)이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 도 9에 도시되는 프로세스는 도 5의 동작 540의 실시예 중 하나일 수 있다. 이하 도 9의 적어도 일부 동작은 도 11, 도 12 및 도 13을 참조하여 설명할 것이다. 도 11은, 본 개시의 일 실시예에 따른, 컨텐츠가 시인 가능한지 여부에 기초하여 컨텐츠를 표시하는 예시를 설명하기 위한 도면이다. 도 12는, 본 개시의 일 실시예에 따른, 제1 컨텐트에 포함된 텍스트를 요약하여 제2 컨텐츠를 획득하는 예시를 설명하기 위한 도면이다. 도 13은, 본 개시의 일 실시예에 따른, 제1 컨텐트에 포함된 이미지를 요약하고 텍스트의 폰트를 변경하여 제2 컨텐츠를 획득하는 예시를 설명하기 위한 도면이다.
도 9를 참조하면, 동작 910에서 전자 장치(200)는 컨텐츠의 시인성과 관련된 정보와 임계치를 비교할 수 있다. 일 실시예에 따르면, 컨텐츠의 시인성과 관련된 정보에는 프로젝팅 영역(예: 도 3의 프로젝팅 영역(320))과 사용자 간의 거리(예: 도 3의 350)가 포함될 수 있다. 예를 들면, 전자 장치(200)는 센서부(210)를 통해 인식한 사용자 정보(예: 도 3의 사용자(340))와, 외부 물체의 투사면에 위치한 프로젝팅 영역에 대한 정보를 통해 프로젝팅 영역과 사용자 간의 거리를 판단할 수 있다. 일 실시예에 따르면, 컨텐츠의 시인성과 관련된 정보에는 프로젝팅 영역(예: 도 3의 프로젝팅 영역(320))의 면적이 포함될 수 있다. 예를 들어, 전자 장치(200)는 센서부(210)를 통해 프로젝팅 영역의 면적에 대한 정보를 수집할 수 있다. 일 실시예에 따르면, 컨텐츠의 시인성과 관련된 정보에는 사용자의 수가 포함될 수 있다. 일 실시예에 따르면, 컨텐츠의 시인성과 관련된 정보에는 사용자의 연령 정보가 포함될 수 있다. 예를 들어, 전자 장치(200)는 메모리(230) 또는 외부 장치로부터 사용자의 연령 정보를 수집할 수 있다. 예를 들어, 사용자의 연령 정보는 연령대별 사용자의 수로 분류된 정보일 수 있다.
도 9를 참조하면, 동작 920에서 전자 장치(200)는 시인성 정보를 획득할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 컨텐츠의 시인성과 관련된 정보를 통해 시인성 정보를 획득할 수 있다. 예를 들면, 전자 장치(200)는 컨텐츠에 대한 사용자들의 시인성이 확보될 경우 시인성이 확보된다는 시인성 정보를 획득할 수 있다. 도 11의 상황 1101에 도시된 바와 같이, 사용자가 혼자서 실내공간에서 전자 장치를 사용하는 경우, 사용자와 전자 장치(200)의 프로젝팅 영역 간의 거리가 임계치 이하이고, 사용자 수가 임계치 이하인 경우, 전자 장치(200)는 사용자의 시인성이 확보된다는 시인성 정보를 획득할 수 있다. 예를 들면, 전자 장치(200)는 컨텐츠에 대한 사용자들의 시인성이 확보되지 않을 경우 시인성이 확보되지 않는다는 시인성 정보를 획득할 수 있다. 도 11의 상황 1103에 도시된 바와 같이, 수많은 사용자가 강의실 같은 넓은 공간에서 전자 장치를 사용하는 경우, 사용자들과 프로젝팅 영역 간의 거리가 임계치 이상이고, 사용자 수가 임계치 이상인 경우, 전자 장치(200)는 사용자의 시인성이 확보되지 않는다는 시인성 정보를 획득할 수 있다.
도 9를 참조하면, 동작 930에서 전자 장치(200)는 획득한 시인성 정보를 이용하여 프롬프트를 생성할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 사용자들의 시인성이 확보된다는 시인성 정보를 이용하여 원본 컨텐츠인 제1 컨텐츠와 동일한 컨텐츠를 생성하도록 하는 프롬프트를 생성할 수 있다. 예를 들면, 도 11의 상황 1101에 도시된 바와 같이, 전자 장치(200)가 시인성이 확보된다는 시인성 정보를 획득한 경우, 전자 장치(200)는 원본 컨텐츠인 제1 컨텐츠와 동일한 컨텐츠를 생성하도록 하는 프롬프트를 생성할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 사용자들의 시인성이 확보되지 않는다는 시인성 정보를 이용하여 제1 컨텐츠를 변경하여 생산하도록 하는 프롬프트를 생성할 수 있다. 예를 들면, 도 11의 상황 1103에 도시된 바와 같이, 전자 장치(200)가 시인성이 확보되지 않는다는 시인성 정보를 획득한 경우, 전자 장치(200)는 원본 컨텐츠인 제1 컨텐츠의 텍스트를 요약하도록 하는 프롬프트를 생성할 수 있다. 예를 들면, 전자 장치(200)는 시인성이 확보되지 않는다는 시인성 정보를 획득한 경우, 도 12에 도시된 바와 같이 텍스트를 요약하도록 하는 프롬프트를 생성할 수 있다. 원본 컨텐츠인 제1 컨텐츠(1201)에서 텍스트를 인식하여 텍스트 수를 줄인 제2 컨텐츠(1203)를 생성하도록 하는 프롬프트를 생성할 수 있다. 전자 장치(200)는 원본 컨텐츠인 제1 컨텐츠(1201)에서 텍스트의 폰트를 변경하고 폰트 크기를 확장한 제2 컨텐츠(1203)를 생성하도록 하는 프롬프트를 생성할 수 있다. 예를 들면, 전자 장치(200)는 시인성이 확보되지 않는다는 시인성 정보를 획득한 경우, 도 13에 도시된 바와 같이, 전자 장치(200)는 이미지 또는 영상을 요약 또는 선택하고 텍스트의 폰트를 변경하도록 하는 프롬프트를 생성할 수 있다. 원본 컨텐츠인 제1 컨텐츠(1301)에서 이미지를 선택하고 텍스트의 폰트를 변경한 제2 컨텐츠(1303)를 생성하도록 하는 프롬프트를 생성할 수 있다.
도 10은 본 개시의 일 실시예에 따른, 복수개의 조건에 기초하여 컨텐츠가 시인 가능한지 여부를 판단하는 프로세스를 도시한 흐름도(1000)이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 도 10에 도시되는 프로세스는 도 5의 동작 540의 실시예 중 하나일 수 있다. 이하 도 10의 적어도 일부 동작은 도 11, 도 12 및 도 13을 참조하여 설명할 것이다. 도 11은, 본 개시의 일 실시예에 따른, 컨텐츠가 시인 가능한지 여부에 기초하여 컨텐츠를 표시하는 예시를 설명하기 위한 도면이다. 도 12는, 본 개시의 일 실시예에 따른, 제1 컨텐트에 포함된 텍스트를 요약하여 제2 컨텐츠를 획득하는 예시를 설명하기 위한 도면이다. 도 13은, 본 개시의 일 실시예에 따른, 제1 컨텐트에 포함된 이미지를 요약하고 텍스트의 폰트를 변경하여 제2 컨텐츠를 획득하는 예시를 설명하기 위한 도면이다.
도 10을 참조하면, 동작 1010에서 전자 장치(200)는 컨텍스트 정보를 획득할 수 있다. 일 실시예에 따르면, 컨텍스트 정보에는 프로젝팅 영역과 사용자 간의 거리, 프로젝팅 영역의 면적, 사용자의 수, 또는 사용자의 연령 정보 중 적어도 하나가 포함될 수 있다. 예를 들면, 전자 장치(200)는 컨텍스트 정보를 센서부(210), 메모리(230), 또는 외부 장치로부터 수신할 수 있다. 일 실시예에 따르면, 동작 1010은 도 9의 동작 910의 일부일 수 있다.
도 10을 참조하면, 동작 1020에서 전자 장치(200)는 컨텍스트 정보 중 거리가 제1 임계치 이상인지 여부를 판단할 수 있다. 일 실시예에 따르면, 동작 1020은 도 9의 동작 910의 일부일 수 있다. 일 실시예에 따르면, 전자 장치(200)는 프로젝팅 영역과 사용자 간의 거리가 제1 임계치 이상인지 여부를 판단할 수 있다. 예를 들면, 도 11의 상황 1101에서, 전자 장치(200)는 프로젝팅 영역과 사용자 간의 거리가 제1 임계치 미만임을 판단할 수 있다. 예를 들면, 도 11의 상황 1103에서, 전자 장치(200)는 프로젝팅 영역과 사용자 간의 거리가 제1 임계치 이상임을 판단할 수 있다. 제 1 임계치는 전자 장치(200)의 특성 및 설정 정보에 따라 변경될 수 있다. 일 실시예에 따르면, 전자 장치(200)는 거리가 제1 임계치 이상이라고 판단될 경우, 동작 1070을 수행할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 거리가 제1 임계치 미만이라고 판단되거나 거리 정보가 없는 경우, 동작 1030을 수행할 수 있다.
도 10을 참조하면, 동작 1030에서 전자 장치(200)는 컨텍스트 정보 중 면적이 제2 임계치 이하인지 여부를 판단할 수 있다. 일 실시예에 따르면, 동작 1030은 도 9의 동작 910의 일부일 수 있다. 일 실시예에 따르면, 전자 장치(200)는 프로젝팅 영역의 면적이 제2 임계치 이하인지 여부를 판단할 수 있다. 예를 들면, 전자 장치(200)는 프로젝팅 영역(예: 도 3의 프로젝팅 영역(320))의 면적을 판단하여, 제2 임계치와 비교할 수 있다. 예를 들면, 전자 장치(200)는 프로젝팅 영역의 면적이 사용자의 시인성이 판단되지 않을 정도인지 판단하기 위한 제2 임계치를 설정할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 면적이 제2 임계치 이하라고 판단될 경우, 동작 1070을 수행할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 면적이 제2 임계치 초과라고 판단되거나 면적 정보가 없는 경우, 동작 1040을 수행할 수 있다.
도 10을 참조하면, 동작 1040에서 전자 장치(200)는 컨텍스트 정보 중 사용자 수가 제3 임계치 이상인지 여부를 판단할 수 있다. 일 실시예에 따르면, 동작 1040은 도 9의 동작 910의 일부일 수 있다. 일 실시예에 따르면, 전자 장치(200)는 사용자의 수가 제3 임계치 이상인지 여부를 판단할 수 있다. 예를 들면, 도 11의 상황 1101에서, 전자 장치(200)는 전자 장치(200) 주변의 방 안의 사용자 수가 제3 임계치 미만임을 판단할 수 있다. 예를 들면, 도 11의 상황 1103에서, 전자 장치(200)는 전자 장치(200) 주변의 강의실 내의 사용자 수가 제3 임계치 이상임을 판단할 수 있다. 제3 임계치는 전자 장치(200)의 특성, 전자 장치(200) 주변 정보, 사용자 정보 및 설정 정보에 따라 변경될 수 있다. 일 실시예에 따르면, 전자 장치(200)는 사용자 수가 제3 임계치 이상이라고 판단될 경우, 동작 1070을 수행할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 사용자 수가 제3 임계치 미만이라고 판단되거나 사용자 정보가 없는 경우, 동작 1050을 수행할 수 있다.
도 10을 참조하면, 동작 1050에서 전자 장치(200)는 컨텍스트 정보 중 연령이 제4 임계치 이상인지 여부를 판단할 수 있다. 일 실시예에 따르면, 동작 1050은 도 9의 동작 910의 일부일 수 있다. 일 실시예에 따르면, 전자 장치(200)는 사용자들의 연령이 제4 임계치 이상인지 여부를 판단할 수 있다. 예를 들면, 도 11의 상황 1101에서 대학생인 사용자가 전자 장치(200)를 사용하고 있는 경우, 전자 장치(200)는 사용자의 정보를 통해 사용자의 연령이 제 4 임계치 미만임을 판단할 수 있다. 예를 들면, 도 11의 상황 1103에서 다양한 연령대의 성인 수강자들이 강의실에 있는 경우, 전자 장치(200)는 사용자들의 연령이 제4 임계치 이상임을 판단할 수 있다. 예를 들면, 사용자들의 연령 판단시 높은 연령자인 사용자를 기준으로 사용자들의 연령을 판단할 수 있다. 제4 임계치는 전자 장치(200)의 특성, 전자 장치(200) 주변 정보, 사용자 정보 및 설정 정보에 따라 변경될 수 있다. 일 실시예에 따르면, 전자 장치(200)는 사용자의 연령이 제4 임계치 이상이라고 판단될 경우, 동작 1070을 수행할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 사용자의 연령이 제4 임계치 미만이라고 판단되거나 사용자 연령 정보가 없는 경우, 동작 1060을 수행할 수 있다.
도 10을 참조하면, 동작 1060에서 전자 장치(200)는 사용자들의 시인성이 확보된다는 시인성 정보를 획득할 수 있다. 일 실시예에 따르면, 동작 1060은 도 9의 동작 920의 일부일 수 있다.
도 10을 참조하면, 동작 1070에서 전자 장치(200)는 사용자들의 시인성이 확보되지 않는다는 시인성 정보를 획득할 수 있다. 일 실시예에 따르면, 동작 1070은 도 9의 동작 920의 일부일 수 있다.
도 10을 참조하면, 동작 1080에서 전자 장치(200)는 시인성 정보를 이용하여 프롬프트를 생성할 수 있다. 일 실시예에 따르면, 동작 1080은 도 9의 동작 930의 일부일 수 있다.
도 14는 본 개시의 일 실시예에 따른, 프로젝팅 영역 내의 여백 공간에 컨텐츠를 생성하는 프로세스를 도시한 흐름도(1400)이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 도 14에 도시되는 프로세스는 도 4의 동작 420에 후속하여 수행될 수 있다. 이하 도 14의 적어도 일부 동작은 도 15를 참조하여 설명할 것이다. 도 15는, 본 개시의 일 실시예에 따른, 프로젝팅 영역 내의 여백 공간에 컨텐츠를 생성하는 예시를 설명하기 위한 도면이다.
도 14를 참조하면, 동작 1410에서 전자 장치(200)는 프로젝팅 영역의 면적이 제1 컨텐츠가 표시되는 면적을 비교할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 동작 420에서 결정한 프로젝팅 영역의 면적과 원본 컨텐츠인 제1 컨텐츠가 표시되는 영역의 면적을 비교할 수 있다. 예를 들면, 도 15의 상황 1510에서, 전자 장치(200)는 원본 컨텐츠인 제1 컨텐츠가 표시되는 영역(1513)의 면적과 프로젝팅 영역(1511)의 면적을 비교할 수 있다. 전자 장치는 프로젝팅 영역(1511)의 면적이 제1 컨텐츠가 표시되는 영역(1513)보다 큰 것을 판단할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 프로젝팅 영역의 면적이 제1 컨텐츠가 표시되는 영역의 면적보다 크다고 판단할 경우, 동작 1420을 수행할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 프로젝팅 영역의 면적이 제1 컨텐츠가 표시되는 영역의 면적보다 작거나 같다고 판단할 경우, 동작 430을 수행할 수 있다.
도 14를 참조하면, 동작 1420에서 전자 장치(200)는 제2 컨텐츠를 생성하기 충분한 상황인지 판단할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 결정된 내용 표시 영역에 상응하는 영역에 제2 컨텐츠를 생성할 수 있는지 판단할 수 있다. 예를 들어, 전자 장치(200)는 컨텍스트 정보에 기반하여 제2 컨텐츠를 생성할 수 있는지 판단할 수 있다. 전자 장치(200)는 메모리(230)의 용량, 전자 장치(200)의 배터리 정보, 전자 장치(200)의 통신 속도, 전자 장치에서 실행되고 있는 어플리케이션의 수, 또는 사용자 정보 중 적어도 하나에 기반하여 제2 컨텐츠를 생성할 수 있는 상황인지 판단할 수 있다. 예를 들면, 전자 장치(200)는 메모리(230)의 잔여 용량이 임계 값 이하인 경우 제2 컨텐츠를 생성하기 충분하지 않은 상황으로 판단할 수 있다. 전자 장치는 메모리의 잔여 용량이 임계 값 초과인 경우 제2 컨텐츠를 생성하기 충분한 상황이라고 판단할 수 있다. 전자 장치는 배터리 정보를 통해 배터리가 임계 값 이상인 경우 제2 컨텐츠를 생성하기 충분한 상황이라고 판단할 수 있다. 전자 장치는 통신 속도가 임계 값 이상인 경우 제2 컨텐츠를 생성하기 충분한 상황으로 판단할 수 있다. 전자 장치는 인터넷 속도가 임계 값 이상인 경우 제2 컨텐츠를 생성하기 충분한 상황으로 판단할 수 있다. 전자 장치는 전자 장치에서 실행되고 있는 어플리케이션의 수가 임계 값 이하인 경우 제2 컨텐츠를 생성하기 충분한 상황으로 판단할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 제2 컨텐츠를 생성하기 충분한 상황이라고 판단하면 동작 1430을 수행할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 제2 컨텐츠를 생성하기 충분한 상황이라고 판단하지 않을 경우 동작 1440을 수행할 수 있다.
도 14를 참조하면, 동작 1430에서 전자 장치(200)는 아웃페인팅(out painting) 이미지 또는 아웃페인팅 동영상을 포함하는 제2 컨텐츠를 생성할 수 있다. 본 개시에서, 아웃페인팅(out painting) 이미지 또는 아웃페인팅 동영상은, 전자 장치에서 기존 컨텐츠(예: 원본 이미지, 원본 동영상)가 표시되는 영역의 주변에 기존 컨텐츠에서부터 연장되어 표시될 수 있는 이미지 또는 동영상(예: 원본 이미지 또는 원본 동영상의 경계로부터 연속적으로 표시되는 객체를 포함하는 이미지 또는 동영상)을 의미할 수 있다. 전자 장치는 기존 컨텐츠와 아웃페인팅 이미지를 포함하는 제2 컨텐츠를 출력할 수 있다. 예를 들면, 도 15를 참조하면, 전자 장치(200)는, 상황 1510의 기존 컨텐츠인 제1 컨텐츠(1513)를 이용하여 아웃페인팅 이미지를 포함하는 상황 1530의 제2 컨텐츠(1531)를 생성할 수 있다. 전자 장치(200)는 아웃페인팅 이미지인 기존 컨텐츠(1513)로부터 연장되어 표시되는 컨텐츠(1535)를 생성하고, 생성한 아웃페인팅 컨텐츠(1535)와 기존 컨텐츠(1533)를 함께 표시한 제2 컨텐츠(1531)를 출력할 수 있다. 다만 이에 한정되지 아니한다. 전자 장치(200)는 기존 컨텐츠와 연관된 컨텐츠를 아웃페인팅 이미지를 생성하는 방식이 아닌 다른 방식으로 생성하여 기존 컨텐츠의 주변에 표시할 수도 있다.
일 실시예에 따르면, 전자 장치(200)는 프로젝팅 영역에 상응하는 영역을 내용 표시 영역으로 결정하여 내용 표시 영역에 상응하는 영역에 아웃페인팅 이미지(1535) 또는 아웃페인팅 동영상을 포함하는 제2 컨텐츠를 생성할 수 있다. 예를 들면, 전자 장치(200)는 프로젝팅 영역의 면적이 제1 컨텐츠가 표시되는 영역의 면적보다 큰 상황에서, 프로젝팅 영역에 상응하는 영역을 내용 표시 영역으로 결정할 수 있다. 예를 들면, 도 15의 상황 1510에서, 전자 장치(200)는 프로젝팅 영역(1511)에 상응하는 영역을 내용 표시 영역(1511)으로 결정할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 제1 컨텐츠가 표시되는 제1 영역 및 제1 영역과 다른 제2 영역을 포함하는 영역을 내용 표시 영역으로 결정할 수 있다. 예를 들면, 도 15의 상황 1510에서, 전자 장치(200)는 제1 컨텐츠가 표시되는 제1 영역(1513) 및 제1 영역(1513)과 다르고 프로젝팅 영역(1511)에 포함되는 제2 영역(1515)을 내용 표시 영역으로 결정할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 내용 표시 영역을 포함하는 컨텍스트 정보에 기초하여 제1 컨텐츠에 관련된 컨텐츠 정보로부터 기계학습된 인공지능 모델을 통해서 생성한 아웃페인팅 이미지를 포함하는 제2 컨텐츠를 생성할 수 있다. 전자 장치(200)는 내용 표시 영역을 포함하는 컨텍스트 정보에 기초하여, 제1 영역에 배치되고 제1 영상을 포함하는 제1 컨텐츠, 및 인공지능 모델에 의해 생성되고 제1 영역과 다른 제2 영역 내에 표시되는 제2 영상을 포함하는 제2 컨텐츠를 표시할 수 있다. 예를 들어, 도 15에 도시된 바에 따르면, 전자 장치(200)는 결정된 내용 표시 영역(1531)에 기초하여, 제1 영역(1533)에 배치되는 제1 컨텐츠(1533) 및 인공지능 모델에 의해 생성되고 제1 영역(1533)과 다른 프로젝팅 영역(1531) 내의 제2 영역(1535) 내에 표시되는 제2 컨텐츠(1535)를 표시할 수 있다. 제1 컨텐츠 또는 제2 컨텐츠는 영상, 텍스트, 또는 이미지 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 인공지능 모델을 이용하여 제2 컨텐츠(1531)를 생성하고, 후속 동작으로 동작 450을 수행할 수 있다.
도 14를 참조하면, 동작 1440에서 전자 장치(200)는 엠비언트라이트(ambient light) 이미지를 포함하는 제2 컨텐츠를 생성할 수 있다. 본 개시에서, 엠비언트라이트(ambient light) 이미지 또는 엠비언트라이트 동영상은, 기존 컨텐츠(예: 원본 이미지 또는 원본 동영상)가 표시되는 영역의 주변에 기존 컨텐츠에서부터 연장되어 표시될 수 있는 이미지 또는 동영상을 의미할 수 있다. 전자 장치는 기존 컨텐츠와 엠비언트라이트 이미지 또는 동영상을 포함하는 제2 컨텐츠를 출력할 수 있다. 엠비언트라이트 이미지는, 기존 컨텐츠와 연관된 색상 또는 윤곽 중 적어도 하나를 이용하여 생성한 이미지일 수 있다. 예를 들어, 앰비언트 라이트 기법에 기초하여 생성된 컨텐츠는 아웃페인팅 기법에 기초하여 생성된 컨텐츠에 비해 단순화된 컨텐츠를 포함할 수 있다. 예를 들면, 도 15를 참조하면, 전자 장치(200)는, 상황 1510의 기존 컨텐츠인 제1 컨텐츠(1513)를 이용하여 엠비언트라이트 이미지(1555) 또는 엠비언트라이트 동영상을 포함하는 상황 1550의 제2 컨텐츠(1551)를 생성할 수 있다. 전자 장치(200)는 엠비언트라이트 기법을 통해 기존 컨텐츠(1513)와 연관된 색상과 윤곽을 이용하여 기존 컨텐츠(1513)와 연관된 엠비언트라이트 이미지 또는 엠비언트라이트 동영상(1555)을 생성하고, 생성한 컨텐츠(1555)와 기존 컨텐츠(1553)를 함께 표시한 제2 컨텐츠(1551)를 출력할 수 있다. 전자 장치는 메모리(230)의 용량, 전자 장치(200)의 배터리 정보, 전자 장치(200)의 통신 속도, 전자 장치에서 실행되고 있는 어플리케이션의 수, 또는 사용자 정보 중 적어도 하나에 기반하여 제2 컨텐츠를 원활하게 생성하기 힘든 경우에 엠비언트라이트 이미지 또는 엠비언트라이트 동영상을 생성할 수 있다. 다만 이에 한정되지 아니한다. 전자 장치(200)는 기존 컨텐츠와 연관된 컨텐츠를 앰비언트라이트 기법이 아닌 방식으로 생성하여 기존 컨텐츠의 주변에 표시할 수도 있다.
일 실시예에 따르면, 전자 장치(200)는 프로젝팅 영역에 상응하는 영역을 내용 표시 영역으로 결정하여 내용 표시 영역에 상응하는 영역에 엠비언트라이트 컨텐츠를 포함하는 제2 컨텐츠를 생성할 수 있다. 예를 들면, 전자 장치(200)는 프로젝팅 영역의 면적이 제1 컨텐츠가 표시되는 영역의 면적보다 큰 상황에서, 프로젝팅 영역에 상응하는 영역을 내용 표시 영역으로 결정할 수 있다. 예를 들면, 도 15의 상황 1510에서, 전자 장치(200)는 프로젝팅 영역(1511)에 상응하는 영역을 내용 표시 영역(1511)으로 결정할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 제1 컨텐츠가 표시되는 제1 영역 및 제1 영역과 다른 제2 영역을 포함하는 영역을 내용 표시 영역으로 결정할 수 있다. 예를 들면, 도 15의 상황 1510에서, 전자 장치(200)는 제1 컨텐츠가 표시되는 제1 영역(1513) 및 제1 영역(1513)과 다르고 프로젝팅 영역(1511)에 포함되는 제2 영역(1515)을 내용 표시 영역으로 결정할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 내용 표시 영역을 포함하는 컨텍스트 정보에 기초하여 제1 컨텐츠에 관련된 컨텐츠 정보로부터 기계학습된 인공지능 모델을 통해서 아웃페인팅 컨텐츠를 포함하는 제2 컨텐츠를 생성할 수 있다. 전자 장치(200)는 내용 표시 영역을 포함하는 컨텍스트 정보에 기초하여, 제1 영역에 배치되고 제1 영상을 포함하는 제1 컨텐츠, 및 인공지능 모델에 의해 생성되고 제1 영역과 다른 제2 영역 내에 표시되는 제2 영상을 포함하는 제2 컨텐츠를 표시할 수 있다. 예를 들어, 도 15에 도시된 바에 따르면, 전자 장치(200)는 결정된 내용 표시 영역(1551)에 기초하여, 제1 영역(1553)에 배치되는 제1 컨텐츠(1553) 및 인공지능 모델에 의해 생성되고 제1 영역(1553)과 다른 프로젝팅 영역(1551) 내의 제2 영역(1555) 내에 표시되는 제2 컨텐츠(1555)를 표시할 수 있다. 제1 컨텐츠 또는 제2 컨텐츠는 영상, 텍스트, 또는 이미지 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 인공지능 모델을 이용하여 제2 컨텐츠(1551)를 생성하고, 후속 동작으로 동작 450을 수행할 수 있다.
도 16는 본 개시의 일 실시예에 따른, 제1 컨텐츠의 일부를 대체하여 제2 컨텐츠를 생성하는 프로세스를 도시한 흐름도(1600)이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 도 16에 도시되는 프로세스는 도 4의 동작 420에 후속하여 수행될 수 있다. 이하 도 16의 적어도 일부 동작은 도 17을 참조하여 설명할 것이다. 도 17은, 본 개시의 일 실시예에 따른, 제1 컨텐츠의 일부를 대체하여 제2 컨텐츠를 생성하는 예시를 설명하기 위한 도면이다.
도 16을 참조하면, 동작 1610에서 전자 장치(200)는 제1 컨텐츠 내에서 메인 영역 및 서브 영역을 결정할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 내용 표시 영역 내에서 메인 영역 및 서브 영역을 결정할 수 있다. 예를 들면, 도 17의 상황 1710에서, 전자 장치(200)는 내용 표시 영역을 제3 영역(1711)과 제4 영역(1713)을 모두 포함하는 영역으로 결정할 수 있다. 전자 장치(200)는 내용 표시 영역 내에서 메인 영역(1711) 및 서브 영역(1713)을 결정할 수 있다. 예를 들면, 메인 영역(1711)인 제3 영역(1711)은 사용자가 응시하는 위치를 포함하는 영역일 수 있다. 전자 장치(200)는 사용자 정보를 이용하여 사용자가 응시하는 위치 정보를 알 수 있고, 전자 장치(200)는 사용자가 응시하는 위치를 포함하는 영역을 메인 영역(1711)으로 결정할 수 있다. 제1 컨텐츠는 도 17의 상황 1710에 도시된 바와 같이, 제3 영역(1711)과 제4 영역(1713)을 모두 포함하는 컨텐츠일 수 있다.
도 16을 참조하면, 동작 1620에서 전자 장치(200)는 메인 영역의 컨텐츠에 기초하여 서브 영역에 상응하는 컨텐츠를 생성할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 결정된 메인 영역의 컨텐츠에 기초하여 기계학습된 인공지능 모델을 통해 서브 영역에 상응하는 컨텐츠를 생성할 수 있다. 예를 들면, 도 17에 도시된 바에 따르면, 전자 장치(200)는 결정된 메인 영역의 컨텐츠(1711)에 기초하여 기계학습된 인공지능 모델을 통해 서브 영역에 상응하는 컨텐츠(1723)를 생성할 수 있다. 서브 영역(1723)에 생성된 컨텐츠는, 메인 영역(1721)인 제3 영역(1721)의 컨텐츠를 기초로 인공지능 모델을 통해 생성한 컨텐츠일 수 있다. 서브 영역에 생성된 컨텐츠(1723)는, 메인 영역의 컨텐츠(1721)와 배경, 인물, 또는 느낌 중 적어도 하나가 연관된 컨텐츠일 수 있다.
도 16을 참조하면, 동작 1630에서 전자 장치(200)는 서브 영역이 생성된 컨텐츠로 대체된 제2 컨텐츠를 획득할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 메인 영역(제3 영역) 내에 배치된 컨텐츠 및 인공지능 모델에 의해 생성되어 서브 영역(제4 영역) 내에 배치되는 컨텐츠를 포함하는 제2 컨텐츠를 획득할 수 있다. 예를 들면, 도 17에 도시된 바에 따르면, 전자 장치(200)는 메인 영역(1721) 내에 배치된 컨텐츠 및 인공지능 모델에 의해 생성되어 서브 영역(1723) 내에 배치되는 컨텐츠를 포함하는 제2 컨텐츠를 획득할 수 있다. 제3 영역(1721) 내의 컨텐츠는 변경되지 않고 제2 컨텐츠의 일부로 배치될 수 있다. 제4 영역 내의 원본 컨텐츠(1713)는 인공지능 모델에 의해 생성되어 제4 영역(1723) 내에서 대체될 수 있다. 일 실시예에 따르면, 전자 장치(200)는 제3 영역(1721) 내에 배치된 제3 영상, 및 인공지능 모델에 의해 생성되고 제4 영역(1723) 내에 표시되는 제5 영상(1723)을 포함하는 제2 컨텐츠를 획득할 수 있다. 예를 들면, 제5 영상(1723)은 제3 영상(1711)과 연관성 있는 영상일 수 있다. 또한 실시예들에 따른 컨텐츠는 텍스트, 이미지, 또는 영상 중 적어도 하나를 포함하는 실시예들일 수 있다. 일 실시예에 따르면, 전자 장치(200)는 동작 1630 이후에, 도 4의 동작 450을 수행할 수 있다.
도 18은 본 개시의 일 실시예에 따른 사용자의 선호도 정보를 고려하여 제2 컨텐츠를 생성하는 프로세스를 도시한 흐름도(1800)이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 도 18에 도시되는 프로세스는 도 4의 동작 420에 후속하여 수행될 수 있다. 이하 도 18의 적어도 일부 동작은 도 19를 참조하여 설명할 것이다. 도 19는, 본 개시의 일 실시예에 따른, 사용자의 선호도 정보를 고려하여 일부 영역으로 확대한 컨텐츠를 생성하는 예시를 설명하기 위한 도면이다.
도 18을 참조하면, 동작 1810에서 전자 장치(200)는 사용자 선호도 정보가 존재하는지 판단할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 메모리(230) 또는 외부 장치에 컨텍스트 정보에 포함되는 사용자 선호도 정보가 존재하는지 판단할 수 있다. 예를 들면, 사용자 선호도 정보는 사용자의 시선정보와 연관된 컨텐츠 정보, 사용자가 입력한 선호도 정보, 사용자가 소비한 컨텐츠 정보 또는 사용자 행동 정보가 포함될 수 있다. 예를 들면, 사용자 선호도 정보는 센서부(210)에 의해 수집된 정보, 메모리(230)에 저장된 정보, 또는 외부 장치에 의해 수집된 정보 중 적어도 하나에 의해 수집된 정보일 수 있다. 예를 들면, 사용자 선호도 정보는, 도 19의 상황 1910에서, 제1 컨텐츠(1911)에 다양한 인물이 등장할 경우, 다양한 인물 중 한명의 인물에 대한 선호도를 나타내는 정보일 수 있다. 일 실시예에 따르면, 전자 장치(200)는 사용자 선호도 정보가 존재하지 않는다고 판단하면, 도 4의 동작 430을 수행할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 사용자 선호도 정보가 존재한다고 판단하면, 동작 1820을 수행할 수 있다.
도 18을 참조하면, 동작 1820에서 전자 장치(200)는 시인성 확보가 어려운지 판단할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 도 10의 동작 1020, 동작 1030, 동작 1040, 동작 1050, 동작 1060, 또는 동작 1070 중 적어도 하나를 수행하여 시인성 정보를 획득할 수 있다. 예를 들면, 전자 장치(200)는 거리, 면적, 사용자 수, 또는 연령과 관련된 정보를 임계치와 비교하여 시인성이 확보된다는 시인성 정보를 획득할 수 있다. 예를 들면, 전자 장치(200)는 거리, 면적, 사용자 수, 또는 연령과 관련된 정보를 임계치와 비교하여 시인성이 확보되지 않는다는 시인성 정보를 획득할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 시인성이 확보되지 않는다는 시인성 정보를 획득한 경우, 동작 1830을 수행할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 시인성이 확보된다는 시인성 정보를 획득한 경우, 도 4의 동작 430을 수행할 수 있다.
도 18을 참조하면, 동작 1830에서 전자 장치(200)는 일부 영역을 확대하여 제2 컨텐츠를 생성할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 인공지능 모델을 통해서 제1 컨텐츠 중 사용자의 선호도 정보에 기반하여 선정된 일부 영역으로 확대한 제2 컨텐츠를 생성할 수 있다. 예를 들면, 전자 장치(200)는 사용자 선호도 정보에 기반하여 일부 영역을 선정하여, 제1 컨텐츠를 일부 영역으로 확대한 제2 컨텐츠를 생성할 수 있다. 예를 들면, 전자 장치(200)는 사용자 선호도 정보에 기반하여 제1 컨텐츠를 일부 영역으로 확대하도록 하는 프롬프트를 생성할 수 있다. 전자 장치(200)는 생성한 프롬프트를 이용해 기계학습된 인공지능 모델을 통해 제2 컨텐츠를 생성할 수 있다. 예를 들면, 도 19에 도시된 바에 따르면, 전자 장치(200)는 상황 1910에 도시된 제1 컨텐츠(1911)에 포함되는 다양한 인물 중 사용자 선호도 정보에 따라 한 명의 인물이 위치한 영역으로 일부 영역을 결정할 수 있다. 전자 장치(200)는 상황 1920에 도시된 바와 같이, 결정한 일부 영역으로 확대한 제2 컨텐츠(1921)를 생성할 수 있다. 전자 장치(200)는 제1 컨텐츠에 포함되는 다양한 물체 중 사용자 선호도 정보에 따라 단수 또는 복수 중 적어도 하나의 물체가 위치한 영역으로 일부 영역을 결정할 수 있다. 전자 장치는 결정한 일부 영역에 따라 단수 또는 복수 중 적어도 하나의 물체가 나오는 영역으로 확대한 제2 컨텐츠를 생성할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 제1 컨텐츠의 일부 영역으로 확대한 제2 컨텐츠를 생성한 뒤, 도 4의 동작 450을 수행할 수 있다.
도 20은 본 개시의 일 실시예에 따른 전자 장치의 예시로서, 원통형 전자 장치를 나타낸 도면이다. 일 실시예에 따르면, 식별번호 2010은 원통형 전자 장치(200)에 관한 사시도일 수 있다. 전자 장치(200)는 프로젝터(2001)(예: 도 1의 160, 도 2의 220)를 포함할 수 있다. 전자 장치(200)는 프로젝터(2001)의 양쪽에 센서(2012,2013)(예: 도 2의 210)를 포함할 수 있다. 센서(2012, 2013)는 이미지 센서를 포함할 수 있다. 일 실시예에 따르면, 식별번호 2020은 원통형 전자 장치(200)에 관한 정면도일 수 있다. 전자 장치(200)는 프로젝터(2001)의 측면부에 센서(2022)를 포함할 수 있다. 전자 장치(200)는 원통형 모양의 프로젝터(2001)와 센서(2012, 2013, 2022, 2032)를 포함할 수 있고, 원통형 모양의 프로젝터를 포함하는 기기부는 회전하면서 프로젝팅 되는 영역을 변경할 수 있다. 일 실시예에 따르면, 식별번호 2030은 원통형 전자 장치(200)에 관한 측면도일 수 있다. 전자 장치(200)는 프로젝터(2001)의 측면부에 센서(2032)를 포함할 수 있다.
도 21은 본 개시의 일 실시예에 따른 전자 장치의 예시로서, 로봇형 전자 장치를 나타낸 도면이다. 일 실시예에 따르면, 식별번호 2100은 로봇형 전자 장치(200)에 관한 사시도일 수 있다. 전자 장치(200)는 프로젝터(2101)를 포함할 수 있다. 전자 장치(200)는 프로젝터의 하단, 상단, 또는 측면 중 적어도 하나에 센서(2102)를 포함할 수 있다. 전자 장치(200)는 바퀴(2103)를 포함하는 로봇형 형태일 수 있다. 예를 들면, 전자 장치(200)는 바퀴를 이용하여 이동하면서 화면을 투사면에 투사할 수 있다. 전자 장치(200)는 장애물을 피해 이동하여 화면을 투사할 수 있다. 전자 장치(200)는 통신이 원활하지 않은 경우, 투사하는 화면의 해상도가 낮을 경우, 또는 다른 투사면에 화면을 투사할 필요가 있을 경우에 이동하여 화면을 투사할 수 있다.
도 22는 본 개시의 일 실시예에 따른 전자 장치의 예시로서, 박스형 전자 장치를 나타낸 도면이다. 일 실시예에 따르면, 식별번호 2201은 박스형 전자 장치(200)에 관한 상면도일 수 있다. 전자 장치(200)는 측면에 프로젝터(2211)를 포함할 수 있다. 전자 장치(200)는 상면부에 센서(2221)을 포함할 수 있다. 전자 장치(200)는 하면부, 측면부에 센서를 포함할 수 있다. 일 실시예에 따르면, 식별번호 2202는 박스형 전자 장치(200)에 관한 사시도일 수 있다. 전자 장치(200)는 측면부에 프로젝터(2212)를 포함하고, 프로젝터의 옆에 센서(2222)를 포함할 수 있다. 전자 장치(200)는 식별번호 2202에 도시된 바와 같이, 바닥면에 놓여 사용될 수 있다. 전자 장치(200)는 천장부에 매달려 사용될 수 있다. 전자 장치의 센서(2221,2222)는 이미지 센서를 포함할 수 있다.
도 23은 본 개시의 일 실시예에 따른, 전자 장치에서 기계학습된 인공지능 모델의 동작 방법과 관련한 예시를 설명하기 위한 도면이다.
일 실시예에 따르면, 전자 장치(200)는 인공지능 모델의 동작과 관련하여 컨텍스트 정보(2301)를 사용할 수 있다. 예를 들면, 전자 장치(200)는 메모리(230)에 저장되어 있는 컨텍스트 정보(2301)를 이용할 수 있다. 전자 장치(200)는 도 23에 도시된 컨텍스트 정보(2301)를 메모리(230)에 저장할 수 있다. 컨텍스트 정보(2301)는 센서부(210)를 통해 수집된 정보, 또는 외부 장치를 통해 수집된 정보를 포함할 수 있다. 컨텍스트 정보(2301)는 주변 환경에 대한 환경 정보, 전자 장치가 결정한 내용 표시 영역과 관련된 정보, 공간 정보, 또는 상황 정보를 포함할 수 있다.
일 실시예에 따르면, 인공지능 프레임워크(AI framework)(2302)는 사용자의 입력을 수신하고, 사용자의 질의에 기초하여 사용자의 의도를 수행하기 위해 필요한 각각의 컴포넌트들을 조율하고 제어할 수 있다.
일 실시예에서, 컨텍스트 정보(2301)는 프롬프트 생성부(2312)로 전송될 수 있다. 프롬프트 생성부(2312)는 사용자 입력을 LLM(large language model) or LMM(large multimodal models)에 입력하기에 적합한 프롬프트를 생성하는데 사용될 수 있다. 프롬프트 생성부(2312)는 시간이 지남에 따라 더 나은 프롬프트를 개발하기 위해 머신 러닝 알고리즘 또는 신경망을 사용하는 AI 컴포넌트일 수 있다. 프롬프트 생성부(2312)는 사용자 입력에 기초하여 사용자 선호도 데이터, 프롬프트 라이브러리, 및 프롬프트 예제를 포함하는 프롬프트 라이브러리(2303)에 엑세스하여 프롬프트를 생성하고, 생성한 프롬프트를 LLM or LMM에 전달할 수 있다. 프롬프트 생성부(2312)는 적어도 하나의 센서 또는 외부 장치 중 적어도 하나로부터 전자 장치의 외부 환경에 대한 정보를 수신하고, 수신한 전자 장치의 외부 환경에 대한 정보를 기반으로 프롬프트를 생성할 수 있다. 프롬프트 생성부(2312)는 프롬프트를 컨텐츠 생성부(2305)로 발신할 수 있다.
일 실시예에서, API(application programming interface)/플러그인 관리 컴포넌트(Plug-in management component)(2322)는 사용자 입력을 생성형 모델의 입력으로 전달할 때 추가 정보에 대한 요청이 있는 경우 외부 정보와 통신하는 역할을 수행할 수 있다. API/플러그인 관리 컴포넌트(2322)는 API를 통해 AI 인터페이스 외부와 통신할 수 있는 채널을 구축하며, 구축한 채널을 통해 다양한 data source(예: 프롬프트 라이브러리(2303))에 접근할 수 있도록 할 수 있다. 또한 API/플러그인 관리 컴포넌트(2322)는 중간 결과가 아니라 최종적으로 사용자의 입력을 수행하는 액션을 application 또는 서비스에서 수행해야 하는 경우 해당 액션을 API를 통해 어플리케이션(application)/서비스 컴포넌트(service component)(2304)에 요청할 수 있다. 외부로부터 확보한 정보는 사용자 입력과 함께 프롬프트 생성부(2312)에서 프롬프트를 생성하는데 사용될 수도 있고 생성형 모델의 입력으로 전달될 수도 있다.
일 실시예에서, 프로젝팅 영역 및 컨텐츠 레이아웃 관리부(2332)는 생성형 모델에서 출력하는 결과를 세부적으로 튜닝할 수 있다. 예를 들어, 프로젝팅 영역 및 컨텐츠 레이아웃 관리부(2332)는 LLM 및/또는 LLM을 통해 생성되는 컨텐츠가 관련성이 없는 것은 아닌지, 편향적인 내용을 포함하지 않는지, 또는 유해한 내용을 포함하고 있지 않은지를 검증할 수 있다. 또한 프로젝팅 영역 및 컨텐츠 레이아웃 관리부(2332)는 사용자가 원하는 결과물에 어느 정도 일치하는지를 판단하여 만약 추가적인 과정이 필요한 경우 해당 과정을 진행하는 것도 가능하다. 프로젝팅 영역 및 컨텐츠 레이아웃 관리부(2332)는 추가적으로 원치 않은 출력을 피하기 위한 힌트를 구성하여 사용자에게 제공할 수 있다. 프로젝팅 영역 및 컨텐츠 레이아웃 관리부(2332)는 적어도 하나의 센서로부터 프로젝팅 영역의 정보를 수신할 수 있다. 프로젝팅 영역 및 컨텐츠 레이아웃 관리부(2332)는 프로젝팅 영역의 정보를 수신하고 제1 컨텐츠의 변경이 필요한 경우 프로젝팅 영역의 정보가 포함된 제2 컨텐츠의 생성을 요청하는 신호를 컨텐츠 생성부(2305)로 발신할 수 있다.
일 실시예에서, 컨텐츠 생성부(2305)는 생성형(generative) AI 모델(2315)을 포함할 수 있다. 컨텐츠 생성부(2305)는 제2 컨텐츠의 생성을 요청하는 신호와 프롬프트를 수신하여 기계학습된 인공지능 모델을 통해서 제2 컨텐츠를 생성할 수 있다.
일 실시예에서, 생성형 AI 모델(2315)은 일반적으로 사용자 입력 정보에 의존해 새로운 형태의 데이터를 만들어내는 인공지능 신경망을 의미할 수 있다. 생성형 AI 모델(2315)은 이미지를 생성하는 모델 및/또는 언어를 생성하는 모델을 포함할 수 있다. 이미지를 생성하는 모델은 대표적으로 GAN(generative adversarial network), VAE(variational auto encoder)가 있으며, VAE와 트랜스포머(Transformer)구조를 사용하는 확산(diffusion)(예: 스테이블 디퓨전(stable diffusion), 일루전 디퓨전(illusion diffusion))기반 생성형 모델(예: 잠재 확산 모델(latent diffusion model))을 예로 들 수 있다. 언어를 생성하는 모델은 입력 값을 기반으로 통계학적으로 가장 적절한 출력 값을 출력하도록 학습된 모델로 대표적으로 CHAT-GPT 3, CHAT-GPT 4와 같은 모델을 예로 들 수 있다. 또한 문자, 이미지, 음성 등 다양한 형태의 데이터 입력을 인식하고 이에 상응하는 새로운 데이터를 생성할 수 있는 LMM도 있다.
도 24는 본 개시의 일 실시예에 따른, 전자 장치가 컨텐츠를 생성하는 프로세스를 도시한 흐름도(2400)이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 24를 참조하면, 동작 2411에서 전자 장치(200)는 프로젝팅 거리가 임계 거리 이하인지 판단할 수 있다. 일 실시예에 따르면, 전자 장치는 프로젝팅 거리를 판단하여 임계 거리와 비교할 수 있다. 예를 들면, 전자 장치는 전자 장치와 프로젝팅 영역 사이의 거리(예: 도 3의 330)를 판단할 수 있다. 전자 장치는 사용자와 프로젝팅 영역 사이의 거리(예: 도 3의 350)를 판단할 수 있다. 일 실시예에 따르면, 전자 장치는 프로젝팅 거리가 임계 거리 이하일 경우, 동작 2430을 수행할 수 있다. 전자 장치는 프로젝팅 거리가 임계 거리를 초과할 경우 동작 2421을 수행할 수 있다.
도 24를 참조하면, 동작 2421에서 전자 장치(200)는 시인성 정보를 획득할 수 있다. 일 실시예에 따르면, 전자 장치는 거리, 면적, 사용자 수, 및/또는 연령 정보를 고려하여 시인성 정보를 획득할 수 있다. 예를 들면, 전자 장치는 프로젝팅 거리가 임계치 이상인 경우, 프로젝팅 면적이 임계치 이하인 경우, 사용자 수가 임계치 이상인 경우, 및/또는 사용자 연령이 임계치 이상인 경우 시인성이 확보되지 않는다는 시인성 정보를 획득할 수 있다. 예를 들면, 동작 2421은 도 10의 동작 1020, 1030, 1040, 1050, 1060, 및/또는 1070에 해당할 수 있다.
도 24를 참조하면, 동작 2412에서 전자 장치(200)는 프로젝팅 영역에 표시 불가 영역이 포함되어 있는지를 판단할 수 있다. 일 실시예에 따르면, 표시 불가 영역은 장애물이 포함된 영역을 포함할 수 있다. 예를 들면, 전자 장치는 사용자와 프로젝팅 영역 사이에 장애물이 존재할 경우, 장애물이 포함된 영역을 표시 불가 영역으로 판단할 수 있다. 전자 장치는 전자 장치와 프로젝팅 영역 사이에 장애물이 존재할 경우, 장애물이 포함된 영역을 표시 불가 영역으로 판단할 수 있다. 예를 들면, 도 7에 도시된 바와 같이, 프로젝팅 영역(731) 내에 장애물(735)가 있을 경우, 전자 장치는 장애물(735)이 포함된 영역을 표시 불가 영역으로 판단할 수 있다. 예를 들면, 도 8에 도시된 바와 같이, 프로젝팅 영역(811, 831) 내에 장애물(815, 835)가 있을 경우, 전자 장치는 장애물이 포함된 영역을 표시 불가 영역으로 판단할 수 있다. 일 실시예에 따르면, 전자 장치는 프로젝팅 영역에 표시 불가 영역이 포함되어 있으면 동작 2422를 수행할 수 있고, 포함되지 않았으면 동작 2430을 수행할 수 있다.
도 24를 참조하면, 동작 2422에서 전자 장치(200)는 내용 표시 영역에 대한 정보를 획득할 수 있다. 일 실시예에 따르면, 내용 표시 영역은 프로젝팅 영역에서 프로젝터와 프로젝팅 영역 사이의 장애물에 의해 프로젝터에서 출력되는 광이 차단되는 영역을 제외한 영역을 포함할 수 있다. 일 실시예에 따르면, 내용 표시 영역은 사용자와 프로젝팅 영역 사이의 장애물을 제외한 영역을 포함하는 영역을 포함할 수 있다. 일 실시예에 따르면, 동작 2422는 도 4의 동작 430의 일부일 수 있고, 전자 장치는 동작 430에 따라 내용 표시 영역을 결정할 수 있다.
도 24를 참조하면, 전자 장치(200)는 동작 2413에서 기기 상태 정보가 지정된 조건을 만족하는지 판단할 수 있다. 일 실시예에 따르면 기기 상태 정보는 전자 장치의 이동 정보, 전자 장치의 충전 정보, 전자 장치의 배터리 정보, 및/또는 소음 정보가 포함될 수 있다. 예를 들면, 전자 장치의 이동 정보는 전자 장치가 이동이 가능한 장치인지 여부에 관한 정보일 수 있다. 전자 장치는 도 21에 도시된 바와 같이 바퀴(2103)를 포함하여 이동이 가능한 장치일 수 있다. 예를 들면, 전자 장치의 충전 정보는 전자 장치가 충전하고 있는지 여부를 나타내는 정보일 수 있다. 예를 들면, 전자 장치의 배터리 정보는 전자 장치의 잔여 배터리를 나타내는 정보일 수 있다. 예를 들면, 소음 정보는 전자 장치(200)의 센서부(210)를 통해 인식되는 정보로서, 전자 장치 주변에 존재하는 음성 신호를 포함할 수 있다. 일 실시예에 따르면, 전자 장치는 기기 상태 정보가 설정된 조건을 만족하면 동작 2423을 수행할 수 있고, 만족하지 못하면 동작 2430을 수행할 수 있다. 예를 들면, 전자 장치는 전자 장치가 이동 가능하다는 이동 정보가 있을 경우 설정된 조건을 만족한다고 판단할 수 있다. 전자 장치는 전자 장치가 충전 중이고 전자 장치의 잔여 배터리가 50% 이상인 경우 설정된 조건을 만족한다고 판단할 수 있다. 전자 장치는 소음 정보가 일정 데시벨 이상일 경우 설정된 조건을 만족한다고 판단할 수 있다.
도 24를 참조하면, 동작 2423에서 전자 장치(200)는 컨텐츠 출력 설정 정보를 획득할 수 있다. 일 실시예에 따르면, 컨텐츠 출력 설정 정보는 기기 상태 정보와 관련된 정보일 수 있다. 예를 들어, 컨텐츠 출력 설정 정보는 컨텐츠를 출력하기 위해 고려되어야 할 정보로서, 음량 정보, 스크린의 해상도 정보, 밝기 정보, 또는 음향 정보를 포함할 수 있다.
도 24를 참조하면, 동작 2414에서 전자 장치(200)는 수광면 분석 정보가 지정된 조건을 만족하는지 판단할 수 있다. 일 실시예에 따르면, 전자 장치는 센서부(210)를 통해 수광면에 관한 특징 정보를 수집할 수 있다. 예를 들면, 전자 장치는 외부 투사면의 색상 정보, 굴곡 정보, 단차 정보, 재질 정보, 패턴 정보, 또는/및 색감 정보를 수집할 수 있다. 전자 장치는 수집한 수광면 분석 정보가 임계 수치와 비교하여 지정된 조건을 만족할 경우 동작 2424를 수행할 수 있다. 전자 장치는 수광면 분석 정보가 지정된 조건을 만족하지 못하는 경우 동작 2430을 수행할 수 있다.
도 24를 참조하면, 동작 2424에서 전자 장치(200)는 수광면 특징 정보를 획득할 수 있다. 예를 들면, 전자 장치는 프로젝팅 영역에 해당하는 외부 투사면의 색감을 판단하여 흰색이 아닌 경우, 수광면의 색감 특징 정보를 획득할 수 있다. 전자 장치는 그림자로 인해 외부 투사면의 일부 영역의 색감이 다른 경우, 관련된 수광면 특징 정보를 획득할 수 있다. 전자 장치는 외부 투사면에 굴곡 또는 단차가 있는 경우, 굴곡 또는 단차로 인해 전자 장치와 프로젝팅 영역 사이에 발생하는 거리 차이와 관련된 정보를 획득할 수 있다. 전자 장치는, 외부 투사면이 현란한 재질로 이루어져 있거나 패턴이 있는 경우, 수광면의 재질 및 패턴에 관한 정보를 획득할 수 있다.
도 24를 참조하면, 동작 2415에서 전자 장치(200)는 복수의 사용자가 존재하는지 여부를 판단할 수 있다. 일 실시예에 따르면, 전자 장치는 센서부(210) 또는 외부장치에 의해 수집한 사용자 정보를 통해 복수의 사용자가 존재하는지 판단할 수 있다. 전자 장치는 복수의 사용자가 존재하는 경우 동작 2425를 수행할 수 있고, 한명의 사용자가 존재하는 경우 동작 2430을 수행할 수 있다.
도 24를 참조하면, 동작 2425에서 전자 장치는 사용자 정보를 획득할 수 있다. 예를 들면, 사용자 정보는 프로젝팅 영역을 응시하는 사용자에 대한 정보, 프로젝팅 영역 주변에서 발화하는 인물에 관한 정보, 사용자의 동작 정보, 가장 원거리에 위치한 사용자의 정보, 또는 사용자의 신분 정보를 포함할 수 있다. 예를 들면, 프로젝팅 영역을 응시하는 사용자에 대한 정보는, 복수의 사용자 중 프로젝팅 영역을 응시하는 사용자의 수에 관한 정보일 수 있다. 프로젝팅 영역 주변에서 발화하는 인물에 관한 정보는, 프로젝팅 영역 주변에서 발표하는 발표자와 관련된 정보일 수 있다. 사용자의 동작 정보는, 사용자가 신체를 프로젝팅 영역 방향으로 숙이거나 다가가는 동작 관련 정보, 또는 사용자가 설정된 동작을 수행하는지 여부와 관련된 정보를 포함할 수 있다. 사용자의 동작 정보는 상술한 동작 외에도, 사용자가 프로젝팅 영역에 대한 시인성 문제로 인해 수행하는 동작과 관련된 동작을 포함할 수 있다. 사용자의 신분 정보는 사용자들 중 일부 사용자들에게 맞춰서 컨텐츠를 보여줘야 할 경우, 일부 사용자들에 관한 정보를 포함할 수 있다.
도 24를 참조하면, 동작 2416에서 전자 장치(200)는 프로젝팅 영역과 제1 컨텐츠 영역이 지정된 조건을 만족하는지 여부를 판단할 수 있다. 일 실시예에 따르면, 전자 장치는 프로젝팅 영역과 제1 컨텐츠 영역을 비교하여 프로젝팅 영역이 제1 컨텐츠 영역보다 면적이 큰지 여부를 판단할 수 있다. 프로젝팅 영역이 제1 컨텐츠 영역보다 큰 경우, 전자 장치는 동작 2426을 수행할 수 있다. 프로젝팅 영역과 제1 컨텐츠 영역의 면적이 동일한 경우, 전자 장치는 동작 2430을 수행할 수 있다.
도 24를 참조하면, 동작 2426에서 전자 장치는 컨텐츠 정보를 획득할 수 있다. 컨텐츠 정보는 원본 컨텐츠인 제1 컨텐츠와 관련된 정보를 포함할 수 있다. 예를 들면, 컨텐츠 정보는 아웃페인팅 이미지, 아웃페인팅 영상, 엠비언트라이트 이미지, 또는 엠비언트라이트 영상을 생성하기 위해 필요한 컨텐츠 정보를 포함할 수 있다.
도 24를 참조하면, 동작 2430에서 전자 장치는 획득된 정보에 기초하여 제2 컨텐츠를 생성할 수 있다. 전자 장치는 획득된 정보에 기초하여 기계학습된 인공지능 모델을 통해서 제2 컨텐츠를 생성할 수 있다.
일 실시예에 따르면, 전자 장치는 시인성이 확보되지 않는다는 시인성 정보가 있는 경우, 텍스트로 이루어진 제1 컨텐츠에 대해서 텍스트 양을 줄여 요약한 컨텐츠를 생성할 수 있다. 전자 장치는 텍스트로 이루어진 제1 컨텐츠에 대해서 텍스트를 요약하고 시인성이 확보될 수 있도록 폰트를 키운 컨텐츠를 생성할 수 있다. 예를 들어, 전자 장치는 도 12에 도시된 도면과 같이, 제1 컨텐츠(1201)에 대해서 텍스트를 요약하고 폰트를 확대한 컨텐츠(1203)를 생성할 수 있다. 전자 장치는 이미지 또는 동영상으로 이루어진 제1 컨텐츠에 대해서 중요하다고 판단되는 부분이 포함되도록 일부 영역으로 확대한 컨텐츠를 생성할 수 있다. 전자 장치는 제1 컨텐츠 내에서의 면적, 분량, 크기, 위치, 또는 설정 중 적어도 하나에 기초하여 중요하다고 판단되는 부분을 결정할 수 있다. 일 실시예에 따르면, 전자 장치는 시인성이 확보되지 않는 다는 시인성 정보에 기초하여, 사용자 선호도 정보가 있는 경우, 사용자의 선호도를 반영하여 제2 컨텐츠를 생성할 수 있다. 예를 들면, 전자 장치(200)는 사용자의 선호도를 반영하여 관련 내용 중심으로 이미지, 동영상, 또는 텍스트를 확대 또는 크롭(crop)한 형식의 컨텐츠를 생성할 수 있다. 전자 장치는 텍스트 컨텐츠에 대해서 사용자의 선호도를 반영하여 사용자가 선호하는 내용 중심으로 요약하는 컨텐츠를 생성할 수 있다. 전자 장치는 도 19에 도시된 바와 같이, 사용자의 선호도 정보에 기반하여 선정된 일부 영역(1912)에 맞게 제1 컨텐츠를 확대한 컨텐츠를 생성할 수 있다.
일 실시예에 따르면, 전자 장치는 내용 표시 영역에 대한 정보를 획득한 경우, 내용 표시 영역에 기초하여 제2 컨텐츠를 생성할 수 있다. 예를 들면, 전자 장치는 도 4의 동작 440에 따라 제2 컨텐츠를 생성할 수 있다. 예를 들면, 전자 장치는 도 7에서와 같이, 내용 표시 영역(733)에 맞는 제2 컨텐츠를 생성할 수 있다.
일 실시예에 따르면, 전자 장치는 컨텐츠 출력 설정 정보에 기초하여 제2 컨텐츠를 생성할 수 있다. 예를 들면, 전자 장치는 전자 장치가 스스로 이동 가능하다는 정보를 통해 전자 장치의 위치를 변경하고 변경된 위치에 따라 컨텐츠를 생성할 수 있다. 전자 장치는 지정된 인물에 맞춰 컨텐츠를 생성해야 할 경우, 전자 장치의 이동에 따라 지정된 인물에 맞춰 컨텐츠를 생성할 수 있다. 예를 들면, 전자 장치는 전자 장치가 충전 중이라는 정보에 따라, 원본 컨텐츠와 동일한 컨텐츠를 생성할 수 있다. 전자 장치는 전자 장치의 배터리가 충분하지 않다는 정보를 이용하여, 컨텐츠의 해상도, 밝기 또는 음량을 조절한 컨텐츠를 생성할 수 있다. 전자 장치는 전자 장치의 배터리가 충분하다는 정보를 통해, 원본 컨텐츠와 동일한 컨텐츠를 생성할 수 있다. 전자 장치는 주변의 소음 신호를 분석하여, 소음 환경에서도 사용자에게 들릴 수 있는 음량과 음향으로 컨텐츠를 생성할 수 있다. 소음 관련 정보는, 전자 장치의 컨텐츠에 포함되어 있는 음성 신호를 제외한 외부 환경으로부터 수집된 음성 신호를 포함할 수 있다.
일 실시예에 따르면, 전자 장치는 수광면 특징 정보에 기초하여 제2 컨텐츠를 생성할 수 있다. 예를 들면, 전자 장치는 외부 투사면의 색감이 흰색이 아닌 경우, 전자 장치는 컨텐츠의 밝기, 명암, 또는 색온도가 조절되어 원본 컨텐츠의 색감이 표현되도록 하는 컨텐츠를 생성할 수 있다. 그림자로 인해 외부 투사면의 일부 영역의 색감이 다른 경우, 전자 장치는 색감이 다른 일부 영역의 밝기, 명암, 또는 색온도를 조절하여 대비를 줄인 컨텐츠를 생성할 수 있다. 전자 장치는 외부 투사면에 굴곡 또는 단차가 있는 경우, 굴곡 또는 단차로 인해 전자 장치와 프로젝팅 영역 사이에 발생하는 거리 차이에 비례하여 거리가 먼 영역에 있는 컨텐츠를 확대하도록 하는 컨텐츠를 생성할 수 있다. 전자 장치는, 굴곡 또는 단차로 인해 전자 장치와 프로젝팅 영역 사이에 발생하는 거리 차이에 비례하여 거리가 먼 영역에 있는 컨텐츠의 선명도를 높인 컨텐츠를 생성할 수 있다. 전자 장치는, 외부 투사면이 현란한 재질로 이루어져 있는 경우, 배경의 색 대비 강도를 높인 컨텐츠를 생성할 수 있고, 전자 장치는 영상 또는 이미지 컨텐츠에 대해 흑백 처리 또는 아웃라인 처리를 이용하여 컨텐츠를 생성할 수 있다. 전자 장치는, 외부 투사면에 패턴이 있는 경우, 배경의 색 대비 강도를 높이고 아웃라인 또는 흑백 처리를 통한 컨텐츠를 생성할 수 있다.
일 실시예에 따르면, 전자 장치는 사용자 정보에 기초하여 제2 컨텐츠를 생성할 수 있다. 예를 들면, 전자 장치는 복수의 사용자가 모두 컨텐츠를 확인할 수 있는 컨텐츠를 생성할 수 있다. 도 11에 관한 설명 부분과 같이, 사용자가 복수인 경우(1103), 전자 장치는 모든 사용자가 컨텐츠의 내용을 확인할 수 있도록 폰트를 변경하고 내용을 요약한 컨텐츠를 생성할 수 있다. 전자 장치는 사용자가 한명인 경우, 도 11의 상황 1101과 같이, 원본 컨텐츠와 같은 컨텐츠를 생성할 수 있다. 예를 들면, 사용자 신분 정보에 따라 일부 사용자들에게 맞춰 컨텐츠를 표시해야 할 경우, 전자 장치는 컨텐츠를 보여줘야 하는 일부 사용자들에 관한 정보에 따라 컨텐츠의 위치를 변경하거나, 컨텐츠의 크기를 조정하거나, 또는 일부 사용자들에게 잘 보이도록 컨텐츠를 생성할 수 있다. 예를 들면, 전자 장치는 사용자가 이동하는 사용자 동작 정보에 따라, 사용자의 변경된 위치에 맞게 표시하는 컨텐츠를 생성할 수 있다. 예를 들면, 전자 장치는 사용자가 신체를 프로젝팅 영역 방향으로 숙이는 동작, 또는 사용자가 컨텐츠를 인식하지 못해 앞으로 숙이는 동작을 인식하여, 사용자의 불편함을 해소할 수 있는 위치와 크기로 조절한 컨텐츠를 생성할 수 있다. 예를 들면, 도 16 및 도 17에 도시된 바와 같이, 전자 장치는 사용자가 응시하는 위치와 관련된 정보를 이용해 응시하는 위치가 포함된 영역인 메인 영역(1711)에 맞춰 서브 영역(1713)에 메인 영역(1711)과 관련된 컨텐츠로 대체된 컨텐츠를 생성할 수 있다.
일 실시예에 따르면, 전자 장치는 컨텐츠 정보를 이용하여 제2 컨텐츠를 생성할 수 있다. 예를 들면, 도 14 및 도 15에 도시된 바와 같이, 전자 장치는 원본 컨텐츠인 제1 컨텐츠(1513) 외에 여백 공간(1515)이 있을 경우, 여백 공간인 제2 영역(1515)에 대해서 컨텐츠를 생성할 수 있다. 전자 장치는 제1 영역(1513)의 제1 컨텐츠를 이용하여 제2 영역에 아웃페인팅 이미지(또는 영상) 또는 엠비언트라이트 이미지(또는 영상)를 생성하여 제2 컨텐츠를 생성할 수 있다.
본 개시의 다양한 실시예에 따른 전자 장치(electronic device)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))는, 인스트럭션들을 저장하는 메모리(예: 도 1의 메모리(130), 도 2의 메모리(230)), 컨텐츠를 포함하는 화면을 외부 물체의 투사면에 투사하는 프로젝터(예: 도 1의 디스플레이 모듈(160), 도 2의 프로젝터(220)), 상기 프로젝터가 화면을 투사하는 주변 환경에 대한 환경 정보를 획득하도록 구성된 적어도 하나의 센서(예: 도 1의 센서모듈(176), 도 2의 센서부(210)), 적어도 하나의 프로세서(예: 도 1의 프로세서(120), 도 2의 프로세서(240))를 포함할 수 있다. 상기 적어도 하나의 프로세서(예: 도 1의 프로세서(120), 도 2의 프로세서(240))는, 상기 인스트럭션들이 실행될 시, 상기 프로젝터(예: 도 1의 디스플레이 모듈(160), 도 2의 프로젝터(220))를 통해서 제1 컨텐츠를 포함하는 화면을 표시하도록 하는 어플리케이션을 실행할 수 있다. 상기 실행된 어플리케이션에 기초하여, 상기 프로젝터(예: 도 1의 디스플레이 모듈(160), 도 2의 프로젝터(220))로부터 방출된 광이 상기 투사면에 조사되는 영역을 포함하는 프로젝팅 영역을 결정할 수 있다. 상기 실행된 어플리케이션에 기초하여, 상기 환경 정보에 기초하여 상기 프로젝팅 영역 내에서 내용 표시 영역을 결정할 수 있다. 상기 실행된 어플리케이션에 기초하여, 상기 내용 표시 영역 또는 상기 환경 정보 중 적어도 하나를 포함하는 컨텍스트 정보에 기초하여 상기 제1 컨텐츠에 관련된 컨텐츠 정보로부터 기계학습된 인공지능 모델을 통해서 생성된 제2 컨텐츠를 포함하는 데이터를 획득할 수 있다. 상기 실행된 어플리케이션에 기초하여, 상기 프로젝터를 통해서 상기 제2 컨텐츠를 포함하는 화면을 상기 투사면에 투사할 수 있다.
일 실시예에 따른 전자 장치(electronic device)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))에서, 상기 적어도 하나의 프로세서(예: 도 1의 프로세서(120), 도 2의 프로세서(240))는, 상기 인스트럭션들이 실행될 시, 상기 컨텍스트 정보 또는 상기 컨텐츠 정보 중 적어도 하나에 기초하여 상기 제2 컨텐츠의 속성과 관련된 정보를 포함하는 프롬프트를 생성할 수 있고, 상기 기계학습된 인공지능 모델에 상기 프롬프트를 입력함으로써 상기 제2 컨텐츠를 포함하는 데이터를 획득하도록 할 수 있다.
일 실시예에 따른 전자 장치(electronic device)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))에서, 상기 컨텍스트 정보는 상기 프로젝터가 화면을 투사하는 상황과 관련된 상황 정보를 더 포함할 수 있고, 상기 상황 정보는 상기 메모리로부터 획득하거나 외부 장치로부터 수신된 정보를 포함할 수 있다. 전자 장치(electronic device)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))에서, 상기 적어도 하나의 프로세서(예: 도 1의 프로세서(120), 도 2의 프로세서(240))는, 상기 인스트럭션들이 실행될 시, 상기 상황 정보를 포함하는 상기 컨텍스트 정보에 기초하여 상기 제2 컨텐츠를 포함하는 데이터를 획득하도록 할 수 있다.
일 실시예에 따른 전자 장치(electronic device)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))에서, 상기 적어도 하나의 센서(예: 도 1의 센서모듈(176), 도 2의 센서부(210))는 이미지 센서를 포함할 수 있고, 상기 환경 정보는 상기 이미지 센서를 통해서 획득된 영상에 대한 영상 인식을 통해서 식별되고 상기 전자 장치 주변에 위치한 객체에 관련된 공간 정보를 포함할 수 있다.
일 실시예에 따른 전자 장치(electronic device)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))에서, 상기 공간 정보는 상기 이미지 센서를 통해 감지되는 상기 전자 장치의 외부 환경에 대한 정보로써, 프로젝팅 거리 정보, 프로젝팅 영역 정보, 상기 사용자의 위치 정보, 또는 장애물 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 전자 장치(electronic device)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))에서, 상기 상황 정보는 소음 정보, 사용자의 연령 정보, 상기 사용자의 선호도 정보, 또는 배터리 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 전자 장치(electronic device)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))에서, 상기 제2 컨텐츠는 상기 컨텍스트 정보에 기초하여 상기 제1 컨텐츠에 포함된 텍스트를 요약하여 문자의 수를 감소시킨 요약 텍스트를 포함할 수 있다.
일 실시예에 따른 전자 장치(electronic device)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))에서, 상기 제2 컨텐츠는 상기 컨텍스트 정보에 기초하여 상기 제1 컨텐츠에 포함된 영상을 확대한 확대 영상, 상기 제1 컨텐츠에 포함된 영상을 축소시킨 축소 영상, 상기 제1 컨텐츠에 포함된 둘 이상의 영상들을 합성한 합성 영상, 상기 제1 컨텐츠로부터 상기 인공지능 모델의 예측 결과에 기초하여 생성된 예측 영상 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 전자 장치(electronic device)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))에서, 상기 적어도 하나의 프로세서(예: 도 1의 프로세서(120), 도 2의 프로세서(240))는, 상기 인스트럭션들이 실행될 시, 상기 프로젝팅 영역과 상기 프로젝터 사이에 배치된 장애물을 식별할 수 있고, 상기 프로젝팅 영역에서 상기 식별된 장애물을 포함하는 영역을 제외함으로써 상기 내용 표시 영역을 결정할 수 있고, 상기 제2 컨텐츠를 포함하는 화면을 상기 투사면에 투사한 뒤 상기 장애물이 이동할 경우 상기 내용 표시 영역을 변경할 수 있고, 상기 변경된 내용 표시 영역에 기초하여 상기 제1 컨텐츠에 관련된 컨텐츠 정보로부터 상기 제2 컨텐츠와 상이한 제3 컨텐츠를 포함하는 데이터를 획득하여 상기 제3 컨텐츠를 포함하는 화면을 상기 투사면에 투사할 수 있다.
일 실시예에 따른 전자 장치(electronic device)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))에서, 상기 컨텍스트 정보는 상기 프로젝팅 영역과 사용자 간의 거리, 프로젝팅 영역의 면적, 상기 사용자의 수, 또는 상기 사용자의 연령 정보 중 적어도 하나를 포함할 수 있다. 일 실시예에 따른 전자 장치(electronic device)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))에서, 상기 적어도 하나의 프로세서(예: 도 1의 프로세서(120), 도 2의 프로세서(240))는, 상기 인스트럭션들이 실행될 시, 상기 거리, 상기 면적, 상기 사용자의 수, 또는 상기 사용자의 연령 정보 중 적어도 하나에 기반하여 상기 제1 컨텐츠를 사용자가 시인 가능한지 여부를 지시하는 시인성 정보를 획득할 수 있고, 상기 획득된 시인성 정보를 이용하여 상기 프롬프트를 생성하도록 할 수 있다.
일 실시예에 따른 전자 장치(electronic device)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))에서, 상기 적어도 하나의 프로세서(예: 도 1의 프로세서(120), 도 2의 프로세서(240))는, 상기 인스트럭션들이 실행될 시, 상기 거리가 제1 임계치 이상인 경우, 상기 면적이 제2 임계치 이하인 경우, 상기 사용자의 수가 제3 임계치 이상인 경우, 또는 상기 사용자의 연령 정보가 제4 임계치 이상인 경우 중 적어도 하나에 기초하여 상기 제1 컨텐츠가 상기 사용자에 의해 시인 불가능한 것임을 지시하는 시인성 정보를 획득하도록 할 수 있다.
일 실시예에 따른 전자 장치(electronic device)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))에서, 상기 제1 컨텐츠는 상기 프로젝팅 영역 내의 제1 영역에 표시되는 제1 영상을 포함할 수 있고, 상기 내용 표시 영역은 상기 제1 영역 및 상기 제1 영역과 다른 제2 영역을 포함할 수 있고, 상기 제2 컨텐츠는 상기 제1 영역에 배치된 상기 제1 영상, 및 상기 인공지능 모델에 의해 생성되고 상기 제2 영역 내에 표시되는 제2 영상을 포함할 수 있다.
일 실시예에 따른 전자 장치(electronic device)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))에서, 상기 컨텍스트 정보는 상기 프로젝팅 영역 내에서 사용자가 응시하는 위치에 관한 정보를 포함할 수 있고, 상기 제1 컨텐츠는 상기 프로젝팅 영역 내의 제3 영역에 표시되는 제3 영상과 상기 제3 영역과 다른 제4 영역에 표시되는 제4 영상을 포함할 수 있고, 상기 내용 표시 영역은 상기 사용자가 응시하는 위치를 포함하는 상기 제3 영역 및 상기 제4 영역을 포함할 수 있고, 상기 제2 컨텐츠는 상기 제3 영역 내에 배치된 상기 제3 영상, 및 상기 인공지능 모델에 의해 생성되고, 상기 제4 영역 내에 표시되는 제5 영상을 포함할 수 있고, 상기 제5 영상은 상기 제3 영상과 연관성 있는 영상일 수 있다.
일 실시예에 따른 전자 장치(electronic device)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))에서, 상기 컨텍스트 정보는 사용자의 선호도 정보를 포함하는 상황 정보를 포함할 수 있다. 일 실시예에 따른 전자 장치(electronic device)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))에서, 상기 적어도 하나의 프로세서(예: 도 1의 프로세서(120), 도 2의 프로세서(240))는, 상기 인스트럭션들이 실행될 시, 상기 사용자의 선호도 정보에 기반하여 상기 프롬프트를 생성하도록 할 수 있고, 상기 프롬프트를 이용하여 상기 기계학습된 인공지능 모델을 통해서 상기 제1 컨텐츠 중 상기 사용자의 선호도 정보에 기반하여 선정된 일부 영역으로 확대하여 생성한 제2 컨텐츠를 획득하도록 할 수 있다.
일 실시예에 따른 전자 장치(electronic device)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))에서, 상기 기계학습된 인공지능 모델은 상기 프로젝팅 영역에 배치되는 컨텐츠를 변경하여 상기 내용 표시 영역에 표시되는 컨텐츠를 생성하도록 데이터를 학습한 것일 수 있다.
본 개시의 일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))의 동작 방법은, 컨텐츠를 포함하는 화면을 외부 물체의 투사면에 투사하는 프로젝터를 통해서 제1 컨텐츠를 포함하는 화면을 표시하도록 하는 어플리케이션을 실행하는 동작을 포함할 수 있고, 상기 실행된 어플리케이션에 기초하여 상기 프로젝터로부터 방출된 광이 상기 투사면에 조사되는 영역을 포함하는 프로젝팅 영역을 결정하는 동작을 포함할 수 있고, 상기 프로젝터가 화면을 투사하는 주변 환경에 대한 환경 정보를 획득하도록 구성된 적어도 하나의 센서가 획득한 상기 환경 정보에 기초하여 상기 프로젝팅 영역 내에서 내용 표시 영역을 결정하는 동작을 포함할 수 있고, 상기 내용 표시 영역 또는 상기 환경 정보 중 적어도 하나를 포함하는 컨텍스트 정보에 기초하여 상기 제1 컨텐츠에 관련된 컨텐츠 정보로부터 기계학습된 인공지능 모델을 통해서 생성된 제2 컨텐츠를 포함하는 데이터를 획득하는 동작을 포함할 수 있고, 상기 프로젝터를 통해서 상기 제2 컨텐츠를 포함하는 화면을 상기 투사면에 투사하는 동작을 포함할 수 있다.
일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))의 동작 방법에서, 상기 컨텍스트 정보 또는 상기 컨텐츠 정보 중 적어도 하나에 기초하여 상기 제2 컨텐츠의 속성과 관련된 정보를 포함하는 프롬프트를 생성할 수 있고, 상기 기계학습된 인공지능 모델에 상기 프롬프트를 입력함으로써 상기 제2 컨텐츠를 포함하는 데이터를 획득하는 동작을 포함할 수 있다.
일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))의 동작 방법에서, 상기 프로젝팅 영역과 상기 프로젝터 사이에 배치된 장애물을 식별하는 동작을 포함할 수 있고, 상기 프로젝팅 영역에서 상기 식별된 장애물을 포함하는 영역을 제외함으로써 상기 내용 표시 영역을 결정하는 동작을 포함할 수 있고, 상기 제2 컨텐츠를 포함하는 화면을 상기 투사면에 투사한 뒤 상기 장애물이 이동할 경우 상기 내용 표시 영역을 변경하는 동작을 포함할 수 있고, 상기 변경된 내용 표시 영역에 기초하여 상기 제1 컨텐츠에 관련된 컨텐츠 정보로부터 상기 제2 컨텐츠와 상이한 제3 컨텐츠를 포함하는 데이터를 획득하여 상기 제3 컨텐츠를 포함하는 화면을 상기 투사면에 투사하는 동작을 포함할 수 있다.
일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))의 동작 방법에서, 상기 컨텍스트 정보는 상기 프로젝팅 영역과 사용자 간의 거리, 프로젝팅 영역의 면적, 상기 사용자의 수, 또는 상기 사용자의 연령 정보 중 적어도 하나를 포함할 수 있고, 상기 거리가 제1 임계치 이상인 경우, 상기 면적이 제2 임계치 이하인 경우, 상기 사용자의 수가 제3 임계치 이상인 경우, 또는 상기 사용자의 연령 정보가 제4 임계치 이상인 경우 중 적어도 하나에 기초하여 제1 컨텐츠가 상기 사용자에 의해 시인 불가능한 것임을 지시하는 시인성 정보를 획득하는 동작을 포함할 수 있고, 상기 획득된 시인성 정보를 이용하여 상기 프롬프트를 생성하는 동작을 포함할 수 있다.
일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))의 동작 방법에서, 상기 제1 컨텐츠는 상기 프로젝팅 영역 내의 제1 영역에 표시되는 제1 영상을 포함할 수 있고, 상기 내용 표시 영역은 상기 제1 영역 및 상기 제1 영역과 다른 제2 영역을 포함할 수 있고, 상기 제2 컨텐츠는 상기 제1 영역에 배치된 제1 영상 및 상기 인공지능 모델에 의해서 생성되고 상기 제2 영역 내에 표시되는 제2 영상을 포함하는 동작을 포함할 수 있다.
본 개시에 따른 다양한 실시예에 따르면, 전자 장치를 통해 투사될 컨텐츠에 포함된 텍스트, 이미지, 또는 동영상이 전자 장치 주변 환경에 맞춰 생성하여 투사함으로써, 투사되는 컨텐츠를 바라보는 모든 사용자들이 불편함없이 컨텐츠를 소비할 수 있다. 또한 전자 장치가 텍스트 컨텐츠에 대해 시인성이 확보되지 않는 상황에서도 텍스트를 요약하여 투사함으로써 정보 전달력이 유지되는 효과가 발휘될 수 있다. 일 실시예에 따르면, 전자 장치는 장애물을 제외한 영역에 맞춰 컨텐츠를 생성함으로써, 장애물이 있는 환경에서도 정보 전달을 효율적으로 할 수 있고 화면을 효율적으로 이용할 수 있는 효과가 발휘될 수 있다. 일 실시예에 따르면, 전자 장치는 프로젝팅 영역에 맞춰 컨텐츠를 생성함으로써, 화면 몰입감을 증가시키고 화면을 효율적으로 사용할 수 있는 효과가 발휘될 수 있다.
본 개시의 청구항 또는 명세서에 기재된 실시예들에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(implemented) 수 있다.
소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치(device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다(configured for execution). 하나 이상의 프로그램은, 전자 장치로 하여금 본 개시의 청구항 또는 명세서에 기재된 실시예들에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함한다.
본 개시에서, 전자 장치가 수행하는 기능 또는 동작은 하나 이상의 프로세서가 메모리에 저장된 하나 이상의 명령어를 실행하여 수행될 수 있다. 본 개시에서 언급된 전자 장치의 기능 또는 동작은 하나의 프로세서가 하나 이상의 명령어를 실행함으로써 수행될 수도 있고, 복수 개의 프로세서들의 조합이 하나 이상의 명령어를 실행함으로써 수행될 수도 있다. 본 개시에서 언급되는 프로세서는 연산을 수행하거나 전자 장치의 다른 구성요소를 제어하기 위한 회로를 포함하는 것으로 이해될 있다. 예를 들어, 상기 하나 이상의 프로세서는 하나 이상의 명령어를 실행하도록 구성된 CPU(central processing unit), MPU(micro-processor unit), AP(application processor), CP(communication processor), NPU(neural processing unit), system on chip(SoC), 특정 용도용 집적 회로(application-specific integrated circuit, ASIC) 또는 집적 회로(integrated circuit, IC) 중에서 적어도 하나를 포함할 수 있다. 상기 하나 이상의 프로세서는 상술한 전자 장치의 동작을 수행하도록 구성될 수 있다.
본 개시에서, 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(ROM: read only memory), 전기적 삭제가능 프로그램가능 롬(EEPROM: electrically erasable programmable read only memory), 자기 디스크 저장 장치(magnetic disc storage device), 컴팩트 디스크 롬(CD-ROM: compact disc-ROM), 디지털 다목적 디스크(DVDs: digital versatile discs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 메모리는 하나의 저장 매체로 구성되거나, 복수개의 저장 매체의 조합으로 구성될 수도 있다. 상기 하나 이상의 명령어는 하나의 저장 매체에 저장되거나, 복수개의 저장 매체에 분산하여 저장될 수 있다.
또한, 상기 프로그램은 인터넷(Internet), 인트라넷(Intranet), LAN(local area network), WLAN(wide LAN), 또는 SAN(storage area network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 본 개시의 실시 예를 수행하는 장치에 접속할 수 있다. 또한, 통신 네트워크상의 별도의 저장장치가 본 개시의 실시 예를 수행하는 장치에 접속할 수도 있다.
상술한 본 개시의 구체적인 실시예들에서, 개시에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 개시가 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.
또한, 본 개시에서, “부”, “모듈” 등의 용어는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
"부", "모듈"은 어드레싱될 수 있는 저장 매체에 저장되며 프로세서에 의해 실행될 수 있는 프로그램에 의해 구현될 수도 있다. 예를 들어, “부”, "모듈" 은 소프트웨어 구성 요소들, 객체 지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들에 의해 구현될 수 있다.
본 개시에서 설명된 특정 실행들은 일 실시예일 뿐이며, 어떠한 방법으로도 본 개시의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 및 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다.
또한, 본 개시에서, “a, b 또는 c 중 적어도 하나를 포함한다”는 “a만 포함하거나, b만 포함하거나, c만 포함하거나, 둘 이상의 조합을 포함(a 및 b를 포함하거나, b 및 c를 포함하거나, a 및 c를 포함하거나, a, b 및 c를 모두 포함)하는 것을 의미할 수 있다.
한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (15)

  1. 전자 장치에 있어서,
    인스트럭션들을 저장하는 메모리;
    컨텐츠를 포함하는 화면을 외부 물체의 투사면에 투사하는 프로젝터;
    상기 프로젝터가 화면을 투사하는 주변 환경에 대한 환경 정보를 획득하도록 구성된 적어도 하나의 센서;
    적어도 하나의 프로세서; 및
    상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 개별적으로(individually) 또는 집합적으로(collectively) 실행되어, 상기 전자 장치가:
    상기 프로젝터를 통해서 제1 컨텐츠를 포함하는 화면을 표시하도록 하는 어플리케이션을 실행하고,
    상기 실행된 어플리케이션에 기초하여:
    상기 프로젝터로부터 방출된 광이 상기 투사면에 조사되는 영역을 포함하는 프로젝팅 영역을 결정하고,
    상기 환경 정보에 기초하여 상기 프로젝팅 영역 내에서 내용 표시 영역을 결정하고,
    상기 내용 표시 영역 또는 상기 환경 정보 중 적어도 하나를 포함하는 컨텍스트 정보에 기초하여 상기 제1 컨텐츠에 관련된 컨텐츠 정보로부터 기계학습된 인공지능 모델을 통해서 생성된 제2 컨텐츠를 포함하는 데이터를 획득하고,
    상기 프로젝터를 통해서 상기 제2 컨텐츠를 포함하는 화면을 상기 투사면에 투사하도록 하는,
    전자 장치.
  2. 청구항 1에 있어서,
    상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 집합적으로 실행되어, 상기 전자 장치가:
    상기 컨텍스트 정보 또는 상기 컨텐츠 정보 중 적어도 하나에 기초하여 상기 제2 컨텐츠의 속성과 관련된 정보를 포함하는 프롬프트를 생성하고,
    상기 기계학습된 인공지능 모델에 상기 프롬프트를 입력함으로써 상기 제2 컨텐츠를 포함하는 데이터를 획득하도록 하는,
    전자 장치.
  3. 청구항 2에 있어서,
    상기 컨텍스트 정보는 상기 프로젝터가 화면을 투사하는 상황과 관련된 상황 정보를 더 포함하고,
    상기 상황 정보는 상기 메모리로부터 획득하거나 외부 장치로부터 수신된 정보를 포함하며,
    상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 집합적으로 실행되어, 상기 전자 장치가:
    상기 상황 정보를 포함하는 상기 컨텍스트 정보에 기초하여 상기 제2 컨텐츠를 포함하는 데이터를 획득하도록 하는,
    전자 장치.
  4. 청구항 3에 있어서,
    상기 적어도 하나의 센서는 이미지 센서를 포함하고,
    상기 환경 정보는, 상기 이미지 센서를 통해서 획득된 영상에 대한 영상 인식을 통해서 식별되고 상기 전자 장치 주변에 위치한 객체에 관련된 공간 정보를 포함하는,
    전자 장치.
  5. 청구항 4에 있어서,
    상기 공간 정보는 상기 이미지 센서를 통해 감지되는 상기 전자 장치의 외부 환경에 대한 정보로써, 프로젝팅 거리 정보, 프로젝팅 영역 정보, 사용자의 위치 정보, 또는 장애물 정보 중 적어도 하나를 포함하는,
    전자 장치.
  6. 청구항 3에 있어서,
    상기 상황 정보는 소음 정보, 사용자의 연령 정보, 상기 사용자의 선호도 정보, 또는 배터리 정보 중 적어도 하나를 포함하는,
    전자 장치.
  7. 청구항 1에 있어서,
    상기 제2 컨텐츠는 상기 컨텍스트 정보에 기초하여 상기 제1 컨텐츠에 포함된 텍스트를 요약하여 문자의 수를 감소시킨 요약 텍스트를 포함하는,
    전자 장치.
  8. 청구항 1에 있어서,
    상기 제2 컨텐츠는 상기 컨텍스트 정보에 기초하여 상기 제1 컨텐츠에 포함된 영상을 확대한 확대 영상, 상기 제1 컨텐츠에 포함된 영상을 축소시킨 축소 영상, 상기 제1 컨텐츠에 포함된 둘 이상의 영상들을 합성한 합성 영상, 상기 제1 컨텐츠로부터 상기 인공지능 모델의 예측 결과에 기초하여 생성된 예측 영상 중 적어도 하나를 포함하는,
    전자 장치.
  9. 청구항 1에 있어서,
    상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 집합적으로 실행되어, 상기 전자 장치가:
    상기 프로젝팅 영역과 상기 프로젝터 사이에 배치된 장애물을 식별하고,
    상기 프로젝팅 영역에서 상기 식별된 장애물을 포함하는 영역을 제외함으로써 상기 내용 표시 영역을 결정하고,
    상기 제2 컨텐츠를 포함하는 화면을 상기 투사면에 투사한 뒤 상기 장애물이 이동할 경우, 상기 내용 표시 영역을 변경하고,
    상기 변경된 내용 표시 영역에 기초하여 상기 제1 컨텐츠에 관련된 컨텐츠 정보로부터 상기 제2 컨텐츠와 상이한 제3 컨텐츠를 포함하는 데이터를 획득하여 상기 제3 컨텐츠를 포함하는 화면을 상기 투사면에 투사하도록 하는,
    전자 장치.
  10. 청구항 2에 있어서,
    상기 컨텍스트 정보는 상기 프로젝팅 영역과 사용자 간의 거리, 프로젝팅 영역의 면적, 상기 사용자의 수, 또는 상기 사용자의 연령 정보 중 적어도 하나를 포함하고,
    상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 집합적으로 실행되어, 상기 전자 장치가:
    상기 거리, 상기 면적, 상기 사용자의 수, 또는 상기 사용자의 연령 정보 중 적어도 하나에 기반하여 상기 제1 컨텐츠를 사용자가 시인 가능한지 여부를 지시하는 시인성 정보를 획득하고,
    상기 획득된 시인성 정보를 이용하여 상기 프롬프트를 생성하도록 하는,
    전자 장치.
  11. 청구항 10에 있어서,
    상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 집합적으로 실행되어, 상기 전자 장치가:
    상기 거리가 제1 임계치 이상인 경우, 상기 면적이 제2 임계치 이하인 경우, 상기 사용자의 수가 제3 임계치 이상인 경우, 또는 상기 사용자의 연령 정보가 제4 임계치 이상인 경우 중 적어도 하나에 기초하여 상기 제1 컨텐츠가 상기 사용자에 의해 시인 불가능한 것임을 지시하는 시인성 정보를 획득하도록 하는, 전자 장치.
  12. 청구항 1에 있어서,
    상기 제1 컨텐츠는 상기 프로젝팅 영역 내의 제1 영역에 표시되는 제1 영상을 포함하고,
    상기 내용 표시 영역은 상기 제1 영역 및 상기 제1 영역과 다른 제2 영역을 포함하고,
    상기 제2 컨텐츠는 상기 제1 영역에 배치된 상기 제1 영상, 및 상기 인공지능 모델에 의해서 생성되고, 상기 제2 영역 내에 표시되는 제2 영상을 포함하는,
    전자 장치.
  13. 청구항 1에 있어서,
    상기 컨텍스트 정보는 상기 프로젝팅 영역 내에서 사용자가 응시하는 위치에 관한 정보를 포함하고,
    상기 제1 컨텐츠는 상기 프로젝팅 영역 내의 제3 영역에 표시되는 제3 영상과 상기 제3 영역과 다른 제4 영역에 표시되는 제4 영상을 포함하고,
    상기 내용 표시 영역은 상기 사용자가 응시하는 위치를 포함하는 상기 제3 영역 및 상기 제4 영역을 포함하고,
    상기 제2 컨텐츠는 상기 제3 영역 내에 배치된 상기 제3 영상, 및 상기 인공지능 모델에 의해 생성되고, 상기 제4 영역 내에 표시되는 제5 영상을 포함하고,
    상기 제5 영상은 상기 제3 영상과 연관성 있는 영상인,
    전자 장치.
  14. 청구항 2에 있어서,
    상기 컨텍스트 정보는 사용자의 선호도 정보를 포함하는 상황 정보를 포함하고,
    상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 집합적으로 실행되어, 상기 전자 장치가:
    상기 사용자의 선호도 정보에 기반하여 상기 프롬프트를 생성하도록 하고,
    상기 프롬프트를 이용하여 상기 기계학습된 인공지능 모델을 통해서 상기 제1 컨텐츠 중 상기 사용자의 선호도 정보에 기반하여 선정된 일부 영역으로 확대하여 생성한 제2 컨텐츠를 획득하도록 하는,
    전자 장치.
  15. 전자 장치의 동작 방법에 있어서,
    컨텐츠를 포함하는 화면을 외부 물체의 투사면에 투사하는 프로젝터를 통해서 제1 컨텐츠를 포함하는 화면을 표시하도록 하는 어플리케이션을 실행하는 동작;
    상기 실행된 어플리케이션에 기초하여, 상기 프로젝터로부터 방출된 광이 상기 투사면에 조사되는 영역을 포함하는 프로젝팅 영역을 결정하는 동작;
    상기 프로젝터가 화면을 투사하는 주변 환경에 대한 환경 정보를 획득하도록 구성된 적어도 하나의 센서가 획득한 상기 환경 정보에 기초하여 상기 프로젝팅 영역 내에서 내용 표시 영역을 결정하는 동작;
    상기 내용 표시 영역 또는 상기 환경 정보 중 적어도 하나를 포함하는 컨텍스트 정보에 기초하여 상기 제1 컨텐츠에 관련된 컨텐츠 정보로부터 기계학습된 인공지능 모델을 통해서 생성된 제2 컨텐츠를 포함하는 데이터를 획득하는 동작;
    상기 프로젝터를 통해서 상기 제2 컨텐츠를 포함하는 화면을 상기 투사면에 투사하는 동작을 포함하는 방법.
PCT/KR2025/005797 2024-06-27 2025-04-29 프로젝터를 포함하는 전자 장치 및 그 동작 방법 Pending WO2026005253A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20240084221 2024-06-27
KR10-2024-0084221 2024-06-27
KR1020240088096A KR20260001430A (ko) 2024-06-27 2024-07-04 프로젝터를 포함하는 전자 장치 및 그 동작 방법
KR10-2024-0088096 2024-07-04

Publications (1)

Publication Number Publication Date
WO2026005253A1 true WO2026005253A1 (ko) 2026-01-02

Family

ID=98222187

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2025/005797 Pending WO2026005253A1 (ko) 2024-06-27 2025-04-29 프로젝터를 포함하는 전자 장치 및 그 동작 방법

Country Status (1)

Country Link
WO (1) WO2026005253A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180060972A (ko) * 2016-11-29 2018-06-07 삼성전자주식회사 전자 장치 및 이의 컨텐츠 요약 방법
KR20220144346A (ko) * 2018-02-01 2022-10-26 삼성전자주식회사 컨텍스트에 따라 이벤트의 출력 정보를 제공하는 전자 장치 및 이의 제어 방법
JP2023068493A (ja) * 2021-11-02 2023-05-17 Ｎｅｃプラットフォームズ株式会社 移動式投射装置、移動式投射システム、移動式投射装置の制御方法、及び、制御プログラム
KR20240000330A (ko) * 2022-06-23 2024-01-02 삼성전자주식회사 영상을 투사하는 외부 전자 장치와 연동하여 영상 컨텐츠를 제공하는 전자 장치 및 이의 제어 방법
JP2024032039A (ja) * 2022-08-29 2024-03-12 カシオ計算機株式会社 制御装置、投影システム、投影領域決定方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180060972A (ko) * 2016-11-29 2018-06-07 삼성전자주식회사 전자 장치 및 이의 컨텐츠 요약 방법
KR20220144346A (ko) * 2018-02-01 2022-10-26 삼성전자주식회사 컨텍스트에 따라 이벤트의 출력 정보를 제공하는 전자 장치 및 이의 제어 방법
JP2023068493A (ja) * 2021-11-02 2023-05-17 Ｎｅｃプラットフォームズ株式会社 移動式投射装置、移動式投射システム、移動式投射装置の制御方法、及び、制御プログラム
KR20240000330A (ko) * 2022-06-23 2024-01-02 삼성전자주식회사 영상을 투사하는 외부 전자 장치와 연동하여 영상 컨텐츠를 제공하는 전자 장치 및 이의 제어 방법
JP2024032039A (ja) * 2022-08-29 2024-03-12 カシオ計算機株式会社 制御装置、投影システム、投影領域決定方法及びプログラム

Similar Documents

Publication Publication Date Title
WO2020130691A1 (en) Electronic device and method for providing information thereof
WO2022215910A1 (ko) 화면 공유 방법 및 그 전자 장치
WO2022177166A1 (ko) 화면 재생률을 제어하는 방법 및 이를 지원하는 전자 장치
WO2026005253A1 (ko) 프로젝터를 포함하는 전자 장치 및 그 동작 방법
WO2023282458A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2023008854A1 (ko) 디스플레이 내장형 광학 센서를 포함하는 전자 장치
WO2022114809A1 (ko) 화상 회의를 제공하는 전자 장치 및 그 방법
WO2025263768A1 (ko) 투명 디스플레이를 포함하는 전자 장치 및 이의 동작 방법
WO2025155065A1 (ko) 확장 현실 이미지를 표시하는 웨어러블 전자 장치, 이의 동작 방법, 및 기록 매체
WO2026038686A1 (ko) 적어도 하나의 프롬프트를 포함하는 스티커를 표시하는 장치 및 방법
WO2025193001A1 (ko) 동영상을 제공하는 방법, 이를 지원하는 전자 장치, 및 저장 매체
WO2025230110A1 (ko) 사용자 인터페이스를 디스플레이하는 전자 장치 및 그 동작 방법
WO2026089202A1 (ko) 이미지 안의 객체의 자세를 변경하기 위한 전자 장치, 방법, 및 비일시적 컴퓨터 판독 가능 저장 매체
WO2026049313A1 (ko) 전자 장치의 어플리케이션들의 카테고리에 기초한 홈 스크린 출력 방법 및 그 방법을 수행하는 장치
WO2025263798A1 (ko) 사용자 패턴을 식별하여 컨텐츠를 생성하는 전자 장치 및 그 동작 방법
WO2024029740A1 (ko) 입력 장치를 이용하여 드로잉 데이터를 출력하는 방법 및 장치
WO2026049449A1 (ko) 전자 장치 및 이미지 개선 방법
WO2025105807A1 (ko) 빔을 출력하는 프로젝터를 포함하는 전자 장치와 이의 동작 방법
WO2025041978A1 (ko) 공간 변화에 따른 카메라 제어 방법 및 장치
WO2026043090A1 (ko) 이미지를 처리하는 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체
WO2025264081A1 (ko) 콘텐츠를 표시하는 전자 장치, 이의 동작 방법과, 기록매체
WO2025018665A1 (ko) 광의 휘도를 조정하는 웨어러블 전자 장치, 이의 동작 방법 및 기록 매체
WO2026084388A1 (ko) 동영상의 오디오 볼륨을 조정하는 전자 장치, 이의 동작 방법, 및 비일시적 컴퓨터 판독가능 저장 매체
WO2026043034A1 (ko) 홈 화면을 편집하기 위한 전자 장치, 방법, 및 비일시적 컴퓨터 판독 가능 저장 매체
WO2024043681A1 (ko) 전자 장치의 화면을 확장 현실 환경으로 변환하는 머리 착용형 전자 장치 및 그와 연결된 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25827262

Country of ref document: EP

Kind code of ref document: A1