WO2023018207A1 - 전자 장치 및 이의 동작 방법 - Google Patents

전자 장치 및 이의 동작 방법 Download PDF

Info

Publication number
WO2023018207A1
WO2023018207A1 PCT/KR2022/011899 KR2022011899W WO2023018207A1 WO 2023018207 A1 WO2023018207 A1 WO 2023018207A1 KR 2022011899 W KR2022011899 W KR 2022011899W WO 2023018207 A1 WO2023018207 A1 WO 2023018207A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
processor
application
cutout
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2022/011899
Other languages
English (en)
French (fr)
Inventor
임광호
강철
최성훈
김상헌
임연욱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN202280055701.8A priority Critical patent/CN117917088A/zh
Priority to EP22856204.7A priority patent/EP4344174A4/en
Priority to US17/966,389 priority patent/US12499811B2/en
Publication of WO2023018207A1 publication Critical patent/WO2023018207A1/ko
Anticipated expiration legal-status Critical
Priority to US19/395,366 priority patent/US20260080814A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Definitions

  • Various embodiments of the present disclosure relate to an electronic device and an operating method thereof, and more particularly, to an electronic device including an under display camera (UDC) and an operating method thereof.
  • UDC under display camera
  • An electronic device may include at least one camera module (eg, an image sensor).
  • the electronic device may include at least one under display camera (UDC) disposed under (eg, below) a display.
  • UDC under display camera
  • a typical electronic device includes a display area and a camera area, and since the camera area is not driven by a display, some areas of the display cannot display a screen.
  • the display may be driven even in the camera area (eg, the UDC area) to display the screen in the entire area of the display.
  • a UDC may be disposed below the display, and due to the application of the UDC, the display basically does not have a cutout (eg, a camera hole).
  • the display operation can be performed with no cutout (eg camera hole) in the display. Since the screen can be displayed and touched even in the UDC area (eg, camera area), the entire screen including the cutout area can be used. Since the UDC area does not have a physical camera hole, when the application is executed, the UDC area and the icon and/or user interface of the application collide, which may cause difficulties in selecting menus and executing functions of the application.
  • Embodiments of the present disclosure may provide an electronic device capable of avoiding a collision between a UDC area and an application icon and/or a user interface, and an operating method thereof.
  • an electronic device may include a display, a camera module disposed below the display, a processor controlling the display and the camera module, and a memory operatively connected to the processor.
  • the processor receives changed display matrix information according to the state of the display, creates an under display camera area corresponding to the position of the camera module based on the changed display matrix information, and It may include instructions for creating a logical cutout of the under-display camera area and updating the layout of an executed application based on the cutout.
  • a method of operating an entire device in which at least one camera module is disposed under a display is provided.
  • changed display matrix information according to a state of the display may be received.
  • An under display camera area corresponding to a location of the camera module may be created based on the changed display matrix information.
  • a logical cutout of the under display camera area may be created.
  • a layout of an executed application may be updated based on the cutout.
  • An electronic device including a UDC may avoid collision between a UDC area and an application icon and/or a user interface by adjusting coordinates of an application icon and/or a user interface.
  • An electronic device including a UDC may adjust the size of an application to avoid collision between a UDC area and an icon of an application and/or a user interface.
  • FIG. 1 is a block diagram of an electronic device in a network environment according to an embodiment of the present disclosure.
  • FIG. 2A is a perspective view of the front of an electronic device according to an embodiment of the present disclosure.
  • 2B is a perspective view of a rear surface of an electronic device according to an embodiment of the present disclosure.
  • 3A is a diagram illustrating a first state (eg, an unfolded state or an open state) of an electronic device according to an embodiment of the present disclosure.
  • 3B is a diagram illustrating a second state (eg, a folded state or a closed state) of an electronic device according to an embodiment of the present disclosure.
  • FIG. 4 is a block diagram of a display module of an electronic device according to an exemplary embodiment.
  • FIG. 5 is a diagram illustrating a display and a camera module (eg, an image sensor) according to an embodiment of the present disclosure.
  • a camera module eg, an image sensor
  • FIG. 6 is a diagram illustrating shapes of pixels arranged in a first area (eg, a UDC area) and a second area (eg, an active area) of a display according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating collision between a cutout of an under display camera (UDC) and an icon when a display of an electronic device according to a comparative example is driven.
  • UDC under display camera
  • FIG. 8 is a diagram illustrating a collision between a cutout of an under display camera (UDC) and an icon when a camera of an electronic device according to a comparative example is driven.
  • UDC under display camera
  • FIG. 9 is a diagram illustrating an electronic device and an operating method according to an embodiment of the present disclosure.
  • FIG. 10 is a diagram illustrating an operating method of an electronic device according to an embodiment of the present disclosure.
  • 11A is a diagram illustrating an operation method of an electronic device when UDC avoidance is not applied according to an embodiment of the present disclosure.
  • 11B is a diagram illustrating an operation method when UDC avoidance of an electronic device according to an embodiment of the present disclosure is applied.
  • FIG. 12 is a diagram illustrating an operation of receiving display matrix state information.
  • FIG. 13 is a diagram illustrating a UDC cutout based on display matrix information.
  • FIG. 14 is a diagram illustrating generating a cutout of a UDC when it is determined that a UDC exists.
  • 15 is a diagram illustrating updating of a screen based on display matrix information change.
  • 16 is a diagram showing that the layout of an application is updated by avoiding cutout of UDC.
  • 17 is a diagram illustrating an operating method of determining avoidance in response to a UDC cutout and displaying a screen.
  • 18 is a diagram illustrating avoiding UDC cutout by applying padding to a window of an application.
  • 19 is a diagram illustrating avoiding UDC cutout by reducing the window size of an application.
  • 20 is a diagram illustrating displaying a screen without changing the layout of an application when avoidance of collision with a UDC cutout is not required.
  • 21 is a diagram illustrating avoiding UDC cutout by reducing application size.
  • 22 is a diagram illustrating avoiding collision with a UDC cutout by moving the coordinates of an application icon.
  • FIG. 23 is a diagram illustrating visually displaying a UDC cutout on a display based on UDC coordinates.
  • 24A is a diagram illustrating a method of moving coordinates of an application icon in order to avoid a collision between a UDC cutout and an application icon.
  • 24B is a diagram illustrating a method of moving coordinates of an application icon in order to avoid a collision between a UDC cutout and an application icon.
  • 25 is a diagram illustrating an operation method when a gallery view application is executed.
  • 26 is a diagram illustrating an operation method when a camera application is executed.
  • 27 is a diagram illustrating an operation method when another camera application is executed.
  • 28 is a diagram illustrating an operating method when another camera application is executed.
  • 29 is a diagram illustrating that UDC cutout avoidance is applied to an electronic device in which a display size is changed in a sliding manner.
  • FIG. 30 is a diagram illustrating that UDC cutout avoidance is applied to an electronic device in which a display is folded and unfolded in a vertical direction (eg, a y-axis direction).
  • FIG. 31 is a diagram illustrating that UDC cutout avoidance is applied to an electronic device including a plurality of folding regions (eg, a plurality of hinges and folding axes).
  • a plurality of folding regions eg, a plurality of hinges and folding axes.
  • FIG. 1 is a block diagram of an electronic device 101 within a network environment 100 according to an embodiment of the present disclosure.
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or through a second network 199. It may communicate with at least one of the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • a first network 198 eg, a short-range wireless communication network
  • a second network 199 e.g., a second network 199. It may communicate with at least one of the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or the antenna module 197 may be included.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added.
  • some of these components eg, sensor module 176, camera module 180, or antenna module 197) are integrated into a single component (eg, display module 160). It can be.
  • the processor 120 for example, executes software (eg, the program 140) to cause at least one other component (eg, hardware or software component) of the electronic device 101 connected to the processor 120. It can control and perform various data processing or calculations. According to one embodiment, as at least part of data processing or operation, the processor 120 transfers commands or data received from other components (eg, sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 .
  • software eg, the program 140
  • the processor 120 transfers commands or data received from other components (eg, sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 .
  • the processor 120 may include a main processor 121 (eg, a central processing unit or an application processor) or a secondary processor 123 (eg, a graphic processing unit, a neural network processing unit ( NPU: neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor).
  • a main processor 121 eg, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, a neural network processing unit ( NPU: neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor.
  • NPU neural network processing unit
  • the secondary processor 123 may be implemented separately from or as part of the main processor 121 .
  • the secondary processor 123 may, for example, take the place of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, running an application). ) state, together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states.
  • the auxiliary processor 123 eg, an image signal processor or a communication processor
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model.
  • AI models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself where the artificial intelligence model is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning or reinforcement learning, but in the above example Not limited.
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the foregoing, but is not limited to the foregoing examples.
  • the artificial intelligence model may include, in addition or alternatively, software structures in addition to hardware structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101 .
  • the data may include, for example, input data or output data for software (eg, program 140) and commands related thereto.
  • the memory 130 may include volatile memory 132 or non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input module 150 may receive a command or data to be used by a component (eg, the processor 120) of the electronic device 101 from the outside of the electronic device 101 (eg, a user).
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • a receiver may be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 may visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor configured to detect a touch or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 170 may convert sound into an electrical signal or vice versa. According to an embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a bio sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that may be used to directly or wirelessly connect the electronic device 101 to an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 may be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert electrical signals into mechanical stimuli (eg, vibration or motion) or electrical stimuli that a user may perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to one embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as at least part of a power management integrated circuit (PMIC), for example.
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • the battery 189 may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). Establishment and communication through the established communication channel may be supported.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : a local area network (LAN) communication module or a power line communication module).
  • a corresponding communication module is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, a legacy communication module).
  • the wireless communication module 192 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, NR access technology (new radio access technology).
  • NR access technologies include high-speed transmission of high-capacity data (enhanced mobile broadband (eMBB)), minimization of terminal power and access of multiple terminals (massive machine type communications (mMTC)), or high reliability and low latency (ultra-reliable and low latency (URLLC)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low latency
  • -latency communications can be supported.
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • the wireless communication module 192 uses various technologies for securing performance in a high frequency band, such as beamforming, massive multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. Technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna may be supported.
  • the wireless communication module 192 may support various requirements defined for the electronic device 101, an external electronic device (eg, the electronic device 104), or a network system (eg, the second network 199).
  • the wireless communication module 192 is a peak data rate for eMBB realization (eg, 20 Gbps or more), a loss coverage for mMTC realization (eg, 164 dB or less), or a U-plane latency for URLLC realization (eg, Example: downlink (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less) may be supported.
  • eMBB peak data rate for eMBB realization
  • a loss coverage for mMTC realization eg, 164 dB or less
  • U-plane latency for URLLC realization eg, Example: downlink (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less
  • the antenna module 197 may transmit or receive signals or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator formed of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is selected from the plurality of antennas by the communication module 190, for example. can be chosen A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC) may be additionally formed as a part of the antenna module 197 in addition to the radiator.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first surface (eg, a lower surface) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, array antennas) disposed on or adjacent to a second surface (eg, a top surface or a side surface) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or part of operations executed in the electronic device 101 may be executed in one or more external electronic devices among the external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 when the electronic device 101 needs to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device 101 instead of executing the function or service by itself.
  • one or more external electronic devices may be requested to perform the function or at least part of the service.
  • One or more external electronic devices receiving the request may execute at least a part of the requested function or service or an additional function or service related to the request, and deliver the execution result to the electronic device 101 .
  • the electronic device 101 may provide the result as at least part of a response to the request as it is or additionally processed.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an internet of things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks. According to an embodiment, the external electronic device 104 or server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to intelligent services (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • An electronic device may be a device of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device e.g, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart bracelet
  • first, second, or first or secondary may simply be used to distinguish that component from other corresponding components, and may refer to that component in other respects (eg, importance or order) is not limited.
  • a (eg, first) component is said to be “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively.”
  • the certain component may be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in an embodiment of the present disclosure may include a unit implemented in hardware, software, or firmware, and is interchangeably interchangeable with terms such as, for example, logic, logical blocks, components, or circuits.
  • a module may be an integrally constructed component or a minimal unit of components or a portion thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • a storage medium eg, the internal memory 136 or the external memory 138
  • a machine eg, the electronic device 101
  • a processor eg, the processor 120
  • a device eg, the electronic device 101
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • the storage medium is a tangible device and does not contain a signal (e.g. electromagnetic wave), and this term refers to the case where data is stored semi-permanently in the storage medium. It does not discriminate when it is temporarily stored.
  • a signal e.g. electromagnetic wave
  • the method according to the embodiment disclosed in this document may be included and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product is distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play Store TM ) or on two user devices (e.g. It can be distributed (eg downloaded or uploaded) online, directly between smart phones.
  • a device e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play Store TM
  • It can be distributed (eg downloaded or uploaded) online, directly between smart phones.
  • at least part of the computer program product may be temporarily stored or temporarily created in a storage medium readable by a device such as a manufacturer's server, an application store server, or a relay server's memory.
  • each component (eg, module or program) of the components described above may include a single object or a plurality of objects, and some of the multiple objects may be separately disposed in other components. .
  • one or more components or operations among the aforementioned corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg modules or programs
  • the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by a corresponding component of the plurality of components prior to the integration. .
  • operations performed by modules, programs, or other components are executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations are executed in a different order, omitted, or , or one or more other operations may be added.
  • the display module 160 shown in FIG. 1 may include a flexible display configured to fold or unfold a screen (eg, a display screen).
  • the display module 160 illustrated in FIG. 1 may include a flexible display that is slidably disposed to provide a screen (eg, a display screen).
  • the display module 160 shown in FIG. 1 is described as including a foldable display or a flexible display, but is not limited thereto.
  • the display module 160 may include a bar-type or plate-type display.
  • 2A is a perspective view of the front of an electronic device according to an embodiment of the present disclosure.
  • 2B is a perspective view of a rear surface of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 200 (eg, the electronic device 101 of FIG. 1 ) according to an embodiment of the present disclosure has a first surface (or front surface) 210A and a second surface. (or rear) 210B, and housing 210.
  • a display 210 (eg, the display module 160 of FIG. 1 ) may be disposed in a space formed by the housing 210 .
  • the housing 210 may include a side surface 210C surrounding a space between the first surface 210A and the second surface 210B.
  • the housing 210 may refer to a structure forming some of the first face 210A, the second face 210B, and the side face 210C.
  • the first surface 210A may be formed by a front plate 202 (eg, a glass plate or a polymer plate including various coating layers) that is substantially transparent at least in part.
  • a front plate 202 eg, a glass plate or a polymer plate including various coating layers
  • the second surface 210B may be formed by a substantially opaque back plate 211 .
  • the rear plate 211 is formed, for example, of coated or colored glass, ceramic, polymer, metal (eg, aluminum, stainless steel (STS), or magnesium), or a combination of at least two of the foregoing materials. It can be. However, it is not limited thereto, and the back plate 211 may be formed of transparent glass.
  • the side surface 210C is coupled to the front plate 202 and the back plate 211 and is formed by a side bezel structure 218 (or “side member”) including metal and/or polymer. can be formed
  • the back plate 211 and the side bezel structure 218 may be integrally formed and include the same material (eg, a metal material such as aluminum).
  • the front plate 202 may include two first regions 210D that are curved and seamlessly extended from the first surface 210A toward the rear plate 211 .
  • the two first regions 210D may be disposed at both ends of a long edge of the front plate 202 .
  • the rear plate 211 may include two second regions 210E that are curved and seamlessly extended from the second surface 210B toward the front plate 202 .
  • the front plate 202 may include only one of the first regions 210D (or the second regions 210E). In some embodiments, some of the first regions 210D or the second regions 210E may not be included. In embodiments, when viewed from the side of the electronic device 200, the side bezel structure 218 has the first area 210D or the second area 210E not included. It has a thickness (or width), and may have a second thickness smaller than the first thickness at a side surface including the first regions 210D or the second regions 210E.
  • the electronic device 200 includes a display 201 (eg, the display module 160 of FIG. 1 ), an audio input device 203 (eg, the input module 150 of FIG. 1 ), and Output device 207, 214 (eg, sound output module 155 in FIG. 1), sensor module 204, 219 (eg, sensor module 176 in FIG. 1), camera module 205, 212 (eg, : It may include at least one of the camera module 180 of FIG. 1), a flash 213, a key input device 217, an indicator (not shown), and connectors 208 and 209.
  • the electronic device 200 may omit at least one of the components (eg, the key input device 217) or may additionally include other components.
  • the display 201 may be visually visible through an upper portion of the front plate 202 .
  • at least a portion of the display 201 may be visible through the front plate 202 forming the first surface 210A and the first area 210D of the side surface 210C.
  • the display 201 may be combined with or disposed adjacent to a touch sensing circuit, a pressure sensor capable of measuring the strength (pressure) of a touch, and/or a digitizer that detects a magnetic field type stylus pen.
  • at least a portion of the sensor modules 204 and 219 and/or at least a portion of the key input device 217 are disposed in the first area 210D and/or the second area 210E. It can be.
  • At least one of a sensor module 204, a camera module 205 (eg, an image sensor), an audio module 214, and a fingerprint sensor is included on the rear surface of the screen display area of the display 201. can do.
  • the display 201 may be combined with or disposed adjacent to a touch sensing circuit, a pressure sensor capable of measuring the strength (pressure) of a touch, and/or a digitizer detecting a magnetic stylus pen. there is.
  • At least a portion of the sensor modules 204 and 219 and/or at least a portion of the key input device 217 are located in the first regions 210D and/or the second region 210E. can be placed in the field.
  • the audio input device 203 may include a microphone. In some embodiments, the input device 203 may include a plurality of microphones disposed to detect the direction of sound.
  • the sound output devices 207 and 214 may include the sound output devices 207 and 214 .
  • the audio output devices 207 and 214 may include an external speaker 207 and a receiver for communication (eg, the audio module 214).
  • the audio input device 203 eg, a microphone
  • the audio output devices 207 and 214, and the connectors 208 and 209 are disposed in the internal space of the electronic device 200 and formed in the housing 210. It may be exposed to the external environment through at least one hole.
  • the hole formed in the housing 210 may be commonly used for the audio input device 203 (eg, a microphone) and the audio output devices 207 and 214 .
  • the sound output devices 207 and 214 may include a speaker (eg, a piezo speaker) operated while excluding holes formed in the housing 210 .
  • the sensor modules 204 and 219 may provide electrical signals or data corresponding to an internal operating state of the electronic device 200 or an external environmental state. value can be created.
  • the sensor modules 204 and 219 may include, for example, a first sensor module 204 (eg, a proximity sensor) disposed on the first surface 210A of the housing 210 and/or a first sensor module 204 (eg, a proximity sensor) of the housing 210.
  • a second sensor module 219 eg, HRM sensor
  • a third sensor module not shown
  • fingerprint sensor disposed on the second surface 210B
  • the fingerprint sensor may be disposed on the first surface 210A (eg, the display 201 ) and/or the second surface 210B of the housing 210 .
  • the electronic device 200 includes a sensor module (not shown), for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a color sensor, an IR (infrared) sensor, a bio sensor, a temperature sensor, At least one of a humidity sensor and an illuminance sensor may be further included.
  • the camera modules 205 and 212 include the first camera module 205 disposed on the first surface 210A of the electronic device 200 and the second camera module 205 disposed on the second surface 210B of the electronic device 200.
  • a camera module 212 may be included.
  • a flash 213 may be disposed around the camera modules 205 and 212 .
  • the camera modules 205 and 212 may include one or a plurality of lenses, an image sensor, and/or an image signal processor.
  • the flash 213 may include, for example, a light emitting diode or a xenon lamp.
  • the first camera module 205 may be disposed below the display panel of the display 201 in an under display camera (UDC) method.
  • two or more lenses (wide-angle and telephoto lenses) and image sensors may be disposed on one surface of the electronic device 200 .
  • a plurality of first camera modules 205 may be disposed on a first surface (eg, a surface on which a screen is displayed) of the electronic device 200 in an under display camera (UDC) method.
  • the key input device 217 may be disposed on the side surface 210C of the housing 210.
  • the electronic device 200 may not include some or all of the above-mentioned key input devices 217, and the key input devices 217 that are not included may include other key input devices such as soft keys on the display 201.
  • key input device 217 may be implemented using a pressure sensor included in display 201 .
  • the connectors 208 and 209 include a first connector hole 208 capable of receiving a connector (eg, a USB connector) for transmitting and receiving power and/or data to and from an external electronic device; and / or may include a second connector hole 209 (or earphone jack) capable of receiving a connector for transmitting and receiving an audio signal to and from an external electronic device.
  • the first connector hole 208 may include a universal serial bus (USB) A type port or a USB C type port.
  • USB Type-C the electronic device 200 (eg, the electronic device 101 of FIG. 1 ) may support USB power delivery (PD) charging.
  • some of the camera modules 205 of the camera modules 205 and 212 and/or some of the sensor modules 204 of the sensor modules 204 and 219 are visually visible through the display 201. can be placed.
  • the camera module 205 is disposed in an under display camera (UDC) method, the camera module 205 may not be visually visible to the outside.
  • UDC under display camera
  • the camera module 205 may be disposed overlapping with the display area, and the screen may be displayed in the display area corresponding to the camera module 205 .
  • Some sensor modules 204 may be arranged to perform their functions without being visually exposed through the front plate 202 in the internal space of the electronic device.
  • 3A is a diagram illustrating a first state (eg, an unfolded state or an open state) of an electronic device according to an embodiment of the present disclosure.
  • 3B is a diagram illustrating a second state (eg, a folded state or a closed state) of an electronic device according to an embodiment of the present disclosure.
  • an electronic device 300 (eg, the electronic device 101 of FIG. 1 ) includes a housing 310 and a display 320 disposed in a space formed by the housing 310.
  • the display 320 may include a flexible display or a foldable display.
  • the surface on which the display 320 is disposed may be defined as a first surface or a front surface of the electronic device 300 (eg, a surface on which a screen is displayed when unfolded). Also, a surface opposite to the front surface may be defined as a second surface or a rear surface of the electronic device 300 . Also, a surface surrounding the space between the front and rear surfaces may be defined as a third surface or a side surface of the electronic device 300 . For example, the electronic device 300 may fold or unfold the folding area 323 in a first direction (eg, an x-axis direction) based on a folding axis (eg, an A-axis).
  • a first direction eg, an x-axis direction
  • a folding axis eg, an A-axis
  • the housing 310 may include a first housing structure 311 , a second housing structure 312 including a sensor area 324 , and a hinge cover 313 .
  • the housing 310 may include a first rear cover 380 and a second rear cover 390 .
  • the housing 310 of the electronic device 300 is not limited to the shape and combination shown in FIGS. 3A and 3B , and may be implemented by other shapes or combinations and/or combinations of parts.
  • the first housing structure 311 and the first rear cover 380 may be integrally formed
  • the second housing structure 312 and the second rear cover 390 may be integrally formed. can be formed
  • the first housing structure 311 and the second housing structure 312 are disposed on both sides of the folding axis A, and may have a generally symmetrical shape with respect to the folding axis A. .
  • the first housing structure 311 and the second housing structure 312 determine whether the state of the electronic device 300 is an unfolded state (eg, a first state), a folded state (eg, a second state), or an intermediate state ( Example: the third state), an angle or a distance formed from each other may be different.
  • the second housing structure 312 unlike the first housing structure 311, the sensor area 324 where various sensors (eg, an illuminance sensor, an iris sensor, and/or an image sensor) are disposed. ), but may have mutually symmetrical shapes in other regions.
  • various sensors eg, an illuminance sensor, an iris sensor, and/or an image sensor
  • At least one sensor may be disposed in the lower portion and/or bezel area of the display as well as the sensor area 324 .
  • the first housing structure 311 and the second housing structure 312 may form a recess accommodating the display 320 together.
  • the recess may have two or more different widths in a direction orthogonal to the folding axis A (eg, an x-axis direction).
  • the recess is formed at the edge of the sensor region 324 of the first portion 311a of the first housing structure 311 and the second housing structure 312, and the second housing structure 312 has a second recess. It may have a first width W1 between the first portions 312a.
  • the recess may have a second width W2 formed by the second portion 311b of the first housing structure 311 and the second portion 312b of the second housing structure 312 .
  • the second part 311b of the first housing structure 311 may be formed parallel to the folding axis A of the first housing structure 311 .
  • the second part 312b of the second housing structure 312 may be formed parallel to the folding axis A while not corresponding to the sensor area 324 of the second housing structure 312 .
  • the second width W2 may be longer than the first width W1.
  • the first part 311a of the first housing structure 311 and the first part 312a of the second housing structure 312 having mutually asymmetric shapes form the first width W1 of the recess. can do.
  • the second portion 311b of the first housing structure 311 and the second portion 312b of the second housing structure 312 having mutually symmetrical shapes may form the second width W2 of the recess. .
  • the first part 312a and the second part 312b of the second housing structure 312 may have different distances from the folding axis A.
  • the width of the recess is not limited to the illustrated example. In one embodiment, the recess may have a plurality of widths due to the shape of the sensor area 324 or the asymmetrical shape of the first housing structure 311 and the second housing structure 312 .
  • At least a portion of the first housing structure 311 and the second housing structure 312 may be formed of a metal material or a non-metal material having a rigidity of a size selected to support the display 320 .
  • the sensor area 324 may be formed to have a predetermined area adjacent to one corner of the second housing structure 312 .
  • the arrangement, shape, and size of the sensor area 324 are not limited to the illustrated example.
  • the sensor area 324 may be provided at another corner of the second housing structure 312 or any area between the top corner and the bottom corner.
  • components for performing various functions embedded in the electronic device 300 are electronically transmitted through the sensor area 324 or through one or more openings provided in the sensor area 324. It may be exposed on the front surface of the device 300 .
  • the components may include various types of sensors.
  • the sensor may include, for example, at least one of an illuminance sensor, a front camera (eg, a camera module), a receiver, or a proximity sensor.
  • the first rear cover 380 is disposed on one side of the folding axis A on the rear side of the electronic device 300, may have, for example, a substantially rectangular periphery, and may include a first housing The edge may be wrapped by the structure 311 .
  • the second rear cover 390 may be disposed on the other side of the folding axis A on the rear side of the electronic device 300, and its edge may be wrapped by the second housing structure 312. .
  • the first rear cover 380 and the second rear cover 390 may have substantially symmetrical shapes around the folding axis A.
  • the first rear cover 380 and the second rear cover 390 do not necessarily have symmetrical shapes, and in another embodiment, the electronic device 300 includes various shapes of the first rear cover 380 and A second rear cover 390 may be included.
  • the first rear cover 380 may be integrally formed with the first housing structure 311, and the second rear cover 390 may be integrally formed with the second housing structure 312. there is.
  • the first rear cover 380, the second rear cover 390, the first housing structure 311, and the second housing structure 312 are various parts of the electronic device 300 (eg : A space in which a printed circuit board or battery) can be disposed can be formed.
  • one or more components may be disposed or visually exposed on the back of the electronic device 300 .
  • at least a portion of the sub display 330 may be visually exposed through the first rear area 382 of the first rear cover 380 .
  • one or more parts or sensors may be visually exposed through the second rear area 392 of the second rear cover 390 .
  • the sensor may include an illuminance sensor, a proximity sensor, and/or a rear camera.
  • the hinge cover 313 may be disposed between the first housing structure 311 and the second housing structure 312 to cover an internal part (eg, a hinge structure). .
  • the hinge cover 313 may cover a portion where the first housing structure 311 and the second housing structure 312 come into contact with each other when the electronic device 300 is expanded and folded.
  • the hinge cover 313 may include a first housing structure 311 and a second housing structure (according to a state (flat state or folded state) of the electronic device 300). 312) or may be exposed to the outside.
  • the hinge cover 313 when the electronic device 300 is in an unfolded state, the hinge cover 313 is formed by the first housing structure 311 and the second housing structure. It may not be exposed because it is covered by 312.
  • the hinge cover 313 when the electronic device 300 is in a folded state (eg, fully folded state), the hinge cover 313 is the first housing structure. 311 and may be exposed to the outside between the second housing structure 312.
  • the first housing structure 311 and the second housing structure 312 form a predetermined angle (folded with a In the case of an intermediate state at a certain angle, the hinge cover 313 may be partially exposed to the outside between the first housing structure 311 and the second housing structure 312. However, in this case, the exposed area may be less than a completely folded state As an embodiment, the hinge cover 313 may include a curved surface.
  • the display 320 may be disposed on a space formed by the housing 310 .
  • the display 320 is seated on a recess formed by the housing 310 and may constitute most of the front surface of the electronic device 300 .
  • the front surface of the electronic device 300 may include the display 320 , a partial area of the first housing structure 311 adjacent to the display 320 , and a partial area of the second housing structure 312 .
  • the rear surface of the electronic device 300 includes the first rear cover 380, a partial area of the first housing structure 311 adjacent to the first rear cover 380, the second rear cover 390, and the second rear cover. A portion of the second housing structure 312 adjacent to 390 may be included.
  • the display 320 may refer to a display in which at least a partial area may be deformed into a flat or curved surface.
  • the display 320 includes a folding area 323, a first area 321 disposed on one side (eg, left side in FIG. 3A) and the other side (right side in FIG. 3A) based on the folding area 323. It may include a second area 322 disposed on.
  • the display 320 may include a top emission or bottom emission type OLED display.
  • An OLED display may include a low temperature color filter (LTCF) layer, window glass (e.g., ultra-thin glass (UTG) or polymer window), and an optical compensation film (e.g., optical compensation film (OCF)).
  • LTCF low temperature color filter
  • window glass e.g., ultra-thin glass (UTG) or polymer window
  • OCF optical compensation film
  • the polarizing film or polarizing layer
  • the area division of the display 320 is exemplary, and the display 320 may be divided into a plurality of (eg, two or more) areas according to a structure or function. As an embodiment, the area of the display 320 may be divided by the folding area 323 extending parallel to the y-axis or the folding axis A, but in another embodiment, the display 320 may have another folding area ( For example, the region may be divided based on a folding region parallel to the x-axis) or another folding axis (eg, a folding axis parallel to the x-axis).
  • first region 321 and the second region 322 may have generally symmetrical shapes around the folding region 323 .
  • the first housing structure 311 and the second housing structure 312 form an angle of about 180 degrees and substantially They can be arranged facing the same direction.
  • the surface of the first area 321 and the surface of the second area 322 of the display 320 form an angle of about 180 degrees to each other and may face substantially the same direction (eg, the front surface of the electronic device).
  • the folding region 323 may form the same plane as the first region 321 and the second region 322 .
  • the first housing structure 311 and the second housing structure 312 may face each other.
  • the surface of the first area 321 and the surface of the second area 322 of the display 320 form a narrow angle (eg, between 0 degrees and about 10 degrees) and may face each other.
  • At least a portion of the folding region 323 may be formed of a curved surface having a predetermined curvature.
  • the first housing structure 311 and the second housing structure 312 may be disposed at a certain angle to each other. there is.
  • the surface of the first area 321 and the surface of the second area 322 of the display 320 may form an angle greater than that of the folded state and smaller than that of the unfolded state.
  • At least a portion of the folding region 323 may be formed of a curved surface having a predetermined curvature, and the curvature at this time may be smaller than that in a folded state.
  • Electronic devices may include electronic devices such as a bar type, a foldable type, a rollable type, a sliding type, a wearable type, a tablet PC, and/or a notebook PC.
  • the electronic devices 101, 200, and 300 according to an embodiment are not limited to the above examples and may include various other electronic devices.
  • FIG. 4 is a block diagram of the display module 160 of the electronic device 400 according to an embodiment.
  • a display module 160 (eg, a display device) is configured to control a display 410 (eg, the display 210 of FIG. 2A or the display 320 of FIG. 3A ) and the display 410 .
  • a display driver integrated circuit (IC) 430 (hereinafter referred to as 'DDI 430') and a touch circuit 450 may be included.
  • the DDI 430 may include an interface module 431 , a memory 433 (eg, a buffer memory), an image processing module 435 , and/or a mapping module 437 .
  • the DDI 430 transmits image data or image information including an image control signal corresponding to a command for controlling the image data to the electronic device 400 (eg: It may be received from other components of the electronic device 101 of FIG. 1 , the electronic device 200 of FIG. 2A , and the electronic device 300 of FIG. 3A .
  • the image information is independent of the function of a processor (eg, the processor 120 of FIG. 1) (eg, the main processor 121 of FIG. 1) (eg, the application processor) or the main processor 121. It may be received from an operating auxiliary processor (eg, the auxiliary processor 123 of FIG. 1 ) (eg, a graphic processing unit).
  • a processor eg, the processor 120 of FIG. 1
  • main processor 121 of FIG. 1 eg, the application processor
  • an operating auxiliary processor eg, the auxiliary processor 123 of FIG. 1
  • a graphic processing unit eg, a graphic processing unit
  • the DDI 430 includes the touch circuit 450 or the sensor module 176 (eg, the camera module 205 of FIG. 2A or the camera module disposed in the sensor area 324 of FIG. 3A) and Communication may be performed through the interface module 431 .
  • the DDI 430 may store at least some of the received image information in the memory 433 .
  • the DDI 430 may store at least some of the received image information in the memory 433 in units of frames.
  • the image processing module 435 preprocesses or postprocesses (eg, adjusts resolution, brightness, or size) at least a portion of the image data based on at least the characteristics of the image data or the characteristics of the display 410 . ) can be performed.
  • the mapping module 437 may generate a voltage value or current value corresponding to the image data pre-processed or post-processed through the image processing module 435 .
  • the generation of the voltage value or the current value is, for example, the properties of the pixels of the display 410 (eg, the arrangement of pixels (RGB stripe or pentile structure), the size of each sub-pixel, or the deterioration of the pixels). ) may be performed based at least in part on.
  • At least some pixels of the display 410 are driven based at least in part on the voltage value or current value, so that visual information (eg, text, image, or icon) corresponding to the image data is displayed on the display 410. ) can be displayed.
  • visual information eg, text, image, or icon
  • the display module 160 may include a touch circuit 450 .
  • the touch circuit 450 may include a touch sensor 451 and a touch sensor IC 453 for controlling the touch sensor 451 .
  • the touch sensor IC 453 may control the touch sensor 451 to detect a touch input or a hovering input to a specific location of the display 410 .
  • the touch sensor IC 453 may detect a touch input or a hovering input by measuring a change in a signal (eg, voltage, light amount, resistance, or charge amount) for a specific position of the display 410 .
  • the touch sensor IC 453 may provide information (eg, position, area, pressure, or time) related to the sensed touch input or hovering input to a processor (eg, the processor 120 of FIG. 1 ).
  • At least a part of the touch circuit 450 may be included as part of the DDI 430 or the display 410.
  • At least a portion of the touch circuit 450 (eg, the touch sensor IC 453) is included as part of other components (eg, the auxiliary processor 123) disposed outside the display module 160. can
  • the display module 160 may further include a sensor module 176 and/or a control circuit for the sensor module 176 .
  • the sensor module 176 may include at least one sensor (eg, a camera module, an illuminance sensor, a fingerprint sensor, an iris sensor, a pressure sensor, and/or an image sensor).
  • the at least one sensor or a control circuit thereof may be embedded in a part of the display module 160 (eg, the display 410 or the DDI 430) or a part of the touch circuit 450.
  • the sensor module 176 when the sensor module 176 includes a camera module (eg, an image sensor) (eg, the camera module 510 of FIG. 5 ), a camera module (eg, an image sensor) (eg, FIG. 5 ).
  • the camera module 510 of may be disposed under (eg, below) the display 410 in an under display camera (UDC) method.
  • UDC under display camera
  • the illuminance sensor may detect an amount of ultraviolet (UV) exposure according to external light exposure of the display.
  • UV ultraviolet
  • the biometric sensor when the sensor module 176 embedded in the display module 160 includes a biometric sensor (eg, a fingerprint sensor), the biometric sensor is associated with a touch input through a partial area of the display 410. Biometric information (eg, a fingerprint image) may be obtained.
  • a biometric sensor eg, a fingerprint sensor
  • the pressure sensor acquires pressure information associated with a touch input through a part or the entire area of the display 410. can do.
  • the touch sensor 451 or the sensor module 176 may be disposed between pixels of a pixel layer of the display 410 or above or below the pixel layer.
  • the sensor module 176 may be disposed in a bezel area of an electronic device (eg, the electronic device 101 of FIG. 1 ).
  • FIG. 5 is a diagram illustrating a display and a camera module (eg, an image sensor) according to an embodiment of the present disclosure.
  • 6 is a diagram illustrating shapes of pixels arranged in a first area (eg, a UDC area) and a second area (eg, an active area) of a display according to an embodiment of the present disclosure.
  • an electronic device 500 or 600 includes a display 501 and a camera module 510 (eg, the camera module 205 of FIG. 2A, A camera module disposed in the sensor area 324)) may be included.
  • a camera module 510 eg, the camera module 205 of FIG. 2A, A camera module disposed in the sensor area 324.
  • the display 501 includes a display panel 520, a polarizing layer 530 (eg, a polarizing film), and a window glass 540 (eg, ultra-thin tempered glass (UTG)). : ultra-thin glass) or polymer window), and an optical compensation film (550, OCF: optical compensation film).
  • the optical compensation film 550 may be disposed to correspond to the entire surface of the polarization layer 530 and the window glass 540 .
  • the window glass 540 may be ultra-thin glass (UTG) or a polymer window.
  • the camera module 510 may be disposed under (eg, below) the display 501 in an under display camera (UDC) method.
  • the camera module 510 may be disposed under (eg, below) the display panel 520 .
  • At least one camera module 510 may be disposed below the display panel 520 .
  • the present invention is not limited thereto, and a plurality of camera modules 510 may be disposed below the display panel 520 .
  • the display panel 520 includes a first area 611 (eg, an under display camera (UDC) area) and a second area 612 (eg, an active area) corresponding to the camera module 510.
  • a first area 611 eg, an under display camera (UDC) area
  • a second area 612 eg, an active area
  • the pixels 662 are disposed not only in the second area 612 (eg, the active area) of the display panel 520 but also in the first area 611 (eg, the UDC area), so that an image is displayed. can be displayed
  • the first area 611 (eg, UDC area) is disposed at the top right of the electronic device 500 as an example.
  • the first area 611 (eg, the UDC area) may be disposed in the top center, top left, center, right center, left center, bottom right, bottom center, or bottom left of the electronic device 500 without being limited thereto. There is no limitation on the position where the first area 611 (eg, UDC area) is disposed.
  • the polarization layer 530 may be disposed above the display panel 520 (eg, in the z-axis direction).
  • the polarization layer 530 may polarize incident light and output the polarized light.
  • the polarization layer 530 polarizes light incident on the display panel 520 to prevent degradation of display quality due to light reflection.
  • the display 501 may be configured without the polarization layer 530 .
  • the window glass 540 may be disposed on the display panel 520 or the polarization layer 530 .
  • the optical compensation film 550 may be disposed on the window glass 540 .
  • the optical compensation film 550 may have a function of a protective film for protecting the window glass 540 and a function of a retardation film for preventing rainbow color spots due to application of the polarization layer 530 .
  • one optical compensation film 550 is disposed on the window glass 540 . It is not limited thereto, and a plurality of optical compensation films may be disposed on the window glass 540 . In addition, one optical compensation film 550 may be disposed on the window glass 540 and a protective layer (or coating layer) may be disposed on the optical compensation film 550 .
  • the optical compensation film 550 may have a protective film or a shock absorption function in addition to an optical compensation function. Therefore, the thicker the optical compensation film 550 may be, the better it is in terms of protection film or shock absorption function. However, in the case of a foldable phone, the thickness of the optical compensation film 550 should be considered because the folding characteristics are important. can
  • a first adhesive member 525 may be formed between the display panel 520 and the polarization layer 530 to adhere the display panel 520 to the polarization layer 530 .
  • a second adhesive member 535 may be formed between the polarization layer 530 and the window glass 540 so that the polarization layer 530 and the window glass 540 may be adhered to each other.
  • a third adhesive member 545 is formed between the window glass 540 and the optical compensation film 550 so that the window glass 540 and the optical compensation film 550 can be adhered to each other.
  • the first to third adhesive members 525, 535, and 545 may include optical clear adhesive (OCA), pressure sensitive adhesive (PSA), heat-reactive adhesive, general adhesive, or double-sided tape.
  • OCA optical clear adhesive
  • PSA pressure sensitive adhesive
  • heat-reactive adhesive general adhesive
  • double-sided tape To facilitate attaching and detaching the optical compensation film 550 disposed on the window glass 540, the adhesive force of the third adhesive member 545 is lower than that of the first adhesive member 525 and the second adhesive member 535 (or weakly) can be formed.
  • the display panel 520 and the polarization layer 530 may be integrally formed.
  • a color filter formed of red (R), green (G), and blue (B) pigments having a polarization function is disposed on the disposed pixels of the display panel 520 to form a polarization layer 530. You can also delete it.
  • the optical compensation film 550 may be disposed on the window glass 540 .
  • a light reflection blocking layer eg, a black pixel define layer (BPDL) capable of preventing reflection of external light may be included inside the display panel 520 .
  • BPDL black pixel define layer
  • the polarization layer 530 disposed on the upper portion of the display panel 520 corresponds to the camera module 510 (eg, lens) in order to prevent performance deterioration of the camera module 510 due to refractive index.
  • the location may include perforated openings.
  • the position of the polarization layer 530 corresponding to the camera module 510 may be processed to be transparent, or polarization characteristics may be removed.
  • layers without openings (eg, the display panel 520) or a touch panel may include a coating capable of index matching to minimize a refractive index difference.
  • the display panel 520 may be an organic light emitting diodes (OLED) panel, a liquid crystal display (LCD), or a quantum, dot, light-emitting diodes (QLED) panel.
  • the display panel 520 includes a plurality of pixels for displaying an image, and one pixel may include a plurality of sub-pixels.
  • one pixel may include three colors of red sub-pixels, green sub-pixels, and blue sub-pixels.
  • one pixel may include a red subpixel, a green subpixel, a blue subpixel, and a white subpixel of four colors.
  • one pixel may include 1 red sub-pixel, 2 green sub-pixels, and 1 blue sub-pixel, and may be configured in an RGBG pentile method.
  • the display 501 may include a control circuit (not shown).
  • the control circuit includes a flexible printed circuit board (FPCB) electrically connecting the main printed circuit board and the display panel 520, and a display driver IC (DDI) mounted on the FPCB, such as the display driver shown in FIG. IC 430).
  • FPCB flexible printed circuit board
  • DDI display driver IC
  • at least one side of the display panel 520 may be extended, and the DDI 430 may be disposed on the extended portion in a chip on panel or chip on plastic (COP) method.
  • COP chip on panel or chip on plastic
  • the display 501 may additionally include a touch panel (eg, the touch circuit 450 of FIG. 4 ).
  • the display 501 may operate as an in-cell type or an on-cell type touch display according to the arrangement position of the touch panel.
  • the control circuit may include a touch display driver IC (TDDI).
  • the display 501 may include a sensor module (eg, the sensor module 176 of FIG. 4 ).
  • a portion of the entire area of the display panel 520 excluding the first area 611 (eg, UDC area) corresponding to the camera module 510 is the second area 612. (e.g. active area).
  • the camera module 510 is disposed under the display panel 520 in an under display camera (UDC) method, transmittance should be secured in consideration of the quality of an image captured.
  • the density of the pixels 662 disposed in the first region 611 eg, the UDC region
  • the density of the pixels 664 disposed in the second region 612 eg, the active region
  • the number of pixels 662 disposed in the second region 612 (eg, the active region) and the pixels 662 disposed in the first region 611 (eg, the UDC region) is 1/ Can be reduced to 2, 1/3, 1/4, 1/5, or 1/6.
  • the pixels 662 are disposed on 1/2, 1/3, 1/4, 1/5, or 1/6 of the total area of the first area 611 (eg, UDC area), and the remaining area is It may be formed as an empty area 666 (or a non-pixel area) without pixels.
  • the ratio of the pixels 662 disposed in the first area 611 (eg, the UDC area) may be changed without being limited thereto.
  • the pixels 662 of the first area 611 are regularly arranged.
  • the pixels 662 are not limited thereto, and in the first area 611 (eg, the UDC area), the spacing of the pixels 662 may be irregularly arranged.
  • the first area 611 eg, the UDC area
  • the first area 611 has a circular shape. It is not limited thereto, and the first area 611 (eg, the UDC area) may be formed in an elliptical or polygonal shape.
  • FIG. 7 is a diagram illustrating collision between a cutout of an under display camera (UDC) and an icon when a display of an electronic device according to a comparative example is driven.
  • 8 is a diagram illustrating a collision between a cutout of an under display camera (UDC) and an icon when a camera of an electronic device according to a comparative example is driven.
  • the electronic device 700 includes a display 710 and a camera module disposed below (eg, below) the display 710 (eg, the camera module of FIG. 5 ( 510)) may be placed.
  • a camera module eg, the camera module 510 of FIG. 5
  • UDC under display camera
  • a cutout 720 of the camera module eg, the camera module 510 of FIG. 5
  • a screen may also be displayed in the cutout 720 .
  • at least a portion of a cutout 720 of a camera module eg, the camera module 510 of FIG.
  • icons 730 eg, objects, status information, and function menus of applications running in the electronic device. may collide (e.g. overlap). Since the cutout 720 of the camera module (eg, the camera module 510 of FIG. 5 ) overlaps at least a portion of the icons 730, some of the icons 730 are covered, or selection of icons is hindered. Given that, there is a desire to avoid cutout 720 and icons 730.
  • the cutout 720 and the user interface 740 of the camera application may collide.
  • a camera application eg, a third party camera application
  • all or part of the user interface 740 is cutout 720 ) and conflict (eg, overlapping display)
  • conflict eg, overlapping display
  • all or part of the function menu 750 of the application may conflict with the cutout 720 (eg, overlapping display), so there is a demand to avoid the cutout 720 and the function menu 750 of the user interface.
  • FIG. 9 is a diagram illustrating an electronic device and an operating method according to an embodiment of the present disclosure.
  • an electronic device 900 includes a display content controller 901, a UDC cutout policy controller 902, and a display policy It may include a control unit 903, a window state control unit 904, and a configuration container control unit 905. At least some of the components shown in FIG. 9 may be changed according to a platform included in the electronic device 900 based on an embodiment.
  • the display content control unit 901, the UDC cutout policy control unit 902, the display policy control unit 903, the window state control unit 904, and the configuration container control unit 905 may be configured by a processor (eg, FIG. 1 ). It may be included in the processor 120).
  • the display content controller 901 can abstract the form of a physical display into a logical display.
  • the UDC Cutout Policy control unit 902 may generate a UDC cutout.
  • the UDC cutout policy control unit 902 enables the DisplayPolicy control unit 903 to avoid UDC cutout when an application is laid out.
  • the DisplayPolicy control unit 903 may lay out each window of one or a plurality of applications displayed in a logical display.
  • the WindowState control unit 904 can abstract the window of an application so that it can be displayed on the screen.
  • the configuration container control unit 905 may configure the application area.
  • the electronic device 900 may operate to avoid collision between a UDC cutout and an object of an application (eg, an icon and/or a user interface).
  • an object of an application eg, an icon and/or a user interface
  • the processor may confirm that there is content to be output through a display (eg, the display 410 of FIG. 4 or the display 501 of FIG. 5 ).
  • the display content controller 901 may create an instance for UDC cutout (eg, the cutout 720 of FIGS. 7 and 8) with the UDC cutout policy controller 902. .
  • the processor may update display metrics information (eg, display matrix information and display cutout information) and the cutout of the UDC.
  • display metrics information eg, display matrix information and display cutout information
  • operations 921, 922, and 923 may be performed in operation 912.
  • a display cutout and a UDC cutout may be separately expressed.
  • the processor eg, the processor 120 of FIG. 1
  • Display matrix information may be received.
  • the electronic device 900 is changed from a folded state to an unfolded state or from an unfolded state to a folded state
  • the size and cutout of the display eg, the display 410 of FIG. 4 or the display 501 of FIG. 5
  • This can be changed, and thus changed display matrix information can be received.
  • the processor determines the size and shape (eg, the display 410 of FIG. 4 or the display 501 of FIG. 5) based on the display matrix information.
  • collapsed state, expanded state, landscape mode, portrait mode can be updated.
  • the display content control unit 901 determines the size and shape (eg, folded state, unfolded state, width) of the display (eg, the display 410 of FIG. 4 or the display 501 of FIG. 5) based on the display matrix information. mode, portrait mode) can be updated.
  • the processor may update the cutout in the display (eg, display 410 of FIG. 4 or display 501 of FIG. 5 ) based on the display matrix information.
  • the display content control unit 901 may update a cutout in a display (eg, the display 410 of FIG. 4 or the display 501 of FIG. 5 ) based on the display matrix information.
  • the processor may generate a cutout of the UDC (eg, the cutout 720 of FIGS. 7 and 8).
  • a cutout 1310 of the UDC may be created based on the arrangement of the camera module 1300 .
  • the cutout 1310 of the UDC may be updated according to the shape of the electronic device 900 .
  • the display content control unit 901 may generate a cutout of the UDC (eg, the cutout 720 of FIGS. 7 and 8 ). You can indicate where the physical camera hole is on the display.
  • a cutout of the UDC (eg, cutout 720 of FIGS. 7 and 8 ) may indicate where the under display camera is located.
  • a processor may convert physical camera aperture information into logical camera aperture information (eg, position or size).
  • logical camera aperture information eg, position or size
  • a method of representing logical camera hole information may be changed.
  • the Android platform can express logical camera aperture information as vector information (eg vector path).
  • a processor eg, the processor 120 of FIG. 1
  • the Android platform can create a cutout object.
  • the processor may lay out the application on a display (eg, the display 410 of FIG. 4 or the display 501 of FIG. 5).
  • a processor eg, the processor 120 of FIG. 1
  • a processor may update display information based on matrix information.
  • the processor may update the screen based on the display matrix information.
  • the screen of the application may be updated according to a change in the size of the display (eg, the display 410 of FIG. 4 or the display 501 of FIG. 5 ) and the location of the camera hole.
  • the size of the display eg, the display 410 in FIG. 4 or the display 501 in FIG. 5
  • the size of the changed display eg, the display 410 in FIG. 4 or the display 501 in FIG. 5
  • a processor eg, processor 120 of FIG. 1
  • a processor may update the layout of the status bar of the application based on the matrix information.
  • the display content control unit 901 may update the layout of a navigation bar, a layout of a status bar, and a layout of screen decor windows.
  • a processor may obtain a display frame.
  • the display policy control unit 903 may obtain a display frame.
  • the processor may change the display frame when it is necessary to avoid the UDC cutout (eg, the cutout 720 of FIGS. 7 and 8).
  • the window state control unit 904 may change the display frame when it is necessary to avoid the UDC cutout (eg, the cutout 720 of FIGS. 7 and 8 ).
  • the processor may change the UDC display frame.
  • the UDC cutout policy control unit 902 may change the UDC display frame.
  • the processor may change the display frame.
  • the window state controller 904 can change the display frame.
  • a processor may calculate a display frame.
  • the display policy controller 903 may calculate a display frame.
  • the processor may obtain display cutout information according to calculating the display frame.
  • the UDC cutout policy controller 902 may obtain display frame information from the window state controller 904 based on operation 937 .
  • the processor may generate a cutout of the UDC (eg, the cutout 720 of FIGS. 7 and 8 ) according to calculating the display frame.
  • the UDC cutout policy control unit 902 may generate a UDC cutout (eg, the cutout 720 of FIGS. 7 and 8 ) according to calculating the display frame.
  • the processor may change the layout of the application to avoid the cutout (eg, the cutout 720 of FIGS. 7 and 8).
  • the processor may change the size and/or location of the application to avoid a cutout (eg, the cutout 720 of FIGS. 7 and 8).
  • the UDC cutout policy control unit 902 may change the size and/or location of an application to avoid cutout (eg, the cutout 720 of FIGS. 7 and 8 ).
  • a command for changing the size and/or position of the application from the display content control unit 901 to the configuration container control unit 905 can deliver.
  • the size and/or location of the application may be changed in the configuration container controller 905.
  • operation 944 if the size and/or location of the application needs to be changed, the configuration container controller 905 avoids the cutout of the UDC (eg, the cutout 720 of FIGS. 7 and 8). You can change the size and/or location of the application for this purpose.
  • operations 943 and 944 may be sequentially performed. Operation 944 may also be performed in operation 943 without being limited thereto.
  • FIG. 10 is a diagram illustrating an operating method of an electronic device according to an embodiment of the present disclosure.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the electronic device 200 of FIGS. 2A and 2B , and the electronic device 300 of FIGS. 3A and 3B )
  • display metrics information may be stored in a memory (eg, the memory 130 of FIG. 1 ) of the electronic device 900 of FIG. 9 .
  • the display matrix information is information about the size, pixel density, and/or presence or absence of a cutout of the display (e.g., display 410 of FIG. 4 or display 501 of FIG. 5). can include
  • a processor may receive display matrix information stored in a memory (eg, memory 130 of FIG. 1 ).
  • a processor performs a UDC (eg, the processor 120 of FIG. 1 ) on a lower part of a display (eg, the display 410 of FIG. 4 or the display 501 of FIG. 5 ) based on the display matrix information. It is possible to determine whether the camera module 510 of FIG. 5 exists, and perform an operation according to the existence of the UDC.
  • a UDC eg, the processor 120 of FIG. 1
  • the processor may generate a cutout of the UDC (eg, cutout 720 of FIGS. 7 and 8 ) when it is determined that a UDC exists. .
  • the screen may be updated based on the display matrix information change.
  • changing the display matrix information may include changing a screen display mode of a bar-shaped electronic device (eg, the electronic device 200 of FIGS. 2A and 2B ) from a landscape mode to a portrait mode.
  • changing display matrix information may include changing a screen display mode of a bar-shaped electronic device (eg, the electronic device 200 of FIGS. 2A and 2B ) from a portrait mode to a landscape mode.
  • display matrix information change may cause a foldable electronic device (eg, the electronic device of FIGS. 3A and 3B) to change from a first state (eg, an unfolded state, an open state) to a second state (eg, a folded state, a closed state). ) may be included.
  • display matrix information change may cause a foldable electronic device (eg, the electronic device of FIGS. 3A and 3B ) to change from a second state (eg, a folded state, a closed state) to a first state (eg, an unfolded state, an open state). ) may be included.
  • a foldable electronic device eg, the electronic device of FIGS. 3A and 3B
  • a first state eg, an unfolded state, an open state
  • a processor eg, processor 120 of FIG. 1
  • may create a virtual cutout eg, cutout 720 of FIGS. 7 and 8 ) that does not physically exist.
  • the processor eg, the processor 120 of FIG. 1
  • displays the display eg, the display (eg, the display of FIG. 4 ) based on the display matrix information and the cutout (eg, the cutout 720 of FIGS. 7 and 8 ).
  • the cutout eg, the cutout 720 of FIGS. 7 and 8 .
  • the screen displayed on the display 501 of FIG. 5 may be updated.
  • the processor may perform a collision avoidance operation in response to the UDC cutout (eg, the cutout 720 of FIGS. 7 and 8 ).
  • a processor eg, the processor 120 of FIG. 1
  • an avoidance operation may be performed so that the function menu 750 of the application and the cutout of the UDC (eg, the cutout 720 of FIGS. 7 and 8) do not collide.
  • 11A is a diagram illustrating an operation method of an electronic device when UDC avoidance is not applied according to an embodiment of the present disclosure.
  • a processor may receive display matrix information. Also, a processor (eg, the processor 120 of FIG. 1 ) may receive display matrix information change. For example, a processor (eg, the processor 120 of FIG. 1 ) may receive information about whether a state of a display (eg, the display 410 of FIG. 4 or the display 501 of FIG. 5 ) has changed.
  • the processor eg, the processor 120 of FIG. 1
  • displays the display eg, the processor 120 of FIG. 4
  • a state change of the display eg, the display 410 of FIG. 4 or the display 501 of FIG. 5
  • a screen displayed on the display 410 or the display 501 of FIG. 5 may be updated.
  • the processor may update the window layout of one or a plurality of applications according to the screen update. For example, the size and location of each window of each application may be updated according to the screen update.
  • 11B is a diagram illustrating an operation method when UDC avoidance of an electronic device according to an embodiment of the present disclosure is applied.
  • 12 is a diagram illustrating an operation of receiving display matrix state information.
  • 13 is a diagram illustrating a UDC cutout based on display matrix information.
  • description of the same content as that of FIG. 9 may be omitted.
  • the Display Content control unit 901 and the UDC cutout policy control unit 902 of FIG. 12 may be compared to the Display Content control unit 901 and UDC cutout of FIG. 9 . It may refer to the same component as the Udc Cutout Policy control unit 902 .
  • operations 911, 921, and 922 may mean the same operations as operations 911, 921, and 922 of FIG. 9 .
  • operation 920 of FIG. 12 is related to operations 921 and 922 and may be an operation of processing display matrix information.
  • a processor eg, the processor 120 of FIG. 1 may update display metrics information.
  • a processor may receive display matrix information. Also, a processor (eg, the processor 120 of FIG. 1 ) may receive display matrix information change. For example, a processor (eg, the processor 120 of FIG. 1 ) may receive information about whether a state of a display (eg, the display 410 of FIG. 4 or the display 501 of FIG. 5 ) has changed.
  • the processor may determine whether a UDC (eg, the camera module 510 of FIG. 5 ) exists based on the display matrix information.
  • operation 1122 if the display is not UDC, the screen may be updated in operation 1124 regardless of UDC.
  • operation 1123 may be performed in the case of a UDC display.
  • the processor in operation 1123, when a UDC (eg, the camera module 510 of FIG. 5 ) exists based on the display matrix information, the processor (eg, the processor 120 of FIG. 1 )
  • the processor 120 of FIG. 1 may generate a cutout (eg, the cutout 720 of FIGS. 7 and 8 ) of the UDC (eg, the camera module 510 of FIG. 5 ) based on the display matrix information.
  • a processor eg, processor 120 of FIG. 1
  • FIG. 14 is a diagram illustrating generating a cutout of a UDC when it is determined that a UDC exists.
  • a cutout 1310 of the UDC may be generated based on the arrangement of the camera module 1300 .
  • the cutout 1310 of the UDC may be updated according to the shape of the electronic device 900 .
  • the cutout of the UDC may be set (or created or updated) in various forms.
  • the UDC cutout 1310 is not limited to the embodiment shown in FIG. 13 and may be set in a circular shape or a polygonal shape.
  • the cutout of the UDC may be set asymmetrically around the lens of the camera module.
  • the UDC cutout on the left side and the UDC cutout on the right side may be set to have different shapes. It is not limited thereto, and the upper and lower shapes may be set differently.
  • the cutout 1310 of the UDC when it includes a plurality of camera modules, it may be set to correspond to each of the plurality of camera modules. For example, a cutout of a first UDC corresponding to a first camera module and a cutout of a second UDC corresponding to a second camera module may be set. In one embodiment, between the cutout of the first UDC and the cutout of the second UDC, a collision avoidance operation (eg, operation 1050 of FIG. 10 ) may be performed in response to the cutout of the UDC.
  • a collision avoidance operation eg, operation 1050 of FIG. 10
  • the field of view (FOV) of the camera module (eg, the camera module 205 of FIG. 2A , the camera module disposed in the sensor area 324 of FIG. 3A , and the camera module 510 of FIG. 5 ) ) can be set as the cutout of the UDC.
  • the gray area shown in FIG. 13 may be set as the cutout of the UDC, and the gray area may be set equal to or larger than the angle of view of the camera module.
  • the processor eg, the processor 120 of FIG. 1 displays the display ( Example: Display (eg, display 501 in FIG. 4) according to state change and cutout (eg, cutout 720 in FIGS. 7 and 8) of display 410 in FIG. 4 and display 501 in FIG. 410), the screen displayed on the display 501 of FIG. 5 may be updated.
  • Example: Display eg, display 501 in FIG. 4
  • cutout eg, cutout 720 in FIGS. 7 and 8
  • a processor may update a screen based on display matrix information.
  • the screen of the application may be updated according to a change in the size of the display (eg, the display 410 of FIG. 4 or the display 501 of FIG. 5 ) and the location of the camera hole.
  • a processor eg, the processor 120 of FIG. 1
  • a processor eg, the processor 120 of FIG. 1
  • the processor may determine whether the running application should avoid the cutout (eg, cutout 720 of FIGS. 7 and 8 ).
  • a processor eg, processor 120 of FIG. 1
  • may combine icons of an application eg, icons 730 of FIG. 7
  • a user interface eg, user interface 740 of FIG. 8
  • UDC User Data Network
  • the cutout of the UDC eg. the cutout 720 of FIGS. 7 and 8
  • the icons of the application e.g. the icons 730 of FIG. 7
  • the user interface e.g. the cutout 720 of FIG. 7
  • the processor e.g. processor 120 of FIG. 1 cuts out the UDC (e.g. cutout 720 of FIGS. 7 and 8). You can update your application's window layout to avoid this.
  • a window layout may be updated. You can arrange the window by determining the position and size of the window on the screen. For example, the notification bar can be placed at the top of the screen at 80px, the navigation bar at the bottom at 126px, and the application can be placed at the size of the remaining space on the screen.
  • the cutout of the UDC eg, the cutout 720 of FIGS. 7 and 8) and application icons (eg, the icons 730 of FIG. 7) and/or the user interface (eg, the cutout 720 of FIG. 7) : If the user interface 740 of FIG. 8 may collide, in operation 1128, the processor (eg, the processor 120 of FIG. 1 ) cuts out the UDC (eg, the cutout 720 of FIGS. 7 and 8 ). )), the layout can be updated by the window of the application.
  • the processor eg, the processor 120 of FIG. 1
  • the layout can be updated by the window of the application.
  • the processor eg, the processor 120 of FIG. 1 may complete updating the screen.
  • 16 is a diagram showing that the layout of an application is updated by avoiding cutout of UDC.
  • an electronic device 1600 includes a display 1610 and a camera module disposed below (eg, below) the display 1610 (eg, the camera module of FIG. 5 ). (510)).
  • the size of the display 1610 may be changed by changing the electronic device 1600 from a second state (eg, a folded state or a closed state) to a first state (eg, an unfolded state or an open state). .
  • display matrix information may be changed.
  • the processor eg, the processor 120 of FIG. 1
  • sets the location where the camera module eg, the camera module 510 of FIG. 5
  • the UDC 1620 can create a cutout 1621 of
  • a processor eg, the processor 120 of FIG. 1
  • a processor eg, processor 120 of FIG. 1
  • FIG. 17 is a diagram 1700 illustrating an operating method of determining avoidance in response to a UDC cutout and displaying a screen.
  • a processor of an electronic device determines whether an application to be executed is an application that needs to avoid a cutout (eg, cutout 1621 of FIG. 16 ) of a UDC (eg, UDC 1620 of FIG. 16 ) can do.
  • a processor eg, processor 120 of FIG. 1
  • an application eg, processor 120 of FIG. 1
  • an out eg, cutout 1621 in FIG. 16
  • cutout to an initial setting value of an electronic device eg, the electronic device 101 of FIG. 1 , the electronic device 200 of FIGS. 2A and 2B , and the electronic device 300 of FIGS. 3A and 3B .
  • the processor eg, processor 120 of FIG. 1 causes an application to be executed to avoid the cutout (eg, cutout 1621 of FIG. 16). ) can be judged to be avoided.
  • a processor eg, the processor 120 of FIG. 1
  • an application eg, the processor 120 of FIG. 1
  • an out eg, cutout 1621 in FIG. 16
  • a third party executed in an electronic device (eg, the electronic device 101 of FIG. 1 , the electronic device 200 of FIGS. 2A and 2B , and the electronic device 300 of FIGS. 3A and 3B ) party)
  • an electronic device eg, the electronic device 101 of FIG. 1 , the electronic device 200 of FIGS. 2A and 2B , and the electronic device 300 of FIGS. 3A and 3B
  • the processor eg, the processor 120 in FIG. It can be determined that the cutout 1621 of ) should be avoided.
  • the processor eg, UDC 1620
  • the processor 120 of FIG. 1 may update the layout of the window of the application to avoid a cutout of the UDC 1620 (eg, the cutout 1621 of FIG. 16 ).
  • the processor eg, UDC 1620 of FIG. 16
  • the processor 120 of FIG. 1 may update the layout of the window of the application regardless of the cutout (eg, the cutout 1621 of FIG. 16) of the UDC 1620).
  • the processor eg, the processor 120 of FIG. 1 may complete updating the screen.
  • 18 is a diagram illustrating avoiding UDC cutout by applying padding to a window of an application.
  • an electronic device 1800 includes a display 1810 and a camera module disposed below (eg, below) the display 1810 (eg, the camera module of FIG. 5 ). (510)).
  • the screen size of the display 1810 is changed.
  • can Display matrix information may be changed according to a change in the screen size of the display 1810 .
  • display matrix information may be changed when the electronic device 1800 is changed from a landscape mode to a portrait mode or from a portrait mode to a landscape mode.
  • a processor (eg, the processor 120 of FIG. 1 ) sets the location where the camera module (eg, the camera module 510 of FIG. 5 ) is placed to the UDC 1820 based on the display matrix information change, and the UDC 1820 can create a cutout 1821 of A processor (eg, the processor 120 of FIG. 1 ) may update the window of the application 1830 displayed on the display 1810 to avoid the cutout 1821 of the UDC 1820 .
  • the application 1830 may lay out a status bar 1840 and a navigation bar 1850.
  • the application 1830 may lay out the status bar 1840 at the top of the display 1810 and the navigation bar 1850 at the bottom.
  • a processor applies padding to the application 1830 to provide cutouts 1821 of the status bar 1840 and navigation bar 1850 and the UDC 1820 .
  • a processor can be prevented from colliding.
  • icons and/or a user interface may be displayed on the status bar 1840 and the navigation bar 1850.
  • the icons and/or The user interface and the cutout 1821 may not collide.
  • intervals between icons and/or objects displayed on the user interface may be increased in the status bar 1840 and the navigation bar 1850.
  • the UDC 1820 may also be located in the status bar 1840 and/or the navigation bar 1850 area.
  • the cutout 1821 of the UDC 1820 is also provided in the status bar 1840 and/or navigation bar 1850 area.
  • FIG. 19 is a diagram 1900 illustrating avoiding the UDC cutout by reducing the window size of the application.
  • an electronic device 1900 includes a display 1910 and a camera module disposed below (eg, below) the display 1910 (eg, the camera module of FIG. 5 ). (510)).
  • the size of the display 1910 may be changed by changing the electronic device 1900 from a second state (eg, a folded state or a closed state) to a first state (eg, an unfolded state or an open state).
  • a second state eg, a folded state or a closed state
  • a first state eg, an unfolded state or an open state.
  • display matrix information may be changed.
  • display matrix information may be changed when the electronic device 1900 is changed from a landscape mode to a portrait mode or from a portrait mode to a landscape mode.
  • the processor (eg, the processor 120 of FIG. 1 ) sets the location where the camera module (eg, the camera module 510 of FIG. 5 ) is placed to the UDC 1920 based on the display matrix information change, and the UDC 1920 can create a cutout 1921 of A processor (eg, the processor 120 of FIG. 1 ) may update the window of the application 1930 displayed on the display 1910 to avoid the cutout 1921 of the UDC 1920 .
  • the processor reduces the size of the application 1930 in a first direction (eg, an x-axis direction) or a second direction (eg, a -x-axis direction). 1930 and the cutout 1921 of the UDC 1920 may not collide.
  • a processor eg, the processor 120 of FIG. 1
  • 20 is a diagram illustrating displaying a screen without changing the layout of an application when avoidance of collision with a UDC cutout is not required.
  • 21 is a diagram illustrating avoiding UDC cutout by reducing application size.
  • the electronic device 2000 includes a display 2010 and a camera module disposed below (eg, below) the display 2010 (eg, FIG. 5 ). of the camera module 510).
  • the size of the display 2010 may be changed by changing the electronic device 2000 from a second state (eg, a folded state or a closed state) to a first state (eg, an unfolded state or an open state).
  • Display matrix information may be changed according to a state change of the display 2010 .
  • display matrix information may be changed when the electronic device 2000 is changed from a landscape mode to a portrait mode or from a portrait mode to a landscape mode.
  • the processor (eg, the processor 120 of FIG. 1 ) sets the location where the camera module (eg, the camera module 510 of FIG. 5 ) is placed to the UDC 2020 based on the display matrix information change, and the UDC 2020 can create a cutout 2021 of A processor (eg, the processor 120 of FIG. 1 ) may determine whether the application 2030 being executed may collide with the cutout 2021 of the UDC 2020 or whether the collision should be avoided.
  • the processor eg, the processor 120 of FIG. 1
  • the processor causes the application 2030 to be executed to avoid the cutout ( 2021) can be judged to be avoided.
  • the processor when it is set in the electronic device 2000 that the cutout 2021 should be avoided, the processor (eg, the processor 120 of FIG. 1 ) causes the application 2030 to be executed to avoid the cutout 2021. It can be judged to be avoided.
  • the processor when it is set that the cutout 2021 should be avoided by the user's settings, the processor (eg, the processor 120 of FIG. 1 ) causes the running application 2030 to avoid the cutout 2021. You can decide what to do.
  • a processor eg, processor 120 of FIG. 1
  • determines that an application 2030 being executed does not need to avoid cutout 2021 as shown in FIG. 20
  • cutout 2021 the window of the application 2030 may be updated and displayed.
  • the processor eg, processor 120 of FIG. 1
  • the UDC 2020 A window of application 2030 may be updated to avoid cutout 2021 .
  • a processor eg, the processor 120 of FIG. 1
  • 22 is a diagram illustrating avoiding collision with a UDC cutout by moving the coordinates of an application icon.
  • an electronic device 2200 includes a display 2210 and a camera module disposed below (eg, below) the display 2210 (eg, the camera module of FIG. 5 ). (510)).
  • display matrix information may be changed according to a state change of the display 2210 of the electronic device 2200 .
  • the size of the display 2210 may be changed by changing the electronic device 2200 from a second state (eg, a folded state or a closed state) to a first state (eg, an unfolded state or an open state).
  • Display matrix information may be changed according to a state change of the display 2010 .
  • display matrix information may be changed when the electronic device 2200 is changed from a landscape mode to a portrait mode or from a portrait mode to a landscape mode.
  • a processor may determine whether the icons 2230 of the executed application may collide with the cutout 2220 of the UDC or whether the collision should be avoided. If the application's icons 2230 need to avoid colliding with the UDC's cutout 2220, the processor (e.g., processor 120 of FIG. ), the display position of the icons 2230 may be updated. For example, a processor (eg, the processor 120 of FIG. 1 ) adjusts the coordinates (dx, dy) of the icons 2230 (eg, moves in the second direction (eg, -y axis direction)) to set the icons ( 2230 can be displayed on the display 2210. Through this, collision between the cutout 2220 of the UDC and the icons 2230 can be avoided.
  • FIG. 23 is a diagram illustrating visually displaying a UDC cutout on a display based on UDC coordinates.
  • an electronic device 2300 includes a display 2310 and a camera module disposed below (eg, below) the display 2310 (eg, the camera module of FIG. 5 ). (510)).
  • An electronic device of the under-display camera method does not have a physical camera hole, but may visually display the UDC 2320 by creating a cutout 2321 .
  • a processor detects the position of the UDC 2320 based on the display matrix information, and cuts out the UDC 2030 based on the position of the UDC 2320. (2321).
  • a processor eg, processor 120 of FIG. 1
  • 24A is a diagram illustrating a method of moving coordinates of an application icon in order to avoid a collision between a UDC cutout and an application icon.
  • 24B is a diagram illustrating a method of moving coordinates of an application icon in order to avoid a collision between a UDC cutout and an application icon.
  • an electronic device 2400 includes a display 2410 and a camera module disposed below (eg, below) the display 2410 (eg, FIG. 5 ). of the camera module 510).
  • a processor may generate the UDC area 2420 based on display matrix information.
  • a processor eg, the processor 120 of FIG. 1
  • a processor eg, the processor 120 of FIG. 1
  • Display positions of the icons 2430 may be updated.
  • a processor eg, the processor 120 of FIG. 1 sets the coordinates (dx, dy) of the icons 2230 in a first direction orthogonal to the longitudinal direction of the display 2410 (eg, the processor 120 of FIG. 1 ). : x-axis direction) to display the icons 2430 on the display 2410.
  • a processor sets the coordinates (dx, dy) of the icons 2230 in a first direction orthogonal to the longitudinal direction of the display 2410 (eg, the processor 120 of FIG. 1 ). : x-axis direction) to display the icons 2430 on the display 2410.
  • a processor eg, the processor 120 of FIG. 1 converts the coordinates (dx, dy) of the icons 2230 in a second direction (eg, the lengthwise direction of the display 2410). : -y-axis direction) to display the icons 2430 on the display 2410.
  • a second direction eg, the lengthwise direction of the display 2410.
  • 25 is a diagram illustrating an operation method when a gallery view application is executed.
  • an electronic device 2500 includes a display 2510 and a camera module disposed below (eg, below) the display 2510 (eg, the camera module of FIG. 5 ). (510)).
  • a processor may generate the UDC area 2520 based on display matrix information.
  • a processor eg, the processor 120 of FIG. 1
  • may determine whether the running application 2530 eg, the gallery view application) may collide with the UDC area 2520 or whether the collision should be avoided.
  • the control user interface part 2560 of the application 2530 may be displayed on a white background, which causes a problem in that pixels of the UDC area 2520 are clearly viewed. If the application 2530 (eg gallery view application) may collide with the UDC area 2520, the transparency of the control user interface part of the application 2530 (eg gallery view application) is increased so that the desktop is clearly visible. Therefore, it is possible to reduce the UDC area 2520 from being viewed.
  • the control user interface part 2560 of the application 2530 eg, a gallery view application
  • the first width h1 of the entire area h2 of the desktop is displayed. A portion of the image may be displayed clearly, and the remaining portion may be displayed blurry.
  • the entire area h2 of the desktop screen may be clearly displayed.
  • the processor may cause the application 2530 (eg, the gallery view application)
  • the window size of the application 2530 may be adjusted so that the screen displayed in ) overlaps the UDC area 2520 .
  • 26 is a diagram illustrating an operation method when a camera application is executed.
  • an electronic device 2600 includes a display 2610 and a camera module disposed below (eg, below) the display 2610 (eg, the camera module of FIG. 5 ). (510)).
  • a processor may generate the UDC area 2620 based on display matrix information.
  • a processor eg, the processor 120 of FIG. 1
  • may determine whether an executed camera application eg, a third party camera application, a SODA application camera
  • the processor may determine whether the UDC area 2620 and the third party camera application (eg, SODA application camera) should not collide with the UDC area 2620 and the third party camera application. (eg SODA application camera) so that the user interface 2630 does not collide with the user interface 2630 by adjusting the coordinates (dx, dy) of the user interface 2630 in the second direction (eg, -y axis direction) may be displayed on the display 2610. Through this, a collision between the UDC area 2620 and the user interface 2630 of the third party camera application can be avoided.
  • the third party camera application eg, SODA application camera
  • a processor may configure the user interface 2630 so that the UDC area 2620 and the user interface 2630 of a third party camera application (eg, SODA application camera) do not collide.
  • the user interface 2630 may be displayed on the display 2610 by adjusting the coordinates (dx, dy) of in the third direction (eg, the -x-axis direction). Through this, a collision between the UDC area 2620 and the user interface 2630 of the camera application can be avoided.
  • 27 is a diagram illustrating an operation method when another camera application is executed.
  • an electronic device 2700 includes a display 2710 and a camera module disposed below (eg, below) the display 2710 (eg, the camera module of FIG. 5 ). (510)).
  • a processor may generate the UDC area 2720 based on display matrix information.
  • a processor eg, processor 120 of FIG. 1
  • a processor may determine whether the UDC area 2720 and another camera application (eg, SNOW application) should not collide with the UDC area 2720 and another camera application (eg, SNOW application).
  • the coordinates (dx, dy) of the user interface 2730 are adjusted in the second direction (eg, -y axis direction) so that the user interface 2730 of the SNOW application) does not collide, so that the user interface 2730 displays the display 2710. ) can be displayed.
  • the second direction eg, -y axis direction
  • a processor coordinates the user interface 2730 so that the UDC area 2720 and the user interface 2730 of another camera application (eg, the SNOW application) do not collide.
  • the user interface 2730 may be displayed on the display 2710 by adjusting (dx, dy) in the third direction (eg, the -x-axis direction). Through this, a collision between the UDC area 2720 and the user interface 2730 of another camera application (eg, SNOW application camera) can be avoided.
  • 28 is a diagram illustrating an operating method when another camera application is executed.
  • an electronic device 2800 includes a display 2810 and a camera module disposed below (eg, below) the display 2810 (eg, the camera module of FIG. 5 ). (510)).
  • a processor may generate the UDC area 2820 based on display matrix information.
  • a processor eg, the processor 120 of FIG. 1
  • the processor may determine whether the UDC zone 2820 and another camera application (eg, an open camera application) should not collide with the UDC zone 2820 and another camera application.
  • the coordinates (dx, dy) of the user interface 2830 are adjusted in the second direction (eg, the -y axis direction) so that the user interface 2830 may be displayed on the display 2810.
  • the second direction eg, the -y axis direction
  • a processor may configure the user interface 2830 so that the UDC area 2720 and the user interface 2830 of another camera application (eg, an open camera application) do not collide.
  • the user interface 2830 may be displayed on the display 2810 by adjusting the coordinates (dx, dy) of in the third direction (eg, the -x-axis direction). Through this, a collision between the UDC area 2820 and the user interface 2830 of another camera application (eg, an open camera application) can be avoided.
  • 29 is a diagram illustrating that UDC cutout avoidance is applied to an electronic device in which a display size is changed in a sliding manner.
  • an electronic device 2900 includes a display 2910 and a camera module disposed below (eg, below) the display 2910 (eg, the camera module of FIG. 5 ). (510)).
  • the electronic device 2900 may be a slideable electronic device.
  • the display 2910 may be a flexible display that is reduced in size in a first state (eg, a slide-in state or drawn-in state) and enlarged in a second state (eg, a slide-out state or a drawn-out state).
  • a first state eg, a slide-in state or drawn-in state
  • a second state eg, a slide-out state or a drawn-out state
  • display matrix information may be changed.
  • a processor may generate the UDC area 2920 based on a change in display matrix information.
  • a processor eg, the processor 120 of FIG. 1
  • a processor eg, the processor 120 of FIG. 1
  • the coordinates (dx, dy) of (2930) can be adjusted.
  • a processor may change a user interface of an application (eg, a camera application) to be executed based on a change in display matrix information. For example, when changing from a slide-in state (eg, the left side of FIG. 29 ) to a slide-out state (eg, right side of FIG. 29 ), the user interface of the application may be expanded based on the expansion of the display. For example, a user interface that at least partially overlaps the UDC area 2920 in a slide-in state (eg, the left side of FIG. 29 ) may be provided.
  • a processor eg, the processor 120 of FIG.
  • a designated screen eg, a preview screen
  • UDC avoidance may be performed.
  • a designated screen eg, preview screen
  • a designated screen eg, preview screen
  • a designated screen eg, camera application
  • a slide-out state e.g, the right side of FIG. 29
  • a designated screen reduced so as not to overlap with the UDC area 2920 in the second direction (eg, y/-y axis direction) of the electronic device 2900 e.g. preview screen
  • a camera when a camera is used in a slideable electronic device, if the screen is widened with a slide, the content of the application is rearranged, causing a collision with the UDC. Therefore, according to the present disclosure, when using a camera, a specific user interface of an application may not be covered by a slide block.
  • the processor of the electronic device 2900 changes the user interface of an executed application based on the change of display matrix information, and displays the UDC area 2920 visually.
  • a processor eg, the processor 120 of FIG. 1
  • a change in display matrix information eg, a change from a slide-in state to a slide-out state
  • a user interface of an application eg, a camera application
  • a processor may change a visual effect corresponding to the UDC region 2920.
  • the UDC region 2920 that overlaps with the user interface of a processor may be visually distinguished, or the UDC region 2920 may be visually distinguished temporarily. may not provide.
  • a processor eg, the processor 120 of FIG. 1
  • the electronic device 2900 visually displays (eg, figures, texts, colors, etc.) when an application provides a designated screen (eg, a preview screen). ), and may not be visually displayed if another designated screen (eg gallery screen) is provided.
  • the processor (eg, the processor 120 of FIG. 1 ) of the electronic device 2900 may determine the visual display of the UDC area 2920 based on whether a user inputs a running application. For example, a processor (eg, the processor 120 of FIG. 1 ) may visually distinguish the UDC area 2920 when a user input (eg, a button input for performing a function) occurs in an application being executed. If there is no user input, the UDC area 2920 may not be visually provided.
  • a user input eg, a button input for performing a function
  • FIG. 30 is a diagram illustrating that UDC cutout avoidance is applied to an electronic device in which a display is folded and unfolded in a vertical direction (eg, a y-axis direction).
  • an electronic device 3000 includes a display 3010 and a camera module disposed below (eg, below) the display 3010 (eg, the camera module of FIG. 5 ). (510)).
  • the electronic device 3000 may be a flip-type electronic device that can be folded or unfolded in a vertical direction (eg, a y-axis direction).
  • the display 3010 may be in a first state (eg, a closed state), a second state (eg, a vertical state), and a third state (eg, an unfolded state).
  • Display matrix information may be changed according to a state change of the display 3010 .
  • a processor may generate the UDC area 3020 based on a change in display matrix information.
  • a processor eg, the processor 120 of FIG. 1
  • a processor eg, the processor 120 of FIG. 1
  • the processor may adjust the coordinates (dx, dy) of the self camera view area 3030 of the application (eg, the camera application).
  • the processor may adjust the coordinates (dx, dy) of the self-camera view area 3030 so that the UDC area 3020 and the self-camera view area 3030 do not collide. there is.
  • FIG. 31 is a diagram illustrating that UDC cutout avoidance is applied to an electronic device including a plurality of folding regions (eg, a plurality of hinges and folding axes).
  • a plurality of folding regions eg, a plurality of hinges and folding axes.
  • an electronic device 3100 includes a display 3110 and a camera module disposed below (eg, below) the display 3110 (eg, the camera module of FIG. 5 ). (510)).
  • the electronic device 3100 may include a plurality of folding areas 3101 and 3102 (eg, a plurality of hinges and folding axes).
  • the electronic device 3100 may include two hinge modules and two folding areas respectively corresponding to the two hinge modules, and in this case, the electronic device may be folded in the letter Z shape.
  • the electronic device 3100 may include three hinge modules and three folding regions corresponding to each of the three hinge modules, and in this case, the electronic device may be folded in a letter W shape.
  • display matrix information may be changed according to a state change of the display 3110 .
  • a processor may generate the UDC area 3120 based on a change in display matrix information.
  • a processor eg, the processor 120 of FIG. 1
  • Electronic devices eg, the electronic device 200 of FIGS. 2A and 2B , the electronic device 300 of FIGS. 3A and 3B , the electronic device 400 of FIG. 4 , and the electronic device of FIG. 5
  • a display eg, the display 410 of FIG. 4, the display 501 of FIG. 5, the display 710 of FIG. 7
  • a camera module eg, the display 410, 501, 710 disposed below the display
  • the processor 120 receives the changed display 410 , 501 , 710 matrix information according to the state of the display 410 , 501 , 710 , and the changed display 410 , 501, 710) a camera area of the under display 410, 501, 710 corresponding to the position of the camera module 510, 1300 is created based on matrix information, and the camera area of the under display 410, 501, 710 A logical cutout (eg, cutout 720 of FIGS. 7 and 8 , cutout 1621 of FIG. 16 , cutout 1821 of FIG. 18 , cutout 1921 of FIG. 19 , An application (eg, the cutout 2021 of FIG. 20 and the cutout 2220 of FIG.
  • the 22 is created and executed based on the cutout 720 , 1621 , 1821 , 1921 , 2021 , and 2220 . It may include instructions for updating the layout of the application 1630, the application 1830 of FIG. 18, the application 1930 of FIG. 19, the application 2030 of FIG. 20, and the application 2530 of FIG. 25.
  • the cutouts 720, 1621, 1821, 1921, 2021, and 2220 of the camera area of the under display 410, 501, and 710 and icons of the applications 1630, 1830, 1930, 2030, and 2530 And/or whether the user interfaces 740, 2630, 2730, 2830, 2930, and 3040 are permitted to collide may be determined.
  • icons and/or user interfaces 740, 2630, 2730, 2830, 2930, 3040 of the applications 1630, 1830, 1930, 2030, and 2530 are the cutouts 720, 1621, 1821, 1921, 2021, 2220), the application (1630, 1830, 1930, 2030, 2530) and/or locations of the user interfaces 740, 2630, 2730, 2830, 2930, and 3040 may be changed.
  • the icons of the applications 1630, 1830, 1930, 2030, and 2530 and/or the coordinates of the user interfaces 740, 2630, 2730, 2830, 2930, and 3040 are displayed on the display 410, 501, and 710. ) in a first direction orthogonal to the longitudinal direction of the application (1630, 1830, 1930, 2030, 2530) icons and / or user interfaces (eg, the user interface 740 of FIG. 7, the user of FIG. 26)
  • the display position of the interface 2630, the user interface 2730 in FIG. 27, the user interface 2830 in FIG. 28, the user interface 2930 in FIG. 29, and the user interface 3040 in FIG. 30 can be changed.
  • the icons of the applications 1630, 1830, 1930, 2030, and 2530 and/or the coordinates of the user interfaces 740, 2630, 2730, 2830, 2930, and 3040 are displayed on the display 410, 501, and 710. ) in the second direction that coincides with the longitudinal direction of the application (1630, 1830, 1930, 2030, 2530) and/or the user interface (740, 2630, 2730, 2830, 2930, 3040) are displayed. location can be changed.
  • icons and/or user interfaces 740, 2630, 2730, 2830, 2930, 3040 of the applications 1630, 1830, 1930, 2030, and 2530 are the cutouts 720, 1621, 1821, 1921, 2021, 2220), the application (1630, 1830, 1930, 2030, 2530) can change the size of the window.
  • the processor 120 when the applications 1630, 1830, 1930, 2030, and 2530 are configured to avoid collisions with the cutouts 720, 1621, 1821, 1921, 2021, and 2220, the processor 120 ) is the application (1630, 1830, 1930) to avoid collision with the cutout (720, 1621, 1821, 1921, 2021, 2220) based on the setting of the application (1630, 1830, 1930, 2030, 2530). , 2030, 2530) may be updated.
  • the initial phase of the electronic device (200, 300, 400, 500, 700, 900, 1600, 1800, 1900, 2000, 2200, 2400, 2500, 2600, 2700, 2800, 2900, 3000, 3100)
  • the cutout (720, 1621, 1821, 1921, 2021, 2220) and the application (1630, 1830, 1930, 2030, 2530) are set to avoid collision with the set value
  • the cutout is based on the initial set value.
  • Layouts of the applications 1630 , 1830 , 1930 , 2030 , and 2530 may be updated to avoid collisions with the outs 720 , 1621 , 1821 , 1921 , 2021 , and 2220 .
  • the Layouts of the applications 1630 , 1621 , 1821 , 1921 , 2021 , and 2220 may be updated to avoid collisions with the cutouts 720 , 1621 , 1821 , 2220 , based on user settings.
  • icons and/or user interfaces 740, 2630, 2730, 2830, 2930, 3040 of the applications 1630, 1830, 1930, 2030, and 2530 are the cutouts 720, 1621, 1821, 1921, 2021, 2220), the layout of the applications 1630, 1830, 1930, 2030, 2530 regardless of the cutouts 720, 1621, 1821, 1921, 2021, 2220 can be updated.
  • transparency of icons and/or user interfaces 740, 2630, 2730, 2830, 2930, 3040 of the applications 1630, 1830, 1930, 2030, 2530 may be increased so that the background screen is clearly visible.
  • the cutouts 720, 1621, 1821, 1921, 2021, and 2220 of the camera area of the under display 410, 501, and 710 are displayed on the display 410, 501, and 710 so as to be visually visible. can do.
  • the operating method includes an electronic device (200, 300, 400, 500, 700, 900, 1600, 1800, 1900, 2000, 2200, 2400, 2500, 2600, 2700, 2800, 2900, 3000, 3100) according to an embodiment of the present disclosure
  • the operating method includes an electronic device (200, 300, 400, 500, 700, 900, 1600, 1800, 1900, 2000) in which at least one camera module (510, 1300) is disposed under a display (410, 501, 710). . can receive A camera area of the under display 410 , 501 , 710 corresponding to the location of the camera module 510 , 1300 may be created based on the changed matrix information of the display 410 , 501 , 710 .
  • a logical cutout 720 , 1621 , 1821 , 1921 , 2021 , 2220 (cutout) of the camera area of the under display 410 , 501 , 710 may be created. Based on the cutouts 720 , 1621 , 1821 , 1921 , 2021 , and 2220 , layouts of the executed applications 1630 , 1830 , 1930 , 2030 , and 2530 may be updated.
  • the cutouts 720, 1621, 1821, 1921, 2021, and 2220 of the camera area of the under display 410, 501, and 710 and icons of the applications 1630, 1830, 1930, 2030, and 2530 And/or whether the user interfaces 740, 2630, 2730, 2830, 2930, and 3040 are permitted to collide may be determined.
  • icons and/or user interfaces 740, 2630, 2730, 2830, 2930, 3040 of the applications 1630, 1830, 1930, 2030, and 2530 are the cutouts 720, 1621, 1821, 1921, 2021, 2220), the application (1630, 1830, 1930, 2030, 2530) and/or locations of the user interfaces 740, 2630, 2730, 2830, 2930, and 3040 may be changed.
  • the icons of the applications 1630, 1830, 1930, 2030, and 2530 and/or the coordinates of the user interfaces 740, 2630, 2730, 2830, 2930, and 3040 are displayed on the display 410, 501, and 710. ) in a first direction orthogonal to the longitudinal direction of the application (1630, 1830, 1930, 2030, 2530) and / or the user interface (740, 2630, 2730, 2830, 2930, 3040) is displayed location can be changed.
  • the icons of the applications 1630, 1830, 1930, 2030, and 2530 and/or the coordinates of the user interfaces 740, 2630, 2730, 2830, 2930, and 3040 are displayed on the display 410, 501, and 710. ) in the second direction that coincides with the longitudinal direction of the application (1630, 1830, 1930, 2030, 2530) and/or the user interface (740, 2630, 2730, 2830, 2930, 3040) are displayed. location can be changed.
  • icons and/or user interfaces 740, 2630, 2730, 2830, 2930, 3040 of the applications 1630, 1830, 1930, 2030, and 2530 are the cutouts 720, 1621, 1821, 1921, 2021, 2220), the application (1630, 1830, 1930, 2030, 2530) can change the size of the window.
  • icons and/or user interfaces 740, 2630, 2730, 2830, 2930, 3040 of the applications 1630, 1830, 1930, 2030, and 2530 are the cutouts 720, 1621, 1821, 1921, 2021, 2220), the layout of the applications 1630, 1830, 1930, 2030, 2530 regardless of the cutouts 720, 1621, 1821, 1921, 2021, 2220 can be updated.
  • transparency of icons and/or user interfaces 740, 2630, 2730, 2830, 2930, 3040 of the applications 1630, 1830, 1930, 2030, 2530 may be increased so that the background screen is clearly visible.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 개시의 전자 장치는, 디스플레이, 상기 디스플레이의 하부에 배치되는 카메라, 상기 디스플레이 및 상기 카메라를 제어하는 프로세서, 및 상기 프로세서와 작동적으로 연결된 메모리를 포함할 수 있다. 상기 메모리는, 실행 시에 상기 프로세서가, 상기 디스플레이의 상태에 따른 변경된 디스플레이 매트릭스 정보를 수신하고, 상기 변경된 디스플레이 매트릭스 정보에 기초하여 상기 카메라의 위치에 대응하는 언더 디스플레이 카메라 영역을 생성하고, 상기 언더 디스플레이 카메라 영역의 논리적인 컷아웃(cutout)을 생성하고, 상기 컷아웃에 기초하여 실행되는 어플리케이션의 레이아웃을 갱신하도록 하는 인스트럭션들을 포함할 수 있다. 그 외에도 다양한 실시 예들이 가능하다.

Description

전자 장치 및 이의 동작 방법
본 개시의 다양한 실시 예들은 전자 장치 및 이의 동작 방법에 관한 것으로, 상세하게는 언더 디스플레이 카메라(UDC: under display camera)를 포함하는 전자 장치 및 이의 동작 방법에 관한 것이다.
전자 장치(예: 모바일 전자 장치)는 기능 및 사용자의 선호도에 따라 다양한 크기로 출시되고 있으며, 넓은 시인성 확보와 조작의 편의성을 위한 대화면 터치 디스플레이를 포함할 수 있다. 전자 장치는 적어도 하나의 카메라 모듈(예: 이미지 센서)을 포함할 수 있다. 예를 들어, 전자 장치는 디스플레이의 하부(예: 아래)에 배치되는 적어도 하나의 UDC(under display camera)를 포함할 수 있다. 일반적인 전자 장치는 디스플레이 영역과 카메라 영역을 포함하며, 카메라 영역은 디스플레이 구동이 되지 않아 디스플레이의 일부 영역은 화면을 표시할 수 없다. 반면, UDC가 적용되는 전자 장치는, 카메라 영역(예: UDC 영역)에서도 디스플레이 구동이 되어 디스플레이의 전체 영역에서 화면을 표시할 수 있다.
상기 정보는 본 개시 내용의 이해를 돕기 위한 배경 정보로서만 제공된다. 위의 내용 중 어느 것이 본 개시와 관련하여 선행 기술로 적용될 수 있는지 여부에 대한 결정이 내려지지 않았으며 어떠한 주장도 이루어지지 않았다.
디스플레이의 하부에 UDC가 배치될 수 있는데, UDC의 적용으로 인해 디스플레이에는 기본적으로 컷아웃(cutout)(예: 카메라 구멍)을 가지지 않게 된다. 디스플레이에 컷아웃(예: 카메라 구멍)이 없는 것으로 디스플레이 동작이 수행될 수 있다. UDC 영역(예: 카메라 영역)에서도 화면 표시 및 터치가 가능하므로, 컷아웃 영역을 포함하여 전체 화면을 사용할 수 있다. UDC 영역은 물리적은 카메라 구멍이 존재하지 않음으로 어플리케이션의 실행 시, UDC 영역과 어플리케이션의 아이콘 및/또는 유저 인터페이스가 충돌하여 메뉴 선택 및 어플리케이션의 기능 실행에 어려움이 발생할 수 있다.
본 개시의 양태는 적어도 위에서 언급된 문제 및/또는 단점을 해결하고 적어도 아래에서 설명되는 이점을 제공하는 것이다. 본 개시의 실시 예들은, UDC 영역과 어플리케이션의 아이콘 및/또는 유저 인터페이스 간의 충돌을 회피할 수 있는 전자 장치 및 이의 동작 방법을 제공할 수 있다.
추가적인 양태는 다음의 설명에서 부분적으로 설명될 것이고, 부분적으로는 설명으로부터 명백할 것이며, 또는 제시된 실시 예의 실행에 의해 학습될 수 있다.
본 개시의 일 실시 예에 따르면, 전자 장치가 제공된다. 전자 장치는, 디스플레이, 상기 디스플레이의 하부에 배치되는 카메라 모듈, 상기 디스플레이 및 상기 카메라 모듈을 제어하는 프로세서, 및 상기 프로세서와 작동적으로 연결된 메모리를 포함할 수 있다. 상기 메모리는, 실행 시에 상기 프로세서가, 상기 디스플레이의 상태에 따른 변경된 디스플레이 매트릭스 정보를 수신하고, 상기 변경된 디스플레이 매트릭스 정보에 기초하여 상기 카메라 모듈의 위치에 대응하는 언더 디스플레이 카메라 영역을 생성하고, 상기 언더 디스플레이 카메라 영역의 논리적인 컷아웃(cutout)을 생성하고, 상기 컷아웃에 기초하여 실행되는 어플리케이션의 레이아웃을 갱신하도록 하는 인스트럭션들을 포함할 수 있다.
본 개시의 일 실시 예에 따르면, 디스플레이 아래에 적어도 하나의 카메라 모듈이 배치된 전 장치의 동작 방법이 제공된다. 전자 장치의 동작 방법은, 디스플레이의 하부에 적어도 하나의 카메라 모듈이 배치된 전자 장치의 동작 방법에 있어서, 상기 디스플레이의 상태에 따른 변경된 디스플레이 매트릭스 정보를 수신할 수 있다. 상기 변경된 디스플레이 매트릭스 정보에 기초하여 상기 카메라 모듈의 위치에 대응하는 언더 디스플레이 카메라 영역을 생성할 수 있다. 상기 언더 디스플레이 카메라 영역의 논리적인 컷아웃(cutout)을 생성할 수 있다. 상기 컷아웃에 기초하여 실행되는 어플리케이션의 레이아웃을 갱신할 수 있다.
본 개시의 일 실시 예에 따른 UDC를 포함하는 전자 장치는, 어플리케이션의 아이콘 및/또는 유저 인터페이스의 좌표를 조정하여 UDC 영역과 어플리케이션의 아이콘 및/또는 유저 인터페이스의 충돌을 회피할 수 있다.
본 개시의 일 실시 예에 따른 UDC를 포함하는 전자 장치는, 어플리케이션의 크기를 조정하여 UDC 영역과 어플리케이션의 아이콘 및/또는 유저 인터페이스의 충돌을 회피할 수 있다.
본 발명의 다른 양태, 이점 및 두드러진 특징은 첨부된 도면과 함께 취해진 본 발명의 다양한 실시 양태를 개시하는 다음의 상세한 설명으로부터 당업자에게 명백해질 것이다.
본 개시 내용의 특정 실시 양태의 상기 및 다른 측면, 특징 및 이점은 첨부 도면과 함께 취해진 다음의 설명으로부터 더욱 명백할 것이다.
도 1은 본 개시의 일 실시 예에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2a는 본 개시의 일 실시 예에 따른 전자 장치의 전면의 사시도이다.
도 2b는 본 개시의 일 실시 예에 따른 전자 장치의 후면의 사시도이다.
도 3a는 본 개시의 일 실시 예에 따른, 전자 장치의 제1 상태(예: 펼침 상태, 열림 상태)를 도시한 도면이다.
도 3b는 본 개시의 일 실시 예에 따른, 전자 장치의 제2 상태(예: 접힘 상태, 닫힘 상태)를 도시한 도면이다.
도 4는 일 실시 예에 따른 전자 장치의 디스플레이 모듈의 블록도이다.
도 5는 본 개시의 일 실시 예에 따른 디스플레이 및 카메라 모듈(예: 이미지 센서)를 나타내는 도면이다.
도 6은 본 개시의 일 실시 예에 따른 디스플레이의 제1 영역(예: UDC 영역)과 제2 영역(예: 액티브 영역)에 배치된 픽셀들의 형태를 나타내는 도면이다.
도 7은 비교 예에 따른 전자 장치의 디스플레이 구동 시 UDC(under display camera)의 컷아웃(cutout)과 아이콘의 충돌이 발생하는 것을 나타내는 도면이다.
도 8은 비교 예에 따른 전자 장치의 카메라 구동 시 UDC(under display camera)의 컷아웃(cutout)과 아이콘의 충돌이 발생하는 것을 나타내는 도면이다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치 및 동작 방법을 나타내는 도면이다.
도 10은 본 개시의 일 실시 예에 따른 전자 장치의 동작 방법을 나타내는 도면이다.
도 11a는 본 개시의 일 실시 예에 따른 전자 장치의 UDC 회피가 적용되지 않을 때의 동작 방법을 나타내는 도면이다.
도 11b는 본 개시의 일 실시 예에 따른 전자 장치의 UDC 회피가 적용될 때의 동작 방법을 나타내는 도면이다.
도 12는 디스플레이 매트릭스 상태 정보를 수신하는 동작을 나태는 도면이다.
도 13은 디스플레이 매트릭스 정보에 기초한 UDC 컷아웃을 나타내는 도면이다.
도 14는 UDC가 존재하는 것으로 결정되는 경우에 UDC의 컷아웃을 생성하는 것을 나타내는 도면이다.
도 15는 디스플레이 매트릭스 정보 변경에 기초하여 화면을 갱신하는 것을 나타내는 도면이다.
도 16은 UDC의 컷아웃을 회피하여 어플리케이션의 레이아웃이 갱신되는 것을 나타내는 도면이다.
도 17은 UDC의 컷아웃에 대응하여 회피를 결정하고 화면을 표시하는 동작 방법을 나타내는 도면이다.
도 18은 어플리케이션의 윈도우에 패딩(padding)을 주어 UDC 컷아웃을 회피하는 것을 나타내는 도면이다.
도 19는 어플리케이션의 윈도우 크기를 줄여 UDC 컷아웃을 회피하는 것을 나타내는 도면이다.
도 20은 UDC 컷아웃과의 충돌 회피가 필요하지 않은 경우 어플리케이션의 레이아웃 변경 없이 화면을 표시하는 것을 나타내는 도면이다.
도 21은 어플리케이션 크기를 줄여 UDC 컷아웃을 회피하는 것을 나타내는 도면이다.
도 22는 어플리케이션의 아이콘의 좌표를 이동시켜 UDC 컷아웃과의 충돌을 회피하는 것을 나타내는 도면이다.
도 23은 UDC 좌표에 기초하여 디스플레이에 시각적으로 UDC 컷아웃을 표시하는 것을 나타내는 도면이다.
도 24a는 UDC 컷아웃과 어플리케이션의 아이콘의 충돌을 회피하기 위하여 어플리케이션의 아이콘의 좌표를 이동시키는 방법을 나타내는 도면이다.
도 24b는 UDC 컷아웃과 어플리케이션의 아이콘의 충돌을 회피하기 위하여 어플리케이션의 아이콘의 좌표를 이동시키는 방법을 나타내는 도면이다.
도 25는 갤러리뷰 어플리케이션의 실행 시 동작 방법을 나타내는 도면이다.
도 26은 카메라 어플리케이션 실행 시 동작 방법을 나타내는 도면이다.
도 27은 다른 카메라 어플리케이션 실행 시 동작 방법을 나타내는 도면이다.
도 28은 또 다른 카메라 어플리케이션 실행 시 동작 방법을 나타내는 도면이다.
도 29는 슬라이드 방식으로 디스플레이의 크기가 변경되는 전자 장치에서 UDC 컷아웃 회피가 적용되는 것을 나타내는 도면이다.
도 30은 디스플레이가 수직 방향(예: y축 방향)으로 접히고 펼쳐지는 전자 장치에서 UDC 컷아웃 회피가 적용되는 것을 나타내는 도면이다.
도 31은 복수의 폴딩 영역들(예: 복수의 힌지들 및 폴딩 축들)을 포함하는 전자 장치에서 UDC 컷아웃 회피가 적용되는 것을 나타내는 도면이다.
도면 전체에 걸쳐 동일한 구성요소를 나타내기 위해 동일한 참조번호를 사용하였다.
첨부된 도면을 참조한 다음의 설명은 청구범위 및 그 균등물에 의해 정의된 바와 같은 본 개시 내용의 다양한 실시 예의 포괄적인 이해를 돕기 위해 제공된다. 여기에는 이해를 돕기 위한 다양한 특정 세부 사항이 포함되어 있지만 이는 단지 예시적인 것으로 간주되어야 한다. 따라서, 본 기술분야의 통상의 지식을 가진 자는 본 개시의 범위 및 사상을 벗어나지 않고 본 명세서에 기술된 다양한 실시 예의 다양한 변경 및 수정이 이루어질 수 있음을 인식할 것이다. 또한, 명료함과 간결함을 위해 잘 알려진 기능 및 구성에 대한 설명은 생략할 수 있다.
하기의 설명 및 청구범위에서 사용된 용어 및 단어들은 문헌상의 의미에 한정되지 않으며, 본 발명의 명확하고 일관된 이해를 가능하게 하기 위해 발명자가 사용한 것에 불과하다. 따라서, 본 발명의 다양한 실시예에 대한 다음의 설명은 단지 예시의 목적으로 제공되고 첨부된 청구범위 및 그 균등물에 의해 정의된 바와 같은 본 발명을 제한하기 위한 것이 아님이 당업자에게 명백해야 한다.
단수 형태에 대한 표현들은 문맥이 명백하게 달리 지시하지 않는 한 복수 지시 대상을 포함하는 것으로 이해되어야 한다. 따라서, 예를 들어 "구성요소 표면"에 대한 언급은 그러한 표면 중 하나 이상에 대한 언급을 포함할 수 있다.
도 1은, 본 개시의 일 실시 예에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일 실시 예에 따르면, 전0자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시 예에서, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시 예에서, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시 예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시 예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시 예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시 예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시 예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시 예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시 예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시 예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시 예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시 예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시 예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시 예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
일 실시 예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시 예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시 예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시 예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시 예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시 예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 문서에 개시된 일 실시 예에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 개시의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정일 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 개시의 일 실시 예에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 개시의 다양한 실시 예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 일 실시 예에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
일 실시 예에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 일 실시 예에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 일 실시 예에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
일 실시 예에 따르면, 도 1에 도시된 디스플레이 모듈(160)은, 화면(예: 디스플레이 화면)을 접히거나 펼쳐질 수 있도록 구성된 플렉서블 디스플레이를 포함할 수 있다.
일 실시 예에 따르면, 도 1에 도시된 디스플레이 모듈(160)은, 슬라이딩 가능하게 배치되어 화면(예: 디스플레이 화면)을 제공하는 플렉서블 디스플레이를 포함할 수 있다.
일 실시 예에 따르면, 도 1에 도시된 디스플레이 모듈(160)이 폴더블 디스플레이 또는 플렉서블 디스플레이를 포함하는 것으로 설명하고 있지만, 이에 한정되지 않는다. 디스플레이 모듈(160)은, 바형(bar type), 또는 평판형(plate type)의 디스플레이를 포함할 수도 있다.
도 2a는 본 개시의 일 실시 예에 따른 전자 장치의 전면의 사시도이다. 도 2b는 본 개시의 일 실시 예에 따른 전자 장치의 후면의 사시도이다.
도 2a 및 도 2b를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(200)(예: 도 1의 전자 장치(101))는, 제1 면(또는 전면)(210A), 제2 면(또는 후면)(210B), 및 하우징(210)을 포함할 수 있다. 하우징(210)에 의해 형성된 공간에 디스플레이(210)(예: 도 1의 디스플레이 모듈(160))가 배치될 수 있다. 하우징(210)은, 제1 면(210A)과 제2 면(210B) 사이의 공간을 둘러싸는 측면(210C)을 포함할 수 있다. 다른 실시 예에서, 하우징(210)은 제1 면(210A), 제2 면(210B) 및 측면(210C)들 중 일부를 형성하는 구조를 지칭할 수도 있다.
일 실시 예에 따르면, 제1 면(210A)은 적어도 일부분이 실질적으로 투명한 전면 플레이트(202)(예: 다양한 코팅 레이어들을 포함하는 글래스 플레이트, 또는 폴리머 플레이트)에 의하여 형성될 수 있다.
일 실시 예에 따르면, 제2 면(210B)은 실질적으로 불투명한 후면 플레이트(211)에 의하여 형성될 수 있다. 상기 후면 플레이트(211)는, 예를 들어, 코팅 또는 착색된 유리, 세라믹, 폴리머, 금속(예: 알루미늄, 스테인레스 스틸(STS), 또는 마그네슘), 또는 상기 물질들 중 적어도 둘의 조합에 의하여 형성될 수 있다. 그러나, 이에 한정되지 않고, 후면 플레이트(211)는 투명한 글래스에 의하여 형성될 수도 있다.
일 실시 예에 따르면, 측면(210C)은, 전면 플레이트(202) 및 후면 플레이트(211)와 결합하며, 금속 및/또는 폴리머를 포함하는 측면 베젤 구조(218)(또는 "측면 부재")에 의하여 형성될 수 있다. 어떤 실시 예에서, 후면 플레이트(211) 및 측면 베젤 구조(218)는 일체로 형성되고 동일한 물질(예: 알루미늄과 같은 금속 물질)을 포함할 수 있다.
일 실시 예로서, 전면 플레이트(202)는, 상기 제1 면(210A)으로부터 상기 후면 플레이트(211) 쪽으로 휘어져 심리스하게(seamless) 연장된 2개의 제1 영역(210D)들을 포함할 수 있다. 2개의 제1 영역(210D)들은 전면 플레이트(202)의 긴 엣지(long edge) 양단에 배치될 수 있다.
일 실시 예로서, 후면 플레이트(211)는, 상기 제2 면(210B)으로부터 상기 전면 플레이트(202) 쪽으로 휘어져 심리스하게 연장된 2개의 제2 영역(210E)들을 포함할 수 있다.
어떤 실시 예에서, 상기 전면 플레이트(202)(또는 상기 후면 플레이트(211))가 상기 제1 영역(210D)들(또는 상기 제2 영역(210E)들) 중 하나만을 포함할 수 있다. 어떤 실시 예에서, 상기 제1 영역(210D)들 또는 제2 영역(210E)들 중 일부가 포함되지 않을 수 있다. 실시 예들에서, 상기 전자 장치(200)의 측면에서 볼 때, 측면 베젤 구조(218)는, 상기와 같은 제1 영역(210D)들 또는 제2 영역(210E)들이 포함되지 않는 측면 쪽에서는 제1 두께(또는 폭)를 가지고, 상기 제1 영역(210D)들 또는 제2 영역(210E)들을 포함한 측면 쪽에서는 상기 제1 두께보다 얇은 제2 두께를 가질 수 있다.
일 실시 예에 따르면, 전자 장치(200)는, 디스플레이(201)(예: 도 1의 디스플레이 모듈(160)), 음향 입력 장치(203)(예: 도 1의 입력 모듈(150)), 음향 출력 장치(207, 214)(예: 도 1의 음향 출력 모듈(155)), 센서 모듈(204, 219)(예: 도 1의 센서 모듈(176)), 카메라 모듈(205, 212)(예: 도 1의 카메라 모듈(180)), 플래시(213), 키 입력 장치(217), 인디케이터(미도시), 및 커넥터들(208, 209) 중 적어도 하나 이상을 포함할 수 있다. 어떤 실시 예에서, 상기 전자 장치(200)는, 구성 요소들 중 적어도 하나(예: 키 입력 장치(217))를 생략하거나 다른 구성 요소를 추가적으로 포함할 수 있다.
일 실시 예에 따르면, 디스플레이(201)(예: 도 1의 디스플레이 모듈(160))는, 전면 플레이트(202)의 상단 부분을 통하여 시각적으로 보일 수 있다. 어떤 실시 예에서, 제1 면(210A), 및 측면(210C)의 제1 영역(210D)을 형성하는 전면 플레이트(202)를 통하여 디스플레이(201)의 적어도 일부가 보일 수 있다. 디스플레이(201)는, 터치 감지 회로, 터치의 세기(압력)를 측정할 수 있는 압력 센서, 및/또는 자기장 방식의 스타일러스 펜을 검출하는 디지타이저와 결합되거나 인접하여 배치될 수 있다. 어떤 실시 예에서, 센서 모듈(204, 219)의 적어도 일부, 및/또는 키 입력 장치(217)의 적어도 일부가, 상기 제1 영역(210D), 및/또는 상기 제2 영역(210E)에 배치될 수 있다.
어떤 실시 예에서, 디스플레이(201)의 화면 표시 영역의 배면에, 센서 모듈(204), 카메라 모듈(205)(예: 이미지 센서), 오디오 모듈(214), 및 지문 센서 중 적어도 하나 이상을 포함할 수 있다.
어떤 실시 예에 따르면, 디스플레이(201)는, 터치 감지 회로, 터치의 세기(압력)를 측정할 수 있는 압력 센서, 및/또는 자기장 방식의 스타일러스 펜을 검출하는 디지타이저와 결합되거나 인접하여 배치될 수 있다.
어떤 실시 예에 따르면, 센서 모듈(204, 219)의 적어도 일부, 및/또는 키 입력 장치(217)의 적어도 일부가, 상기 제1 영역(210D)들, 및/또는 상기 제2 영역(210E)들에 배치될 수 있다.
일 실시 예에 따르면, 음향 입력 장치(203)는, 마이크를 포함할 수 있다. 어떤 실시 예에서, 입력 장치(203)는 소리의 방향을 감지할 수 있도록 배치되는 복수개의 마이크를 포함할 수 있다. 음향 출력 장치(207, 214)는 음향 출력 장치(207, 214)을 포함할 수 있다. 음향 출력 장치(207, 214)는, 외부 스피커(207) 및 통화용 리시버(예: 오디오 모듈(214))를 포함할 수 있다. 어떤 실시 예에서는 음향 입력 장치(203, 예: 마이크), 음향 출력 장치(207, 214) 및 커넥터들(208, 209)은 전자 장치(200)의 내부 공간에 배치되고, 하우징(210)에 형성된 적어도 하나의 홀을 통하여 외부 환경에 노출될 수 있다. 어떤 실시 예에서는 하우징(210)에 형성된 홀은 음향 입력 장치(203, 예: 마이크) 및 음향 출력 장치(207, 214)를 위하여 공용으로 사용될 수 있다. 어떤 실시 예에서는 음향 출력 장치(207, 214)는 하우징(210)에 형성된 홀이 배제된 채 동작되는 스피커(예: 피에조 스피커)를 포함할 수 있다.
일 실시 예에 따르면, 센서 모듈(204, 219)(예: 도 1의 센서 모듈(176))은, 전자 장치(200)의 내부의 작동 상태, 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(204, 219)은, 예를 들어, 하우징(210)의 제1 면(210A)에 배치된 제1 센서 모듈(204)(예: 근접 센서) 및/또는 상기 하우징(210)의 제2 면(210B)에 배치된 제2 센서 모듈(219)(예: HRM 센서) 및/또는 제3 센서 모듈(미도시)(예: 지문 센서)을 포함할 수 있다. 예로서, 상기 지문 센서는 하우징(210)의 제1 면(210A)(예: 디스플레이(201)) 및/또는 제2 면(210B)에 배치될 수도 있다. 전자 장치(200)는, 도시되지 않은 센서 모듈, 예를 들어, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서 중 적어도 하나를 더 포함할 수 있다.
일 실시 예에 따르면, 카메라 모듈(205, 212)은, 전자 장치(200)의 제1 면(210A)에 배치된 제1 카메라 모듈(205), 및 제2 면(210B)에 배치된 제2 카메라 모듈(212)을 포함할 수 있다. 카메라 모듈(205, 212)의 주변에 플래시(213)가 배치될 수 있다. 카메라 모듈들(205, 212)은, 하나 또는 복수의 렌즈들, 이미지 센서, 및/또는 이미지 시그널 프로세서를 포함할 수 있다. 플래시(213)는, 예를 들어, 발광 다이오드 또는 제논 램프(xenon lamp)를 포함할 수 있다.
일 실시 예로서, 제1 카메라 모듈(205)는 언더 디스플레이 카메라(UDC: under display camera) 방식으로 디스플레이(201)의 디스플레이 패널의 하부에 배치될 수 있다. 어떤 실시 예에서, 2개 이상의 렌즈들(광각 및 망원 렌즈) 및 이미지 센서들이 상기 전자 장치(200)의 하나의 면에 배치될 수 있다. 어떤 실시 예에서, 전자 장치(200)의 제1 면(예로서, 화면이 표시되는 면)에 복수의 제1 카메라 모듈(205)들이 언더 디스플레이 카메라(UDC) 방식으로 배치될 수 있다.
일 실시 예로서, 키 입력 장치(217)는, 하우징(210)의 측면(210C)에 배치될 수 있다. 다른 실시 예에서, 전자 장치(200)는 상기 언급된 키 입력 장치(217) 중 일부 또는 전부를 포함하지 않을 수 있고 포함되지 않은 키 입력 장치(217)는 디스플레이(201) 상에 소프트 키 등 다른 형태로 구현될 수 있다. 어떤 실시 예에서, 키 입력 장치(217)는 디스플레이(201)에 포함된 압력 센서를 이용하여 구현될 수 있다.
일 실시 예로서, 커넥터들(208, 209)은, 외부 전자 장치와 전력 및/또는 데이터를 송수신하기 위한 커넥터(예를 들어, USB 커넥터)를 수용할 수 있는 제1 커넥터 홀(208), 및/또는 외부 전자 장치와 오디오 신호를 송수신하기 커넥터를 위한 수용할 수 있는 제2 커넥터 홀(209, 또는 이어폰 잭)을 포함할 수 있다. 제1 커넥터 홀(208)은 USB(universal serial bus) A타입 또는 USB C타입의 포트를 포함할 수 있다. 제1 커넥터 홀(208)이 USB C타입을 지원하는 경우 전자 장치(200, 예: 도 1의 전자 장치(101))는 USB PD(power delivery) 충전을 지원할 수 있다.
일 실시 예로서, 카메라 모듈들(205, 212) 중 일부 카메라 모듈(205) 및/또는 센서 모듈(204, 219)들 중 일부 센서 모듈(204)은, 디스플레이(201)를 통해 시각적으로 보이도록 배치될 수 있다. 다른 예로서, 카메라 모듈(205)이 언더 디스플레이 카메라(UDC) 방식으로 배치되는 경우, 카메라 모듈(205)은 외부에 시각적으로 보이지 않을 수 있다.
일 실시 예로서, 카메라 모듈(205)은 디스플레이 영역과 중첩되어 배치될 수 있고, 카메라 모듈(205)과 대응하는 디스플레이 영역에서도 화면을 표시할 수 있다. 일부 센서 모듈(204)은 전자 장치의 내부 공간에서 전면 플레이트(202)를 통해 시각적으로 노출되지 않고 그 기능을 수행하도록 배치될 수도 있다.
도 3a는 본 개시의 일 실시 예에 따른, 전자 장치의 제1 상태(예: 펼침 상태, 열림 상태)를 도시한 도면이다. 도 3b는 본 개시의 일 실시 예에 따른, 전자 장치의 제2 상태(예: 접힘 상태, 닫힘 상태)를 도시한 도면이다.
도 3a 및 도 3b를 참조하면, 전자 장치(300)(예: 도 1의 전자 장치(101))는, 하우징(310), 및 상기 하우징(310)에 의해 형성된 공간 내에 배치되는 디스플레이(320)를 포함할 수 있다. 일 실시 예로서, 디스플레이(320)는 플렉서블(flexible) 디스플레이 또는 폴더블(foldable) 디스플레이를 포함할 수 있다.
디스플레이(320)가 배치된 면을 제1 면 또는 전자 장치(300)의 전면(예: 펼쳤을 때 화면이 표시되는 면)으로 정의할 수 있다. 그리고, 전면의 반대 면을 제2 면 또는 전자 장치(300)의 후면으로 정의할 수 있다. 또한, 전면과 후면 사이의 공간을 둘러싸는 면을 제3 면 또는 전자 장치(300)의 측면으로 정의할 수 있다. 예를 들어, 전자 장치(300)는 폴딩 축(예: A축)을 기준으로 폴딩 영역(323)이 제1 방향(예: x축 방향)으로 접히거나, 펼쳐질 수 있다.
일 실시 예로서, 상기 하우징(310)은, 제1 하우징 구조물(311), 센서 영역(324)을 포함하는 제2 하우징 구조물(312), 및 힌지 커버(313)를 포함할 수 있다. 또한, 상기 하우징(310)은 제1 후면 커버(380), 및 제2 후면 커버(390)를 포함할 수 있다. 전자 장치(300)의 하우징(310)은 도 3a 및 도 3b에 도시된 형태 및 결합으로 제한되지 않으며, 다른 형상이나 부품의 조합 및/또는 결합에 의해 구현될 수 있다. 예를 들어, 다른 실시 예에서는, 제1 하우징 구조물(311)과 제1 후면 커버(380)가 일체로 형성될 수 있고, 제2 하우징 구조물(312)과 제2 후면 커버(390)가 일체로 형성될 수 있다.
일 실시 예로서, 제1 하우징 구조물(311)과 제2 하우징 구조물(312)은 폴딩 축(A)을 중심으로 양측에 배치되고, 상기 폴딩 축(A)에 대하여 전체적으로 대칭인 형상을 가질 수 있다. 제1 하우징 구조물(311) 및 제2 하우징 구조물(312)은 전자 장치(300)의 상태가 펼침 상태(예: 제1 상태)인지, 접힘 상태(예: 제2 상태)인지, 또는 중간 상태(예: 제3 상태)인지 여부에 따라 서로 이루는 각도나 거리가 달라질 수 있다.
일 실시 예로서, 제2 하우징 구조물(312)은, 제1 하우징 구조물(311)과 달리, 다양한 센서들(예: 조도 센서, 홍채 센서, 및/또는 이미지 센서)이 배치되는 상기 센서 영역(324)을 추가로 포함하지만, 이외의 영역에서는 상호 대칭적인 형상을 가질 수 있다.
일 실시 예로서, 상기 센서 영역(324)뿐만 아니라 디스플레이의 하부 및/또는 베젤 영역에 적어도 하나의 센서(예: 카메라 모듈, 조도 센서, 홍채 센서, 및/또는 이미지 센서)가 배치될 수 있다.
일 실시 예로서, 제1 하우징 구조물(311)과 제2 하우징 구조물(312)은 디스플레이(320)를 수용하는 리세스를 함께 형성할 수 있다. 도시된 실시 예에서는, 상기 센서 영역(324)으로 인해, 상기 리세스는 폴딩 축(A)에 대해 직교하는 방향(예: x축 방향)으로 서로 다른 2개 이상의 폭을 가질 수 있다.
예를 들어, 상기 리세스는 제1 하우징 구조물(311)의 제1 부분(311a)과 제2 하우징 구조물(312) 중 센서 영역(324)의 가장자리에 형성되는 제2 하우징 구조물(312)의 제1 부분(312a) 사이의 제1 폭(W1)을 가질 수 있다. 상기 리세스는 제1 하우징 구조물(311)의 제2 부분(311b)과 제2 하우징 구조물(312)의 제2 부분(312b)에 의해 형성되는 제2 폭(W2)을 가질 수 있다. 예로서, 제1 하우징 구조물(311)의 제2 부분(311b)은 제1 하우징 구조물(311) 중 폴딩 축(A)에 평행하게 형성될 수 있다. 제2 하우징 구조물(312)의 제2 부분(312b)은 제2 하우징 구조물(312) 중 센서 영역(324)에 해당하지 않으면서 폴딩 축(A)에 평행하게 형성될 수 있다. 이 경우, 제2 폭(W2)은 제1 폭(W1)보다 길게 형성될 수 있다. 다시 말해서, 상호 비대칭 형상을 갖는 제1 하우징 구조물(311)의 제1 부분(311a)과 제2 하우징 구조물(312)의 제1 부분(312a)은 상기 리세스의 제1 폭(W1)을 형성할 수 있다. 상호 대칭 형상을 갖는 제1 하우징 구조물(311)의 제2 부분(311b)과 제2 하우징 구조물(312)의 제2 부분(312b)은 상기 리세스의 제2 폭(W2)을 형성할 수 있다.
일 실시 예로서, 제2 하우징 구조물(312)의 제1 부분(312a) 및 제2 부분(312b)은 상기 폴딩 축(A)으로부터의 거리가 서로 상이할 수 있다. 리세스의 폭은 도시된 예시로 한정되지 아니한다. 일 실시 예에서, 센서 영역(324)의 형태 또는 제1 하우징 구조물(311) 및 제2 하우징 구조물(312)의 비대칭 형상을 갖는 부분에 의해 리세스는 복수 개의 폭을 가질 수 있다.
일 실시 예로서, 제1 하우징 구조물(311) 및 제2 하우징 구조물(312)의 적어도 일부는 디스플레이(320)를 지지하기 위해 선택된 크기의 강성을 갖는 금속 재질이나 비금속 재질로 형성될 수 있다.
일 실시 예로서, 상기 센서 영역(324)은 제2 하우징 구조물(312)의 일 코너에 인접하여 소정 영역을 가지도록 형성될 수 있다. 다만 센서 영역(324)의 배치, 형상, 및 크기는 도시된 예시에 한정되지 아니한다. 예를 들어, 다른 실시 예에서 센서 영역(324)은 제2 하우징 구조물(312)의 다른 코너 혹은 상단 코너와 하단 코너 사이의 임의의 영역에 제공될 수 있다.
일 실시 예로서, 전자 장치(300)에 내장된 다양한 기능을 수행하기 위한 부품들(components)이 센서 영역(324)을 통해, 또는 센서 영역(324)에 마련된 하나 이상의 개구(opening)를 통해 전자 장치(300)의 전면에 노출될 수 있다. 일 실시 예에서, 상기 부품들은 다양한 종류의 센서들을 포함할 수 있다. 상기 센서는, 예를 들어, 조도 센서, 전면 카메라(예: 카메라 모듈), 리시버 또는 근접 센서 중 적어도 하나를 포함할 수 있다.
상기 제1 후면 커버(380)는 상기 전자 장치(300)의 후면에 상기 폴딩 축(A)의 일편에 배치되고, 예를 들어, 실질적으로 직사각형인 가장자리(periphery)를 가질 수 있으며, 제1 하우징 구조물(311)에 의해 상기 가장자리가 감싸질 수 있다. 유사하게, 상기 제2 후면 커버(390)는 상기 전자 장치(300)의 후면의 상기 폴딩 축(A)의 다른 편에 배치되고, 제2 하우징 구조물(312)에 의해 그 가장자리가 감싸질 수 있다.
도시된 실시 예에서, 제1 후면 커버(380) 및 제2 후면 커버(390)는 상기 폴딩 축(A)을 중심으로 실질적으로 대칭적인 형상을 가질 수 있다. 다만, 제1 후면 커버(380) 및 제2 후면 커버(390)가 반드시 상호 대칭적인 형상을 가지는 것은 아니며, 다른 실시 예에서, 전자 장치(300)는 다양한 형상의 제1 후면 커버(380) 및 제2 후면 커버(390)를 포함할 수 있다. 또 다른 실시 예에서, 제1 후면 커버(380)는 제1 하우징 구조물(311)과 일체로 형성될 수 있고, 제2 후면 커버(390)는 제2 하우징 구조물(312)과 일체로 형성될 수 있다.
일 실시 예로서, 제1 후면 커버(380), 제2 후면 커버(390), 제1 하우징 구조물(311), 및 제2 하우징 구조물(312)은, 전자 장치(300)의 다양한 부품들(예: 인쇄회로기판, 또는 배터리)이 배치될 수 있는 공간을 형성할 수 있다. 일 실시 예로서, 전자 장치(300)의 후면에는 하나 이상의 부품(components)이 배치되거나 시각적으로 노출될 수 있다. 예를 들어, 제1 후면 커버(380)의 제1 후면 영역(382)을 통해 서브 디스플레이(330)의 적어도 일부가 시각적으로 노출될 수 있다. 다른 실시 예에서, 제2 후면 커버(390)의 제2 후면 영역(392)을 통해 하나 이상의 부품 또는 센서가 시각적으로 노출될 수 있다. 일 실시 예에서 상기 센서는 조도 센서, 근접 센서 및/또는 후면 카메라를 포함할 수 있다.
일 실시 예로서, 힌지 커버(313)는, 제1 하우징 구조물(311)과 제2 하우징 구조물(312) 사이에 배치되어, 내부 부품 (예를 들어, 힌지 구조)을 가릴 수 있도록 구성될 수 있다. 힌지 커버(313)는, 전자 장치(300)의 펼침과 접힘에 의해서 제1 하우징 구조물(311) 및 제2 하우징 구조물(312)이 맞닿는 부분을 커버할 수 있다.
일 실시 예로서, 힌지 커버(313)는, 상기 전자 장치(300)의 상태(펼침 상태(flat state) 또는 접힘 상태(folded state)에 따라, 제1 하우징 구조물(311) 및 제2 하우징 구조물(312)의 일부에 의해 가려지거나, 외부로 노출될 수 있다. 일 실시 예로서, 전자 장치(300)가 펼침 상태인 경우, 힌지 커버(313)는 제1 하우징 구조물(311) 및 제2 하우징 구조물(312)에 의해 가려져 노출되지 않을 수 있다. 일 실시 예로서, 전자 장치(300)가 접힘 상태(예: 완전 접힘 상태(fully folded state))인 경우, 힌지 커버(313)는 제1 하우징 구조물(311) 및 제2 하우징 구조물(312) 사이에서 외부로 노출될 수 있다. 일 실시 예로서, 제1 하우징 구조물(311) 및 제2 하우징 구조물(312)이 소정의 각도를 이루는(folded with a certain angle) 중간 상태(intermediate state)인 경우, 힌지 커버(313)는 제1 하우징 구조물(311) 및 제2 하우징 구조물(312)의 사이에서 외부로 일부 노출될 수 있다. 다만 이 경우 노출되는 영역은 완전히 접힌 상태보다 적을 수 있다. 일 실시 예로서, 힌지 커버(313)는 곡면을 포함할 수 있다.
디스플레이(320)는, 상기 하우징(310)에 의해 형성된 공간 상에 배치될 수 있다. 예를 들어, 디스플레이(320)는 하우징(310)에 의해 형성되는 리세스(recess) 상에 안착되며, 전자 장치(300)의 전면의 대부분을 구성할 수 있다.
따라서, 전자 장치(300)의 전면은 디스플레이(320) 및 디스플레이(320)에 인접한 제1 하우징 구조물(311)의 일부 영역 및 제2 하우징 구조물(312)의 일부 영역을 포함할 수 있다. 그리고, 전자 장치(300)의 후면은 제1 후면 커버(380), 제1 후면 커버(380)에 인접한 제1 하우징 구조물(311)의 일부 영역, 제2 후면 커버(390) 및 제2 후면 커버(390)에 인접한 제2 하우징 구조물(312)의 일부 영역을 포함할 수 있다.
상기 디스플레이(320)는, 적어도 일부 영역이 평면 또는 곡면으로 변형될 수 있는 디스플레이를 의미할 수 있다. 일 실시 예로서, 디스플레이(320)는 폴딩 영역(323), 폴딩 영역(323)을 기준으로 일측(예: 도 3a에서 좌측)에 배치되는 제1 영역(321) 및 타측(도 3a에서 우측)에 배치되는 제2 영역(322)을 포함할 수 있다.
일 실시 예로서, 디스플레이(320)는 전면 발광(top emission) 또는 후면 발광(bottom emission) 방식의 OLED 디스플레이를 포함할 수 있다. OLED 디스플레이는 LTCF(low temperature color filter)층, 윈도우 글래스(예: 초박막 강화유리(UTG: ultra-thin glass) 또는 폴리머 윈도우) 및 광학보상 필름(예: OCF: optical compensation film)을 포함할 수 있다. 여기서, OLED 디스플레이의 LTCF층으로 편광 필름(polarizing film)(또는 편광층)을 대체할 수 있다.
디스플레이(320)의 영역 구분은 예시적인 것이며, 디스플레이(320)는 구조 또는 기능에 따라 복수 (예를 들어, 2개 이상)의 영역으로 구분될 수도 있다. 일 실시 예로서, y축에 평행하게 연장되는 폴딩 영역(323) 또는 폴딩 축(A)에 의해 디스플레이(320)의 영역이 구분될 수 있으나, 다른 실시 예에서 디스플레이(320)는 다른 폴딩 영역(예: x 축에 평행한 폴딩 영역) 또는 다른 폴딩 축(예: x 축에 평행한 폴딩 축)을 기준으로 영역이 구분될 수도 있다.
일 실시 예로서, 제1 영역(321)과 제2 영역(322)은 폴딩 영역(323)을 중심으로 전체적으로 대칭인 형상을 가질 수 있다.
이하, 전자 장치(300)의 상태(예: 펼침 상태(flat state) 및 접힘 상태(folded state))에 따른 제1 하우징 구조물(311) 및 제2 하우징 구조물(312)의 동작과 디스플레이(320)의 각 영역을 설명한다.
일 실시 예로서, 전자 장치(300)가 펼침 상태(flat state)(예: 도 3a)인 경우, 제1 하우징 구조물(311) 및 제2 하우징 구조물(312)은 약 180도의 각도를 이루며 실질적으로 동일 방향을 향하도록 배치될 수 있다. 디스플레이(320)의 제1 영역(321)의 표면과 제2 영역(322)의 표면은 서로 약 180도를 형성하며, 실질적으로 동일한 방향(예: 전자 장치의 전면 방향)을 향할 수 있다. 폴딩 영역(323)은 제1 영역(321) 및 제2 영역(322)과 동일 평면을 형성할 수 있다.
일 실시 예로서, 전자 장치(300)가 접힘 상태(folded state)(예: 도 3b)인 경우, 제1 하우징 구조물(311) 및 제2 하우징 구조물(312)은 서로 마주보게 배치될 수 있다. 디스플레이(320)의 제1 영역(321)의 표면과 제2 영역(322)의 표면은 서로 좁은 각도(예: 0도에서 약 10도 사이)를 형성하며, 서로 마주볼 수 있다. 폴딩 영역(323)은 적어도 일부가 소정의 곡률을 가지는 곡면으로 이루어질 수 있다.
일 실시 예로서, 전자 장치(300)가 중간 상태(half folded state)인 경우, 제1 하우징 구조물(311) 및 제2 하우징 구조물(312)은 서로 소정의 각도(a certain angle)로 배치될 수 있다. 디스플레이(320)의 제1 영역(321)의 표면과 제2 영역(322)의 표면은 접힘 상태보다 크고 펼침 상태보다 작은 각도를 형성할 수 있다. 폴딩 영역(323)은 적어도 일부가 소정의 곡률을 가지는 곡면으로 이루어질 수 있으며, 이 때의 곡률은 접힘 상태(folded state)인 경우보다 작을 수 있다.
일 실시 예에 따른 전자 장치는 바 타입, 폴더블 타입, 롤러블 타입, 슬라이딩 타입, 웨어러블 타입, 태블릿 PC 및/또는 노트북 PC와 같은 전자 장치를 포함할 수 있다. 일 실시 예에 따른 전자 장치(101, 200, 300)는 상술한 예에 한정되지 않고, 다른 다양한 전자 장치를 포함할 수 있다.
도 4는 일 실시 예에 따른 전자 장치(400)의 디스플레이 모듈(160)의 블록도이다.
도 4를 참조하면, 디스플레이 모듈(160)(예: 표시 장치)은 디스플레이(410)(예: 도 2a의 디스플레이(210), 도 3a의 디스플레이(320)), 디스플레이(410)를 제어하기 위한 디스플레이 드라이버 IC(display driver integrated circuit)(430)(이하, 'DDI(430)'라 함), 및 터치 회로(450)를 포함할 수 있다.
DDI(430)는 인터페이스 모듈(431), 메모리(433)(예: 버퍼 메모리), 이미지 처리 모듈(435), 및/또는 맵핑 모듈(437)을 포함할 수 있다.
일 실시 예에 따르면, DDI(430)는 영상 데이터, 또는 상기 영상 데이터를 제어하기 위한 명령에 대응하는 영상 제어 신호를 포함하는 영상 정보를 인터페이스 모듈(431)을 통해 전자 장치(400)(예: 도 1의 전자 장치(101), 도 2a의 전자 장치(200), 도 3a의 전자 장치(300))의 다른 구성요소로부터 수신할 수 있다.
일 실시 예에 따르면, 영상 정보는 프로세서(예: 도 1의 프로세서(120))(예: 도 1의 메인 프로세서(121))(예: 어플리케이션 프로세서) 또는 메인 프로세서(121)의 기능과 독립적으로 운영되는 보조 프로세서(예: 도 1의 보조 프로세서(123))(예: 그래픽 처리 장치)로부터 수신될 수 있다.
일 실시 예에 따르면, DDI(430)는 터치 회로(450) 또는 센서 모듈(176)(예: 도 2a의 카메라 모듈(205), 도 3a의 센서 영역(324)에 배치되는 카메라 모듈))과 인터페이스 모듈(431)을 통하여 커뮤니케이션할 수 있다. 또한, DDI(430)는 수신된 영상 정보 중 적어도 일부를 메모리(433)에 저장할 수 있다. 일 예로서, DDI(430)는 수신된 영상 정보 중 적어도 일부를 메모리(433)에 프레임 단위로 저장할 수 있다.
일 실시 예에 따르면, 이미지 처리 모듈(435)은 상기 영상 데이터의 적어도 일부를 상기 영상 데이터의 특성 또는 디스플레이(410)의 특성에 적어도 기반하여 전처리 또는 후처리(예: 해상도, 밝기, 또는 크기 조정)를 수행할 수 있다.
일 실시 예에 따르면, 맵핑 모듈(437)은 이미지 처리 모듈(435)을 통해 전처리 또는 후처리된 상기 영상 데이터에 대응하는 전압 값 또는 전류 값을 생성할 수 있다. 일 실시 예로서, 전압 값 또는 전류 값의 생성은 예를 들면, 디스플레이(410)의 픽셀들의 속성(예: 픽셀들의 배열(RGB stripe 또는 pentile 구조), 또는 서브 픽셀들 각각의 크기, 픽셀들의 열화)에 적어도 일부 기반하여 수행될 수 있다.
일 실시 예로서, 디스플레이(410)의 적어도 일부 픽셀들은, 상기 전압 값 또는 전류 값에 적어도 일부 기반하여 구동됨으로써 상기 영상 데이터에 대응하는 시각적 정보(예: 텍스트, 이미지, 또는 아이콘)가 디스플레이(410)를 통해 표시될 수 있다.
일 실시 예에 따르면, 디스플레이 모듈(160)은 터치 회로(450)를 포함할 수 있다. 터치 회로(450)는 터치 센서(451) 및 이를 제어하기 위한 터치 센서 IC(453)를 포함할 수 있다.
일 실시 예로서, 터치 센서 IC(453)는, 디스플레이(410)의 특정 위치에 대한 터치 입력 또는 호버링 입력을 감지하기 위해 터치 센서(451)를 제어할 수 있다. 예를 들면, 터치 센서 IC(453)는 디스플레이(410)의 특정 위치에 대한 신호(예: 전압, 광량, 저항, 또는 전하량)의 변화를 측정함으로써 터치 입력 또는 호버링 입력을 감지할 수 있다. 터치 센서 IC(453)는 감지된 터치 입력 또는 호버링 입력에 관한 정보(예: 위치, 면적, 압력, 또는 시간)를 프로세서(예: 도 1의 프로세서(120))에 제공할 수 있다.
일 실시 예에 따르면, 터치 회로(450)의 적어도 일부(예: 터치 센서 IC(453))는 DDI(430) 또는 디스플레이(410)의 일부로 포함될 수 있다.
일 실시 예에 따르면, 터치 회로(450)의 적어도 일부(예: 터치 센서 IC(453))는 디스플레이 모듈(160)의 외부에 배치된 다른 구성요소(예: 보조 프로세서(123))의 일부로 포함될 수 있다.
일 실시 예에 따르면, 디스플레이 모듈(160)은 센서 모듈(176) 및/또는 센서 모듈(176)에 대한 제어 회로를 더 포함할 수 있다. 센서 모듈(176)은 적어도 하나의 센서(예: 카메라 모듈, 조도 센서, 지문 센서, 홍채 센서, 압력 센서, 및/또는 이미지 센서)를 포함할 수 있다. 이 경우, 상기 적어도 하나의 센서 또는 이에 대한 제어 회로는 디스플레이 모듈(160)의 일부(예: 디스플레이(410) 또는 DDI(430)) 또는 터치 회로(450)의 일부에 임베디드될 수 있다.
일 실시 예에 따르면, 센서 모듈(176)이 카메라 모듈(예: 이미지 센서)(예: 도 5의 카메라 모듈(510))을 포함하는 경우, 카메라 모듈(예: 이미지 센서)(예: 도 5의 카메라 모듈(510))은 UDC(under display camera) 방식으로 디스플레이(410)의 하부(예: 아래)에 배치될 수 있다.
일 실시 예에 따르면, 디스플레이 모듈(160)에 임베디드된 센서 모듈(176)이 조도 센서를 포함할 경우, 상기 조도 센서는 디스플레이의 외부 광 노출에 따른 자외선(UV)의 노출량을 감지할 수 있다.
일 실시 예에 따르면, 디스플레이 모듈(160)에 임베디드된 센서 모듈(176)이 생체 센서(예: 지문 센서)를 포함할 경우, 상기 생체 센서는 디스플레이(410)의 일부 영역을 통해 터치 입력과 연관된 생체 정보(예: 지문 이미지)를 획득할 수 있다.
일 실시 예에 따르면, 디스플레이 모듈(160)에 임베디드된 센서 모듈(176)이 압력 센서를 포함할 경우, 상기 압력 센서는 디스플레이(410)의 일부 또는 전체 영역을 통해 터치 입력과 연관된 압력 정보를 획득할 수 있다.
일 실시 예에 따르면, 터치 센서(451) 또는 센서 모듈(176)은 디스플레이(410)의 픽셀 레이어의 픽셀들 사이에, 또는 상기 픽셀 레이어의 위에 또는 아래에 배치될 수 있다.
다른 예를 들면, 센서 모듈(176)은 전자 장치(예: 도 1의 전자 장치(101))의 베젤 영역에 배치될 수도 있다.
도 5는 본 개시의 일 실시 예에 따른 디스플레이 및 카메라 모듈(예: 이미지 센서)를 나타내는 도면이다. 도 6은 본 개시의 일 실시 예에 따른 디스플레이의 제1 영역(예: UDC 영역)과 제2 영역(예: 액티브 영역)에 배치된 픽셀들의 형태를 나타내는 도면이다.
도 5 및 도 6을 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(500, 600)는 디스플레이(501) 및 카메라 모듈(510)(예: 도 2a의 카메라 모듈(205), 도 3a의 센서 영역(324)에 배치되는 카메라 모듈))을 포함할 수 있다.
일 실시 예에 따르면, 디스플레이(501)는 디스플레이 패널(520, display panel), 편광층(530, polarizing layer)(예: 편광 필름), 윈도우 글래스(540, glass)(예: 초박막 강화유리(UTG: ultra-thin glass) 또는 폴리머 윈도우), 및 광학보상 필름(550, OCF: optical compensation film)을 포함할 수 있다. 광학보상 필름(550)은 편광층(530) 및 윈도우 글래스(540)의 전체면에 대응하도록 배치될 수 있다.
일 실시 예로서, 디스플레이(501)가 플렉서블 디스플레이인 경우, 윈도우 글래스(540)는 초박막 강화유리(UTG: ultra-thin glass) 또는 폴리머 윈도우가 적용될 수 있다.
일 실시 예에 따르면, 카메라 모듈(510)(또는 이미지 센서)은 언더 디스플레이 카메라(UDC: under display camera) 방식으로 디스플레이(501)의 하부(예: 아래)에 배치될 수 있다. 예로서, 카메라 모듈(510)은 디스플레이 패널(520)의 하부(예: 아래)에 배치될 수 있다.
일 실시 예로서, 적어도 하나의 카메라 모듈(510)이 디스플레이 패널(520)의 하부에 배치될 수 있다. 이에 한정되지 않고, 복수의 카메라 모듈(510)이 디스플레이 패널(520)의 하부에 배치될 수 있다.
일 실시 예로서, 디스플레이 패널(520)은 카메라 모듈(510)과 대응되는 제1 영역(611)(예: 언더 디스플레이 카메라(UDC) 영역) 및 제2 영역(612)(예: 액티브 영역)을 포함할 수 있다.
일 실시 예로서, 디스플레이 패널(520)의 제2 영역(612)(예: 액티브 영역)뿐만 아니라 제1 영역(611)(예: UDC 영역)에도 픽셀들(662)이 배치되어 있어, 화상이 표시될 수 있다.
도 6에서는 제1 영역(611)(예: UDC 영역)이 전자 장치(500)의 우측 상단에 배치되는 것을 일 예로 도시하였다. 이에 한정되지 않고, 제1 영역(611)(예: UDC 영역)은 전자 장치(500)의 중앙 상단, 좌측 상단, 중앙, 중앙 우측, 중앙 좌측, 하단 우측, 하단 중앙, 또는 하단 좌측에도 배치될 수 있고, 제1 영역(611)(예: UDC 영역)이 배치되는 위치에 제한 없다.
일 실시 예로서, 편광층(530)은 디스플레이 패널(520)의 상부(예: z축 방향)에 배치될 수 있다. 편광층(530)은 입사되는 광을 편광시켜 출력할 수 있다. 편광층(530)은 디스플레이 패널(520)로 입사되는 광을 편광시켜 빛 반사로 인한 표시품질의 저하를 방지할 수 있다.
다른 실시 예로서, 디스플레이(501)가 편광층(530) 없이 구성될 수 있다.
일 실시 예로서, 윈도우 글래스(540)는 디스플레이 패널(520) 또는 편광층(530) 상에 배치될 수 있다. 광학보상 필름(550)은 윈도우 글래스(540) 상에 배치될 수 있다. 광학보상 필름(550)은 윈도우 글래스(540)를 보호하기 위한 보호 필름의 기능 및 편광층(530)의 적용에 따른 무지개 색상 얼룩의 방지를 위한 위상차 필름의 기능을 가질 수 있다.
윈도우 글래스(540) 상에 하나의 광학보상 필름(550)이 배치되는 것을 일 예로 도시하였다. 이에 한정되지 않고, 윈도우 글래스(540) 상에 복수의 광학보상 필름이 배치될 수도 있다. 또한, 윈도우 글래스(540) 상에 하나의 광학보상 필름(550)이 배치되고, 광학보상 필름(550) 상에 보호층(또는 코팅층)이 배치될 수도 있다.
광학보상 필름(550)은 광학 보상의 기능 이외에도 보호 필름 또는 충격 흡수의 기능을 가질 수 있다. 따라서, 보호 필름 또는 충격 흡수 기능의 관점에서는 광학보상 필름(550)이 두꺼울수록 좋을 수 있다. 그러나, 폴더블폰의 경우, 폴딩 특성이 중요함으로 광학보상 필름(550)의 두께를 고려해야 하며, 본 제안에서는 광학보상 필름(550)을 예를 들어, 약 20~100㎛의 두께를 가지도록 형성할 수 있다.
디스플레이 패널(520)과 편광층(530) 사이에 제1 접착 부재(525)가 형성되어, 디스플레이 패널(520)과 편광층(530)이 접착될 수 있다. 편광층(530)과 윈도우 글래스(540) 사이에 제2 접착 부재(535)가 형성되어, 편광층(530)과 윈도우 글래스(540)가 접착될 수 있다. 윈도우 글래스(540)와 광학보상 필름(550) 사이에 제3 접착 부재(545)가 형성되어, 윈도우 글래스(540)와 광학보상 필름(550)이 접착될 수 있다.
제1 내지 제3 접착 부재(525, 535, 545)는 OCA(optical clear adhesive), PSA(pressure sensitive adhesive), 열반응 접착제, 일반 접착제 또는 양면 테이프를 포함할 수 있다. 윈도우 글래스(540) 상에 배치되는 광학 보상 필름(550)의 탈부착이 용이하도록, 제1 접착 부재(525) 및 제2 접착 부재(535)보다 제3 접착 부재(545)의 접착력이 낮게(또는 약하게) 형성될 수 있다.
한 실시 예에 따르면, 디스플레이 패널(520)과 편광층(530)은 일체로 형성될 수도 있다. 한 실시 예에 따르면, 디스플레이 패널(520)의 배치된 픽셀 상에 편광 기능을 가지는 레드(R), 그린(G), 블루(B)안료로 형성된 컬러필터를 배치하여, 편광층(530)을 삭제할 수도 있다. 편광 기능을 가지는 컬러필터를 적용한 경우에도 윈도우 글래스(540) 상에 광학보상 필름(550)을 배치할 수 있다. 예로서, 디스플레이 패널(520)의 내부에는 외부 광의 반사를 방지할 수 있는 광반사 차단층(예: BPDL(black pixel define layer))을 포함할 수 있다.
한 실시 예에 따르면, 디스플레이 패널(520)의 상부에 배치되는 편광층(530)은, 굴절률에 의한 카메라 모듈(510)의 성능 저하를 방지하기 위하여 카메라 모듈(510)(예: 렌즈)에 대응하는 위치가 천공된 오프닝들을 포함할 수도 있다. 한 실시 예로서, 편광층(530)은 카메라 모듈(510)과의 대응 위치가 투명하게 처리되거나, 편광 특성이 제거될 수 있다. 한 실시 예로서, 오프닝이 없는 레이어들(예: 디스플레이 패널(520)) 또는 터치 패널은 굴절률 차이를 최소화하기 위하여 인덱스 매칭을 할 수 있는 코팅이 포함될 수도 있다.
디스플레이 패널(520)은 OLED(organic light emitting diodes) 패널, LCD(liquid crystal display), 또는 QLED(quantum　dot　light-emitting　diodes) 패널일 수 있다. 디스플레이 패널(520)은 화상을 표시하기 위한 복수의 픽셀들을 포함하며, 하나의 픽셀은 복수의 서브 픽셀들을 포함할 수 있다. 한 실시 예로서, 하나의 픽셀은 3색의 레드(Red) 서브 픽셀, 그린(green) 서브 픽셀, 및 블루(blue) 서브 픽셀로 구성될 수 있다. 한 실시 예로서, 하나의 픽셀은 4색의 레드(Red) 서브 픽셀, 그린(green) 서브 픽셀, 블루(blue), 및 화이트(white) 서브 픽셀로 구성될 수 있다. 한 실시 예로서, 하나의 픽셀은 1개의 레드(Red) 서브 픽셀, 2개의 그린(green) 서브 픽셀, 및 1개의 블루(blue) 서브 픽셀을 포함하는, RGBG 펜타일 방식으로 구성될 수 있다.
일 실시 예에 따르면, 디스플레이(501)는 제어 회로(미도시)를 포함할 수 있다. 한 실시 예에 따르면, 제어 회로는 메인 인쇄 회로 기판 및 디스플레이 패널(520)을 전기적으로 연결시키는 FPCB(flexible printed circuit board)와, FPCB에 실장되는 DDI(display driver IC, 예: 도 4의 디스플레이 드라이버 IC(430))를 포함할 수 있다. 일 실시 예로서, 디스플레이 패널(520)의 적어도 일측이 연장되고, 연장된 부분에 COP(chip on panel 또는 chip on plastic) 방식으로 DDI(430)가 배치될 수 있다.
일 실시 예에 따르면, 디스플레이(501)는 추가적으로 터치 패널(예: 도 4의 터치 회로(450))을 포함할 수도 있다. 한 실시 예에 따르면, 디스플레이(501)는 터치 패널의 배치 위치에 따라 in-cell 방식 또는 on-cell 방식의 터치 디스플레이로 동작할 수 있다. in-cell 방식 또는 on-cell 방식 또는 add-on 방식의 터치 디스플레이로 동작할 경우, 제어 회로는 TDDI(touch display driver IC)를 포함할 수도 있다. 한 실시 예로서, 디스플레이(501)는 센서 모듈(예: 도 4의 센서 모듈(176))을 포함할 수 있다.
일 실시 예로서, 일 실시 예로서, 디스플레이 패널(520)의 전체 영역 중에서, 카메라 모듈(510)과 대응되는 제1 영역(611)(예: UDC 영역)을 제외한 부분이 제2 영역(612)(예: 액티브 영역)이 될 수 있다.
카메라 모듈(510)이 언더 디스플레이 카메라(UDC) 방식으로 디스플레이 패널(520)의 하부에 배치됨으로, 촬상되는 화상의 품질을 고려하여 투과율을 확보해야 한다. 이를 위해, 제1 영역(611)(예: UDC 영역)에 배치되는 픽셀들(662)의 밀도와 제2 영역(612)(예: 액티브 영역)에 배치되는 픽셀들(664)의 밀도를 상이하게 형성할 수 있다.
일 실시 예로서, 제2 영역(612)(예: 액티브 영역)에 배치되는 픽셀들(664) 제1 영역(611)(예: UDC 영역)에 배치되는 픽셀들(662)의 개수를 1/2, 1/3, 1/4, 1/5, 또는 1/6로 줄여서 배치할 수 있다. 제1 영역(611)(예: UDC 영역)의 전체 면적 중 1/2, 1/3, 1/4, 1/5, 또는 1/6 면적에 픽셀들(662)을 배치하고, 나머지 부분은 픽셀이 없는 빈 영역(666)(또는 논 픽셀(non-pixel) 영역)으로 형성할 수 있다. 이에 한정되지 않고, 제1 영역(611)(예: UDC 영역)에 배치되는 픽셀들(662)의 비율은 변경될 수 있다.
도 6에서는 제1 영역(611)(예: UDC 영역)의 픽셀들(662)이 규칙적으로 배치되는 것으로 도시하였다. 이에 한정되지 않고, 제1 영역(611)(예: UDC 영역)에서 픽셀들(662)의 간격이 불규칙하게 배열될 수 있다. 또한, 제1 영역(611)(예: UDC 영역)이 원형인 것을 일 예로 도시하였다. 이에 한정되지 않고, 제1 영역(611)(예: UDC 영역)은 타원형, 또는 다각형의 형태로 형성될 수도 있다.
도 7은 비교 예에 따른 전자 장치의 디스플레이 구동 시 UDC(under display camera)의 컷아웃(cutout)과 아이콘의 충돌이 발생하는 것을 나타내는 도면이다. 도 8은 비교 예에 따른 전자 장치의 카메라 구동 시 UDC(under display camera)의 컷아웃(cutout)과 아이콘의 충돌이 발생하는 것을 나타내는 도면이다.
도 7 및 도 8을 참조하면, 비교 예에 따른 전자 장치(700)는 디스플레이(710) 및 상기 디스플레이(710)의 하부(예: 아래)에 배치되는 카메라 모듈(예: 도 5의 카메라 모듈(510))이 배치될 수 있다. 예로서, 카메라 모듈(예: 도 5의 카메라 모듈(510))은 언더 디스플레이 카메라(UDC: under display camera) 방식으로 배치될 수 있다. 카메라 모듈(예: 도 5의 카메라 모듈(510))의 컷아웃(720)이 형성될 수 있는데, 컷아웃(720)에서도 화면이 표시될 수 있다. 예로서, 카메라 모듈(예: 도 5의 카메라 모듈(510))의 컷아웃(720)과 전자 장치에서 구동되는 어플리케이션의 아이콘들(730)(예: 오브젝트, 상태 정보, 기능 메뉴)의 적어도 일부가 충돌(예: 겹치게 표시)될 수 있다. 카메라 모듈(예: 도 5의 카메라 모듈(510))의 컷아웃(720)과 아이콘들(730)의 적어도 일부가 겹치게 됨으로 인해 아이콘들(730) 중 일부가 가려지거나, 아이콘의 선택에 지장을 줄 수 있어, 컷아웃(720)과 아이콘들(730)을 회피하고자 하는 요구가 있다.
또한, 전자 장치(700)의 카메라 모듈(예: 도 5의 카메라 모듈(510))의 구동 시, 컷아웃(720)과 카메라 어플리케이션의 유저 인터페이스(740)(예: 오브젝트, 상태 정보, 기능 메뉴)의 충돌이 발생할 수 있다. 예로서, 카메라 모듈(예: 도 5의 카메라 모듈(510))을 동작시키는 카메라 어플리케이션(예: 써드 파티(3rd party) 카메라 어플리케이션)에서 유저 인터페이스(740)의 전체 또는 일부가 컷아웃(720)과 충돌(예: 겹치게 표시)될 수 있어, 컷 아웃(720)과 유저 인터페이스(740)를 회피하고자 하는 요구가 있다. 또한, 어플리케이션의 기능 메뉴(750)의 전체 또는 일부가 컷아웃(720)과 충돌(예: 겹치게 표시)될 수 있어, 컷 아웃(720)과 유저 인터페이스의 기능 메뉴(750)를 회피하고자 하는 요구가 있다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치 및 동작 방법을 나타내는 도면이다.
도 9를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(900)는 디스플레이 콘텐츠(Display Content) 제어부(901), UDC 컷아웃 정책(Udc Cutout Policy) 제어부(902), 디스플레이 정책(DisplayPolicy) 제어부(903), 윈도우 상태(WindowState) 제어부(904), 및 구성 컨테이너(Configuration Container) 제어부(905)를 포함할 수 있다. 일 실시 예에 기반한 전자 장치(900)가 포함하는 플랫폼에 따라 도 9에 도시된 구성들 중 적어도 일부는 변경될 수 있다. 일 실시 예에 따라, 디스플레이 콘텐츠 제어부(901), UDC 컷아웃 정책 제어부(902), 디스플레이 정책 제어부(903), 윈도우 상태 제어부(904), 및 구성 컨테이너 제어부(905)는 프로세서(예: 도 1의 프로세서(120))에 포함될 수 있다.
디스플레이 콘텐츠(Display Content) 제어부(901)는 물리적인(physical) 디스플레이의 형태를 논리적(logical) 디스플레이로 추상화할 수 있다.
UDC 컷아웃 정책(Udc Cutout Policy) 제어부(902)는 UDC 컷아웃을 생성할 수 있다. UDC 컷아웃 정책 제어부(902)는 디스플레이 정책(DisplayPolicy) 제어부(903)에서 어플리케이션을 레이아웃 할 때 UDC 컷아웃을 회피하도록 할 수 있다.
디스플레이 정책(DisplayPolicy) 제어부(903)는 논리적인 디스플레이 안에 표시되는 하나 또는 복수의 어플리케이션들의 각각의 윈도우를 레이아웃 할 수 있다.
윈도우 상태(WindowState) 제어부(904)는 어플리케이션의 윈도우를 화면에 표시될 수 있도록 추상화할 수 있다.
구성 컨테이너(Configuration Container) 제어부(905)는 어플리케이션의 영역에 대한 구성을 수행할 수 있다.
일 실시 예로서, 본 개시의 일 실시 예에 따른 전자 장치(900)는 UDC 컷아웃과 어플리케이션의 오프젝트(예: 아이콘 및/또는 유저 인터페이스)의 충돌 회피를 위하여 동작할 수 있다.
910 동작에서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이(예: 도 4의 디스플레이(410), 도 5의 디스플레이(501))를 통해 출력할 컨텐츠가 있음을 확인할 수 있다.
911 동작에서, 디스플레이 콘텐츠 제어부(901)는 UDC 컷아웃 정책 제어부(902)로 UDC의 컷아웃(예: 도 7 및 도 8의 컷아웃(720))을 위한 인스턴스(instance)를 생성할 수 있다.
912 동작에서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스(display metrics) 정보(예: 디스플레이 매트릭스 정보, 및 디스플레이 컷아웃 정보) 및 UDC의 컷아웃을 업데이트 할 수 있다.
일 실시 예로서, 912 동작에서 921 동작, 922 동작, 및 923 동작을 수행할 수도 있다. 예로서, 디스플레이 컷아웃과 UDC 컷아웃을 구분하여 나타낼 수 있다.
예로서, 전자 장치(900)의 디스플레이(예: 도 4의 디스플레이(410), 도 5의 디스플레이(501))의 형태가 변경됨에 따라, 프로세서(예: 도 1의 프로세서(120))는 변경된 디스플레이 매트릭스 정보를 수신할 수 있다. 전자 장치(900)가 접힘 상태에서 펼침 상태로 변경되거나, 펼침 상태에서 접힘 상태로 변경되는 경우, 디스플레이(예: 도 4의 디스플레이(410), 도 5의 디스플레이(501))의 크기 및 컷아웃이 변경될 수 있고, 이에 따라서 변경된 디스플레이 매트릭스 정보를 수신할 수 있다.
921 동작에서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보에 기초하여 디스플레이(예: 도 4의 디스플레이(410), 도 5의 디스플레이(501))의 크기 및 형태(예: 접힘 상태, 펼침 상태, 가로 모드, 세로 모드)를 갱신할 수 있다. 예로서, 디스플레이 콘텐츠 제어부(901)는 디스플레이 매트릭스 정보에 기초하여 디스플레이(예: 도 4의 디스플레이(410), 도 5의 디스플레이(501))의 크기 및 형태(예: 접힘 상태, 펼침 상태, 가로 모드, 세로 모드)를 갱신할 수 있다.
922 동작에서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보에 기초하여 디스플레이(예: 도 4의 디스플레이(410), 도 5의 디스플레이(501))에서 컷아웃을 갱신할 수 있다. 예로서, 디스플레이 콘텐츠 제어부(901)는 디스플레이 매트릭스 정보에 기초하여 디스플레이(예: 도 4의 디스플레이(410), 도 5의 디스플레이(501))에서 컷아웃을 갱신할 수 있다.
923 동작에서, 프로세서(예: 도 1의 프로세서(120))는 UDC의 컷아웃(예: 도 7 및 도 8의 컷아웃(720))을 생성할 수 있다. 도 13에 도시된 바와 같이 카메라 모듈(1300)의 배치에 기초하여 UDC의 컷아웃(1310)을 생성할 수 있다. 전자 장치(900)의 형태에 따라서 UDC의 컷아웃(1310)을 갱신할 수 있다. 예로서, 디스플레이 콘텐츠 제어부(901)는 UDC의 컷아웃(예: 도 7 및 도 8의 컷아웃(720))을 생성할 수 있다. 디스플레이에서 물리적인 카메라 구멍이 어디에 있는지를 나타낼 수 있다. UDC의 컷아웃(예: 도 7 및 도 8의 컷아웃(720))은 언더 디스플레이 카메라의 어디에 위치하는지를 나타낼 수 있다.
일 실시 예로서, 프로세서(예: 도 1의 프로세서(120))는 물리적인 카메라 구멍의 정보를 논리적인 카메라 구멍의 정보(예: 위치, 또는 크기)로 변환할 수 있다. 전자 장치(900)가 포함하는 플랫폼에 따라 논리적인 카메라 구멍의 정보를 표현하는 방법은 변경될 수 있다. 에로서, 안드로이드 플랫폼은 벡터 정보(예: vector path)로 논리적인 카메라 구멍의 정보를 표현할 수 있다. 프로세서(예: 도 1의 프로세서(120))는 논리적인 카메라 구멍의 정보를 소프트웨어 오브젝트로 생성할 수 있다. 전자 장치(900)가 포함하는 플랫폼에 따라 오브젝트의 형태는 변경될 수 있다. 예를 들어, 안드로이드 플랫폼은 컷아웃(cutout) 오브젝트로 생성할 수 있다.
930 동작에서, 프로세서(예: 도 1의 프로세서(120))는 어플리케이션을 디스플레이(예: 도 4의 디스플레이(410), 도 5의 디스플레이(501))에 레이아웃 할 수 있다. 예로서, 프로세서(예: 도 1의 프로세서(120))는 어플리케이션의 상태 바 및 네비게이션 바를 배열하여 어플리케이션을 레이아웃 할 수 있다.
931 동작에서, 프로세서(예: 도 1의 프로세서(120), 디스플레이 콘텐츠 제어부(901))는 매트릭스 정보에 기초하여 디스플레이 정보를 갱신할 수 있다.
932 동작에서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보에 기초하여 화면을 갱신할 수 있다. 디스플레이(예: 도 4의 디스플레이(410), 도 5의 디스플레이(501))의 크기, 카메라 구멍의 위치 변경에 따라서 어플리케이션의 화면을 갱신할 수 있다. 디스플레이(예: 도 4의 디스플레이(410), 도 5의 디스플레이(501))의 크기가 변경되면, 변경된 디스플레이(예: 도 4의 디스플레이(410), 도 5의 디스플레이(501))의 크기에 맞춰서 어플리케이션의 레이아웃을 갱신할 수 있다. 예로서, 프로세서(예: 도 1의 프로세서(120))는 매트릭스 정보에 기초하여 어플리케이션의 네비게이션 바의 레이아웃을 갱신할 수 있다. 프로세서(예: 도 1의 프로세서(120))는 매트릭스 정보에 기초하여 어플리케이션의 상태 바의 레이아웃을 갱신할 수 있다. 예로서, 디스플레이 콘텐츠 제어부(901)는 네비게이션 바(navigation bar)의 레이아웃, 상태 바(status bar)의 레이아웃, 스크린 데코 윈도우(screen decor windows)의 레이아웃을 갱신할 수 있다.
933 동작에서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이 프레임을 획득할 수 있다. 예로서, 디스플레이 정책 제어부(903)는 디스플레이 프레임을 획득할 수 있다.
934 동작에서, 프로세서(예: 도 1의 프로세서(120))는 UDC의 컷아웃(예: 도 7 및 도 8의 컷아웃(720))의 회피가 필요한 경우에, 디스플레이 프레임을 변경할 수 있다. 예로서, 윈도우 상태 제어부(904)는 UDC의 컷아웃(예: 도 7 및 도 8의 컷아웃(720))의 회피가 필요한 경우에, 디스플레이 프레임을 변경할 수 있다.
935 동작에서, 프로세서(예: 도 1의 프로세서(120))는 UDC 디스플레이 프레임을 변경할 수 있다. 예로서, UDC 컷아웃 정책 제어부(902)는 UDC 디스플레이 프레임을 변경할 수 있다.
936 동작에서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이 프레임을 변경할 수 있다. 예로서, 윈도우 상태 제어부(904)는 디스플레이 프레임을 변경할 수 있다.
937 동작에서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이 프레임을 산출할 수 있다. 예로서, 디스플레이 정책 제어부(903)는 디스플레이 프레임을 산출할 수 있다.
938 동작에서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이 프레임을 산출에 따라서 디스플레이 컷아웃 정보를 획득할 수 있다. 예를 들면, UDC 컷아웃 정책 제어부(902)는 동작 937에 기반하여, 윈도우 상태 제어부(904)로부터 디스플레이 프레임 정보를 획득할 수 있다.
939 동작에서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이 프레임을 산출에 따라서 UDC의 컷아웃(예: 도 7 및 도 8의 컷아웃(720))을 생성할 수 있다. 예로서, UDC 컷아웃 정책 제어부(902)는 디스플레이 프레임을 산출에 따라서 UDC의 컷아웃(예: 도 7 및 도 8의 컷아웃(720))을 생성할 수 있다.
940 동작에서, 프로세서(예: 도 1의 프로세서(120))는 컷아웃(예: 도 7 및 도 8의 컷아웃(720))의 회피를 위해서 어플리케이션의 레이아웃을 변경할 수 있다.
941 동작에서, 프로세서(예: 도 1의 프로세서(120))는 컷아웃(예: 도 7 및 도 8의 컷아웃(720))의 회피를 위해서 어플리케이션의 크기 및/또는 위치를 변경할 수 있다. 예로서, UDC 컷아웃 정책 제어부(902)는 컷아웃(예: 도 7 및 도 8의 컷아웃(720))의 회피를 위해서 어플리케이션의 크기 및/또는 위치를 변경할 수 있다.
942 동작에서, 어플리케이션의 크기 및/또는 위치를 변경이 필요한 경우, 디스플레이 콘텐츠(Display Content) 제어부(901)에서 구성 컨테이너 제어부(905)로 어플리케이션의 크기 및/또는 위치를 변경을 위한 명령(onConfigurationChanged)을 전달할 수 있다.
943 동작에서, 구성 컨테이너(Configuration Container) 제어부(905)에서 어플리케이션의 크기 및/또는 위치를 변경할 수 있다.
944 동작에서, 어플리케이션의 크기 및/또는 위치를 변경이 필요한 경우, 구성 컨테이너(Configuration Container) 제어부(905)에서 UDC의 컷아웃(예: 도 7 및 도 8의 컷아웃(720))의 회피를 위해 어플리케이션의 크기 및/또는 위치를 변경할 수 있다. 예로서, 943 동작과 944 동작은 순차적으로 수행될 수도 있다. 이에 한정되지 않고, 943 동작에서 944 동작이 함께 수행될 수도 있다.
도 10은 본 개시의 일 실시 예에 따른 전자 장치의 동작 방법을 나타내는 도면이다.
도 10을 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 2a 및 도 2b의 전자 장치(200), 도 3a 및 도 3b의 전자 장치(300), 도 9의 전자 장치(900))의 메모리(예: 도 1의 메모리(130))에는 디스플레이 매트릭스(display metrics) 정보가 저장될 수 있다. 예로서, 디스플레이 매트릭스 정보는 디스플레이(예: 도 4의 디스플레이(410), 도 5의 디스플레이(501))의 크기, 픽셀의 밀집도(density), 및/또는 컷아웃(cutout)의 유무에 대한 정보를 포함할 수 있다.
1010 동작에서, 프로세서(예: 도 1의 프로세서(120))는 메모리(예: 도 1의 메모리(130))에 저장된 디스플레이 매트릭스 정보를 수신할 수 있다.
1020 동작에서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보에 기초하여 디스플레이(예: 도 4의 디스플레이(410), 도 5의 디스플레이(501))의 하부에 UDC(예: 도 5의 카메라 모듈(510))가 존재하는지 판단하고, UDC 존재에 따른 동작을 수행할 수 있다.
1030 동작에서, 프로세서(예: 도 1의 프로세서(120))는 UDC가 존재하는 것으로 결정되는 경우, UDC의 컷아웃(예: 도 7 및 도 8의 컷아웃(720))을 생성할 수 있다. 디스플레이 매트릭스 정보 변경에 기초하여 화면을 갱신할 수 있다.
예로서, 디스플레이 매트릭스 정보 변경은 바(bar) 형태의 전자 장치(예: 도 2a 및 도 2b의 전자 장치(200))의 화면 표시 모드가 가로 모드에서 세로 모드로 변경된 것을 포함할 수 있다. 예로서, 디스플레이 매트릭스 정보 변경은 바(bar) 형태의 전자 장치(예: 도 2a 및 도 2b의 전자 장치(200))의 화면 표시 모드가 세로 모드에서 가로 모드로 변경된 것을 포함할 수 있다. 예로서, 디스플레이 매트릭스 정보 변경은 폴더블 전자 장치(예: 도 3a 및 도 3b의 전자 장치))가 제1 상태(예: 펼침 상태, 열림 상태)에서 제2 상태(예: 접힘 상태, 닫힘 상태)로 변경된 것을 포함할 수 있다. 예로서, 디스플레이 매트릭스 정보 변경은 폴더블 전자 장치(예: 도 3a 및 도 3b의 전자 장치))가 제2 상태(예: 접힘 상태, 닫힘 상태)에서 제1 상태(예: 펼침 상태, 열림 상태)로 변경된 것을 포함할 수 있다.
일 실시 예로서, UDC 방식의 디스플레이는 카메라 홀이 없음으로, 외부에서 디스플레이를 바라보았을 때 시작적으로 UDC 형태가 보이지 않을 수 있다. 프로세서(예: 도 1의 프로세서(120))는 물리적으로는 존재하지 않는 가상의 컷아웃(예: 도 7 및 도 8의 컷아웃(720))을 생성할 수 있다.
1040 동작에서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보 및 컷아웃(예: 도 7 및 도 8의 컷아웃(720))에 기초하여 디스플레이(예: 도 4의 디스플레이(410), 도 5의 디스플레이(501))에 표시되는 화면을 갱신할 수 있다.
1050 동작에서, 프로세서(예: 도 1의 프로세서(120))는 UDC의 컷아웃(예: 도 7 및 도 8의 컷아웃(720))에 대응하여 충돌 회피 동작을 수행할 수 있다. 예로서, 프로세서(예: 도 1의 프로세서(120))는 화면에 표시되는 어플리케이션의 아이콘들(예: 도 7의 아이콘들(730) 및/또는 유저 인터페이스(예: 도 8의 유저 인터페이스(740), 어플리케이션의 기능 메뉴(750))와 UDC의 컷아웃(예: 도 7 및 도 8의 컷아웃(720))이 충돌되지 않도록 회피 동작을 수행할 수 있다.
도 11a는 본 개시의 일 실시 예에 따른 전자 장치의 UDC 회피가 적용되지 않을 때의 동작 방법을 나타내는 도면이다.
도 11a를 참조하면, 1111 동작에서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보를 수신할 수 있다. 또한, 프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보 변경을 수신할 수 있다. 예로서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이(예: 도 4의 디스플레이(410), 도 5의 디스플레이(501))의 상태가 변경되었는지에 대한 정보를 수신할 수 있다.
1112 동작에서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이(예: 도 4의 디스플레이(410), 도 5의 디스플레이(501))의 상태 변경에 따라서, 디스플레이(예: 도 4의 디스플레이(410), 도 5의 디스플레이(501))에 표시되는 화면을 갱신할 수 있다.
1113 동작에서, 프로세서(예: 도 1의 프로세서(120))는 화면 갱신에 맞춰서 하나 또는 복수의 어플리케이션의 윈도우 레이아웃을 갱신할 수 있다. 예로서, 화면 갱신에 맞춰서 어플리케이션 각각의 윈도우의 크기 및 위치를 갱신할 수 있다.
1114, 동작에서, 디스플레이(예: 도 4의 디스플레이(410), 도 5의 디스플레이(501))에 표시되는 화면의 갱신이 완료될 수 있다.
도 11b는 본 개시의 일 실시 예에 따른 전자 장치의 UDC 회피가 적용될 때의 동작 방법을 나타내는 도면이다. 도 12는 디스플레이 매트릭스 상태 정보를 수신하는 동작을 나태는 도면이다. 도 13은 디스플레이 매트릭스 정보에 기초한 UDC 컷아웃을 나타내는 도면이다. 도 12를 설명함에 있어서 도 9와 동일한 내용에 대한 설명을 생략될 수 있다. 예를 들면, 도 12의 디스플레이 콘텐츠(Display Content) 제어부(901), UDC 컷아웃 정책(Udc Cutout Policy) 제어부(902)는, 도 9의 디스플레이 콘텐츠(Display Content) 제어부(901), UDC 컷아웃 정책(Udc Cutout Policy) 제어부(902)와 동일한 구성 요소를 의미할 수 있다. 또한, 911 동작, 921 동작, 및 922 동작은 도 9의 911 동작, 921 동작, 및 922 동작과 동일한 동작을 의미할 수 있다. 일 실시 예에서, 도 12의 920 동작은 921 동작 및 922 동작과 관련되며, 디스플레이 매트릭스 정보를 처리하는 동작일 수 있다. 예를 들면, 920 동작에서 프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스(display metrics) 정보를 업데이트 할 수 있다.
도 11b 내지 도 13을 참조하면, 1121 동작(예: 도 9의 912 동작)에서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보를 수신할 수 있다. 또한, 프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보 변경을 수신할 수 있다. 예로서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이(예: 도 4의 디스플레이(410), 도 5의 디스플레이(501))의 상태가 변경되었는지에 대한 정보를 수신할 수 있다.
1122 동작에서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보에 기초하여 UDC(예: 도 5의 카메라 모듈(510))가 존재하는지 판단할 수 있다.
예로서, 1122 동작의 판단 결과, UDC 디스플레이가 아닌 경우, UDC와 상관없이 1124 동작에서 화면을 갱신할 수 있다. 1122 동작의 판단 결과, UDC 디스플레이인 경우, 1123 동작을 수행할 수 있다.
일 실시 예에서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보에 기초하여 UDC(예: 도 5의 카메라 모듈(510))가 존재하는 경우, 1123 동작에서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보에 기초하여 UDC(예: 도 5의 카메라 모듈(510))의 컷아웃(예: 도 7 및 도 8의 컷아웃(720))을 생성할 수 있다. 예로서, 도 13 및 도 14에 도시된 바와 같이, 프로세서(예: 도 1의 프로세서(120))는 UDC의 컷아웃(예: 도 7 및 도 8의 컷아웃(720))을 생성할 수 있다.
도 14는 UDC가 존재하는 것으로 결정되는 경우에 UDC의 컷아웃을 생성하는 것을 나타내는 도면이다.
도 14를 참조하면, 924 동작에서, 카메라 모듈(1300)의 배치에 기초하여, UDC의 컷아웃(1310)을 생성할 수 있다. 전자 장치(900)의 형태에 따라서 UDC의 컷아웃(1310)을 갱신할 수 있다. 일 실시 예로서, UDC의 컷아웃은 다양한 형태로 설정(또는 생성, 갱신)될 수 있다. 예를 들면, UDC의 컷아웃(1310)은, 도 13에 도시된 실시 예에 한정하지 않으며, 원형 형태 또는 다각형 형태로 UDC의 컷아웃(1310)을 설정할 수 있다. 또한, UDC의 컷아웃은 카메라 모듈의 렌즈를 중심으로, 비대칭 적으로 설정될 수 있다. 예를 들면, 렌즈의 광 축(미도시)를 기준으로, 좌측의 UDC의 컷아웃과 우측의 UDC의 컷아웃이 다른 형상으로 설정될 수 있다. 이에 한정하지 않으며, 상측과 하측의 형상이 다르게 설정될 수 있다.
일 실시 예서, UDC의 컷아웃(1310)은 복수개의 카메라 모듈을 포함하는 경우, 복수의 카메라 모듈들 각각에 대응하게 설정될 수 있다. 예를 들면, 제1 카메라 모듈에 대응하는 제1 UDC의 컷아웃과 제2 카메라 모듈에 대응하는 제2 UDC의 컷아웃을 설정할 수 있다. 일 실시 예에서, 제1 UDC의 컷아웃과 제2 UDC의 컷아웃 사이에는 UDC의 컷아웃에 대응하여 충돌 회피 동작(예: 도 10의 1050 동작)을 수행할 수 있다.
일 실시 예에서, 카메라 모듈(예: 도 2a의 카메라 모듈(205), 도 3a의 센서 영역(324)에 배치되는 카메라 모듈, 도 5의 카메라 모듈(510))의 화각(FOV, field of view)에 대응하는 영역을 UDC의 컷아웃으로 설정할 수 있다. 예를 들면, 도 13에 도시된 회색 영역을 UDC의 컷아웃으로 설정할 수 있으며, 회색 영역은 카메라 모듈의 화각보다 크거나 같게 설정될 수 있다.
도 15는 디스플레이 매트릭스 정보 변경에 기초하여 화면을 갱신하는 것을 나타내는 도면이다. 도 15를 설명함에 있어서 도 9와 동일한 내용에 대한 설명을 생략될 수 있다.도 11a 및 도 15를 결부하여 설명하면, 1124 동작에서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이(예: 도 4의 디스플레이(410), 도 5의 디스플레이(501))의 상태 변경과 컷아웃(예: 도 7 및 도 8의 컷아웃(720))에 따라서 디스플레이(예: 도 4의 디스플레이(410), 도 5의 디스플레이(501))에 표시되는 화면을 갱신할 수 있다.
예로서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보에 기초하여 화면을 갱신할 수 있다. 디스플레이(예: 도 4의 디스플레이(410), 도 5의 디스플레이(501))의 크기, 카메라 구멍의 위치 변경에 따라서 어플리케이션의 화면을 갱신할 수 있다. 프로세서(예: 도 1의 프로세서(120))는 매트릭스 정보에 기초하여 어플리케이션의 네비게이션 바의 레이아웃을 갱신할 수 있다. 프로세서(예: 도 1의 프로세서(120))는 매트릭스 정보에 기초하여 어플리케이션의 상태 바의 레이아웃을 갱신할 수 있다.
1125 동작에서, 프로세서(예: 도 1의 프로세서(120))는 동작하는 어플리케이션이 컷아웃(예: 도 7 및 도 8의 컷아웃(720))을 회피해야 하는지 판단할 수 있다. 예로서, 프로세서(예: 도 1의 프로세서(120))는 어플리케이션의 아이콘들(예: 도 7의 아이콘들(730) 및/또는 유저 인터페이스(예: 도 8의 유저 인터페이스(740))와 UDC의 컷아웃(예: 도 7 및 도 8의 컷아웃(720))이 충돌해도 되는지 또는 충돌하면 안되는지를 판단할 수 있다.
1125 동작의 판단 결과, UDC의 컷아웃(예: 도 7 및 도 8의 컷아웃(720))과 어플리케이션의 아이콘들(예: 도 7의 아이콘들(730) 및/또는 유저 인터페이스(예: 도 8의 유저 인터페이스(740))가 충돌하면 안되는 경우, 1126 동작에서, 프로세서(예: 도 1의 프로세서(120))는 UDC의 컷아웃(예: 도 7 및 도 8의 컷아웃(720))을 회피하도록 어플리케이션의 윈도우 레이아웃을 갱신할 수 있다.
일 예로서, 1126 동작 및/또는 1128 동작에서, 윈도우 레이아웃 갱신할 수 있다. 화면에서 윈도우의 위치와 윈도우 크기를 결정하여 배치할 수 있다. 예를 들어, 노티 바는 화면의 최상단에 80px로 배치하고, 네비게이션 바는 최하단 126px로 배치하고, 어플리케이션은 화면의 남은 공간의 크기로 배치할 수 있다.
한편, 1125 동작의 판단 결과, UDC의 컷아웃(예: 도 7 및 도 8의 컷아웃(720))과 어플리케이션의 아이콘들(예: 도 7의 아이콘들(730) 및/또는 유저 인터페이스(예: 도 8의 유저 인터페이스(740))가 충돌해도 되는 경우, 1128 동작에서, 프로세서(예: 도 1의 프로세서(120))는 UDC의 컷아웃(예: 도 7 및 도 8의 컷아웃(720))과 상관없이 어플리케이션의 윈도로 레이아웃을 갱신할 수 있다.
이어서, 1127 동작에서, 프로세서(예: 도 1의 프로세서(120))는 화면 갱신을 완료할 수 있다.
도 16은 UDC의 컷아웃을 회피하여 어플리케이션의 레이아웃이 갱신되는 것을 나타내는 도면이다.
도 16을 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(1600)는 디스플레이(1610) 및 상기 디스플레이(1610)의 하부(예: 아래)에 배치되는 카메라 모듈(예: 도 5의 카메라 모듈(510))을 포함할 수 있다.
일 실시 예로서, 전자 장치(1600)가 제2 상태(예: 접힘 상태, 닫힘 상태)에서 제1 상태(예: 펼침 상태, 열림 상태)로 변경되어 디스플레이(1610)의 크기가 변경될 수 있다. 디스플레이(1610)의 크기가 변경됨에 따라서 디스플레이 매트릭스 정보 변경이 이루어질 수 있다. 프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보 변경 기초하여 카메라 모듈(예: 도 5의 카메라 모듈(510))이 배치된 위치를 UDC(1620)로 설정하고, UDC(1620)의 컷아웃(1621)을 생성할 수 있다. 프로세서(예: 도 1의 프로세서(120))는 UDC(1620)의 컷아웃(1621)을 회피하도록 디스플레이(1610)에 표시되는 어플리케이션(1630)의 윈도우를 갱신할 수 있다. 예로서, 프로세서(예: 도 1의 프로세서(120))는 어플리케이션(1630)의 아이콘들(1640)이 UDC(1620)의 컷아웃(1621)과 충돌되지 않도록, 아이콘들(1640)의 좌표를 변경하여 화면을 갱신할 수 있다.
도 17은 UDC의 컷아웃에 대응하여 회피를 결정하고 화면을 표시하는 동작 방법을 나타내는 도면(1700)이다.
도 17을 참조하면, 1710 동작에서, 전자 장치(예: 도 1의 전자 장치(101), 도 2a 및 도 2b의 전자 장치(200), 도 3a 및 도 3b의 전자 장치(300))의 프로세서(예: 도 1의 프로세서(120))는 실행되는 어플리케이션이 UDC(예: 도 16의 UDC(1620))의 컷아웃(예: 도 16의 컷아웃(1621))을 회피해야 하는 어플리케이션인지 판단할 수 있다.
일 실시 예로서, 전자 장치의 어플리케이션에서 컷아웃(예: 도 16의 컷아웃(1621))을 회피해야 한다고 설정한 경우, 프로세서(예: 도 1의 프로세서(120))는 실행되는 어플리케이션이 컷아웃(예: 도 16의 컷아웃(1621))을 회피해야 하는 것으로 판단할 수 있다.
일 실시 예로서, 전자 장치(예: 도 1의 전자 장치(101), 도 2a 및 도 2b의 전자 장치(200), 도 3a 및 도 3b의 전자 장치(300))의 초기 설정 값에 컷아웃(예: 도 16의 컷아웃(1621))을 회피해야 한다고 설정한 경우, 프로세서(예: 도 1의 프로세서(120))는 실행되는 어플리케이션이 컷아웃(예: 도 16의 컷아웃(1621))을 회피해야 하는 것으로 판단할 수 있다.
일 실시 예로서, 사용자의 설정에 의해서 컷아웃(예: 도 16의 컷아웃(1621))을 회피해야 한다고 설정한 경우, 프로세서(예: 도 1의 프로세서(120))는 실행되는 어플리케이션이 컷아웃(예: 도 16의 컷아웃(1621))을 회피해야 하는 것으로 판단할 수 있다.
일 실시 예로서, 전자 장치(예: 도 1의 전자 장치(101), 도 2a 및 도 2b의 전자 장치(200), 도 3a 및 도 3b의 전자 장치(300))에서 실행되는 써드 파티(3rd party) 어플리케이션에서 컷아웃(예: 도 16의 컷아웃(1621))을 회피해야 한다고 설정한 경우, 프로세서(예: 도 1의 프로세서(120))는 실행되는 어플리케이션이 컷아웃(예: 도 16의 컷아웃(1621))을 회피해야 하는 것으로 판단할 수 있다.
1710 동작의 판단 결과, 어플리케이션이 UDC(예: 도 16의 UDC(1620))의 컷아웃(예: 도 16의 컷아웃(1621))을 회피해야 하는 것으로 판단되면, 1720 동작에서, 프로세서(예: 도 1의 프로세서(120))는 UDC(1620))의 컷아웃(예: 도 16의 컷아웃(1621))을 회피하도록 어플리케이션의 윈도우의 레이아웃을 갱신할 수 있다.
1710 동작의 판단 결과, 어플리케이션이 UDC(예: 도 16의 UDC(1620))의 컷아웃(예: 도 16의 컷아웃(1621))을 회피할 필요가 없는 경우, 1740 동작에서, 프로세서(예: 도 1의 프로세서(120))는 UDC(1620))의 컷아웃(예: 도 16의 컷아웃(1621))과 상관없이 어플리케이션의 윈도우의 레이아웃을 갱신할 수 있다.
이어서, 1730 동작에서, 프로세서(예: 도 1의 프로세서(120))는 화면 갱신을 완료할 수 있다.
도 18은 어플리케이션의 윈도우에 패딩(padding)을 주어 UDC 컷아웃을 회피하는 것을 나타내는 도면이다.
도 18을 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(1800)는 디스플레이(1810) 및 상기 디스플레이(1810)의 하부(예: 아래)에 배치되는 카메라 모듈(예: 도 5의 카메라 모듈(510))을 포함할 수 있다.
일 실시 예로서, 전자 장치(1800)가 제2 상태(예: 접힘 상태, 닫힘 상태)에서 제1 상태(예: 펼침 상태, 열림 상태)로 변경되어, 디스플레이(1810)의 화면 크기가 변경될 수 있다. 디스플레이(1810)의 화면 크기의 변경에 따라서 디스플레이 매트릭스 정보 변경이 이루어질 수 있다.
일 실시 예로서, 전자 장치(1800)가 가로 모드에서 세로 모드로 변경되거나, 또는 세로 모드에서 가로 모드로 변경되는 경우에 디스플레이 매트릭스 정보 변경이 이루어질 수 있다.
프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보 변경 기초하여 카메라 모듈(예: 도 5의 카메라 모듈(510))이 배치된 위치를 UDC(1820)로 설정하고, UDC(1820)의 컷아웃(1821)을 생성할 수 있다. 프로세서(예: 도 1의 프로세서(120))는 UDC(1820)의 컷아웃(1821)을 회피하도록 디스플레이(1810)에 표시되는 어플리케이션(1830)의 윈도우를 갱신할 수 있다.
일 실시 예로서, 어플리케이션(1830)은 상태 바(1840) 및 네비게이션 바(1850)를 레이아웃 할 수 있다. 에로서, 어플리케이션(1830)은 디스플레이(1810)의 상단에 상태 바(1840)를 레이아웃하고, 하단에 네비게이션 바(1850)를 레이아웃 할 수 있다.
일 실시 예로서, 프로세서(예: 도 1의 프로세서(120))는 어플리케이션(1830)에 패딩(padding)을 주어 상태 바(1840) 및 네비게이션 바(1850)와 UDC(1820)의 컷아웃(1821)이 충돌되지 않도록 할 수 있다. 예를 들면, 상태 바(1840) 및 네비게이션 바(1850)에는 아이콘들 및/또는 유저 인터페이스가 표시될 수 있는데, 어플리케이션(1830)에 패딩(padding)을 주어서 어플리케이션(1830)의 아이콘들 및/또는 유저 인터페이스와 컷아웃(1821)이 충돌되지 않도록 할 수 있다. 예를 들면, 상태 바(1840) 및 네비게이션 바(1850)에는 아이콘들 및/또는 유저 인터페이스에 표시되는 객체들의 간격이 커지도록 할 수 있다.
일 실시 예로서, UDC(1820)는 상태 바(1840) 및/또는 네비게이션 바(1850) 영역에도 위치할 수 있다. 상태 바(1840) 및/또는 네비게이션 바(1850) 영역에 UDC(1820)가 위치하는 경우, 상태 바(1840) 및/또는 네비게이션 바(1850) 영역에도 UDC(1820)의 컷아웃(1821)을 생성할 수 있다.도 19는 어플리케이션의 윈도우 크기를 줄여 UDC 컷아웃을 회피하는 것을 나타내는 도면(1900)이다.
도 19를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(1900)는 디스플레이(1910) 및 상기 디스플레이(1910)의 하부(예: 아래)에 배치되는 카메라 모듈(예: 도 5의 카메라 모듈(510))을 포함할 수 있다.
일 실시 예로서, 전자 장치(1900)가 제2 상태(예: 접힘 상태, 닫힘 상태)에서 제1 상태(예: 펼침 상태, 열림 상태)로 변경되어 디스플레이(1910)의 크기가 변경될 수 있다. 디스플레이(1910)의 크기가 변경됨에 따라서 디스플레이 매트릭스 정보 변경이 이루어질 수 있다.
일 실시 예로서, 전자 장치(1900)가 가로 모드에서 세로 모드로 변경되거나, 또는 세로 모드에서 가로 모드로 변경되는 경우에 디스플레이 매트릭스 정보 변경이 이루어질 수 있다.
프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보 변경 기초하여 카메라 모듈(예: 도 5의 카메라 모듈(510))이 배치된 위치를 UDC(1920)로 설정하고, UDC(1920)의 컷아웃(1921)을 생성할 수 있다. 프로세서(예: 도 1의 프로세서(120))는 UDC(1920)의 컷아웃(1921)을 회피하도록 디스플레이(1910)에 표시되는 어플리케이션(1930)의 윈도우를 갱신할 수 있다.
일 실시 예로서, 프로세서(예: 도 1의 프로세서(120))는 어플리케이션(1930)의 제1 방향(예: x축 방향) 또는 제2 방향(예: -x축 방향)의 크기를 줄여 어플리케이션(1930)의 오브젝트와 UDC(1920)의 컷아웃(1921)이 충돌되지 않도록 할 수 있다. 프로세서(예: 도 1의 프로세서(120))는 어플리케이션(1930)의 크기가 줄어든 부분은 블랙 화면이 표시되도록 할 수 있다.
도 20은 UDC 컷아웃과의 충돌 회피가 필요하지 않은 경우 어플리케이션의 레이아웃 변경 없이 화면을 표시하는 것을 나타내는 도면이다. 도 21은 어플리케이션 크기를 줄여 UDC 컷아웃을 회피하는 것을 나타내는 도면이다.
도 20 및 도 21을 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(2000)는 디스플레이(2010) 및 상기 디스플레이(2010)의 하부(예: 아래)에 배치되는 카메라 모듈(예: 도 5의 카메라 모듈(510))을 포함할 수 있다.
일 실시 예로서, 전자 장치(2000)가 제2 상태(예: 접힘 상태, 닫힘 상태)에서 제1 상태(예: 펼침 상태, 열림 상태)로 변경되어 디스플레이(2010)의 크기가 변경될 수 있다. 디스플레이(2010)의 상태 변경에 따라서 디스플레이 매트릭스 정보 변경이 이루어질 수 있다.
일 실시 예로서, 전자 장치(2000)가 가로 모드에서 세로 모드로 변경되거나, 또는 세로 모드에서 가로 모드로 변경되는 경우에 디스플레이 매트릭스 정보 변경이 이루어질 수 있다.
프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보 변경 기초하여 카메라 모듈(예: 도 5의 카메라 모듈(510))이 배치된 위치를 UDC(2020)로 설정하고, UDC(2020)의 컷아웃(2021)을 생성할 수 있다. 프로세서(예: 도 1의 프로세서(120))는 실행되는 어플리케이션(2030)이 UDC(2020)의 컷아웃(2021)과 충돌되어도 되는지 또는 충돌을 회피해야 하는지 판단할 수 있다.
예로서, 전자 장치(2000)의 어플리케이션(2030)에서 컷아웃(2021)을 회피해야 한다고 설정한 경우, 프로세서(예: 도 1의 프로세서(120))는 실행되는 어플리케이션(2030)이 컷아웃(2021)을 회피해야 하는 것으로 판단할 수 있다.
일 실시 예로서, 전자 장치(2000)에서 컷아웃(2021)을 회피해야 한다고 설정한 경우, 프로세서(예: 도 1의 프로세서(120))는 실행되는 어플리케이션(2030)이 컷아웃(2021)을 회피해야 하는 것으로 판단할 수 있다.
일 실시 예로서, 사용자의 설정에 의해서 컷아웃(2021)을 회피해야 한다고 설정한 경우, 프로세서(예: 도 1의 프로세서(120))는 실행되는 어플리케이션(2030)이 컷아웃(2021)을 회피해야 하는 것으로 판단할 수 있다.
예로서, 프로세서(예: 도 1의 프로세서(120))는 실행되는 어플리케이션(2030)이 컷아웃(2021)을 회피할 필요가 없다고 판단한 경우, 도 20에 도시된 바와 같이, 컷아웃(2021)과 상관없이 어플리케이션(2030)의 윈도우를 갱신하여 표시할 수 있다.
예로서, 프로세서(예: 도 1의 프로세서(120))는 실행되는 어플리케이션(2030)이 컷아웃(2021)을 회피할 필요가 있다고 판단한 경우, 도 21에 도시된 바와 같이, UDC(2020)의 컷아웃(2021)을 회피하도록 어플리케이션(2030)의 윈도우를 갱신할 수 있다. 예로서, 프로세서(예: 도 1의 프로세서(120))는 어플리케이션(2030)의 윈도우의 크기를 줄여 디스플레이(2010)에 표시되도록 할 수 있다.
도 22는 어플리케이션의 아이콘의 좌표를 이동시켜 UDC 컷아웃과의 충돌을 회피하는 것을 나타내는 도면이다.
도 22를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(2200)는 디스플레이(2210) 및 상기 디스플레이(2210)의 하부(예: 아래)에 배치되는 카메라 모듈(예: 도 5의 카메라 모듈(510))을 포함할 수 있다.
일 실시 예로서, 전자 장치(2200)의 디스플레이(2210)의 상태 변경에 따라서 디스플레이 매트릭스 정보 변경이 이루어질 수 있다.
일 실시 예로서, 전자 장치(2200)가 제2 상태(예: 접힘 상태, 닫힘 상태)에서 제1 상태(예: 펼침 상태, 열림 상태)로 변경되어 디스플레이(2210)의 크기가 변경될 수 있다. 디스플레이(2010)의 상태 변경에 따라서 디스플레이 매트릭스 정보 변경이 이루어질 수 있다.
일 실시 예로서, 전자 장치(2200)가 가로 모드에서 세로 모드로 변경되거나, 또는 세로 모드에서 가로 모드로 변경되는 경우에 디스플레이 매트릭스 정보 변경이 이루어질 수 있다.
프로세서(예: 도 1의 프로세서(120))는 실행되는 어플리케이션의 아이콘들(2230)이 UDC의 컷아웃(2220)과 충돌되어도 되는지 또는 충돌을 회피해야 하는지 판단할 수 있다. 어플리케이션의 아이콘들(2230)이 UDC의 컷아웃(2220)과 충돌되지 않도록 회피하여야 하는 경우, 프로세서(예: 도 1의 프로세서(120))는 UDC의 컷아웃(2220)을 회피하도록 디스플레이(2210)에 표시되는 아이콘들(2230)을 표시 위치를 갱신할 수 있다. 예로서, 프로세서(예: 도 1의 프로세서(120))는 아이콘들(2230)의 좌표(dx, dy)를 조정(예: 제2 방향(예: -y축 방향으로 이동)하여 아이콘들(2230)이 디스플레이(2210)에 표시되도록 할 수 있다. 이를 통해, UDC의 컷아웃(2220)과 아이콘들(2230)의 충돌을 회피할 수 있다.
도 23은 UDC 좌표에 기초하여 디스플레이에 시각적으로 UDC 컷아웃을 표시하는 것을 나타내는 도면이다.
도 23을 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(2300)는 디스플레이(2310) 및 상기 디스플레이(2310)의 하부(예: 아래)에 배치되는 카메라 모듈(예: 도 5의 카메라 모듈(510))을 포함할 수 있다. 언더 디스플레이 카메라 방식의 전자 장치는 물리적인 카메라 구멍이 존재하지 않으나, UDC(2320)의 컷아웃(2321)을 생성하여 시각적으로 표시할 수 있다.
일 실시 예로서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보에 기초하여 UDC(2320)의 위치를 검출하고, UDC(2320)의 위치에 기초하여 UDC(2030)의 컷아웃(2321)을 생성할 수 있다. 프로세서(예: 도 1의 프로세서(120))는 UDC의 컷아웃(2320)이 시각적으로 보이도록 디스플레이(2310)에 표시되도록 할 수 있다.
도 24a는 UDC 컷아웃과 어플리케이션의 아이콘의 충돌을 회피하기 위하여 어플리케이션의 아이콘의 좌표를 이동시키는 방법을 나타내는 도면이다. 도 24b는 UDC 컷아웃과 어플리케이션의 아이콘의 충돌을 회피하기 위하여 어플리케이션의 아이콘의 좌표를 이동시키는 방법을 나타내는 도면이다.
도 24a 및 도 24b를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(2400)는 디스플레이(2410) 및 상기 디스플레이(2410)의 하부(예: 아래)에 배치되는 카메라 모듈(예: 도 5의 카메라 모듈(510))을 포함할 수 있다.
일 실시 예로서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보에 기초하여 UDC 영역(2420)을 생성할 수 있다. 프로세서(예: 도 1의 프로세서(120))는 실행되는 어플리케이션의 아이콘들(2430)이 UDC 영역(2420)과 충돌되어도 되는지 또는 충돌을 회피해야 하는지 판단할 수 있다. 어플리케이션의 아이콘들(2430)이 UDC 영역(2420)과 충돌되지 않도록 회피하여야 하는 경우, 프로세서(예: 도 1의 프로세서(120))는 UDC 영역(2420)을 회피하도록 디스플레이(2410)에 표시되는 아이콘들(2430)을 표시 위치를 갱신할 수 있다.
예로서, 도 24a를 참조하면, 프로세서(예: 도 1의 프로세서(120))는 아이콘들(2230)의 좌표(dx, dy)를 디스플레이(2410)의 길이 방향과 직교하는 제1 방향(예: x축 방향)으로 조정하여 아이콘들(2430)이 디스플레이(2410)에 표시되도록 할 수 있다. 이를 통해, UDC(2420)과 아이콘들(2430)의 충돌을 회피할 수 있다.
예로서, 도 24b를 참조하면, 프로세서(예: 도 1의 프로세서(120))는 아이콘들(2230)의 좌표(dx, dy)를 디스플레이(2410)의 길이 방향과 일치하는 제2 방향(예: -y축 방향)으로 조정하여 아이콘들(2430)이 디스플레이(2410)에 표시되도록 할 수 있다. 이를 통해, UDC(2420)과 아이콘들(2430)의 충돌을 회피할 수 있다.
도 25는 갤러리뷰 어플리케이션의 실행 시 동작 방법을 나타내는 도면이다.
도 25를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(2500)는 디스플레이(2510) 및 상기 디스플레이(2510)의 하부(예: 아래)에 배치되는 카메라 모듈(예: 도 5의 카메라 모듈(510))을 포함할 수 있다.
일 실시 예로서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보에 기초하여 UDC 영역(2520)을 생성할 수 있다. 프로세서(예: 도 1의 프로세서(120))는 실행되는 어플리케이션(2530)(예: 갤러리 뷰 어플리케이션)이 UDC 영역(2520)과 충돌되어도 되는지 또는 충돌을 회피해야 하는지 판단할 수 있다.
예로서, 어플리케이션(2530)(예: 갤러리 뷰 어플리케이션)의 컨트롤 유저 인터페이스 부분(2560)은 흰 바탕으로 표시될 수 있는데, 이로 인해 UDC 영역(2520)의 픽셀들이 선명하게 시인되는 문제가 있다. 어플리케이션(2530)(예: 갤러리 뷰 어플리케이션)이 UDC 영역(2520)과 충돌되어도 되는 경우, 어플리케이션(2530)(예: 갤러리 뷰 어플리케이션)의 컨트롤 유저 인터페이스 부분의 투명도를 높여서 바탕화면의 선명하게 보이도록 하여 UDC 영역(2520)이 시인되는 것을 줄일 수 있다. 예로서, 어플리케이션(2530)(예: 갤러리 뷰 어플리케이션)의 컨트롤 유저 인터페이스 부분(2560)은 불투명(예: 흰 바탕)으로 표시될 때, 바탕화면의 전체 영역(h2) 중 제1 폭(h1)만큼의 부분은 선명하게 표시되고, 나머지 부분은 흐릿하게 표시될 수 있다. 어플리케이션(2530)(예: 갤러리 뷰 어플리케이션)의 컨트롤 유저 인터페이스 부분(2560)의 투명도를 높임으로써 바탕화면의 전체 영역(h2)이 선명하게 표시될 수 있다.
다른 예로서, 어플리케이션(2530)(예: 갤러리 뷰 어플리케이션)이 UDC 영역(2520)과 충돌되어도 되는 경우, 프로세서(예: 도 1의 프로세서(120))는 어플리케이션(2530)(예: 갤러리 뷰 어플리케이션)에서 표시되는 화면이 UDC 영역(2520)과 겹치도록, 어플리케이션(2530)(예: 갤러리 뷰 어플리케이션)의 윈도우 크기를 조정할 수 있다.
도 26은 카메라 어플리케이션 실행 시 동작 방법을 나타내는 도면이다.
도 26을 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(2600)는 디스플레이(2610) 및 상기 디스플레이(2610)의 하부(예: 아래)에 배치되는 카메라 모듈(예: 도 5의 카메라 모듈(510))을 포함할 수 있다.
일 실시 예로서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보에 기초하여 UDC 영역(2620)을 생성할 수 있다. 프로세서(예: 도 1의 프로세서(120))는 실행되는 카메라 어플리케이션(예: 써드 파티 카메라 어플리케이션, SODA 어플리케이션 카메라)이 UDC 영역(2620)과 충돌되어도 되는지 또는 충돌을 회피해야 하는지 판단할 수 있다.
예로서, 프로세서(예: 도 1의 프로세서(120))는 UDC 영역(2620)과 써드 파티 카메라 어플리케이션(예: SODA 어플리케이션 카메라)이 충돌되지 않아야 하는 경우, UDC 영역(2620)과 써드 파티 카메라 어플리케이션(예: SODA 어플리케이션 카메라)의 유저 인터페이스(2630)가 충돌되지 않도록, 유저 인터페이스(2630)의 좌표(dx, dy)를 제2 방향(예: -y축 방향)으로 조정하여 유저 인터페이스(2630)가 디스플레이(2610)에 표시되도록 할 수 있다. 이를 통해, UDC 영역(2620)과 써드 파티 카메라 어플리케이션의 유저 인터페이스(2630)의 충돌을 회피할 수 있다.
다른 예로서, 프로세서(예: 도 1의 프로세서(120))는 UDC 영역(2620)과 써드 파티 카메라 어플리케이션(예: SODA 어플리케이션 카메라)의 유저 인터페이스(2630)가 충돌되지 않도록, 유저 인터페이스(2630)의 좌표(dx, dy)를 제3 방향(예: -x축 방향)으로 조정하여 유저 인터페이스(2630)가 디스플레이(2610)에 표시되도록 할 수 있다. 이를 통해, UDC 영역(2620)과 카메라 어플리케이션의 유저 인터페이스(2630)의 충돌을 회피할 수 있다.
도 27은 다른 카메라 어플리케이션 실행 시 동작 방법을 나타내는 도면이다.
도 27을 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(2700)는 디스플레이(2710) 및 상기 디스플레이(2710)의 하부(예: 아래)에 배치되는 카메라 모듈(예: 도 5의 카메라 모듈(510))을 포함할 수 있다.
일 실시 예로서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보에 기초하여 UDC 영역(2720)을 생성할 수 있다. 프로세서(예: 도 1의 프로세서(120))는 실행되는 다른 카메라 어플리케이션(예: SNOW 어플리케이션 카메라)이 UDC 영역(2720)과 충돌되어도 되는지 또는 충돌을 회피해야 하는지 판단할 수 있다.
예로서, 프로세서(예: 도 1의 프로세서(120))는 UDC 영역(2720)과 다른 카메라 어플리케이션(예: SNOW 어플리케이션)이 충돌되지 않아야 하는 경우, UDC 영역(2720)과 다른 카메라 어플리케이션(예: SNOW 어플리케이션)의 유저 인터페이스(2730)가 충돌되지 않도록, 유저 인터페이스(2730)의 좌표(dx, dy)를 제2 방향(예: -y축 방향)으로 조정하여 유저 인터페이스(2730)가 디스플레이(2710)에 표시되도록 할 수 있다. 이를 통해, UDC 영역(2720)과 다른 카메라 어플리케이션(예: SNOW 어플리케이션)의 유저 인터페이스(2730)의 충돌을 회피할 수 있다.
다른 예로서, 프로세서(예: 도 1의 프로세서(120))는 UDC 영역(2720)과 다른 카메라 어플리케이션(예: SNOW 어플리케이션)의 유저 인터페이스(2730)가 충돌되지 않도록, 유저 인터페이스(2730)의 좌표(dx, dy)를 제3 방향(예: -x축 방향)으로 조정하여 유저 인터페이스(2730)가 디스플레이(2710)에 표시되도록 할 수 있다. 이를 통해, UDC 영역(2720)과 다른 카메라 어플리케이션(예: SNOW 어플리케이션 카메라)의 유저 인터페이스(2730)의 충돌을 회피할 수 있다.
도 28은 또 다른 카메라 어플리케이션 실행 시 동작 방법을 나타내는 도면이다.
도 28을 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(2800)는 디스플레이(2810) 및 상기 디스플레이(2810)의 하부(예: 아래)에 배치되는 카메라 모듈(예: 도 5의 카메라 모듈(510))을 포함할 수 있다.
일 실시 예로서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보에 기초하여 UDC 영역(2820)을 생성할 수 있다. 프로세서(예: 도 1의 프로세서(120))는 실행되는 또 다른 카메라 어플리케이션(예: 오픈 카메라 어플리케이션)이 UDC 영역(2820)과 충돌되어도 되는지 또는 충돌을 회피해야 하는지 판단할 수 있다.
예로서, 프로세서(예: 도 1의 프로세서(120))는 UDC 영역(2820)과 또 다른 카메라 어플리케이션(예: 오픈 카메라 어플리케이션)이 충돌되지 않아야 하는 경우, UDC 영역(2820)과 또 다른 카메라 어플리케이션(예: 오픈 카메라 어플리케이션)의 유저 인터페이스(2830)가 충돌되지 않도록, 유저 인터페이스(2830)의 좌표(dx, dy)를 제2 방향(예: -y축 방향)으로 조정하여 유저 인터페이스(2830)가 디스플레이(2810)에 표시되도록 할 수 있다. 이를 통해, UDC 영역(2820)과 또 다른 카메라 어플리케이션(예: 오픈 카메라 어플리케이션)의 유저 인터페이스(2830)의 충돌을 회피할 수 있다.
다른 예로서, 프로세서(예: 도 1의 프로세서(120))는 UDC 영역(2720)과 또 다른 카메라 어플리케이션(예: 오픈 카메라 어플리케이션)의 유저 인터페이스(2830)가 충돌되지 않도록, 유저 인터페이스(2830)의 좌표(dx, dy)를 제3 방향(예: -x축 방향)으로 조정하여 유저 인터페이스(2830)가 디스플레이(2810)에 표시되도록 할 수 있다. 이를 통해, UDC 영역(2820)과 또 다른 카메라 어플리케이션(예: 오픈 카메라 어플리케이션)의 유저 인터페이스(2830)의 충돌을 회피할 수 있다.
도 29는 슬라이드 방식으로 디스플레이의 크기가 변경되는 전자 장치에서 UDC 컷아웃 회피가 적용되는 것을 나타내는 도면이다.
도 29를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(2900)는 디스플레이(2910) 및 상기 디스플레이(2910)의 하부(예: 아래)에 배치되는 카메라 모듈(예: 도 5의 카메라 모듈(510))을 포함할 수 있다.
일 실시 예로서, 본 개시의 일 실시 예에 따른 전자 장치(2900)는 슬라이더블 전자 장치일 수 있다. 디스플레이(2910)는 제1 상태(예: 슬라이드 인 상태, 인입 상태)에서 크기가 축소되고, 제2 상태(예: 슬라이드 아웃 상태, 인출 상태)에서 크기가 확대되는 플렉서블 디스플레이가 적용될 수 있다. 전자 장치(2900)가 제1 상태(예: 슬라이드 인 상태, 인입 상태)에서 제2 상태(예: 슬라이드 아웃 상태, 인출 상태)로 변경되면, 디스플레이 매트릭스 정보가 변경될 수 있다.
일 실시 예로서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보의 변경에 기초하여 UDC 영역(2920)을 생성할 수 있다. 프로세서(예: 도 1의 프로세서(120))는 매트릭스 정보의 변경에 기초하여 실행되는 어플리케이션(예: 카메라 어플리케이션)의 유저 인터페이스(2930)(예: 촬영 버튼)의 위치를 변경할 수 있다. 예로서, 프로세서(예: 도 1의 프로세서(120))는 UDC 영역(2920)과 어플리케이션(예: 카메라 어플리케이션)의 유저 인터페이스(2930)가 충돌되지 않도록, 어플리케이션(예: 카메라 어플리케이션)의 유저 인터페이스(2930)의 좌표(dx, dy)를 조정할 수 있다. 프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보의 변경에 기초하여 실행되는 어플리케이션(예: 카메라 어플리케이션)의 유저 인터페이스(user interface)가 변경될 수 있다. 예를 들면, 슬라이드 인 상태(예: 도 29의 좌측)에서 슬라이드 아웃 상태(예: 도 29의 우측)으로 변경되는 경우, 디스플레이의 확장에 기반하여 어플리케이션의 유저 인터페이스가 확장될 수 있다. 예를 들면, 슬라이드 인 상태(예: 도 29의 좌측)의 UDC 영역(2920)과 적어도 일부 중첩되는 유저 인터페이스가 제공될 수 있다. 일 실시 예에 따라, 프로세서(예: 도 1의 프로세서(120))는 슬라이드 아웃 상태(예: 도 29의 우측)의 유저 인터페이스와 UDC 영역(2920)이 충돌하지 않도록, 실행되는 어플리케이션의 유저 인터페이스를 변경할 수 있다. 예를 들면, UDC 회피가 필요하지 않는 경우에는 UDC 영역(2920)와 중첩되게 어플리케이션(예: 카메라 어플리케이션)의 지정된 화면(예: 프리뷰 화면)을 표시할 수 있고, 본 개시에 따라, UDC 회피가 필요한 경우, 어플리케이션(예: 카메라 어플리케이션)의 지정된 화면(예: 프리뷰 화면)을 UDC 영역(2920)과 중첩되지 않게 표시할 수 있다. 예를 들면, 슬라이드 아웃 상태(예: 도 29의 우측)에서, 전자 장치(2900)의 제2 방향(예: y/-y축 방향)으로 UDC 영역(2920)과 중첩되지 않도록 축소된 지정된 화면(예: 프리뷰 화면)을 표시할 수 있다.
일 실시 예로서, 슬라이더블 전자 장치에서 카메라를 사용 시, 슬라이드로 화면을 넓히면 어플리케이션의 콘텐츠가 재배치 되면서 UDC와 충돌이 발생할 수 있다. 따라서, 본 개시에서는 카메라 사용 시 슬라이드블에서 어플리케이션의 특정 유저 인터페이스를 가리지 않도록 할 수 있다.
일 실시 예에서, 전자 장치(2900)의 프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보의 변경에 기초하여, 실행되는 어플리케이션의 유저 인터페이스를 변경하고, UDC 영역(2920)을 시각적으로 표시할 수 있다. 예를 들면, 프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보의 변경에 기반하여(예: 슬라이드 인 상태에서 슬라이드 아웃 상태로 변경), 어플리케이션(예: 카메라 어플리케이션)의 유저 인터페이스와 UDC 영역(2920)가 충돌되는지 여부를 판단할 수 있다. 프로세서(예: 도 1의 프로세서(120))는 어플리케이션(예: 카메라 어플리케이션)의 유저 인터페이스와 UDC 영역(2920)이 충돌된다고 판단된 경우, UDC 영역(2920)에 대응하는 시각적 효과를 변경할 수 있다. 예를 들면, 프로세서(예: 도 1의 프로세서(120)) 어플리케이션의 유저 인터페이스와 중첩되는 UDC 영역(2920)을 시각적으로 구분되게 표시하거나, UDC 영역(2920)의 시각적으로 구분되는 표시를 일시적으로 제공하지 않을 수 있다. 예를 들면, 전자 장치(2900)의 프로세서(예: 도 1의 프로세서(120))는 어플리케이션이 지정된 화면(예: 프리뷰 화면)을 제공하는 경우, 시각적으로 표시(예: 도형, 문자, 색 등)할 수 있고, 다른 지정된 화면(예: 갤러리 화면)을 제공하는 경우에는 시각적으로 표시하지 않을 수 있다.
다른 실시 예에 따르면, 전자 장치(2900)의 프로세서(예: 도 1의 프로세서(120))는 실행되는 어플리케이션에 대한, 사용자 입력 여부에 기반하여 UDC 영역(2920)의 시각적 표시를 결정할 수 있다. 예를 들면, 프로세서(예: 도 1의 프로세서(120))는 실행되는 어플리케이션에서 사용자 입력(예: 기능 수행을 위한 버튼 입력)이 발생하는 경우에는 UDC 영역(2920)을 시각적으로 구분되게 표시할 수 있고, 사용자 입력이 발생하지 않는 경우에는 UDC 영역(2920)를 시각적으로 제공하지 않을 수 있다.
도 30은 디스플레이가 수직 방향(예: y축 방향)으로 접히고 펼쳐지는 전자 장치에서 UDC 컷아웃 회피가 적용되는 것을 나타내는 도면이다.
도 30을 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(3000)는 디스플레이(3010) 및 상기 디스플레이(3010)의 하부(예: 아래)에 배치되는 카메라 모듈(예: 도 5의 카메라 모듈(510))을 포함할 수 있다.
일 실시 예로서, 본 개시의 일 실시 예에 따른 전자 장치(3000)는 수직 방향(예: y축 방향)으로 접히거나 펼쳐질 수 있는 플립 형 전자 장치일 수 있다. 디스플레이(3010)는 제1 상태(예: 닫힘 상태), 제2 상태(예: 수직 상태), 제3 상태(예: 펼침 상태)가 될 수 있다. 디스플레이(3010)의 상태 변경에 따라서 디스플레이 매트릭스 정보가 변경될 수 있다.
일 실시 예로서, 프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보의 변경에 기초하여 UDC 영역(3020)을 생성할 수 있다. 프로세서(예: 도 1의 프로세서(120))는 매트릭스 정보의 변경에 기초하여 실행되는 어플리케이션(예: 카메라 어플리케이션)의 유저 인터페이스(3040)의 위치를 변경할 수 있다. 예로서, 프로세서(예: 도 1의 프로세서(120))는 UDC 영역(3020)과 어플리케이션(예: 카메라 어플리케이션)의 유저 인터페이스(3040)가 충돌되지 않도록, 어플리케이션(예: 카메라 어플리케이션)의 유저 인터페이스(3040)의 좌표(dx, dy)를 조정할 수 있다. 또한, 프로세서(예: 도 1의 프로세서(120))는 어플리케이션(예: 카메라 어플리케이션)의 셀프 카메라 뷰 영역(3030)의 좌표(dx, dy)를 조정할 수 있다. 여기서, 프로세서(예: 도 1의 프로세서(120))는 UDC 영역(3020)과 셀프 카메라 뷰 영역(3030)이 충돌하지 않도록, 셀프 카메라 뷰 영역(3030)의 좌표(dx, dy)를 조정할 수 있다.
도 31은 복수의 폴딩 영역들(예: 복수의 힌지들 및 폴딩 축들)을 포함하는 전자 장치에서 UDC 컷아웃 회피가 적용되는 것을 나타내는 도면이다.
도 31을 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(3100)는 디스플레이(3110) 및 상기 디스플레이(3110)의 하부(예: 아래)에 배치되는 카메라 모듈(예: 도 5의 카메라 모듈(510))을 포함할 수 있다.
일 실시 예로서, 본 개시의 일 실시 예에 따른 전자 장치(3100)는 복수의 폴딩 영역들(3101, 3102)(예: 복수의 힌지들 및 폴딩 축들)을 포함할 수 있다. 예를 들어, 전자 장치(3100)는 2개의 힌지 모듈 및 2개의 힌지 모듈 각각에 대응하는 2개의 폴딩 영역을 포함할 수 있고, 이 경우, 전자 장치는 알파벳 Z 자 형태로 폴딩될 수 있다. 예를 들어, 전자 장치(3100)는 3개의 힌지 모듈 및 3개의 힌지 모듈 각각에 대응하는 3개의 폴딩 영역을 포함할 수 있고, 이 경우, 전자 장치는 알파벳 W 자 형태로 폴딩될 수 있다.
일 실시 예로서, 디스플레이(3110)의 상태 변경에 따라서 디스플레이 매트릭스 정보가 변경될 수 있다.
프로세서(예: 도 1의 프로세서(120))는 디스플레이 매트릭스 정보의 변경에 기초하여 UDC 영역(3120)을 생성할 수 있다. 프로세서(예: 도 1의 프로세서(120))는 매트릭스 정보의 변경에 기초하여 실행되는 어플리케이션의 윈도우와 UDC 영역(3120)과 충돌되지 않도록, 어플리케이션의 윈도우를 변경할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치(예: 도 2a 및 도 2b의 전자 장치(200), 도 3a 및 도 3b의 전자 장치(300), 도 4의 전자 장치(400), 도 5의 전자 장치(500), 도 6의 전자 장치(600), 도 7의 전자 장치(700), 도 9의 전자 장치(900), 도 16의 전자 장치(1600), 도 18의 전자 장치(1800), 도 19의 전자 장치(1900), 도 20의 전자 장치(2000), 도 22의 전자 장치(2200), 도 24의 전자 장치(2400), 도 25의 전자 장치(2500), 도 26의 전자 장치(2600), 도 27의 전자 장치(2700), 도 28의 전자 장치(2800), 도 29의 전자 장치(2900), 도 30의 전자 장치(3000), 도 31의 전자 장치(3100))는, 디스플레이(예: 도 4의 디스플레이(410), 도 5의 디스플레이(501), 도 7의 디스플레이(710)), 상기 디스플레이(410, 501, 710)의 하부에 배치되는 카메라 모듈(예: 도 5의 카메라 모듈(510), 도 13의 카메라 모듈(1300)), 상기 디스플레이(410, 501, 710) 및 상기 카메라 모듈(510, 1300)을 제어하는 프로세서(예: 도 1의 프로세서(120)), 및 상기 프로세서(120)와 작동적으로 연결된 메모리(예: 도 1의 메모리(130))를 포함할 수 있다. 상기 메모리(130)는, 실행 시에 상기 프로세서(120)가, 상기 디스플레이(410, 501, 710)의 상태에 따른 변경된 디스플레이(410, 501, 710) 매트릭스 정보를 수신하고, 상기 변경된 디스플레이(410, 501, 710) 매트릭스 정보에 기초하여 상기 카메라 모듈(510, 1300)의 위치에 대응하는 언더 디스플레이(410, 501, 710) 카메라 영역을 생성하고, 상기 언더 디스플레이(410, 501, 710) 카메라 영역의 논리적인 컷아웃(cutout)(예: 도 7 및 도 8의 컷아웃(720), 도 16의 컷아웃(1621), 도 18의 컷아웃(1821), 도 19의 컷아웃(1921), 도 20의 컷아웃(2021), 도 22의 컷아웃(2220))을 생성하고, 상기 컷아웃(720, 1621, 1821, 1921, 2021, 2220)에 기초하여 실행되는 어플리케이션(예: 도 16의 어플리케이션(1630), 도 18의 어플리케이션(1830), 도 19의 어플리케이션(1930), 도 20의 어플리케이션(2030), 도 25의 어플리케이션(2530))의 레이아웃을 갱신하도록 하는 인스트럭션들을 포함할 수 있다.
일 실시 예에 따르면, 상기 언더 디스플레이(410, 501, 710) 카메라 영역의 컷아웃(720, 1621, 1821, 1921, 2021, 2220)과 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)의 아이콘 및/또는 유저 인터페이스(740, 2630, 2730, 2830, 2930, 3040)의 충돌 허용 여부를 판단할 수 있다. 상기 언더 디스플레이(410, 501, 710) 카메라 영역의 컷아웃(720, 1621, 1821, 1921, 2021, 2220)과 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)의 아이콘 및/또는 유저 인터페이스(740, 2630, 2730, 2830, 2930, 3040)의 충돌 허용 여부에 따라 어플리케이션(1630, 1830, 1930, 2030, 2530)의 레이아웃을 갱신할 수 있다.
일 실시 예에 따르면, 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)의 아이콘 및/또는 유저 인터페이스(740, 2630, 2730, 2830, 2930, 3040)가 상기 컷아웃(720, 1621, 1821, 1921, 2021, 2220)과의 충돌을 회피해야 하는 것으로 판단되면, 상기 컷아웃(720, 1621, 1821, 1921, 2021, 2220)과의 충돌이 회피되도록 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)의 아이콘 및/또는 유저 인터페이스(740, 2630, 2730, 2830, 2930, 3040)의 위치를 변경할 수 있다.
일 실시 예에 따르면, 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)의 아이콘 및/또는 유저 인터페이스(740, 2630, 2730, 2830, 2930, 3040)의 좌표를 상기 디스플레이(410, 501, 710)의 길이 방향과 직교하는 제1 방향으로 조정하여, 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)의 아이콘 및/또는 유저 인터페이스(예: 도 7의 유저 인터페이스(740), 도 26의 유저 인터페이스(2630), 도 27의 유저 인터페이스(2730), 도 28의 유저 인터페이스(2830), 도 29의 유저 인터페이스(2930), 도 30의 유저 인터페이스(3040))가 표시되는 위치를 변경할 수 있다.
일 실시 예에 따르면, 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)의 아이콘 및/또는 유저 인터페이스(740, 2630, 2730, 2830, 2930, 3040)의 좌표를 상기 디스플레이(410, 501, 710)의 길이 방향과 일치하는 제2 방향으로 조정하여, 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)의 아이콘 및/또는 유저 인터페이스(740, 2630, 2730, 2830, 2930, 3040)가 표시되는 위치를 변경할 수 있다.
일 실시 예에 따르면, 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)의 아이콘 및/또는 유저 인터페이스(740, 2630, 2730, 2830, 2930, 3040)가 상기 컷아웃(720, 1621, 1821, 1921, 2021, 2220)과의 충돌을 회피해야 하는 것으로 판단되면, 상기 컷아웃(720, 1621, 1821, 1921, 2021, 2220)과의 충돌이 회피되도록 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)의 윈도우의 크기를 변경할 수 있다.
일 실시 예에 따르면, 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)에서 상기 컷아웃(720, 1621, 1821, 1921, 2021, 2220)과의 충돌을 회피하도록 설정된 경우에, 상기 프로세서(120)는 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)의 설정에 기초하여 상기 컷아웃(720, 1621, 1821, 1921, 2021, 2220)과의 충돌이 회피되도록 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)의 레이아웃을 갱신할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(200, 300, 400, 500, 700, 900, 1600, 1800, 1900, 2000, 2200, 2400, 2500, 2600, 2700, 2800, 2900, 3000, 3100)의 초기 설정 값에 상기 컷아웃(720, 1621, 1821, 1921, 2021, 2220)과 상기 어플리케이션(1630, 1830, 1930, 2030, 2530) 충돌을 회피하도록 설정된 경우에, 상기 초기 설정 값에 기초하여 상기 컷아웃(720, 1621, 1821, 1921, 2021, 2220)과의 충돌이 회피되도록 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)의 레이아웃을 갱신할 수 있다.
일 실시 예에 따르면, 사용자의 설정에 의해서 상기 컷아웃(720, 1621, 1821, 1921, 2021, 2220)과 상기 어플리케이션(1630, 1830, 1930, 2030, 2530) 충돌을 회피하도록 설정된 경우에, 상기 사용자의 설정에 기초하여 상기 컷아웃(720, 1621, 1821, 1921, 2021, 2220)과의 충돌이 회피되도록 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)의 레이아웃을 갱신할 수 있다.
일 실시 예에 따르면, 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)의 아이콘 및/또는 유저 인터페이스(740, 2630, 2730, 2830, 2930, 3040)가 상기 컷아웃(720, 1621, 1821, 1921, 2021, 2220)과의 충돌이 허용되는 되는 것으로 판단되면, 상기 컷아웃(720, 1621, 1821, 1921, 2021, 2220)과 상관없이 어플리케이션(1630, 1830, 1930, 2030, 2530)의 레이아웃을 갱신할 수 있다.
일 실시 예에 따르면, 바탕화면의 선명하게 보이도록 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)의 아이콘 및/또는 유저 인터페이스(740, 2630, 2730, 2830, 2930, 3040)의 투명도를 높일 수 있다.
일 실시 예에 따르면, 상기 언더 디스플레이(410, 501, 710) 카메라 영역의 컷아웃(720, 1621, 1821, 1921, 2021, 2220)이 시각적으로 보이도록 상기 디스플레이(410, 501, 710)에 표시할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치(200, 300, 400, 500, 700, 900, 1600, 1800, 1900, 2000, 2200, 2400, 2500, 2600, 2700, 2800, 2900, 3000, 3100)의 동작 방법은, 디스플레이(410, 501, 710)의 하부에 적어도 하나의 카메라 모듈(510, 1300)이 배치된 전자 장치(200, 300, 400, 500, 700, 900, 1600, 1800, 1900, 2000, 2200, 2400, 2500, 2600, 2700, 2800, 2900, 3000, 3100)의 동작 방법에 있어서, 상기 디스플레이(410, 501, 710)의 상태에 따른 변경된 디스플레이(410, 501, 710) 매트릭스 정보를 수신할 수 있다. 상기 변경된 디스플레이(410, 501, 710) 매트릭스 정보에 기초하여 상기 카메라 모듈(510, 1300)의 위치에 대응하는 언더 디스플레이(410, 501, 710) 카메라 영역을 생성할 수 있다. 상기 언더 디스플레이(410, 501, 710) 카메라 영역의 논리적인 컷아웃(720, 1621, 1821, 1921, 2021, 2220)(cutout)을 생성할 수 있다. 상기 컷아웃(720, 1621, 1821, 1921, 2021, 2220)에 기초하여 실행되는 어플리케이션(1630, 1830, 1930, 2030, 2530)의 레이아웃을 갱신할 수 있다.
일 실시 예에 따르면, 상기 언더 디스플레이(410, 501, 710) 카메라 영역의 컷아웃(720, 1621, 1821, 1921, 2021, 2220)과 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)의 아이콘 및/또는 유저 인터페이스(740, 2630, 2730, 2830, 2930, 3040)의 충돌 허용 여부를 판단할 수 있다. 상기 언더 디스플레이(410, 501, 710) 카메라 영역의 컷아웃(720, 1621, 1821, 1921, 2021, 2220)과 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)의 아이콘 및/또는 유저 인터페이스(740, 2630, 2730, 2830, 2930, 3040)의 충돌 허용 여부에 따라 어플리케이션(1630, 1830, 1930, 2030, 2530)의 레이아웃을 갱신할 수 있다.
일 실시 예에 따르면, 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)의 아이콘 및/또는 유저 인터페이스(740, 2630, 2730, 2830, 2930, 3040)가 상기 컷아웃(720, 1621, 1821, 1921, 2021, 2220)과의 충돌을 회피해야 하는 것으로 판단되면, 상기 컷아웃(720, 1621, 1821, 1921, 2021, 2220)과의 충돌이 회피되도록 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)의 아이콘 및/또는 유저 인터페이스(740, 2630, 2730, 2830, 2930, 3040)의 위치를 변경할 수 있다.
일 실시 예에 따르면, 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)의 아이콘 및/또는 유저 인터페이스(740, 2630, 2730, 2830, 2930, 3040)의 좌표를 상기 디스플레이(410, 501, 710)의 길이 방향과 직교하는 제1 방향으로 조정하여, 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)의 아이콘 및/또는 유저 인터페이스(740, 2630, 2730, 2830, 2930, 3040)가 표시되는 위치를 변경할 수 있다.
일 실시 예에 따르면, 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)의 아이콘 및/또는 유저 인터페이스(740, 2630, 2730, 2830, 2930, 3040)의 좌표를 상기 디스플레이(410, 501, 710)의 길이 방향과 일치하는 제2 방향으로 조정하여, 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)의 아이콘 및/또는 유저 인터페이스(740, 2630, 2730, 2830, 2930, 3040)가 표시되는 위치를 변경할 수 있다.
일 실시 예에 따르면, 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)의 아이콘 및/또는 유저 인터페이스(740, 2630, 2730, 2830, 2930, 3040)가 상기 컷아웃(720, 1621, 1821, 1921, 2021, 2220)과의 충돌을 회피해야 하는 것으로 판단되면, 상기 컷아웃(720, 1621, 1821, 1921, 2021, 2220)과의 충돌이 회피되도록 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)의 윈도우의 크기를 변경할 수 있다.
일 실시 예에 따르면, 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)의 아이콘 및/또는 유저 인터페이스(740, 2630, 2730, 2830, 2930, 3040)가 상기 컷아웃(720, 1621, 1821, 1921, 2021, 2220)과의 충돌이 허용되는 되는 것으로 판단되면, 상기 컷아웃(720, 1621, 1821, 1921, 2021, 2220)과 상관없이 어플리케이션(1630, 1830, 1930, 2030, 2530)의 레이아웃을 갱신할 수 있다.
일 실시 예에 따르면, 바탕화면의 선명하게 보이도록 상기 어플리케이션(1630, 1830, 1930, 2030, 2530)의 아이콘 및/또는 유저 인터페이스(740, 2630, 2730, 2830, 2930, 3040)의 투명도를 높일 수 있다.
시 내용이 다양한 실시예들을 참조하여 도시되고 설명되었지만, 다음과 같은 개시 내용의 정신 및 범위를 벗어나지 않으면서 형태 및 세부 사항의 다양한 변경이 이루어질 수 있다는 것이 당업자에 의해 이해될 것이다. 첨부된 청구범위 및 그 등가물에 의해 정의된다.

Claims (15)

  1. 전자 장치에 있어서,
    디스플레이;
    상기 디스플레이의 하부에 배치되는 카메라;
    상기 디스플레이 및 상기 카메라를 제어하는 프로세서; 및
    상기 프로세서와 작동적으로 연결된 메모리;를 포함하고,
    상기 메모리는, 실행 시에 상기 프로세서가,
    상기 디스플레이의 상태에 따른 변경된 디스플레이 매트릭스 정보를 수신하고,
    상기 변경된 디스플레이 매트릭스 정보에 기초하여 상기 카메라의 위치에 대응하는 언더 디스플레이 카메라 영역을 생성하고,
    상기 언더 디스플레이 카메라 영역의 논리적인 컷아웃(cutout)을 생성하고,
    상기 논리적인 컷아웃에 기초하여 실행되는 어플리케이션의 레이아웃을 갱신하도록 하는 인스트럭션들을 포함하는,
    전자 장치.
  2. 제1 항에 있어서,
    상기 메모리는, 실행 시에 상기 프로세서가,
    상기 언더 디스플레이 카메라 영역의 논리적인 컷아웃과 상기 어플리케이션의 아이콘 또는 유저 인터페이스 중 적어도 하나의 충돌 허용 여부를 판단하고,
    상기 언더 디스플레이 카메라 영역의 논리적인 컷아웃과 상기 어플리케이션의 아이콘 또는 유저 인터페이스 중 적어도 하나의 충돌 허용 여부에 따라 어플리케이션의 레이아웃을 갱신하는,
    전자 장치.
  3. 제2 항에 있어서,
    상기 메모리는, 실행 시에 상기 프로세서가,
    상기 어플리케이션의 아이콘 또는 유저 인터페이스 중 적어도 하나가 상기 논리적인 컷아웃과의 충돌을 회피해야 하는 것으로 판단되면,
    상기 논리적인 컷아웃과의 충돌이 회피되도록 상기 어플리케이션의 아이콘 또는 유저 인터페이스 중 적어도 하나의 위치를 변경하는,
    전자 장치.
  4. 제3 항에 있어서,
    상기 메모리는, 실행 시에 상기 프로세서가,
    상기 어플리케이션의 아이콘 또는 유저 인터페이스 중 적어도 하나의 좌표를 상기 디스플레이의 길이 방향과 직교하는 제1 방향으로 조정하여, 상기 어플리케이션의 아이콘 또는 유저 인터페이스 중 적어도 하나가 표시되는 위치를 변경하는,
    전자 장치.
  5. 제3 항에 있어서,
    상기 메모리는, 실행 시에 상기 프로세서가,
    상기 어플리케이션의 아이콘 또는 유저 인터페이스 중 적어도 하나의 좌표를 상기 디스플레이의 길이 방향과 일치하는 제2 방향으로 조정하여, 상기 어플리케이션의 아이콘 또는 유저 인터페이스 중 적어도 하나가 표시되는 위치를 변경하는,
    전자 장치.
  6. 제2 항에 있어서,
    상기 메모리는, 실행 시에 상기 프로세서가,
    상기 어플리케이션의 아이콘 또는 유저 인터페이스 중 적어도 하나가 상기 논리적인 컷아웃과의 충돌을 회피해야 하는 것으로 판단되면,
    상기 논리적인 컷아웃과의 충돌이 회피되도록 상기 어플리케이션의 윈도우의 크기를 변경하는,
    전자 장치.
  7. 제2 항에 있어서,
    상기 메모리는, 실행 시에 상기 프로세서가,
    상기 어플리케이션에서 상기 논리적인 컷아웃과의 충돌을 회피하도록 설정된 경우에, 상기 프로세서는 상기 어플리케이션의 설정에 기초하여 상기 논리적인 컷아웃과의 충돌이 회피되도록 상기 어플리케이션의 레이아웃을 갱신하는,
    전자 장치.
  8. 제2 항에 있어서,
    상기 메모리는, 실행 시에 상기 프로세서가,
    상기 전자 장치의 초기 설정 값에 상기 논리적인 컷아웃과 상기 어플리케이션 충돌을 회피하도록 설정된 경우에, 상기 초기 설정 값에 기초하여 상기 논리적인 컷아웃과의 충돌이 회피되도록 상기 어플리케이션의 레이아웃을 갱신하는,
    전자 장치.
  9. 제2 항에 있어서,
    상기 메모리는, 실행 시에 상기 프로세서가,
    사용자의 설정에 의해서 상기 논리적인 컷아웃과 상기 어플리케이션 충돌을 회피하도록 설정된 경우에, 상기 사용자의 설정에 기초하여 상기 논리적인 컷아웃과의 충돌이 회피되도록 상기 어플리케이션의 레이아웃을 갱신하는,
    전자 장치.
  10. 제2 항에 있어서,
    상기 메모리는, 실행 시에 상기 프로세서가,
    상기 어플리케이션의 아이콘 또는 유저 인터페이스 중 적어도 하나가 상기 논리적인 컷아웃과의 충돌이 허용되는 되는 것으로 판단되면,
    상기 논리적인 컷아웃과 상관없이 어플리케이션의 레이아웃을 갱신하는,
    전자 장치.
  11. 제9 항에 있어서,
    상기 메모리는, 실행 시에 상기 프로세서가,
    바탕화면의 선명하게 보이도록 상기 어플리케이션의 아이콘 또는 유저 인터페이스 중 적어도 하나의 투명도를 높이는,
    전자 장치.
  12. 제1 항에 있어서,
    상기 메모리는, 실행 시에 상기 프로세서가,
    상기 언더 디스플레이 카메라 영역의 논리적인 컷아웃이 시각적으로 보이도록 상기 디스플레이에 표시하는,
    전자 장치.
  13. 디스플레이의 하부에 적어도 하나의 카메라가 배치된 전자 장치의 동작 방법에 있어서,
    상기 디스플레이의 상태에 따른 변경된 디스플레이 매트릭스 정보를 수신하고,
    상기 변경된 디스플레이 매트릭스 정보에 기초하여 상기 카메라의 위치에 대응하는 언더 디스플레이 카메라 영역을 생성하고,
    상기 언더 디스플레이 카메라 영역의 논리적인 컷아웃(cutout)을 생성하고,
    상기 논리적인 컷아웃에 기초하여 실행되는 어플리케이션의 레이아웃을 갱신하는,
    전자 장치의 동작 방법.
  14. 제13 항에 있어서,
    상기 언더 디스플레이 카메라 영역의 논리적인 컷아웃과 상기 어플리케이션의 아이콘 및/또는 유저 인터페이스 중 적어도 하나의 충돌 허용 여부를 판단하고,
    상기 언더 디스플레이 카메라 영역의 논리적인 컷아웃과 상기 어플리케이션의 아이콘 및/또는 유저 인터페이스 중 적어도 하나의 충돌 허용 여부에 따라 어플리케이션의 레이아웃을 갱신하는,
    전자 장치의 동작 방법.
  15. 제14 항에 있어서,
    상기 어플리케이션의 아이콘 또는 유저 인터페이스 중 적어도 하나가 상기 논리적인 컷아웃과의 충돌을 회피해야 하는 것으로 판단되면,
    상기 논리적인 컷아웃과의 충돌이 회피되도록 상기 어플리케이션의 아이콘 또는 유저 인터페이스 중 적어도 하나의 위치를 변경하는,
    전자 장치의 동작 방법.
PCT/KR2022/011899 2021-08-10 2022-08-10 전자 장치 및 이의 동작 방법 Ceased WO2023018207A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202280055701.8A CN117917088A (zh) 2021-08-10 2022-08-10 电子装置及其操作方法
EP22856204.7A EP4344174A4 (en) 2021-08-10 2022-08-10 ELECTRONIC DEVICE AND OPERATING METHOD THEREFOR
US17/966,389 US12499811B2 (en) 2021-08-10 2022-10-14 Electronic device and method of operating same
US19/395,366 US20260080814A1 (en) 2021-08-10 2025-11-20 Electronic device and method of operating same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0105626 2021-08-10
KR1020210105626A KR20230023471A (ko) 2021-08-10 2021-08-10 전자 장치 및 이의 동작 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/966,389 Continuation US12499811B2 (en) 2021-08-10 2022-10-14 Electronic device and method of operating same

Publications (1)

Publication Number Publication Date
WO2023018207A1 true WO2023018207A1 (ko) 2023-02-16

Family

ID=85200060

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/011899 Ceased WO2023018207A1 (ko) 2021-08-10 2022-08-10 전자 장치 및 이의 동작 방법

Country Status (2)

Country Link
KR (1) KR20230023471A (ko)
WO (1) WO2023018207A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190373229A1 (en) * 2018-06-04 2019-12-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Storage medium, electronic device and image processing method
KR20200060118A (ko) * 2018-11-22 2020-05-29 삼성전자주식회사 디스플레이 내에 카메라 모듈이 포함된 전자 장치 및 상기 카메라 모듈 주변의 이미지를 보정하는 방법
US20210043695A1 (en) * 2019-08-05 2021-02-11 Boe Technology Group Co., Ltd. Display panel, display device and driving method thereof
US20210084236A1 (en) * 2019-09-17 2021-03-18 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image Acquisition Method and Apparatus, and Storage Medium
KR20210069289A (ko) * 2019-12-03 2021-06-11 엘지디스플레이 주식회사 디스플레이 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190373229A1 (en) * 2018-06-04 2019-12-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Storage medium, electronic device and image processing method
KR20200060118A (ko) * 2018-11-22 2020-05-29 삼성전자주식회사 디스플레이 내에 카메라 모듈이 포함된 전자 장치 및 상기 카메라 모듈 주변의 이미지를 보정하는 방법
US20210043695A1 (en) * 2019-08-05 2021-02-11 Boe Technology Group Co., Ltd. Display panel, display device and driving method thereof
US20210084236A1 (en) * 2019-09-17 2021-03-18 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image Acquisition Method and Apparatus, and Storage Medium
KR20210069289A (ko) * 2019-12-03 2021-06-11 엘지디스플레이 주식회사 디스플레이 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4344174A4 *

Also Published As

Publication number Publication date
KR20230023471A (ko) 2023-02-17

Similar Documents

Publication Publication Date Title
WO2021101189A1 (en) Method and device for providing user interface in electronic device having foldable display
WO2022015048A1 (ko) 롤러블 디스플레이를 포함하는 전자 장치
WO2022019484A1 (ko) 디스플레이를 포함하는 전자 장치 및 그의 디스플레이 제어 방법
WO2022154500A1 (ko) 전자 장치 및 전자 장치의 폴딩 상태에 기반하여 레이아웃 구성 방법
WO2022030970A1 (ko) 폴더블 전자 장치 및 상기 폴더블 전자 장치에서 정보를 표시하는 방법
WO2022025723A1 (ko) 압력 센서를 포함하는 전자 장치 및 그 동작 방법
WO2022025720A1 (ko) 플렉서블한 디스플레이 모듈을 포함하는 전자 장치와 이의 동작 방법
WO2023017954A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 이의 제어 방법
WO2022019497A1 (ko) 디스플레이 및 카메라 장치를 포함하는 전자 장치
WO2023101332A1 (ko) 터치 센서 일체형 디스플레이를 포함하는 전자 장치
WO2024005615A1 (ko) 전자 장치 및 전자 장치의 디스플레이 제어 방법
WO2024039130A1 (ko) 금속층을 포함하는 디스플레이 구조 및 이를 포함하는 전자 장치
WO2023018207A1 (ko) 전자 장치 및 이의 동작 방법
WO2023018119A1 (ko) 카메라 모듈을 포함하는 전자 장치
WO2023018219A1 (ko) 디스플레이와 카메라를 포함하는 전자 장치 및 그 제어 방법
WO2023287007A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 그의 동작 방법
WO2024106838A1 (ko) 디스플레이 및 이를 포함하는 전자 장치
WO2022215938A1 (ko) 카메라 모듈을 포함하는 전자 장치
WO2024232706A1 (ko) 터치 센서를 포함하는 전자 장치 및 이의 동작 방법
WO2026005452A1 (ko) 디스플레이의 글래스 윈도우 및 이를 포함하는 전자 장치
WO2026059264A1 (ko) 폴더블 전자 장치
WO2023068554A1 (ko) 폴더블 디스플레이를 포함하는 전자 장치
WO2026059037A1 (ko) 플렉서블 디스플레이에 사용자 인터페이스를 표시하기 위한 전자 장치 및 방법
WO2025063536A1 (ko) 전자 장치 및 이의 동작 방법
WO2024049080A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 플렉서블 디스플레이의 화질 편차를 줄이는 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2022856204

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 202427002509

Country of ref document: IN

ENP Entry into the national phase

Ref document number: 2022856204

Country of ref document: EP

Effective date: 20231222

WWE Wipo information: entry into national phase

Ref document number: 202280055701.8

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE