RU2792413C1 - Image processing method and mobile terminal - Google Patents

[0001] Настоящая заявка испрашивает приоритет на основании патентной заявки Китая №. 202010138875.3, поданной в Национальное управление интеллектуальной собственности Китая 3 марта 2020 г. и озаглавленной «СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЙ И МОБИЛЬНЫЙ ТЕРМИНАЛ» (“IMAGE PROCESSING METHOD AND MOBILE TERMINAL”), которая полностью включена в настоящий документ посредством ссылки.[0001] The present application claims priority based on Chinese Patent Application No. 202010138875.3, filed with the National Intellectual Property Office of China on March 3, 2020, entitled "IMAGE PROCESSING METHOD AND MOBILE TERMINAL", which is hereby incorporated by reference in its entirety.

ОБЛАСТЬ ТЕХНИКИFIELD OF TECHNOLOGY

[0002] Эта заявка относится к области технологий связи и, в частности, к способу обработки изображений и мобильному терминалу.[0002] This application relates to the field of communication technologies and, in particular, to an image processing method and a mobile terminal.

УРОВЕНЬ ТЕХНИКИBACKGROUND OF THE INVENTION

[0003] С непрерывным развитием технологий фотографирования и широким использованием мобильных терминалов функция фотографирования мобильных терминалов становится все более предпочтительной. Кроме того, с улучшенными возможностями масштабирования камеры мобильного телефона пользователь может фотографировать сцену с большего расстояния, и сфотографированная сцена может не искажаться. Однако, большее фокусное расстояние приводит к меньшему FOV (поле зрения (FOV, Field of view)) изображения. Несмотря на то, что большое фокусное расстояние может дать преимущество при фотографировании дальних сцен, когда для формирования изображения выполняется увеличение масштаба, поле зрения FOV для формирования изображения также будет пропорционально уменьшаться, поэтому окончательное изображение может быть только четким изображением с меньшим полем зрения.[0003] With the continuous development of photographing technologies and the widespread use of mobile terminals, the photographing function of mobile terminals is becoming increasingly preferable. In addition, with improved zoom capabilities of the mobile phone camera, the user can photograph a scene from a greater distance, and the photographed scene may not be distorted. However, a longer focal length results in a smaller FOV (field of view (FOV, Field of view)) of the image. While a long focal length can be advantageous when photographing distant scenes, when zooming is performed to form an image, the FOV for imaging will also decrease proportionally, so the final image may only be a sharp image with a smaller field of view.

[0004] С появлением широкоугольного объектива значительно улучшается эффект фотографирования в сценарии с большим FOV, то есть можно выполнять сверхширокоугольное фотографирование. Однако при таком формировании изображения потеря деталей является относительно серьезной. В настоящее время режим фотографирования мобильного терминала не может учитывать требования сценария с большим FOV и мелких деталей. Для пользователя потребность как в информации об удаленных деталях, так и в информации о сцене с большим FOV на изображении стала насущной проблемой, требующей решения. Та же проблема может возникнуть и при постобработке фотографии. При увеличении фотографии с большим FOV детали становятся все более и более размытыми. Однако при уменьшении масштаба фотографии с малым FOV из-за того, что поле зрения фотографии с малым FOV относительно мало, можно увидеть только сцену на текущей фотографии, а сцену за пределами фотографии увидеть нельзя.[0004] With the advent of the wide-angle lens, the photographing effect in a large FOV scenario is greatly improved, that is, ultra-wide-angle photographing can be performed. However, in such imaging, the loss of detail is relatively severe. At present, the photographing mode of the mobile terminal cannot take into account the requirements of a scenario with a large FOV and small details. For the user, the need for both information about distant details and information about the scene with a large FOV in the image has become a pressing problem that needs to be solved. The same problem can occur when post-processing a photo. As you zoom in on a photo with a large FOV, the details become more and more blurred. However, when zooming out on a low FOV photo, because the field of view of the low FOV photo is relatively small, only the scene in the current photo can be seen, and the scene outside the photo cannot be seen.

СУЩНОСТЬ ИЗОБРЕТЕНИЯSUMMARY OF THE INVENTION

[0005] Это приложение предоставляет способ обработки изображений и мобильный терминал. Это приложение дополнительно предоставляет машиночитаемый носитель данных для обеспечения способа синтеза сфотографированных изображений, чтобы учесть требования большого поля зрения и мелких деталей изображения и повысить удовлетворенность пользователя сфотографированным изображением.[0005] This application provides an image processing method and a mobile terminal. This application further provides a computer-readable storage medium for providing a method for synthesizing photographed images to accommodate the requirements of a large field of view and fine image details, and improve user satisfaction with the photographed image.

[0006] Согласно первому аспекту это приложение обеспечивает способ обработки изображения, включающий в себя:[0006] According to a first aspect, this application provides an image processing method including:

обнаружение первой операции, используемой для выбора режима фотографирования;detecting a first operation used to select a photographing mode;

определение текущего режима фотографирования в ответ на обнаруженную первую операцию;determining a current photographing mode in response to the detected first operation;

отображение интерфейса дисплея, используемого для выбора поля зрения, при этом интерфейс дисплея включает в себя опцию поля зрения, соответствующего по меньшей мере одной камере;displaying a display interface used to select a field of view, the display interface including a field of view option corresponding to at least one camera;

обнаружение второй операции, используемой для выбора опций по меньшей мере двух полей зрения;detecting a second operation used to select options for at least two fields of view;

определение по меньшей мере двух полей зрения, соответствующих текущему режиму фотографирования, в ответ на обнаруженную вторую операцию, причем по меньшей мере два поля зрения соответствуют одной или более камерам;determining at least two fields of view corresponding to the current photographing mode in response to the detected second operation, the at least two fields of view corresponding to one or more cameras;

обнаружение третьей операции, используемой для фотографирования;detecting a third operation used for photographing;

получение множества изображений, соответствующих по меньшей мере двум полям зрения, в ответ на обнаруженную третью операцию, где каждое из по меньшей мере двух полей зрения соответствует по меньшей мере одному изображению; а такжеobtaining a plurality of images corresponding to at least two fields of view, in response to the detected third operation, where each of the at least two fields of view corresponds to at least one image; and

синтез множества изображений для формирования первого изображения и отображение первого изображения.synthesizing the plurality of images to form a first image; and displaying the first image.

[0007] В возможной реализации перед обнаружением первой операции, используемой для выбора режима фотографирования, способ дополнительно включает в себя: запуск первой камеры и отображение интерфейса предварительного просмотра фотографирования, захваченного первой камерой; при этом[0007] In an exemplary implementation, before detecting the first operation used to select the photographing mode, the method further includes: launching the first camera and displaying a photographing preview interface captured by the first camera; wherein

отображаемый интерфейс дисплея, используемый для выбора поля зрения, включает в себя только поле зрения, соответствующее первой камере; или the displayed display interface used to select the field of view includes only the field of view corresponding to the first camera; or

отображаемый интерфейс дисплея, используемый для выбора поля зрения, включает в себя только поле зрения, соответствующее первой камере, и поле зрения, соответствующее другой камере на той же стороне мобильного терминала, что и первая камера; или the displayed display interface used to select the field of view only includes a field of view corresponding to the first camera and a field of view corresponding to another camera on the same side of the mobile terminal as the first camera; or

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, опция поля зрения, соответствующего первой камере, отображается ассоциативно связанным образом; или on the displayed display interface used to select the field of view, the option of the field of view corresponding to the first camera is displayed in an associative manner; or

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, поля зрения, соответствующие одной и той же камере, отображаются одинаковым образом; или on the displayed display interface used to select the field of view, the fields of view corresponding to the same camera are displayed in the same way; or

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, поля зрения, соответствующие камерам на той же стороне мобильного терминала, отображаются одинаковым образом; или on the displayed display interface used to select the field of view, the fields of view corresponding to the cameras on the same side of the mobile terminal are displayed in the same way; or

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, рекомендуемая комбинация полей зрения отображается заметным образом.on the displayed display interface used to select the field of view, the recommended combination of fields of view is displayed conspicuously.

[0008] Первая камера может быть единственной камерой на стороне мобильного терминала или может быть одной из множества камер на стороне мобильного терминала. Камера может быть основной камерой мобильного терминала. Интерфейс предварительного просмотра фотографирования может быть картинкой кадра видоискателя, которая в данный момент фотографируется первой камерой. Интерфейс дисплея, используемый для выбора поля зрения, может представлять собой интерфейс отображения меню для пользователя, чтобы выбрать поле зрения. Кроме того, с помощью заметных рекомендаций, описанных выше, может быть улучшено удобство выбора поля зрения пользователем, а также может быть повышена эффективность фотографирования пользователем.[0008] The first camera may be a single camera on the mobile terminal side, or may be one of a plurality of cameras on the mobile terminal side. The camera may be the main camera of the mobile terminal. The photograph preview interface may be a viewfinder frame picture currently being photographed by the first camera. The display interface used to select the field of view may be a menu display interface for the user to select the field of view. In addition, with the notable recommendations described above, the user's field-of-view selection convenience can be improved, and the user's photographing efficiency can also be improved.

[0009] В возможной реализации, после запуска первой камеры и отображения интерфейса предварительного просмотра фотографирования, захваченного первой камерой, способ дополнительно включает в себя:[0009] In an exemplary implementation, after launching the first camera and displaying a photo preview captured by the first camera, the method further includes:

обнаружение четвертой операции, используемой для переключения камеры; иdetecting a fourth operation used to switch the camera; And

запуск второй камеры в ответ на обнаруженную четвертую операцию и отображение интерфейса предварительного фотографирования, захваченного второй камерой; иlaunching the second camera in response to the detected fourth operation and displaying the pre-photographing interface captured by the second camera; And

отображаемый интерфейс дисплея, используемый для выбора поля зрения, включает в себя только поле зрения, соответствующее второй камере; или the displayed display interface used to select the field of view includes only the field of view corresponding to the second camera; or

отображаемый интерфейс дисплея, используемый для выбора поля зрения, включает в себя только поле зрения, соответствующее второй камере, и поле зрения, соответствующее другой камере на той же стороне мобильного терминала, что и вторая камера; или the displayed display interface used to select the field of view only includes a field of view corresponding to the second camera and a field of view corresponding to another camera on the same side of the mobile terminal as the second camera; or

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, опция поля зрения, соответствующего второй камере, отображается заметным образом; или on the displayed display interface used to select the field of view, the option of the field of view corresponding to the second camera is prominently displayed; or

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, поля зрения, соответствующие одной и той же второй камере, отображаются таким же образом; или on the displayed display interface used to select the field of view, the fields of view corresponding to the same second camera are displayed in the same way; or

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, поля зрения, соответствующие камерам на той же стороне мобильного терминала, отображаются одинаковым образом; или жеon the displayed display interface used to select the field of view, the fields of view corresponding to the cameras on the same side of the mobile terminal are displayed in the same way; or

в отображаемом интерфейсе дисплея, используемом для выбора поля зрения, заметным образом отображается рекомендуемая комбинация полей зрения.the displayed display interface used to select the field of view prominently displays the recommended combination of fields of view.

[0010] Вторая камера может быть камерой, которая имеет ту же функцию, что и первая камера, может быть на другой стороне мобильного терминала по отношению к первой камере и может быть единственной камерой на другой стороне или может быть на другой стороне мобильного терминала относительно первой камеры и может быть одной из множества камер на другой стороне. Следует понимать, что после того, как камера изменится с первой камеры на вторую камеру, текущий интерфейс предварительного просмотра фотографирования также изменится вместе с камерой; то есть в сценарии с первой камерой получают интерфейс предварительного просмотра фотографирования, захваченный первой камерой, а в сценарии со второй камерой получают интерфейс предварительного просмотра фотографирования, захваченный второй камерой. Аналогично, после переключения камеры может измениться количество камер. Например, сначала есть только одна фронтальная камера, а после смены камеры количество камер увеличивается до трех. В этом случае интерфейс дисплея, используемый для выбора поля зрения, также меняется. Переключая камеру вышеописанным образом, можно повысить степень свободы фотографирования пользователем, можно расширить сценарий применения мобильного терминала и улучшить восприятие пользователя.[0010] The second camera may be a camera that has the same function as the first camera, may be on the other side of the mobile terminal with respect to the first camera, and may be the only camera on the other side, or may be on the other side of the mobile terminal with respect to the first cameras and can be one of many cameras on the other side. It should be understood that after the camera changes from the first camera to the second camera, the current photo preview interface will also change along with the camera; that is, in the first camera scenario, the photograph preview interface captured by the first camera is obtained, and in the second camera scenario, the photograph preview interface captured by the second camera is obtained. Likewise, the number of cameras may change after a camera switch. For example, at first there is only one front camera, and after changing the camera, the number of cameras increases to three. In this case, the display interface used to select the field of view also changes. By switching the camera in the above-described manner, the user's degree of photographing freedom can be increased, the application scenario of the mobile terminal can be expanded, and the user's experience can be improved.

[0011] В возможной реализации синтез множества изображений включает в себя:[0011] In a possible implementation, multiple image synthesis includes:

сортировку множества изображений по полю зрения и последовательное наложение каждого изображения. Процесс наложения может включать в себя увеличение масштаба, уменьшение масштаба, кадрирование, заливку или наложение изображения. Например, в процессе наложения двух изображений любое из двух изображений может быть сначала уменьшено или увеличено в масштабе, а затем наложено на другое изображение. В процессе наложения на центральную часть относительно большого изображения может быть наложено относительно малое изображение, или краевая часть относительно большого изображения может быть заполнена относительно малым изображением. Синтезируя изображения описанным выше образом, можно учитывать требования большого поля зрения и мелких деталей.sorting the plurality of images according to the field of view and successively overlaying each image. The overlay process may include zooming in, zooming out, cropping, filling, or overlaying an image. For example, in the process of superimposing two images, either of the two images may be first scaled down or enlarged and then superimposed on the other image. In the overlay process, a relatively small image may be superimposed on the center portion of a relatively large image, or a relatively small image may be filled in at the edge of a relatively large image. By synthesizing images in the manner described above, the requirements of a large field of view and fine details can be taken into account.

[0012] В возможной реализации последовательное наложение каждого изображения включает в себя:[0012] In a possible implementation, the sequential overlay of each image includes:

последовательное получение, в порядке убывания полей зрения, коэффициента S полей зрения каждого изображения для изображения Fmin, соответствующего наименьшему полю зрения;sequentially obtaining, in descending order of the fields of view, the factor S of the fields of view of each image for the image Fmin corresponding to the smallest field of view;

сохранение изображения Fmin, соответствующего наименьшему полю зрения, неизменным и последовательное увеличение оставшихся изображений на основе соответствующего коэффициента S поля зрения для получения увеличенного изображения; иkeeping the image Fmin corresponding to the smallest field of view unchanged and sequentially magnifying the remaining images based on the respective field of view coefficient S to obtain an enlarged image; And

последовательное наложение изображения Fmin и всех увеличенных изображений в порядке возрастания полей зрения.successive overlay of the Fmin image and all enlarged images in order of increasing fields of view.

[0013] Благодаря сортировке каждого изображения и последовательному наложению каждого изображения в порядке возрастания полей зрения он подходит для сценариев, в которых учитывается большое поле зрения и мелкие детали, что повышает эффективность синтеза изображений.[0013] By sorting each image and sequentially overlaying each image in order of increasing fields of view, it is suitable for scenarios in which a large field of view and fine details are taken into account, which improves the efficiency of image synthesis.

[0014] В возможной реализации последовательное наложение каждого изображения включает в себя:[0014] In a possible implementation, the sequential overlay of each image includes:

последовательное получение, в порядке убывания полей зрения, коэффициента S полей зрения изображения Fmax, соответствующего наибольшему полю зрения для каждого изображения;successively obtaining, in descending order of the fields of view, the factor S of the fields of view of the image Fmax corresponding to the largest field of view for each image;

сохранение изображения Fmax, соответствующего наибольшему полю зрения, неизменным и последовательное увеличение оставшихся изображений на основе соответствующего коэффициента S поля зрения для получения уменьшенного изображения; иkeeping the image Fmax corresponding to the largest field of view unchanged and successively enlarging the remaining images based on the respective field of view coefficient S to obtain a reduced image; And

последовательное наложение изображения Fmax и всех уменьшенных изображений в порядке возрастания полей зрения.sequential overlay of the image Fmax and all reduced images in order of increasing fields of view.

[0015] Благодаря сортировке каждого изображения и последовательному наложению каждого изображения в порядке убывания полей зрения оно подходит для сценария, в котором учитываются разрешение и четкие детали, тем самым повышая эффективность синтеза изображения.[0015] By sorting each image and sequentially overlaying each image in descending field of view order, it is suitable for a scenario that considers resolution and fine detail, thereby improving image synthesis efficiency.

[0016] В возможной реализации получение множества изображений, соответствующих по меньшей мере двум полям зрения, включает в себя: если по меньшей мере два поля зрения соответствуют множеству камер, сохранение исходного захваченного изображения, соответствующего каждой камере; а также[0016] In a possible implementation, obtaining a plurality of images corresponding to at least two fields of view includes: if at least two fields of view correspond to a plurality of cameras, storing the original captured image corresponding to each camera; and

синтез множества изображений включает в себя: синтез исходного захваченного изображения, соответствующего каждой камере, и ассоциативное связывание синтезированного изображения с исходным захваченным изображением, соответствующим каждой камере.synthesizing the plurality of images includes: synthesizing the original captured image corresponding to each camera, and associating the synthesized image with the original captured image corresponding to each camera.

[0017] Если по меньшей мере два поля зрения соответствуют множеству камер, это означает, что каждая камера соответствует каждому полю зрения, то есть одно поле зрения соответствует одной камере. В процессе фотографирования одна камера захватывает одно исходное изображение на основе соответствующего поля зрения, а синтезированное изображение (то есть первое изображение) представляет собой синтезированное изображение, полученное после кадрирования и синтеза исходного изображения каждой камеры. После определения первого изображения путем синтеза также определяются разрешение и поле зрения. В существующей технологии, если первое изображение увеличивается или уменьшается, увеличивается или уменьшается только размер первого изображения, а разрешение и поле зрения первого изображения остаются неизменными. При ассоциативном связывании первого изображения с соответствующим исходным захваченным изображением и сохранении первого изображения, когда увеличение или уменьшение масштаба выполняется позже, может быть вызвано соответствующее исходное захваченное изображение для адаптивной регулировки поля зрения и разрешения, тем самым удовлетворяя требования пользователя по обеспечению поля зрения и разрешения при увеличении или уменьшении масштаба и улучшению восприятия пользователя.[0017] If at least two fields of view correspond to multiple cameras, this means that each camera corresponds to each field of view, that is, one field of view corresponds to one camera. In the photographing process, one camera captures one original image based on the corresponding field of view, and the synthesized image (that is, the first image) is the synthesized image obtained after cropping and synthesizing the original image of each camera. After the first image is determined by synthesis, the resolution and field of view are also determined. In the existing technology, if the first image is enlarged or reduced, only the size of the first image is enlarged or reduced, while the resolution and field of view of the first image remain unchanged. By associating the first image with the corresponding original captured image, and storing the first image when zooming in or out later, the corresponding original captured image can be called up to adaptively adjust the field of view and resolution, thereby satisfying the user's requirements for providing field of view and resolution when zoom in or out and improve the user experience.

[0018] В возможной реализации после отображения синтезированного изображения способ дополнительно включает в себя:[0018] In a possible implementation, after displaying the synthesized image, the method further includes:

обнаружение пятой операции, используемой для масштабирования;detecting a fifth operation used for scaling;

определение текущего режима масштабирования и текущего коэффициента масштабирования в ответ на обнаруженную пятую операцию, причем режим масштабирования включает в себя первый режим масштабирования и второй режим масштабирования; иdetermining a current scaling mode and a current scaling factor in response to the detected fifth operation, the scaling mode including the first scaling mode and the second scaling mode; And

если текущий режим масштабирования является первым режимом масштабирования, получение всех исходных захваченных изображений, соответствующих синтезированному изображению, масштабирование исходных изображений на основе текущего коэффициента масштабирования для формирования второго изображения и отображение второго изображения; или if the current zoom mode is the first zoom mode, obtaining all of the original captured images corresponding to the synthesized image, scaling the original images based on the current zoom factor to form a second image, and displaying the second image; or

если текущий режим масштабирования является вторым режимом масштабирования, получение максимум двух исходных захваченных изображений, соответствующих синтезированному изображению, масштабирование исходных изображений на основе текущего коэффициента масштабирования для формирования второго изображения и отображение второго изображения.if the current zoom mode is the second zoom mode, obtaining at most two original captured images corresponding to the synthesized image, scaling the original images based on the current zoom factor to form a second image, and displaying the second image.

[0019] Пятая операция может быть использована после синтеза первого изображения и может быть дополнительно использована для постобработки, причем постобработка может включать в себя увеличение и уменьшение масштаба. Первый режим масштабирования может быть уменьшением масштаба, а коэффициент уменьшения масштаба может находиться в диапазоне от 0,33 до 1. Режим уменьшения масштаба может изменить поле зрения, но не изменить размер изображения, или может изменить как поле зрения, так и размер изображения. Когда изображение уменьшено, изображение может быть первым изображением. Поскольку первое изображение ассоциативно связано с исходным захваченным изображением соответствующей камеры, могут быть вызваны исходные захваченные изображения всех соответствующих камер. Например, обычно исходные захваченные изображения включают в себя одно широкоугольное исходное захваченное изображение, одно стандартное исходное захваченное изображение и одно исходное захваченное длиннофокусное изображение. После уменьшения масштаба на основе текущего коэффициента уменьшения масштаба три вышеупомянутых исходных захваченных изображения снова синтезируются для получения окончательного уменьшенного изображения (то есть второго изображения), и второе изображение отображается, тем самым увеличивая поле просмотра при уменьшении размера изображения.[0019] The fifth operation may be used after the first image has been synthesized, and may be further used for post-processing, where the post-processing may include zooming in and out. The first zoom mode may be zoom out, and the zoom factor may be in the range of 0.33 to 1. The zoom mode may change the field of view but not change the image size, or may change both the field of view and the image size. When the image is scaled down, the image may be the first image. Since the first image is associated with the original captured image of the respective camera, the original captured images of all the respective cameras can be called. For example, typically the original captured images include one wide-angle original captured image, one standard original captured image, and one original long-focus image captured. After downscaling based on the current downscaling factor, the above three original captured images are synthesized again to obtain the final downsized image (i.e., the second image), and the second image is displayed, thereby increasing the viewing field while reducing the image size.

[0020] Кроме того, вторым режимом масштабирования может быть увеличение масштаба, и коэффициент увеличения масштаба может быть между 1 и 3,33 или может быть больше 3,33. Если коэффициент увеличения масштаба составляет от 1 до 3,33, могут быть вызваны два исходных захваченных изображения, соответствующих изображению предварительного просмотра, например, одно стандартное исходное захваченное изображение и одно исходное захваченное длиннофокусное изображение. После кадрирования и синтеза двух исходных захваченных изображений может быть получено конечное увеличенное изображение (то есть второе изображение) и отображено второе изображение. Если коэффициент увеличения масштаба больше 3,33, может быть вызвано широкоугольное исходное захваченное изображение, широкоугольное исходное захваченное изображение увеличивается посредством повышающей дискретизации, а затем выполняется кадрирование для получения окончательного увеличенного изображения, и отображается второе изображение, тем самым обеспечивая четкость изображения при увеличении размера изображения.[0020] In addition, the second zoom mode may be zoom in, and the zoom ratio may be between 1 and 3.33, or may be greater than 3.33. If the zoom ratio is from 1 to 3.33, two original captured images corresponding to the preview image can be called, for example, one standard original captured image and one original long-focus image captured. After cropping and synthesizing the two original captured images, the final enlarged image (ie the second image) can be obtained and the second image displayed. If the zoom ratio is greater than 3.33, the wide-angle original captured image can be called out, the wide-angle original captured image is upsampled, and then the cropping is performed to obtain the final enlarged image, and the second image is displayed, thereby ensuring the clarity of the image when the image is enlarged. .

[0021] Согласно второму аспекту эта заявка обеспечивает мобильный терминал, включающий в себя:[0021] According to a second aspect, this application provides a mobile terminal including:

память, причем память сконфигурирована для хранения кода компьютерной программы, код компьютерной программы включает в себя инструкцию, и когда мобильный терминал считывает инструкцию из памяти, мобильный терминал получает возможность выполнять следующие шаги: обнаружение первой операции, использованной для выбора режима фотосъемки;a memory, wherein the memory is configured to store a computer program code, the computer program code includes an instruction, and when the mobile terminal reads the instruction from the memory, the mobile terminal is enabled to perform the following steps: detecting the first operation used to select the photography mode;

определение текущего режима фотографирования в ответ на обнаруженную первую операцию;determining a current photographing mode in response to the detected first operation;

отображение интерфейса дисплея, используемого для выбора поля зрения, при этом интерфейс дисплея включает в себя опцию поля зрения, соответствующего по меньшей мере одной камере;displaying a display interface used to select a field of view, the display interface including a field of view option corresponding to at least one camera;

обнаружение второй операции, используемой для выбора опций по меньшей мере двух полей зрения;detecting a second operation used to select options for at least two fields of view;

определение по меньшей мере двух полей зрения, соответствующих текущему режиму фотографирования, в ответ на обнаруженную вторую операцию, причем по меньшей мере два поля зрения соответствуют одной или более камерам;determining at least two fields of view corresponding to the current photographing mode in response to the detected second operation, the at least two fields of view corresponding to one or more cameras;

обнаружение третьей операции, используемой для фотографирования;detecting a third operation used for photographing;

получение множества изображений, соответствующих по меньшей мере двум полям зрения, в ответ на обнаруженную третью операцию, причем каждое из по меньшей мере двух полей зрения соответствует по меньшей мере одному изображению; иobtaining a plurality of images corresponding to at least two fields of view in response to the detected third operation, each of the at least two fields of view corresponding to at least one image; And

синтез множества изображений для формирования первого изображения и отображение первого изображения.synthesizing the plurality of images to form a first image; and displaying the first image.

[0022] В возможной реализации, когда инструкция выполняется мобильным терминалом, прежде чем мобильный терминал выполнит этап обнаружения первой операции, используемой для выбора режима фотографирования, дополнительно выполняется следующий этап:[0022] In an exemplary implementation, when the instruction is executed by the mobile terminal, before the mobile terminal performs the step of detecting the first operation used to select the photographing mode, the following step is additionally performed:

запускают первую камеру и отображают интерфейс предварительного просмотра фотографирования, захваченный первой камерой; причемstarting the first camera and displaying a photograph preview interface captured by the first camera; and

отображаемый интерфейс дисплея, используемый для выбора поля зрения, включает в себя только поле зрения, соответствующее первой камере; или the displayed display interface used to select the field of view includes only the field of view corresponding to the first camera; or

отображаемый интерфейс дисплея, используемый для выбора поля зрения, включает в себя только угол поля зрения, соответствующий первой камере, и угол поля зрения, соответствующий другой камере на той же стороне мобильного терминала, что и вторая камера; или the displayed display interface used for selecting the field of view only includes a field of view angle corresponding to the first camera and a field of view angle corresponding to another camera on the same side of the mobile terminal as the second camera; or

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, опция поля зрения, соответствующего первой камере, отображается заметным образом; или on the displayed display interface used to select the field of view, the option of the field of view corresponding to the first camera is prominently displayed; or

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, поля зрения, соответствующие одной и той же камере, отображаются одинаковым образом; или on the displayed display interface used to select the field of view, the fields of view corresponding to the same camera are displayed in the same way; or

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, поля зрения, соответствующие камерам на той же стороне мобильного терминала, отображаются одинаковым образом; или on the displayed display interface used to select the field of view, the fields of view corresponding to the cameras on the same side of the mobile terminal are displayed in the same way; or

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, отображается рекомендуемая комбинация полей зрения заметным образом.the displayed display interface used to select the field of view displays the recommended combination of fields of view in a conspicuous manner.

[0023] В возможной реализации, когда инструкция выполняется мобильным терминалом, мобильный терминал получает возможность выполнять следующие этапы после выполнения этапа запуска первой камеры и отображения интерфейса предварительного просмотра фотографирования, захваченного первой камерой:[0023] In an exemplary implementation, when the instruction is executed by the mobile terminal, the mobile terminal is enabled to perform the following steps after executing the step of launching the first camera and displaying the photograph preview interface captured by the first camera:

обнаружение четвертой операции, используемой для переключения камеры; иdetecting a fourth operation used to switch the camera; And

запуск второй камеры в ответ на обнаруженную четвертую операцию и отображение интерфейса предварительного просмотра фотографирования, захваченного второй камерой; иlaunching the second camera in response to the detected fourth operation and displaying a photograph preview captured by the second camera; And

отображаемый интерфейс дисплея, используемый для выбора поля зрения, включает в себя только поле зрения, соответствующее второй камере; или the displayed display interface used to select the field of view includes only the field of view corresponding to the second camera; or

отображаемый интерфейс дисплея, используемый для выбора поля зрения, включает в себя только поле зрения, соответствующее второй камере, и поле зрения, соответствующее другой камере на той же стороне мобильного терминала, что и вторая камера; или the displayed display interface used to select the field of view only includes a field of view corresponding to the second camera and a field of view corresponding to another camera on the same side of the mobile terminal as the second camera; or

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, опция поля зрения, соответствующего второй камере, отображается заметным образом; или on the displayed display interface used to select the field of view, the option of the field of view corresponding to the second camera is prominently displayed; or

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, поля зрения, соответствующие одной и той же второй камере, отображаются одинаковым образом; или жon the displayed display interface used to select the field of view, the fields of view corresponding to the same second camera are displayed in the same way; or

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, поля зрения, соответствующие камерам на одинаковой стороне мобильного терминала, отображаются одинаковым образом; или on the displayed display interface used to select the field of view, the fields of view corresponding to the cameras on the same side of the mobile terminal are displayed in the same way; or

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, отображается рекомендуемая комбинация полей зрения заметным образом.the displayed display interface used to select the field of view displays the recommended combination of fields of view in a conspicuous manner.

[0024] В возможной реализации, когда инструкция выполняется мобильным терминалом, то, что мобильный терминал может выполнять этап синтеза множества изображений, включает в себя:[0024] In an exemplary implementation, when an instruction is executed by a mobile terminal, that the mobile terminal may perform the multi-picture synthesis step includes:

сортировку множества изображений по полю зрения и последовательное наложение каждого изображения.sorting the plurality of images according to the field of view and successively overlaying each image.

[0025] В возможной реализации, когда инструкция выполняется мобильным терминалом, то, что мобильный терминал может выполнять этап последовательного наложения каждого изображения, включает в себя:[0025] In an exemplary implementation, when an instruction is executed by a mobile terminal, that the mobile terminal may perform the step of successively overlaying each image includes:

последовательное получение, в порядке убывания полей зрения, коэффициента S поля зрения каждого изображения для изображения Fmin, соответствующего наименьшему полю зрения;sequentially obtaining, in descending order of fields of view, the coefficient S of the field of view of each image for the image Fmin corresponding to the smallest field of view;

сохранение изображения Fmin, соответствующего наименьшему полю зрения, неизменным и последовательное увеличение масштаба оставшихся изображений на основе соответствующего коэффициента S поля зрения для получения изображения в увеличенном масштабе; а такжеkeeping the image Fmin corresponding to the smallest field of view unchanged and successively zooming in on the remaining images based on the respective field of view coefficient S to obtain an enlarged image; and

последовательное наложение изображения Fmin и всех изображений в увеличенном масштабе в порядке возрастания полей зрения.successive overlay of the Fmin image and all enlarged images in order of increasing fields of view.

[0026] В возможной реализации, когда инструкция выполняется мобильным терминалом, то, что мобильный терминал может выполнять этап последовательного наложения каждого изображения, включает в себя:[0026] In an exemplary implementation, when an instruction is executed by a mobile terminal, that the mobile terminal may perform the step of successively overlaying each image includes:

последовательное получение, в порядке убывания полей зрения, коэффициента S поля зрения изображения Fmax, соответствующее наибольшему полю зрения для каждого изображения;successively obtaining, in descending order of the fields of view, the coefficient S of the field of view of the image Fmax, corresponding to the largest field of view for each image;

сохранение изображения Fmax, соответствующего наибольшему полю зрения, неизменным и последовательное увеличение масштаба оставшихся изображений на основе соответствующего коэффициента S поля зрения для получения изображения в уменьшенном масштабе; а такжеkeeping the image Fmax corresponding to the largest field of view unchanged and sequentially zooming in on the remaining images based on the respective field of view coefficient S to obtain a downscaled image; and

последовательное наложение изображения Fmax и всех изображений в уменьшенном масштабе в порядке возрастания полей зрения.sequential overlay of the image Fmax and all images in a reduced scale in order of increasing fields of view.

[0027] В возможной реализации, когда инструкция выполняется мобильным терминалом, то, что мобильный терминал может выполнять этап получения множества изображений, соответствующих по меньшей мере двум полям зрения, включает в себя:[0027] In an exemplary implementation, when the instruction is executed by the mobile terminal, that the mobile terminal may perform the step of obtaining a plurality of images corresponding to at least two fields of view includes:

если по меньшей мере два поля зрения соответствуют множеству камер, сохранение исходного захваченного изображения, соответствующего каждой камере; иif at least two fields of view correspond to a plurality of cameras, storing the original captured image corresponding to each camera; And

синтез множества изображений включает в себя: синтез исходного захваченного изображения, соответствующего каждой камере, и ассоциативное связывание синтезированного изображения с исходным захваченным изображением, соответствующим каждой камере.synthesizing the plurality of images includes: synthesizing the original captured image corresponding to each camera, and associating the synthesized image with the original captured image corresponding to each camera.

[0028] В возможной реализации, когда инструкция выполняется мобильным терминалом, после чего мобильному терминалу разрешается выполнять этап отображения синтезированного изображения, дополнительно выполняется следующий этап:[0028] In an exemplary implementation, when the instruction is executed by the mobile terminal, after which the mobile terminal is allowed to perform the step of displaying the synthesized image, the following step is additionally performed:

обнаружение пятой операции, используемой для масштабирования;detecting a fifth operation used for scaling;

определение текущего режима масштабирования и текущего коэффициента масштабирования в ответ на обнаруженную пятую операцию, причем режим масштабирования включает в себя первый режим масштабирования и второй режим масштабирования; иdetermining a current scaling mode and a current scaling factor in response to the detected fifth operation, the scaling mode including the first scaling mode and the second scaling mode; And

если текущий режим масштабирования является первым режимом масштабирования, получение всех исходных захваченных изображений, соответствующих синтезированному изображению, масштабирование исходных изображений на основе текущего коэффициента масштабирования для формирования второго изображения и отображение второго изображения; или if the current zoom mode is the first zoom mode, obtaining all of the original captured images corresponding to the synthesized image, scaling the original images based on the current zoom factor to form a second image, and displaying the second image; or

если текущий режим масштабирования является вторым режимом масштабирования, получение максимум двух исходных захваченных изображений, соответствующих синтезированному изображению, масштабирование исходных изображений на основе текущего коэффициента масштабирования для формирования второго изображения, и отображение второго изображения.if the current zoom mode is the second zoom mode, obtaining at most two original captured images corresponding to the synthesized image, scaling the original images based on the current zoom factor to form a second image, and displaying the second image.

[0029] В соответствии с третьим аспектом данная заявка обеспечивает машиночитаемый носитель данных, причем машиночитаемый носитель данных хранит компьютерную программу, и когда компьютерная программа осуществляется на компьютере, компьютер получает возможность выполнять способ согласно первому аспекту.[0029] According to a third aspect, this application provides a computer-readable storage medium, wherein the computer-readable storage medium stores a computer program, and when the computer program is executed on the computer, the computer is enabled to execute the method according to the first aspect.

[0030] В соответствии с четвертым аспектом эта заявка обеспечивает компьютерную программу, причем, когда компьютерная программа выполняется компьютером, компьютерная программа используется для выполнения способа согласно первому аспекту.[0030] According to a fourth aspect, this application provides a computer program, wherein when the computer program is executed by a computer, the computer program is used to perform the method according to the first aspect.

[0031] В возможном исполнении программа в четвертом аспекте может быть полностью или частично сохранена на носителе данных, который скомпонован с процессором, или может быть частично или полностью сохранена в памяти, которая не скомпонована с процессором.[0031] In an exemplary embodiment, the program in the fourth aspect may be wholly or partially stored on a storage medium that is coupled to the processor, or may be partially or wholly stored on memory that is not coupled to the processor.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙBRIEF DESCRIPTION OF THE DRAWINGS

[0032] Фиг. 1 представляет собой схематическое представление наложения изображения в соответствии с вариантом осуществления этой заявки;[0032] FIG. 1 is a schematic representation of an image overlay according to an embodiment of this application;

[0033] Фиг. 2 представляет собой схематическое представление структуры мобильного терминала согласно варианту осуществления этой заявки;[0033] FIG. 2 is a schematic representation of the structure of a mobile terminal according to an embodiment of this application;

[0034] Фиг. 3 представляет собой схематическое представление интерфейса дисплея, используемого для фотографирования, в соответствии с вариантом осуществления этой заявки;[0034] FIG. 3 is a schematic representation of a display interface used for photography according to an embodiment of this application;

[0035] Фиг. 4 представляет собой схематическое представление интерфейса дисплея, используемого для выбора комбинации FOV в соответствии с вариантом осуществления этой заявки;[0035] FIG. 4 is a schematic representation of a display interface used for FOV combination selection according to an embodiment of this application;

[0036] Фиг. 5 представляет собой схематическое представление окна опций комбинации FOV в сценарии с одной камерой в соответствии с вариантом осуществления этой заявки;[0036] FIG. 5 is a schematic representation of a FOV combination option window in a single camera scenario according to an embodiment of this application;

[0037] Фиг. 6 представляет собой схематическое представление окна опций комбинирования FOV в многокамерном сценарии согласно варианту осуществления этой заявки;[0037] FIG. 6 is a schematic representation of a FOV combination option window in a multi-camera scenario according to an embodiment of this application;

[0038] Фиг. 7 представляет собой схематическое представление способа обработки изображения в соответствии с вариантом осуществления этой заявки;[0038] FIG. 7 is a schematic representation of an image processing method according to an embodiment of this application;

[0039] Фиг. 8 представляет собой схематическое представление другого способа обработки изображения в соответствии с вариантом осуществления этой заявки;[0039] FIG. 8 is a schematic representation of another image processing method according to an embodiment of this application;

[0040] Фиг. 9 представляет собой схематическое представление формата хранения данных согласно варианту осуществления этой заявки;[0040] FIG. 9 is a schematic representation of a data storage format according to an embodiment of this application;

[0041] Фиг. 10 представляет собой схематическое представление еще одного способа обработки изображения в соответствии с вариантом осуществления этой заявки;[0041] FIG. 10 is a schematic representation of yet another image processing method according to an embodiment of this application;

[0042] Фиг. 11 представляет собой схематическое представление еще одного способа обработки изображения в соответствии с вариантом осуществления этой заявки; и[0042] FIG. 11 is a schematic representation of yet another image processing method according to an embodiment of this application; And

[0043] Фиг. 12 представляет собой схематическое представление архитектуры системы мобильного терминала согласно варианту осуществления этой заявки.[0043] FIG. 12 is a schematic representation of a system architecture of a mobile terminal according to an embodiment of this application.

Описание вариантов осуществленияDescription of Embodiments

[0044] Далее описаны технические решения в вариантах осуществления этой заявки со ссылкой на прилагаемые чертежи в вариантах осуществления этой заявки. В описании вариантов осуществления данной заявки, если не указано иное, «/» означает «или», например, А/В может означать «А или В»; «И/или», используемый в данном документе, используется только для описания отношения ассоциации между ассоциативно связанными объектами и указывает, что могут существовать три отношения. Например, A и/или B могут означать следующее: Существует только A, существуют как A, так и B, и существует только B.[0044] The following describes the technical solutions in the embodiments of this application with reference to the accompanying drawings in the embodiments of this application. In the description of the embodiments of this application, unless otherwise indicated, "/" means "or", for example, A/B can mean "A or B"; "And/or" as used herein is only used to describe an association relationship between associated objects, and indicates that three relationships may exist. For example, A and/or B could mean the following: Only A exists, both A and B exist, and only B exists.

[0045] Термины «первый» и «второй» используются здесь только для описания и не могут пониматься как указывающие или подразумевающие относительную важность или неявно указывающие количество указанных технических признаков. Следовательно, признаки, заданные с помощью «первый» и «второй», могут явно или неявно включать в себя один или несколько признаков. В описании вариантов осуществления данной заявки, если не указано иное, «множество» означает два или более.[0045] The terms "first" and "second" are used here only for description and cannot be understood as indicating or implying the relative importance or implicitly indicating the number of these technical features. Therefore, features specified by "first" and "second" may explicitly or implicitly include one or more features. In the description of embodiments of this application, unless otherwise indicated, "many" means two or more.

[0046] В настоящее время мобильный терминал, как правило, включает в себя камеру, и с увеличением возможности масштабирования камеры пользователь может фотографировать детали на большом расстоянии без потерь. Однако, когда для формирования изображения выполняется увеличение масштаба, поле зрения FOV для формирования изображения также пропорционально уменьшается, и пользователь может видеть только четкое изображение с меньшим полем зрения. С введением широкоугольного объектива эффект фотографирования в сценарии с большим полем зрения значительно улучшен, то есть можно выполнять сверхширокоугольное фотографирование. Однако фотографирование таким образом также имеет следующую проблему: Потеря деталей является относительно серьезной. Когда выполняют первая картинка, полученная путем фотографирования в сценарии с большим полем зрения, большее FOV приводит к более размытым деталям; когда второе изображение фотографируется после выполнения уменьшения масштаба, FOV становится меньше, а детали становятся четче.[0046] At present, a mobile terminal generally includes a camera, and with an increase in the zoom capability of the camera, the user can photograph details at a long distance without loss. However, when zooming is performed for imaging, the FOV for imaging is also proportionally reduced, and the user can only see a clear image with a smaller field of view. With the introduction of the wide-angle lens, the photographing effect in the large field of view scenario is greatly improved, that is, ultra-wide-angle photographing can be performed. However, photographing in this way also has the following problem: Loss of detail is relatively serious. When the first image is taken by taking a photo in a large field of view scenario, a larger FOV results in more blurred details; when the second image is photographed after zooming out, the FOV becomes smaller and the details become clearer.

[0047] Такая же проблема возникает и при постобработке сфотографированной фотографии. При увеличении масштаба сфотографированной фотографии детали становятся размытыми. При уменьшении масштаба фотографируемой фотографии из-за уменьшения размера фотографии поле зрения не изменяется, и, следовательно, невозможно получить информацию за пределами текущей фотографии. Точно так же после создания снимка экрана захваченной фотографии, если увеличить область снимка экрана, она будет размыта при отображении.[0047] The same problem occurs when post-processing a photographed photograph. When you zoom in on a photographed photo, the details become blurred. When zooming out on a photograph being photographed, the field of view does not change due to the reduction in the size of the photograph, and therefore it is not possible to obtain information outside the current photograph. Similarly, after taking a screenshot of a captured photo, if you enlarge the area of the screenshot, it will be blurry when displayed.

[0048] Следует отметить, что поле зрения используется для указания наибольшего диапазона углов, который может быть сфотографирован камерой в процессе фотографирования изображения. Если подлежащий фотографированию объект находится в пределах диапазона углов, подлежащий фотографированию объект захватывается камерой, а затем представляется на предварительном изображении. Если подлежащий фотографированию объект находится за пределами диапазона углов, подлежащий фотографированию объект не будет захвачен аппаратом захвата изображения, то есть не будет представлен на предварительном изображении. Как правило, большее поле зрения камеры указывает на больший диапазон фотографирования и меньшее фокусное расстояние; а меньшее поле зрения камеры указывает на меньшую дальность фотографирования и большее фокусное расстояние.[0048] It should be noted that the field of view is used to indicate the largest range of angles that can be photographed by the camera in the process of photographing the image. If the object to be photographed is within the angle range, the object to be photographed is captured by the camera and then displayed in the preview image. If the object to be photographed is outside the angle range, the object to be photographed will not be captured by the image pickup apparatus, that is, will not be presented in the preview image. Generally, a larger camera field of view indicates a larger photographing range and a shorter focal length; and a smaller camera field of view indicates a shorter photographing range and a larger focal length.

[0049] Как правило, поле зрения включает в себя диапазон в горизонтальном направлении и диапазон в вертикальном направлении. В данной заявке два поля зрения могут использоваться для представления соответственно диапазона в горизонтальном направлении и диапазона в вертикальном направлении, или одно поле зрения может использоваться для представления как диапазона в горизонтальном направлении, так и диапазона в вертикальном направлении. Для простоты описания ниже используется пример, в котором одно поле зрения представляет как диапазон в горизонтальном направлении, так и диапазон в вертикальном направлении. Например, как показано на фиг. 1, поле зрения α представляет собой угол, соответствующий диагональным линиям двух краев изображения, захваченного с помощью камеры с большим полем зрения, и может представлять собой как угол в горизонтальном направлении, так и угол в вертикальном направлении. R - это угол, соответствующий диагональным линиям двух краев изображения, захваченного камерой с малым полем зрения, и может представлять собой как угол в горизонтальном направлении, так и угол в вертикальном направлении.[0049] Typically, the field of view includes a range in the horizontal direction and a range in the vertical direction. In this application, two fields of view may be used to represent respectively a range in the horizontal direction and a range in the vertical direction, or one field of view may be used to represent both the range in the horizontal direction and the range in the vertical direction. For ease of description, an example is used below in which one field of view represents both a range in the horizontal direction and a range in the vertical direction. For example, as shown in FIG. 1, the field of view α is the angle corresponding to the diagonal lines of the two edges of the image captured by the large field of view camera, and may be both the angle in the horizontal direction and the angle in the vertical direction. R is the angle corresponding to the diagonal lines of the two edges of the image captured by the small field of view camera, and can be either the angle in the horizontal direction or the angle in the vertical direction.

[0050] В этой заявке «поле зрения» также может упоминаться как термин, такой как «диапазон обзора». Название поля зрения не ограничено в этой спецификации при условии, что выражена вышеизложенная концепция.[0050] In this application, "field of view" may also be referred to as a term, such as "field of view". The field of view name is not limited in this specification as long as the above concept is expressed.

[0051] Затем изображение с большим полем зрения и изображение с малым полем зрения синтезируются для получения синтезированного изображения. В этом случае поле зрения отображаемого изображения является большим, и изображение с относительно высоким разрешением может быть представлено в деталях, чтобы удовлетворить требование улучшения качества детализации пользователя в сценарии с большим полем зрения, тем самым улучшая качество формирования изображения фотографии и улучшая восприятие пользователя.[0051] Then, the large field of view image and the small field of view image are synthesized to obtain a synthesized image. In this case, the field of view of the displayed image is large, and a relatively high-resolution image can be presented in detail to meet the requirement of improving the detail quality of the user in the large field of view scenario, thereby improving the imaging quality of the photo and improving the user's experience.

[0052] Техническое решение, предусмотренное в этом варианте осуществления данной заявки, может быть применено к мобильному терминалу. Конкретная форма мобильного терминала, который реализует техническое решение, конкретно не ограничена в этой заявке.[0052] The technical solution provided in this embodiment of this application can be applied to a mobile terminal. The specific shape of the mobile terminal that implements the technical solution is not specifically limited in this application.

[0053] Фиг. 2 представляет собой схематическое представление структуры мобильного терминала 100 согласно варианту осуществления данной заявки. Мобильный терминал включает в себя модуль 110 камеры, экран 120 дисплея, процессор 130, подсистему 140 ввода/вывода (I/O), память 150 и другое устройство 160 ввода. Модуль 110 камеры сконфигурирован для захвата изображения, а экран 120 дисплея сконфигурирован для отображения изображения и рабочего интерфейса.[0053] FIG. 2 is a schematic representation of the structure of a mobile terminal 100 according to an embodiment of this application. The mobile terminal includes a camera module 110, a display screen 120, a processor 130, an input/output (I/O) subsystem 140, a memory 150, and another input device 160. The camera module 110 is configured to capture an image, and the display screen 120 is configured to display an image and an operating interface.

[0054] Модуль 110 камеры включает в себя по меньшей мере одну камеру 111. Если модуль камеры включает в себя только одну камеру, камера является камерой с масштабированием, а камера с масштабированием может быть фронтальной или тыловой. Если модуль камеры включает в себя две камеры, и две камеры находятся соответственно на двух сторонах мобильного терминала, по меньшей мере одна камера является камерой с масштабированием; и если две камеры находятся на одной и той же стороне мобильного терминала, эти две камеры могут быть любой комбинацией камер с масштабированием или камер с фиксированным фокусом. Если модуль камеры включает в себя более двух камер, по меньшей мере две камеры находятся на одной и той же стороне мобильного терминала, то есть модуль камеры включает в себя по меньшей мере две фронтальные камеры или по меньшей мере две тыловые камеры, и камерами на одной и той же стороне может быть любая комбинация масштабирования или масштабирования камер. Камера с масштабированием может выполнять фотографирование последовательно, используя множество полей зрения, установленных пользователем так, чтобы получить изображение, соответствующее каждому полю зрения. В процессе фотографирования временной интервал фотографирования между двумя изображениями должен быть сокращен насколько возможно, чтобы обеспечить постоянство параметров экспозиции, используемых для фотографирования каждый раз, чтобы получить изображение, параметры экспозиции которого постоянны. Временной интервал фотографирования определяется настройкой аппаратного обеспечения или пользователем, то есть временной интервал фотографирования определяется параметром спецификации камеры. Например, пользователь может выбрать параметр непрерывной экспозиции, и этот параметр может включать в себя временной интервал непрерывной экспозиции. Если модуль камеры включает в себя две или более камер с фиксированным фокусом, множество камер с фиксированным фокусом включает в себя по меньшей мере одну камеру с фиксированным фокусом с большим полем зрения и по меньшей мере одну камеру с фиксированным фокусом с малым полем зрения. По меньшей мере одна камера с большим полем зрения (например, поле зрения составляет от 100 градусов до 200 градусов, и разрешение между видеографической матрицей (VGA, Video Graphics Array) и 720p) может быть, например, камерой 111; и по меньшей мере одна камера с малым полем зрения (например, поле зрения составляет от 20 градусов до 60 градусов, а разрешение составляет от 720p до 2Kp) может быть, например, камерой 112. Изображение, захваченное камерой с большим полем зрения, имеет большое поле зрения и низкое разрешение. Изображение, захваченное камерой с малым полем зрения, имеет малое поле зрения и высокое разрешение. По меньшей мере, две камеры с фиксированным фокусом могут снимать захватывать изображения одновременно. Следует понимать, что все камеры с фиксированным фокусом могут изменять фокусное расстояние посредством цифрового масштабирования, а диапазон цифрового увеличения связан с конкретной камерой с фиксированным фокусом.[0054] The camera module 110 includes at least one camera 111. If the camera module includes only one camera, the camera is a zoom camera, and the zoom camera may be front or rear. If the camera module includes two cameras, and the two cameras are respectively on two sides of the mobile terminal, at least one camera is a zoom camera; and if the two cameras are on the same side of the mobile terminal, the two cameras can be any combination of zoom cameras or fixed focus cameras. If the camera module includes more than two cameras, at least two cameras are on the same side of the mobile terminal, that is, the camera module includes at least two front cameras or at least two rear cameras, and cameras on one and the same side can be any combination of zoom or camera zoom. The zoom camera can take photographs sequentially using a plurality of fields of view set by the user so as to obtain an image corresponding to each field of view. In the process of photographing, the photographing time interval between two images should be shortened as much as possible in order to ensure that the exposure parameters used for photographing are constant each time in order to obtain an image whose exposure parameters are constant. The photographing time interval is determined by the hardware setting or the user, that is, the photographing time interval is determined by the camera specification parameter. For example, the user may select a continuous exposure option, and that option may include a continuous exposure time interval. If the camera module includes two or more fixed focus cameras, the plurality of fixed focus cameras includes at least one large field of view fixed focus camera and at least one small field of view fixed focus camera. At least one camera with a large field of view (for example, the field of view is from 100 degrees to 200 degrees, and the resolution is between a video graphics array (VGA, Video Graphics Array) and 720p) may be, for example, the camera 111; and at least one camera with a small field of view (for example, the field of view is from 20 degrees to 60 degrees, and the resolution is from 720p to 2Kp) may be, for example, camera 112. An image captured by a camera with a large field of view has a large field of view and low resolution. An image captured by a small field of view camera has a small field of view and high resolution. At least two fixed focus cameras can shoot and capture images at the same time. It should be understood that all fixed focus cameras can change the focal length through digital zoom, and the digital zoom range is associated with a specific fixed focus camera.

[0055] Экран 120 дисплея может быть сконфигурирован для отображения информации, введенной пользователем, или информации, предоставленной пользователю, и различных меню мобильного терминала 100, и может принимать пользовательский ввод. Конкретный экран 120 дисплея может включать в себя панель 121 дисплея и сенсорную панель 122. Панель 121 дисплея может быть выполнена в виде жидкокристаллического дисплея (Liquid Crystal Display, LCD), органического светоизлучающего диода (Organic Light-Emitting Diode, OLED) и т.п. Сенсорная панель 122, также называемая сенсорным экраном, чувствительным к касанию экраном и т.п., может регистрировать контактные или бесконтактные операции пользователя на сенсорной панели 122 или рядом с ней (например, операции на сенсорной панели 122 или рядом с ней, выполняемые пользователем с помощью любого подходящего предмета или аксессуара, такого как палец или стилус), или соматосенсорной операции; операция включает в себя типы операций, такие как операция одноточечного управления, операция многоточечного управления и т.п.), и может возбуждать соответствующее соединенное устройство на основе предварительно установленной программы. Необязательно, сенсорная панель 122 может включать в себя две части: аппарат обнаружения прикосновения и сенсорный контроллер. Аппарат обнаружения касания обнаруживает положение касания и жест касания пользователя, обнаруживает сигнал от операции касания и передает сигнал сенсорному контроллеру. Сенсорный контроллер принимает информацию о касании от аппарата обнаружения касания, преобразует информацию о касании в информацию, которая может быть обработана процессором, затем отправляет информацию процессору 130 и может принимать и выполнять команды, отправленные процессором 130. Кроме того, сенсорная панель 122 может быть реализована с использованием множества типов, таких как резистивный тип, емкостной тип, инфракрасный тип и поверхностно-акустическая волна; или сенсорная панель 122 может быть реализована с использованием любой технологии, разработанной в будущем. Кроме того, сенсорная панель 122 может покрывать панель 121 дисплея. Пользователь может выполнять операции на сенсорной панели 122, покрытой на панели 121 дисплея, или рядом с ней, на основе содержимого, отображаемого на панели 121 дисплея (содержимое дисплея включает в себя, но не ограничивается, экранную клавиатуру, виртуальную мышь, виртуальную клавишу, и значок). После обнаружения операции на сенсорной панели 122, или рядом с ней, сенсорная панель 122 отправляет операцию процессору 130 с помощью подсистемы 140 I/O для определения пользовательского ввода, а затем процессор 130 обеспечивает соответствующий визуальный вывод на панели 121 дисплея на основе пользовательского ввода с помощью подсистемы 140 I/O. Хотя на фиг. 3, сенсорная панель 122 и панель 121 дисплея реализуют функции ввода и вывода мобильного терминала 100 как два отдельных компонента, в некоторых вариантах осуществления сенсорная панель 122 может быть объединена с панелью 121 дисплея для реализации функций ввода и вывода мобильного терминала 100. [0055] The display screen 120 may be configured to display information entered by the user or information provided to the user and various menus of the mobile terminal 100, and may receive user input. The specific display screen 120 may include a display panel 121 and a touch panel 122. The display panel 121 may be a Liquid Crystal Display (LCD), an Organic Light-Emitting Diode (OLED), or the like. . The touch panel 122, also referred to as a touch screen, touch sensitive screen, and the like, can register contact or non-contact user operations on or near the touch panel 122 (for example, operations on or near the touch panel 122 performed by the user with using any suitable object or accessory such as a finger or stylus), or somatosensory surgery; the operation includes types of operations such as single point control operation, multipoint control operation, and the like), and can drive the corresponding connected device based on a preset program. Optionally, the touch panel 122 may include two parts: a touch detection apparatus and a touch controller. The touch detection apparatus detects the touch position and the touch gesture of the user, detects the signal from the touch operation, and transmits the signal to the touch controller. The touch controller receives touch information from the touch detection apparatus, converts the touch information into information that can be processed by the processor, then sends the information to the processor 130, and can receive and execute commands sent by the processor 130. In addition, the touch panel 122 can be implemented with using a plurality of types such as resistive type, capacitive type, infrared type, and surface acoustic wave; or the touch panel 122 may be implemented using any technology developed in the future. In addition, the touch panel 122 may cover the display panel 121. The user can perform operations on the touch panel 122 covered on or near the display panel 121 based on the content displayed on the display panel 121 (display content includes, but is not limited to, an on-screen keyboard, a virtual mouse, a virtual key, and icon). Upon detecting an operation on or near the touchpad 122, the touchpad 122 sends the operation to the processor 130 using the I/O subsystem 140 to determine the user input, and then the processor 130 provides the appropriate visual output on the display panel 121 based on the user input with subsystems 140 I/O. Although in FIG. 3, the touch panel 122 and the display panel 121 implement the input and output functions of the mobile terminal 100 as two separate components, in some embodiments, the touch panel 122 may be combined with the display panel 121 to implement the input and output functions of the mobile terminal 100.

[0056] В качестве центра управления мобильным терминалом 100 процессор 130 соединен с частями мобильного терминала различными интерфейсами и линиями для выполнения функций и обработки данных мобильного терминала 100 путем запуска или выполнения программного обеспечения и/или модуля, хранимого в памяти 150, и вызывать данные, хранящиеся в памяти 150, чтобы контролировать мобильный терминал в целом. Необязательно процессор 130 может включать в себя один или несколько блоков обработки; и предпочтительно процессор 130 может быть интегрирован в процессор приложений и процессор модема. Процессор приложений в основном сконфигурирован для обработки операционных систем, пользовательского интерфейса и приложения. Процессор модема в основном сконфигурирован для обработки беспроводной связи. Понятно, что процессор модема альтернативно может быть не интегрирован в процессор 130.[0056] As the control center of the mobile terminal 100, the processor 130 is connected to parts of the mobile terminal through various interfaces and lines to perform functions and process data of the mobile terminal 100 by running or executing software and/or a module stored in the memory 150 and calling data, stored in the memory 150 to control the mobile terminal as a whole. Optionally, processor 130 may include one or more processing units; and preferably, the processor 130 may be integrated into the application processor and the modem processor. The application processor is mainly configured to process operating systems, a user interface, and an application. The modem processor is primarily configured to handle wireless communications. It will be appreciated that the modem processor may alternatively not be integrated into processor 130.

[0057] Подсистема 140 I/O сконфигурирована для управления внешним устройством I/O и может включать в себя контроллер 141 другого устройства ввода и контроллер 142 дисплея. Необязательно, один или более других контроллеров 141 устройств управления вводом принимают сигналы от другого устройства 140 ввода и/или отправляют сигналы на другое устройство 140 ввода. Другое устройство 140 ввода может включать в себя физическую кнопку (кнопку, манипулятор и т.п.), панель набора номера, ползунковый переключатель, джойстик, колесо прокрутки и оптическую мышь (оптическая мышь представляет собой чувствительную к касанию поверхность, которая не отображает визуальный вывод, или расширение чувствительной к касанию поверхности, образованную сенсорным экраном). Следует отметить, что каждый из других контроллеров 141 устройства управления вводом может быть соединен с любым одним или несколькими из вышеупомянутых устройств. Контроллер 142 дисплея в подсистеме 140 I/O принимает сигналы с экрана 120 дисплея и/или отправляет сигналы на экран 120 дисплея. После того как экран 120 дисплея обнаружит пользовательский ввод, контроллер 142 дисплея преобразует обнаруженный пользовательский ввод во взаимодействие с объектом пользовательского интерфейса, отображаемым на экране 120 дисплея, то есть реализует взаимодействие человека с компьютером.[0057] The I/O subsystem 140 is configured to control an external I/O device and may include another input device controller 141 and a display controller 142. Optionally, one or more other input controllers 141 receive signals from another input device 140 and/or send signals to another input device 140. The other input device 140 may include a physical button (button, paddle, etc.), a dial pad, a slide switch, a joystick, a scroll wheel, and an optical mouse (an optical mouse is a touch-sensitive surface that does not display visual output). , or an extension of the touch-sensitive surface formed by the touch screen). It should be noted that each of the other controllers 141 of the input control device can be connected to any one or more of the above devices. The display controller 142 in the I/O subsystem 140 receives signals from the display screen 120 and/or sends signals to the display screen 120. After the display screen 120 detects user input, the display controller 142 converts the detected user input into an interaction with a user interface object displayed on the display screen 120, that is, implements human-computer interaction.

[0058] Память 150 может быть сконфигурирована для хранения программного обеспечения и модуля, а процессор 130 выполняет различные функциональные приложения и обработку данных мобильного терминала 100 посредством запуска программного обеспечения и модуля, сохраненных в памяти 150. Память 150 может в первую очередь включать в себя область хранения программ и область хранения данных. В области хранения программ может храниться операционная система, приложение, требуемое по меньшей мере одной функцией (например, функцией воспроизведения звука и функцией воспроизведения изображения) и т.п. В области хранения данных могут храниться данные (например, аудиоданные и телефонная книга), созданные на основе использования мобильного терминала 100 и т.п. Кроме того, память 150 может включать в себя быстродействующую оперативную память и может дополнительно включать в себя энергонезависимую память, такую как по меньшей мере одно запоминающее устройство на магнитном диске, устройство флэш-памяти или другое энергозависимое твердотельное запоминающее устройство.[0058] The memory 150 may be configured to store the software and the module, and the processor 130 performs various functional applications and data processing of the mobile terminal 100 by running the software and the module stored in the memory 150. The memory 150 may primarily include an area program storage and data storage area. The program storage area may store an operating system, an application required by at least one function (eg, a sound reproduction function and a picture reproduction function), and the like. The data storage area may store data (eg, audio data and a phone book) created based on the use of the mobile terminal 100 and the like. In addition, memory 150 may include high-speed random access memory and may further include non-volatile memory such as at least one magnetic disk storage device, flash memory device, or other volatile solid-state storage device.

[0059] Другое устройство 160 ввода может быть сконфигурировано для приема введенной цифровой или символьной информации и формирования входного сигнала клавиши, связанного с пользовательскими настройками и управлением функциями мобильного терминала 100. В частности, другое устройство 160 ввода может включать в себя, помимо прочего, одну или несколько физических клавиатур, функциональную клавишу (такую как клавиша регулировки громкости или клавиша включения/выключения питания), шаровой манипулятор, мышь, джойстик, оптическая мышь (оптическая мышь представляет собой чувствительную к касанию поверхность, которая не отображает визуальный вывод, или расширение чувствительной к касанию поверхности, образованное сенсорным экраном) и т.п. Другое устройство 160 ввода соединено с контроллером 141 другого устройства ввода подсистемы 140 I/O и выполняет взаимодействие сигналов с процессором 130 под управлением контроллера 141 ввода другого устройства.[0059] The other input device 160 may be configured to receive entered numeric or character information and generate a key input associated with user settings and control of functions of the mobile terminal 100. In particular, the other input device 160 may include, among other things, one or multiple physical keyboards, a function key (such as a volume key or a power on/off key), trackball, mouse, joystick, optical mouse (an optical mouse is a touch-sensitive surface that does not display visual output, or an extension of a touch-sensitive touching the surface formed by the touch screen), etc. The other input device 160 is connected to the controller 141 of the other input device of the I/O subsystem 140, and performs signal interaction with the processor 130 under the control of the input controller 141 of the other device.

[0060] В этом приложении изображение, захваченное с большим полем зрения, имеет большее поле зрения, что может обеспечить более широкий угол обзора в качестве фонового изображения. Однако изображение, захваченное камерой с малым полем зрения, имеет относительно высокое разрешение изображения, что может предоставить пользователю изображение с мелкими деталями. Понятно, что в данной заявке изображение, захваченное с большим полем зрения, и изображение, захваченное с малым полем зрения, синтезируются, чтобы удовлетворить требование улучшения качества детализации пользователя в сценарии большого поля зрения, тем самым улучшая качество формирования изображения и улучшая восприятие пользователя.[0060] In this application, an image captured with a large field of view has a larger field of view, which can provide a wider viewing angle as a background image. However, the image captured by the small field of view camera has a relatively high image resolution, which can provide the user with an image with fine details. It is understood that in this application, a large field of view image and a small field of view image are synthesized to meet the requirement of improving the quality of detail of a user in a large field of view scenario, thereby improving image quality and improving user experience.

[0061] Следует отметить, что, когда модуль камеры включает в себя множество камер, множество камер может быть расположено случайным образом. Например, камера 111 может быть расположена слева или справа от камеры 112, либо камера 111 может быть расположена сверху или снизу камеры 112. То есть в данной заявке взаимоотношение относительного положения между любой камерой в модуле камеры и другой камерой в модуле камеры не ограничено.[0061] It should be noted that when the camera module includes a plurality of cameras, the plurality of cameras may be arranged randomly. For example, camera 111 may be located to the left or right of camera 112, or camera 111 may be located above or below camera 112. That is, in this application, the relative position relationship between any camera in a camera module and another camera in a camera module is not limited.

[0062] Таким образом, множество изображений, захваченных камерами в модуле 110 камеры, отображаются на экране 120 дисплея после обработки с использованием способа, обеспеченного в данной заявке, чтобы удовлетворить требования к фотографированию пользователя для изображения. Как правило, независимо от того, включает ли в себя мобильный терминал только одну камеру или множество камер, посредством фотографирования можно получить множество изображений, при этом параметры экспозиции, соответствующие множеству изображений, могут быть одинаковыми, а параметры экспозиции включают фокус, время экспозиции и чувствительность.[0062] Thus, a plurality of images captured by the cameras in the camera module 110 are displayed on the display screen 120 after being processed using the method provided in this application to satisfy the user's photographing requirements for the image. In general, regardless of whether the mobile terminal only includes one camera or a plurality of cameras, a plurality of images can be acquired by photographing, and the exposure parameters corresponding to the plurality of images can be the same, and the exposure parameters include focus, exposure time, and sensitivity. .

[0063] Способ обработки изображения, представленный в данной заявке, описан со ссылкой на фиг. 3 по фиг. 11. Способ может быть применен к упомянутому выше мобильному терминалу 100.[0063] The image processing method presented in this application is described with reference to FIG. 3 in FIG. 11. The method can be applied to the above mobile terminal 100.

[0064] Этап S1: В ответ на обнаруженную операцию фотографирования одна или несколько камер захватывают множество изображений, причем каждое изображение соответствует различному целевому полю зрения.[0064] Step S1: In response to the detected photographing operation, one or more cameras capture a plurality of images, each image corresponding to a different target field of view.

[0065] Необязательно, перед этапом S1 мобильный терминал может отображать текущий рабочий интерфейс для пользователя, используя отображение на основе обнаруженной инструкции запуска камеры, введенной пользователем. В конкретной реализации пользователь может щелкнуть значок, соответствующий приложению камеры на экране дисплея, чтобы запустить камеру для фотографирования. Соответственно, после запуска камеры мобильного терминала пользователь может просмотреть на интерфейсе дисплея мобильного терминала изображение, полученное камерой в режиме реального времени.[0065] Optionally, before step S1, the mobile terminal may display the current operating interface to the user using display based on the detected camera start instruction entered by the user. In a specific implementation, the user may click the icon corresponding to the camera application on the display screen to launch the camera for taking pictures. Accordingly, after starting the camera of the mobile terminal, the user can view the image captured by the camera in real time on the display interface of the mobile terminal.

[0066] Следует понимать, что для запуска приложения путем щелчка по значку пользователь может щелкнуть или дважды щелкнуть по значку или управлять значком другим образом. Это не ограничено в этом варианте осуществления настоящей заявки.[0066] It should be understood that in order to launch an application by clicking on an icon, the user may click or double-click on the icon or manipulate the icon in other ways. This is not limited in this embodiment of the present application.

[0067] В возможной реализации после запуска камеры отображается интерфейс дисплея, показанный на фиг. 3 можно увидеть. Ссылаясь на фиг. 3, интерфейс 300 дисплея мобильного терминала включает в себя рабочую область 310 фотографирования, область 320 выбора режима фотографирования, область 330 предварительного просмотра изображения и область 340 установки параметров режима. Область 320 выбора режима фотографирования включает в себя множество опций 321 режима фотографирования, например, большую апертуру, ночную сцену, фото, мульти-FOV (multi-FOV), видео и профессиональный режим. Рабочая область 310 фотографирования включает в себя кнопку 311 фотографирования и кнопку 312 переключения камеры. Следует отметить, что мобильный терминал с одной камерой не имеет функции переключения камер и, следовательно, не имеет кнопки 312 переключения камер. Когда мобильный терминал включает в себя множество камер, и камеры расположены с обеих сторон мобильного терминала, мобильный терминал имеет функцию переключения камер и может включать в себя кнопку 312 переключения камер.[0067] In an exemplary implementation, after starting the camera, the display interface shown in FIG. 3 can be seen. Referring to FIG. 3, the mobile terminal display interface 300 includes a photographing work area 310, a photographing mode selection region 320, an image preview region 330, and a mode setting region 340. The photograph mode selection area 320 includes a plurality of photograph mode options 321, such as large aperture, night scene, photo, multi-FOV (multi-FOV), video, and professional mode. The photographing workspace 310 includes a photographing button 311 and a camera switching button 312 . It should be noted that a single camera mobile terminal does not have a camera switching function and therefore does not have a camera switching button 312 . When the mobile terminal includes a plurality of cameras, and the cameras are located on both sides of the mobile terminal, the mobile terminal has a camera switching function and may include a camera switching button 312.

[0068] В частности, если мобильный терминал включает в себя множество камер, и камеры расположены с двух сторон мобильного терминала, текущие камеры могут быть выбраны нажатием кнопки 312 переключения камер в рабочей области 310 фотографирования, то есть фронтальные камеры, или тыловые камеры могут быть выбраны. В выбранных на данный момент камерах, если по меньшей мере одна камера имеет функцию фотографирования мульти-FOV, опция мульти-FOV появляется в опциях 321 в области 320 выбора режима фотографирования. Если мобильный терминал включает в себя только одну камеру, в этом случае нет необходимости переключать камеру. Если текущая камера поддерживает функцию фотографирования мульти-FOV, опция мульти-FOV появляется в опциях 321 в области 320 выбора режима фотографирования; в противном случае опция мульти-FOV не отображается. После щелчка по опции FOV в области 340 настройки параметров режима появляется соответствующая опция 341 параметра режима, такая как вспышка, опция комбинации FOV и некоторые другие опции параметра экспозиции. После щелчка по опции комбинирования FOV в опции 341 параметра режима область 3410 опций комбинирования FOV отображается в текущем интерфейсе для выбора пользователем, как показано на фиг. 4. Пользователь может выбирать опции в области 3410 опций комбинации FOV, чтобы определить требуемую в настоящее время комбинацию FOV. Выбранная опция может быть представлена таким образом, как галочка или изменение цвета. В данном варианте осуществления это не ограничено.[0068] In particular, if the mobile terminal includes a plurality of cameras, and the cameras are located on two sides of the mobile terminal, the current cameras can be selected by pressing the camera switching button 312 in the photography work area 310, that is, the front cameras, or the rear cameras can be selected. In the currently selected cameras, if at least one camera has a multi-FOV photographing function, the multi-FOV option appears in options 321 in the photographing mode selection area 320. If the mobile terminal includes only one camera, then there is no need to switch the camera. If the current camera supports the multi-FOV photographing function, the multi-FOV option appears in the options 321 in the photographing mode selection area 320; otherwise, the multi-FOV option is not displayed. After clicking on the FOV option in the mode parameter setting area 340, the corresponding mode parameter option 341, such as flash, FOV combination option, and some other exposure parameter options, appears. After clicking the FOV combination option in the mode parameter option 341, the FOV combination option area 3410 is displayed in the current interface for selection by the user, as shown in FIG. 4. The user may select options in the FOV combination options area 3410 to determine the currently desired FOV combination. The selected option can be represented as a check mark or a color change. In this embodiment, this is not limited.

[0069] Следует отметить, что после переключения камеры текущий интерфейс предварительного просмотра фотографирования может быть получен с использованием переключенной камеры, и соответствующий интерфейс отображения выбранного поля зрения также ассоциативно связан с переключенной камерой. Например, основная камера из фронтальных камер захватывает и отображает картинку предварительного просмотра фотографирования. После переключения камеры основная камера в тыловых камерах захватывает и отображает картинку предварительного просмотра фотографирования. Таким образом, переключение камер может быть удобно выполнено, и пользователь может случайным образом синтезировать изображение, захваченное фронтальными камерами, или изображение, захваченное тыловыми камерами, тем самым улучшая разнообразие выбора и удобство для пользователя.[0069] It should be noted that after switching the camera, the current photograph preview interface can be obtained using the switched camera, and the corresponding display interface of the selected field of view is also associated with the switched camera. For example, the main camera of the front-facing cameras captures and displays a photo preview image. After switching the camera, the main camera in the rear cameras captures and displays the photo preview picture. Thus, camera switching can be conveniently performed, and the user can randomly synthesize an image captured by the front cameras or an image captured by the rear cameras, thereby improving selection variety and user convenience.

[0070] В конкретной реализации в качестве примера используется мобильный терминал с одной камерой. Фиг. 5 показывает форму представления области 3410 опций комбинирования FOV в случае одной камеры. Область 3410 опций комбинирования FOV включает в себя одно или более окон 3410a опций и опций 3410b FOV. Пользователь может щелкнуть одно или несколько окон опций, чтобы определить текущую комбинацию FOV. Каждая опция FOV соответствует коэффициенту масштабирования, например, 0,6X, 1X, 2X, 4X, 8X и 16X. Опция FOV связана с возможностью масштабирования камеры. Как показано на фиг. 5 отмечены окна опций 1,0X, 4,0X и 8,0X, что означает, что пользователь выбирает три коэффициента масштабирования: 1,0X, 4,0X и 8,0X. На фиг. 6 показана форма представления области 3410 опций комбинирования FOV в случае трех камер. Область 3410 опций комбинирования FOV включает в себя области 3411 опций подкамер, и каждая область 3411 опций подкамер включает в себя окно 3410a опций и опцию 3410b FOV. Каждая область 3411 опций подкамеры соответствует одной камере на мобильном терминале. Когда выбрана опция FOV, только одна опция может быть выбрана в каждой области 3411 опций подкамеры, так что каждая камера получает текущий коэффициент масштабирования, и каждая камера захватывает изображение на основе текущего установленного коэффициента масштабирования.[0070] In a specific implementation, a mobile terminal with a single camera is used as an example. Fig. 5 shows a presentation form of the FOV combination option area 3410 in the case of a single camera. The FOV combination options area 3410 includes one or more option windows 3410a and FOV options 3410b. The user can click one or more option boxes to determine the current FOV combination. Each FOV option corresponds to a zoom factor such as 0.6X, 1X, 2X, 4X, 8X, and 16X. The FOV option is related to the ability to zoom the camera. As shown in FIG. 5, the option boxes 1.0X, 4.0X, and 8.0X are marked, which means that the user selects three scaling factors: 1.0X, 4.0X, and 8.0X. In FIG. 6 shows a presentation form of the FOV combination option area 3410 in the case of three cameras. The FOV combination option area 3410 includes sub-camera option areas 3411, and each sub-camera option area 3411 includes an options window 3410a and a FOV option 3410b. Each sub-camera option area 3411 corresponds to one camera on the mobile terminal. When the FOV option is selected, only one option can be selected in each sub-camera option area 3411 so that each camera receives the current zoom factor and each camera captures an image based on the currently set zoom factor.

[0071] Следует отметить, что на интерфейсах дисплея, используемых для выбора поля зрения, показанных на фиг. 5 и фиг. 6, для камеры, соответствующей текущей картинке предварительного просмотра, опции поля зрения камеры могут отображаться заметным образом, например, быть жирным, выделенным или выбранным так, чтобы рекомендовать пользователю, опции поля зрения, соответствующие камере. Опции поля зрения одной и той же камеры могут отображаться одинаковым образом, например, с использованием одного и того же цвета и/или одного и того же шрифта. Кроме того, выбранные опции поля зрения всех камер на одной и той же стороне мобильного терминала также могут отображаться одинаковым образом, например, с использованием одного и того же цвета и/или одного и того же шрифта. Кроме того, в отображаемом интерфейсе дисплея, используемом для выбора поля зрения, может быть рекомендованная по умолчанию комбинация полей зрения, и эта комбинация может отображаться заметным образом, например, быть жирным, выделенным или выбранным. Используя описанный выше способ, пользователь может более удобно и быстро выбирать комбинацию полей зрения, тем самым повышая эффективность фотографирования.[0071] It should be noted that the display interfaces used to select the field of view shown in FIG. 5 and FIG. 6, for a camera corresponding to the current preview picture, the camera's field of view options may be displayed prominently, such as being bold, highlighted, or selected to suggest to the user, the field of view options corresponding to the camera. The field of view options of the same camera may be displayed in the same manner, eg using the same color and/or the same font. In addition, the selected field of view options of all cameras on the same side of the mobile terminal can also be displayed in the same way, eg using the same color and/or the same font. In addition, the rendered display interface used to select the field of view may have a default recommended combination of fields of view, and this combination may be displayed in a conspicuous manner, such as being bold, highlighted, or selected. By using the method described above, the user can more conveniently and quickly select a combination of fields of view, thereby improving the photographing efficiency.

[0072] Следует понимать, что каждая область 3411 опций подкамеры может соответствовать камере с масштабированием или может соответствовать камере с фиксированным фокусом. Если камера является зум-камерой, коэффициент масштабирования в опции FOV является коэффициентом оптического масштабирования; или, если камера является камерой с фиксированным фокусом, коэффициент масштабирования в опции FOV является коэффициентом цифрового масштабирования.[0072] It should be understood that each sub-camera option area 3411 may correspond to a zoom camera, or may correspond to a fixed focus camera. If the camera is a zoom camera, the zoom factor in the FOV option is the optical zoom factor; or, if the camera is a fixed focus camera, the zoom factor in the FOV option is the digital zoom factor.

[0073] После того, как пользователь выбирает комбинацию FOV, пользователь может снова щелкнуть опцию комбинации FOV в опции 341 параметра режима или может щелкнуть в любом месте экрана, чтобы выйти из состояния выбора текущей опции комбинации FOV; или кнопка подтверждения устанавливается в области 3410 опций комбинации FOV, чтобы выйти из состояния выбора текущей опции комбинации FOV после того, как пользователь щелкнет кнопку подтверждения. После выхода из состояния выбора текущей опции комбинации FOV, опция комбинации FOV сохраняется в системе, и отображается интерфейс, используемый для фотографирования в режиме мульти-FOV, показанный на фиг. 3.[0073] After the user selects the FOV combination, the user may click the FOV combination option in the mode parameter option 341 again, or may click anywhere on the screen to exit the selection state of the current FOV combination option; or a confirmation button is set in the FOV combination option area 3410 to exit the current FOV combination option selection state after the user clicks the confirmation button. After exiting the selection state of the current FOV combination option, the FOV combination option is stored in the system, and the interface used for multi-FOV photography shown in FIG. 3.

[0074] В конкретной реализации, если мобильный терминал включает в себя множество камер, например, мобильный терминал может включать в себя две камеры или мобильный терминал может включать в себя три камеры. Используя мобильный терминал с тремя камерами в качестве примера, если три камеры мобильного терминала находятся на одной стороне, мобильный терминал может включать в себя широкий угол (например, фокусное расстояние широкого угла составляет 16 мм, а фокусное расстояние можно изменять с помощью цифрового зума), стандартную (например, стандартное фокусное расстояние равно 48 мм, а фокусное расстояние можно изменить с помощью цифрового зума) и длиннофокусную (фокусное расстояние большого фокусное расстояние составляет 160 мм, а фокусное расстояние можно изменить с помощью цифрового зума) камеры. Во время фотографирования три камеры захватывают одно изображение одновременно. Следовательно, мобильный терминал с тремя камерами на одной стороне может одновременно получать три изображения в режиме мульти-FOV: широкоугольное изображение, стандартное изображение и длиннофокусное изображение. Каждое изображение соответствует соответствующей камере, то есть соответствует текущему установленному FOV каждой камеры.[0074] In a specific implementation, if the mobile terminal includes a plurality of cameras, for example, the mobile terminal may include two cameras or the mobile terminal may include three cameras. Using a mobile terminal with three cameras as an example, if the three cameras of the mobile terminal are on the same side, the mobile terminal may include a wide angle (for example, the focal length of the wide angle is 16mm, and the focal length can be changed by digital zoom), standard (for example, the standard focal length is 48 mm, and the focal length can be changed using the digital zoom) and telephoto (the focal length of the large focal length is 160 mm, and the focal length can be changed using the digital zoom) cameras. During photography, three cameras capture the same image at the same time. Therefore, a mobile terminal with three cameras on one side can simultaneously acquire three multi-FOV images: a wide angle image, a standard image, and a long focus image. Each image corresponds to the corresponding camera, i.e. corresponds to the currently set FOV of each camera.

[0075] Следует отметить, что, когда мобильный терминал выполняет фотографирование в режиме мульти-FOV с помощью одной камеры, показанной на фиг. 5, поскольку, когда одна камера выполняет фотографирование, последовательно фотографируется множество изображений, необходимо гарантировать, что множество изображений, сфотографированных в режиме мульти-FOV, будут сфотографированы на основе одних и тех же параметров экспозиции. Однако для фотографирования в режиме FOV с помощью множества камер, показанных на фиг. 6, поскольку множество камер выполняет фотографирование одновременно, параметры экспозиции, соответствующие изображениям, сфотографированным каждой камерой, одинаковы, причем параметры экспозиции включают в себя фокус, время экспозиции и чувствительность.[0075] It should be noted that when the mobile terminal performs multi-FOV photography with one camera shown in FIG. 5, since a plurality of images are sequentially photographed when one camera takes a photograph, it is necessary to ensure that a plurality of images photographed in the multi-FOV mode are photographed based on the same exposure parameters. However, for FOV photography with the plurality of cameras shown in FIG. 6, since a plurality of cameras take photographs at the same time, the exposure parameters corresponding to the images photographed by each camera are the same, and the exposure parameters include focus, exposure time, and sensitivity.

[0076] Необязательно, на этапе s1, после того как пользователь запускает камеру, операция пользователя может быть дополнительно обнаружена, и после того, как будет обнаружена инструкция пользователя по фотографированию (например, пользователь нажимает кнопку 311 фотографирования в рабочей области 310 фотографирования на интерфейс дисплея 300), камера может быть инструктирована захватить изображение. Инструкция пользователя по фотографированию может быть выполнена путем нажатия кнопки фотографирования на рабочем интерфейсе или может быть выполнена путем длительного нажатия или другим образом, который не ограничен в этом варианте осуществления.[0076] Optionally, in step s1, after the user starts the camera, the user's operation can be further detected, and after the user's photographing instruction is detected (for example, the user presses the photographing button 311 in the photographing workspace 310 on the display interface 300), the camera can be instructed to capture an image. The user instruction to take a photo may be executed by pressing the photograph button on the operation interface, or may be executed by long pressing or in another manner which is not limited in this embodiment.

[0077] Этап S2: Сортировка изображений по целевому полю зрения и последовательное наложение каждого изображения на основе расположения изображений, чтобы получить первое изображение.[0077] Step S2: Sorting the images by the target field of view and successively overlaying each image based on the position of the images to obtain the first image.

[0078] В частности, после получения множества изображений с разными FOV сортировка может быть выполнена в порядке убывания или возрастания значений FOV, чтобы получить упорядоченные изображения. Затем упорядоченные изображения последовательно накладываются друг на друга для получения синтезированного изображения, то есть первого изображения. Наложение выполняется на основе приоритета мелких деталей, то есть изображение с более мелкими деталями обычно накладывается на изображение с менее мелкими деталями.[0078] In particular, after obtaining a plurality of images with different FOVs, sorting can be performed in descending or ascending order of FOV values to obtain ordered images. The ordered images are then sequentially superimposed on each other to obtain a synthesized image, i.e. the first image. The overlay is based on fine detail priority, meaning an image with finer detail is usually superimposed on an image with less fine detail.

[0079] В возможной реализации изображение, соответствующее наименьшему полю зрения, остается неизменным, а изображения последовательно накладываются друг на друга в порядке возрастания полей зрения для получения синтезированного изображения. В процессе сортировки последовательно получают, в порядке возрастания полей зрения, коэффициент поля зрения текущего изображения для изображения, соответствующему наименьшему полю зрения, и текущее изображение увеличивается в масштабе на основе коэффициента поля зрения для получения изображения в увеличенном масштабе; и центральная точка изображения, соответствующая наименьшему полю зрения, и центральная точка изображения в увеличенном масштабе совмещаются, а затем два изображения накладываются друг на друга для получения текущего промежуточного синтезированного изображения, причем изображение, соответствующее наименьшему полю зрения в накладывающейся части накладывается на изображение в увеличенном масштабе; и следующее изображение в увеличенном масштабе и текущее промежуточное синтезированное изображение накладываются для создания следующего промежуточного синтезированного изображения, причем текущее промежуточное синтезированное изображение в накладывающейся части накладывается на следующее увеличенное изображение до тех пор, пока все изображения не будут наложены друг на друга для получения синтезированного изображения.[0079] In a possible implementation, the image corresponding to the smallest field of view remains unchanged, and the images are sequentially superimposed on each other in order of increasing fields of view to obtain a synthesized image. The sorting process sequentially obtains, in order of increasing fields of view, a current image field ratio of the image corresponding to the smallest field of view, and the current image is scaled up based on the field of view ratio to obtain an enlarged image; and the center point of the image corresponding to the smallest field of view and the center point of the zoomed image are combined, and then the two images are superimposed on each other to obtain the current intermediate synthesized image, and the image corresponding to the smallest field of view in the overlapping part is superimposed on the zoomed image ; and the next zoomed image and the current intermediate synthesized image are superimposed to create the next intermediate synthesized image, and the current intermediate synthesized image in the overlapping portion is superimposed on the next enlarged image until all images are superimposed on each other to obtain a synthesized image.

[0080] В частности, изображение, соответствующее наименьшему FOV, может быть найдено во всех изображениях и названо Fmin, а изображение Fmin остается неизменным. Затем на основе последовательности изображений находят следующее изображение F1, большее, чем Fmin, и вычисляют коэффициент F1/Fmin, и F1 увеличивается в масштабе на основе этого коэффициента посредством повышающей дискретизации с использованием такого метода, как линейная интерполяция или интерполяция B-сплайна. Например, если предположить, что коэффициент F1/Fmin равен 2, изображение F1 увеличивается в масштабе в 2 раза посредством повышающей дискретизации, так что поле зрения изображения F1 является одинаковым с полем зрения изображения Fmin. Затем изображение F1 и изображение Fmin накладываются друг на друга для получения промежуточного синтезированного изображения X1, причем процесс наложения выполняется на основе приоритета мелких деталей. То есть, когда изображение F1 и изображение Fmin накладываются друг на друга, поскольку изображение Fmin более четкое, чем изображение F1, изображение Fmin накладывается на изображение F1. После завершения наложения изображения F1 накладывается следующее изображение; то есть находят следующее изображение F2, большее, чем F1, и вычисляют коэффициент F2/Fmin. Аналогично F2 увеличивается в масштабе на основе коэффициента посредством повышающей дискретизации с использованием такого метода, как линейная интерполяция или интерполяция B-сплайна. Затем изображение F2 и изображение X1 накладываются друг на друга. Процесс наложения также выполняется на основе приоритета мелких деталей. Поскольку изображение X1 мельче, чем F2, изображение X1 накладывают на изображение F2 до промежуточного синтезированного изображения X2, а затем находят следующее изображение для наложения, пока все изображения не будут совмещены.[0080] In particular, the image corresponding to the smallest FOV can be found in all images and named Fmin, and the Fmin image remains unchanged. Then, based on the sequence of images, the next image F1 larger than Fmin is found, and the coefficient F1/Fmin is calculated, and F1 is scaled up based on this coefficient by upsampling using a method such as linear interpolation or B-spline interpolation. For example, assuming that the factor F1/Fmin is 2, the image F1 is scaled up by 2 times by upsampling so that the field of view of the image F1 is the same as the field of view of the image Fmin. Then, the image F1 and the image Fmin are superimposed on each other to obtain an intermediate synthesized image X1, and the superposition process is performed based on the priority of fine details. That is, when the F1 image and the Fmin image are superimposed on each other, since the Fmin image is sharper than the F1 image, the Fmin image is superimposed on the F1 image. After the F1 image overlay is completed, the next image is overlaid; that is, the next image F2 larger than F1 is found and the factor F2/Fmin is calculated. Similarly, F2 is scaled up based on a factor by upsampling using a technique such as linear interpolation or B-spline interpolation. Then image F2 and image X1 are superimposed on each other. The overlay process is also performed based on fine detail priority. Because image X1 is smaller than F2, image X1 is superimposed on image F2 until an intermediate synthesized image X2 is found, and then the next image to overlay is found until all images are aligned.

[0081] Следует понимать, что в процессе синтеза все изображения, за исключением изображения Fmin, могут быть сначала увеличены в масштабе посредством повышающей дискретизации для получения соответствующего изображения в увеличенном масштабе. Затем наложение может выполняться последовательно, начиная с изображения в увеличенном масштабе изображения, соответствующего наибольшему FOV. Например, если предположить, что Fmin является первым изображением, а изображение, соответствующее наибольшему FOV, является последним изображением, сначала изображение в увеличенном масштабе изображения, предшествующего изображению, соответствующему наибольшему FOV (то есть изображение в увеличенном масштабе предпоследнего изображения) наслаивается на изображение в увеличенном масштабе последнего изображения, а затем на изображение в увеличенном масштабе третьего с конца изображения накладывается изображение в увеличенном масштабе предпоследнего изображения, и наложение продолжается до тех пор, пока первое изображение Fmin не наложится на изображение в увеличенном масштабе второго изображения, то есть накладываются все изображения. Окончательный эффект синтеза показан на фиг. 7.[0081] It should be understood that during the synthesis process, all images except for the Fmin image may first be upscaled by upsampling to obtain a corresponding upscaled image. The overlay may then be performed sequentially, starting with the zoomed-in image corresponding to the largest FOV. For example, assuming that Fmin is the first image and the image corresponding to the largest FOV is the last image, first the zoomed-in image of the image preceding the image corresponding to the largest FOV (i.e., the zoomed-in image of the penultimate image) is layered on the zoomed-in image. the zoomed-in image of the last image, and then the zoomed-in image of the penultimate image is superimposed on the zoomed-in image of the third image from the end, and the overlay continues until the first image Fmin is superimposed on the zoomed-in image of the second image, that is, all images are superimposed. The final synthesis effect is shown in Fig. 7.

[0082] Следует понимать, что при обработке изображений повышающая дискретизация (upsampling) означает, что новый элемент вставляется между пикселями на основе исходного изображения с использованием надлежащего алгоритма интерполяции (например, интерполяция ближайшего соседа, билинейная интерполяция и интерполяция среднего), чтобы улучшить разрешение исходного изображения.[0082] It should be understood that in image processing, upsampling means that a new element is inserted between pixels based on the original image using an appropriate interpolation algorithm (e.g., nearest neighbor interpolation, bilinear interpolation, and mean interpolation) to improve the resolution of the original Images.

[0083] Со ссылкой на фиг. 7 синтез трех изображений используется в качестве примера для описания. После того, как три изображения отсортированы по полям зрения изображений, получаются следующие изображения: изображение 710, соответствующее самому большому полю зрения, с соответствующим коэффициентом масштабирования 4Х; изображение 720, соответствующее меньшему полю зрения, с соответствующим коэффициентом масштабирования 2X; и изображение 730, соответствующее наименьшему полю зрения, с соответствующим коэффициентом масштабирования 1X. Затем изображение 730, соответствующее наименьшему полю зрения, остается неизменным, и коэффициент S1 FOV между изображением 710 и изображением 720 получается путем вычисления, то есть S1=2, и коэффициент S2 FOV между изображением 710 и изображение 730 получается путем вычисления, то есть S2=4. Изображение 720 увеличивается в масштабе на основе S1, то есть изображение 720 увеличивается в масштабе в 2 раза (где увеличение масштаба представляет собой масштабирование на увеличение) для получения изображения 721. Изображение 721 объединяется с изображением 730. В процессе объединения изображение 730 накладывается на изображение 721 посредством выравнивания на основе центральных точек двух изображений; то есть центральная точка изображения 730 выравнивается с центральной точкой изображения 721, а затем выполняется наложение, чтобы получить промежуточное синтезированное изображение 731. Затем изображение 710 увеличивается в масштабе на основе S2, то есть изображение 710 увеличивается в масштабе в 4 раза (где увеличение масштаба представляет собой масштабирование на увеличение) для получения изображения 711. Изображение 711 объединяется с изображением 731. В процессе объединения изображение 731 накладывается на изображение 711 посредством выравнивания на основе центральных точек двух изображений; то есть центральная точка изображения 731 выравнивается с центральной точкой изображения 711, а затем выполняется наложение, чтобы получить окончательное синтезированное изображение 740. В качестве примера использованы две фотографии размером 3000*3000 пикселей. Одна из двух фотографий имеет коэффициент масштабирования 2X и соответствующее поле зрения 0,5, а другая фотография имеет коэффициент масштабирования 4X и соответствующее FOV 0,25. Фотография 4X может быть сохранена без изменений, а разрешение фотографии 2X увеличено в 2 раза по сравнению с исходным разрешением за счет повышающей дискретизации, то есть фотография 2X включает в себя 6000*6000 пикселей. Затем центральная точка фотографии 2X и центральная точка центра фотографии 4X выравниваются, а затем два изображения накладываются друг на друга, чтобы получить фотографию, включающую в себя 6000*6000 пикселей. После вышеописанных операций фотография увеличивается в масштабе, и из двух фотографий выбирается фотография с наибольшим FOV. Кроме того, в диапазоне пикселей 3000*3000 центральной области, поскольку на двух изображениях выбирается фотография с меньшим FOV, диапазон пикселей 3000*3000 центральной области не приводит к более низкому разрешению после того, как фотография увеличена в масштабе. Таким образом, синтезированная фотография может соответствовать требованиям FOV и мелких деталей.[0083] With reference to FIG. 7, three-image synthesis is used as an example for description. After the three images are sorted into image fields, the following images are obtained: image 710 corresponding to the largest field of view, with the corresponding 4X zoom factor; an image 720 corresponding to a smaller field of view, with a corresponding 2X zoom factor; and an image 730 corresponding to the smallest field of view with the corresponding 1X zoom factor. Then, the image 730 corresponding to the smallest field of view remains unchanged, and the FOV ratio S1 between image 710 and image 720 is obtained by calculation, that is, S1=2, and the FOV ratio S2 between image 710 and image 730 is obtained by calculation, that is, S2= 4. Image 720 is upscaled based on S1, i.e. image 720 is upscaled by 2 times (where upscaling is upscaling) to obtain image 721. Image 721 is combined with image 730. In the merging process, image 730 is superimposed on image 721 by aligning based on the center points of the two images; i.e., the center point of image 730 is aligned with the center point of image 721, and then overlay is performed to obtain an intermediate synthesized image 731. Image 710 is then upscaled based on S2, i.e., image 710 is upscaled by a factor of 4 (where upscaling represents image 711 is combined with image 731. In the merging process, image 731 is superimposed on image 711 by alignment based on the center points of the two images; that is, the center point of the image 731 is aligned with the center point of the image 711, and then an overlay is performed to obtain the final synthesized image 740. Two photographs of 3000*3000 pixels are used as an example. One of the two photos has a 2X zoom factor and a corresponding FOV of 0.5, while the other photo has a 4X zoom factor and a corresponding FOV of 0.25. The 4X photo can be saved as is, and the resolution of the 2X photo is upsampled to 2 times the original resolution, that is, the 2X photo includes 6000*6000 pixels. Then, the center point of the 2X photo and the center point of the center of the 4X photo are aligned, and then the two images are superimposed on each other to obtain a photo including 6000*6000 pixels. After the above operations, the photo is zoomed in, and the photo with the largest FOV is selected from the two photos. In addition, in the 3000*3000 pixel range of the center area, since a photo with a smaller FOV is selected in two images, the 3000*3000 pixel range of the center area does not result in a lower resolution after the photo is zoomed in. In this way, the synthesized photo can meet the requirements of FOV and fine details.

[0084] Следует отметить, что в процессе наложения центральные точки двух изображений, подлежащих синтезу, могут быть выравнены до того, как два изображения будут синтезированы, и выравнивание может быть выполнено с использованием метода жесткой регистрации, например, метод жесткой регистрации на основе взаимной информации или метод регистрации на основе признаков.[0084] It should be noted that in the overlay process, the center points of the two images to be synthesized can be aligned before the two images are synthesized, and the alignment can be performed using a hard registration method, such as a mutual information based hard registration method. or feature-based registration method.

[0085] В возможной реализации изображение, соответствующее наибольшему полю зрения, остается неизменным, а изображения последовательно накладываются друг на друга в порядке убывания полей зрения для получения синтезированного изображения. В процессе сортировки коэффициент поля зрения изображения, соответствующего наибольшему полю зрения, к текущему изображению последовательно получают в порядке убывания полей зрения, и текущее изображение уменьшается в масштабе на основе коэффициента поля зрения для получения изображения в уменьшенном масштабе; и центральная точка изображения, соответствующая наименьшему полю зрения, и центральная точка изображения в уменьшенном масштабе выравниваются, а затем два изображения накладываются друг на друга для получения текущего промежуточного синтезированного изображения, причем изображение в увеличенном масштабе в наслаивающейся части наслаивается на изображение, соответствующее наибольшему полю зрения; и следующее изображение в уменьшенном масштабе и текущее промежуточное синтезированное изображение накладываются для создания следующего промежуточного синтезированного изображения, причем следующее изображение в уменьшенном масштабе в накладывающейся части накладывается на текущее промежуточное синтезированное изображение до тех пор, пока все изображения не будут наложены друг на друга для получения синтезированного изображения.[0085] In a possible implementation, the image corresponding to the largest field of view remains unchanged, and the images are sequentially superimposed on each other in descending order of the fields of view to obtain a synthesized image. In the sorting process, the field of view coefficient of the image corresponding to the largest field of view to the current image is sequentially obtained in descending order of the fields of view, and the current image is scaled down based on the coefficient of the field of view to obtain a reduced image; and the center point of the image corresponding to the smallest field of view and the center point of the zoomed out image are aligned, and then the two images are superimposed on each other to obtain the current intermediate synthesized image, with the zoomed image in the overlay portion being superimposed on the image corresponding to the largest field of view ; and the next scaled-down image and the current intermediate synthesized image are superimposed to create the next intermediate synthesized image, wherein the next scaled-down image in the overlapping portion is superimposed on the current intermediate synthesized image until all images are superimposed on each other to obtain a synthesized Images.

[0086] В частности, изображение, соответствующее наибольшему FOV, может быть найдено на всех изображениях и названо Fmax, а изображение Fmax остается неизменным. Затем на основе последовательности изображений находят следующее изображение F1, меньшее, чем Fmax, и вычисляют коэффициент Fmax/F1, и F1 уменьшается в масштабе на основе коэффициента путем понижающей дискретизации с использованием такого метода, как линейная интерполяция или интерполяция B-сплайна. Например, если предположить, что коэффициент Fmax/F1 равно 2, изображение F1 уменьшается в масштабе в 2 раза за счет понижающей дискретизации, так что поле зрения изображения F1 совпадает с полем зрения изображения Fmax. Затем изображение F1 и изображение Fmax накладываются для получения промежуточного синтезированного изображения X1, причем процесс наложения выполняется на основе приоритета приоритета мелких деталей. То есть, когда изображение F1 и изображение Fmax накладываются друг на друга, поскольку изображение F1 более четкое, чем изображение Fmax, изображение F1 накладывается на изображение Fmax. После завершения наложения изображения F1 накладывается следующее изображение; то есть находят следующее изображение F2, меньшее, чем F1, и вычисляют коэффициент Fmax/F2. Точно так же F2 уменьшается в масштабе на основе коэффициента посредством понижающей дискретизации с использованием такого метода, как линейная интерполяция или интерполяция B-сплайна. Затем изображение F2 и изображение X1 накладываются друг на друга. Процесс наложения также выполняется на основе приоритета мелких деталей. Поскольку изображение F2 мельче, чем X1, изображение F2 накладывается на изображение X1 до промежуточного синтезированного изображения X2, а затем находят следующее изображение для наложения, пока все изображения не будут совмещены.[0086] In particular, the image corresponding to the largest FOV can be found in all images and named Fmax, and the Fmax image remains unchanged. Then, based on the sequence of images, the next image F1 smaller than Fmax is found, and the coefficient Fmax/F1 is calculated, and F1 is scaled down based on the coefficient by downsampling using a method such as linear interpolation or B-spline interpolation. For example, assuming that the factor Fmax/F1 is 2, the image F1 is scaled down by a factor of 2 by downsampling so that the field of view of the image F1 is the same as the field of view of the image Fmax. Then, the F1 image and the Fmax image are overlaid to obtain an intermediate synthesized image X1, the overlay process being performed based on fine detail priority priority. That is, when the F1 image and the Fmax image are superimposed, since the F1 image is sharper than the Fmax image, the F1 image is superimposed on the Fmax image. After the F1 image overlay is completed, the next image is overlaid; that is, the next image F2 smaller than F1 is found and the factor Fmax/F2 is calculated. Similarly, F2 is scaled down based on a factor by downsampling using a technique such as linear interpolation or B-spline interpolation. Then image F2 and image X1 are superimposed on each other. The overlay process is also performed based on fine detail priority. Since image F2 is smaller than X1, image F2 is superimposed on image X1 until an intermediate synthesized image X2, and then the next image to overlay is found until all images are aligned.

[0087] Следует понимать, что в процессе синтеза все изображения, кроме изображения Fmax, могут быть сначала уменьшены в масштабе посредством понижающей дискретизации для получения соответствующего изображения в уменьшенном масштабе. Затем, начиная с изображения F1, изображение в уменьшенном масштабе может быть последовательно наслоено на предыдущее изображение в уменьшенном масштабе. Например, изображение в уменьшенном масштабе изображения F1 сначала наслаивается на изображение в уменьшенном масштабе изображения Fmax, а затем изображение в уменьшенном масштабе изображения F2 накладывается на изображение в уменьшенном масштабе изображения F1 до тех пор, пока все изображения не будут наложены друг на друга. Окончательный эффект синтеза показан на фиг. 8.[0087] It should be understood that during synthesis, all images other than the Fmax image may first be downscaled by downsampling to obtain a corresponding downscaled image. Then, starting from image F1, the down-scaled image can be successively layered on the previous down-scaled image. For example, the zoom image F1 is first layered on the zoom image Fmax, and then the zoom image F2 is superimposed on the zoom image F1 until all the images are superimposed on each other. The final synthesis effect is shown in Fig. 8.

[0088] Следует понимать, что при обработке изображений субдискретизация (subsampling) означает уменьшение размера исходного изображения. Например, для изображения размером M*N выполняется субдискретизация изображения на основе S раз, чтобы получить изображение с разрешением (M/S) * (N/S), где S должно быть общим числом из M и N. Если изображение находится в матричной форме, изображение в окне S*S исходного изображения заменяется пикселем, а значение пикселя представляет собой среднее значение всех пикселей в окне.[0088] It should be understood that in image processing, subsampling means reducing the size of the original image. For example, for an image of size M*N, the image is downsampled based on S times to obtain an image with a resolution of (M/S) * (N/S), where S must be the total number of M and N. If the image is in matrix form , the image in the S*S window of the original image is replaced by a pixel, and the pixel value is the average of all pixels in the window.

[0089] Со ссылкой на фиг. 8 синтез трех изображений используется в качестве примера для описания. После того, как три изображения отсортированы по полям зрения изображений, получаются следующие изображения: изображение 810, соответствующее самому большому полю зрения, с соответствующим коэффициентом масштабирования 4X; изображение 820, соответствующее меньшему полю зрения, с соответствующим коэффициентом масштабирования 2Х; и изображение 830, соответствующее наименьшему полю зрения, с соответствующим коэффициентом масштабирования 1X. Затем изображение 810, соответствующее наибольшему полю зрения, остается неизменным, и коэффициент S1 FOV между изображением 810 и изображением 820 получается путем вычисления, то есть S1=2, и коэффициент S2 FOV между изображением 810 и изображением 830 получается путем вычисления, то есть S2=4. Изображение 820 уменьшается в масштабе на основе S1, то есть изображение 820 уменьшается в масштабе в 2 раза, чтобы получить изображение 821. Изображение 821 объединяется с изображением 810. В процессе объединения изображение 821 накладывается на изображение 810 посредством выравнивания на основе центральных точек двух изображений; то есть центральная точка изображения 810 выравнивается с центральной точкой изображения 821, а затем выполняется наложение, чтобы получить промежуточное синтезированное изображение 811. Затем изображение 830 уменьшается в масштабе на основе S2, то есть изображение 830 уменьшается в масштабе в 4 раза для получения изображения 831. Изображение 831 объединяется с изображением 811. В процессе объединения изображение 831 накладывается на изображение 811 посредством выравнивания на основе центральных точек двух изображений; то есть центральная точка изображения 811 выравнивается с центральной точкой изображения 831, а затем выполняется наложение, чтобы получить окончательное синтезированное изображение 840. Точно так же в качестве примера используются две фотографии, у которых оба пикселя имеют размер 3000*3000. Одна из двух фотографий имеет коэффициент масштабирования 2X, соответствующее поле зрения 0,5, а другая из двух фотографий имеет коэффициент масштабирования 4X и соответствующее поле зрения 0,25. Фото 2X можно сначала оставить без изменений, а разрешение фото 4X уменьшить в 2 раза за счет понижающей дискретизации, то есть фото 4X уменьшить до 1500*1500 пикселей. Затем фотография 2X и фотография 4X выравниваются и накладываются друг на друга, чтобы получить фотографию размером 3000*3000 пикселей, чтобы удовлетворить требования большого сценария и мелких деталей.[0089] With reference to FIG. 8, three-image synthesis is used as an example for description. After the three images are sorted into image fields, the following images are obtained: an image 810 corresponding to the largest field of view, with an appropriate 4X zoom factor; an image 820 corresponding to a smaller field of view, with an appropriate 2X zoom factor; and an image 830 corresponding to the smallest field of view with the corresponding 1X zoom factor. Then, the image 810 corresponding to the largest field of view remains unchanged, and the FOV ratio S1 between image 810 and image 820 is obtained by calculation, that is, S1=2, and the FOV ratio S2 between image 810 and image 830 is obtained by calculation, that is, S2= 4. Image 820 is scaled down based on S1, that is, image 820 is scaled down by a factor of 2 to obtain image 821. Image 821 is merged with image 810. In the merging process, image 821 is superimposed on image 810 by alignment based on the center points of the two images; that is, the center point of image 810 is aligned with the center point of image 821, and then an overlay is performed to obtain an intermediate synthesized image 811. Image 830 is then scaled down based on S2, i.e., image 830 is scaled down by 4 times to obtain image 831. Image 831 is merged with image 811. In the merging process, image 831 is superimposed on image 811 by alignment based on the center points of the two images; i.e., the center point of the image 811 is aligned with the center point of the image 831, and then an overlay is performed to obtain the final synthesized image 840. Similarly, two photographs in which both pixels are 3000*3000 are used as an example. One of the two photos has a 2X zoom factor, corresponding field of view of 0.5, and the other of the two photos has a 4X zoom factor and corresponding field of view of 0.25. The 2X photo can be left unchanged at first, and the resolution of the 4X photo can be reduced by 2 times due to downsampling, that is, the 4X photo can be reduced to 1500 * 1500 pixels. Then the 2X photo and the 4X photo are aligned and superimposed on each other to obtain a 3000*3000 pixel photo to meet the requirements of a large scenario and small details.

[0090] В возможной реализации, если фотографирование выполняется в многокамерном режиме, показанном на фиг. 6, множество изображений может быть получено одновременно, причем каждое изображение соответствует одной камере.[0090] In an exemplary implementation, if photography is performed in the multi-camera mode shown in FIG. 6, multiple images can be acquired at the same time, with each image corresponding to one camera.

[0091] В частности, в многокамерном режиме фотографирования, показанном на фиг. 6, когда пользователь выбирает множество полей зрения, это означает, что пользователь выбирает множество камер, и каждое поле зрения может соответствовать одной камере. Таким образом, когда выполняется фотографирование, исходное захваченное изображение, полученное каждой выбранной камерой, может быть сохранено, а затем исходное захваченное изображение, полученное каждой выбранной камерой, может быть синтезировано, и синтезированное изображение ассоциативно связано с исходным захваченным изображением, захваченным с помощью каждой выбранной камеры. Следовательно, когда масштабирование выполняется впоследствии, может быть вызвано соответствующее исходное захваченное изображение, чтобы удовлетворить требованиям масштабирования и четкости изображения.[0091] In particular, in the multi-camera photography mode shown in FIG. 6, when a user selects a plurality of fields of view, this means that the user selects a plurality of cameras, and each field of view can correspond to one camera. Thus, when photographing is performed, the original captured image acquired by each selected camera can be stored, and then the original captured image obtained by each selected camera can be synthesized, and the synthesized image is associated with the original captured image captured by each selected camera. cameras. Therefore, when scaling is performed subsequently, a corresponding original captured image can be called up to meet the requirements of scaling and image sharpness.

[0092] Следует отметить, что когда фотографирование выполняется в режиме мульти-FOV с использованием множества камер, система камер мобильного терминала может одновременно выводить множество потоков данных различных полей зрения. В качестве примера используем три камеры: одну широкоугольную, одну стандартную и одну длиннофокусную. Синхронизация кадров и синхронизация 3A трех камер обеспечивается системой камер. 3A включает в себя AWB (AWB, Automatic white balance (автоматический баланс белого)), автоматическую экспозицию (AE, Automatic Exposure) и автоматическую фокусировку (AF, Automatic Focus). После того, как пользователь начинает выполнять фотографирование, три камеры могут отдельно собирать данные на основе параметров FOV, установленных тремя камерами, для получения соответствующих потоков данных. Поток данных широкоугольной камеры может соответствовать WData; поток данных стандартной камеры может соответствовать SDdatal; и поток данных длиннофокусной камеры может соответствовать TDdatal. Потоки данных могут быть использованы для генерирования изображений, то есть широкоугольное изображение W1 может быть сгенерировано с использованием потока данных WDatal, стандартное изображение S1 может быть сгенерировано с использованием потока данных SDatal, а широкоугольное изображение T1 может быть сгенерировано с использованием потока данных SDatal TDatal. Кроме того, в процессе сбора данных метаданные, соответствующие каждой камере, могут быть дополнительно получены с использованием системы камер, то есть поток данных WDatal, поток данных SDdatal и поток данных TDatal имеют соответствующие метаданные. Метаданные в основном используются для информации об атрибутах данных и используются для поддержки таких функций, как указание места хранения, исторических данных, поиска ресурсов и файловых записей.[0092] It should be noted that when photography is performed in the multi-FOV mode using a plurality of cameras, the camera system of the mobile terminal can simultaneously output multiple data streams of different fields of view. Let's use three cameras as an example: one wide-angle, one standard and one telephoto. Frame synchronization and 3A synchronization of the three cameras is provided by the camera system. 3A includes AWB (AWB, Automatic white balance (automatic white balance)), automatic exposure (AE, Automatic Exposure) and automatic focus (AF, Automatic Focus). After the user starts taking photographs, the three cameras can separately collect data based on the FOV parameters set by the three cameras to obtain the respective data streams. Wide-angle camera data stream may correspond to WData; standard camera data stream can match SDdata; and the data stream of the telephoto camera can match TDdatal. Data streams can be used to generate images, i.e. a W1 wide-angle image can be generated using a WData1 data stream, a S1 standard image can be generated using an SDatal data stream, and a T1 wide-angle image can be generated using an SDatal TData1 data stream. In addition, in the data collection process, the metadata corresponding to each camera can be further obtained using the camera system, that is, the WDatal data stream, the SDdatal data stream, and the TDatal data stream have corresponding metadata. Metadata is primarily used for information about data attributes and is used to support features such as specifying storage location, historical data, resource retrieval, and file records.

[0093] Кроме того, после получения потока данных WData1, потока данных SDdataK, потока данных TData1 и соответствующих метаданных, операции растяжения и выравнивания могут быть выполнены на изображении W1, изображении S1 и изображении T1 с использованием фокуса как эталон, чтобы получить изображение W2, изображение S2 и изображение T2.[0093] In addition, after obtaining the data stream WData1, the data stream SDdataK, the data stream TData1 and the corresponding metadata, stretching and alignment operations can be performed on the image W1, the image S1 and the image T1 using the focus as a reference to obtain the image W2, image S2 and image T2.

[0094] Кроме того, после получения изображения W2, изображения S2 и изображения T2 могут быть синтезированы три изображения с использованием способов синтеза изображения, показанных на фиг. 7 и фиг. 8, чтобы получить окончательное синтезированное изображение JPEG.[0094] In addition, after image W2, image S2, and image T2 are obtained, three images can be synthesized using the image synthesis methods shown in FIG. 7 and FIG. 8 to get the final synthesized JPEG image.

[0095] Следует отметить, что изображение W2, изображение S2 и изображение T2 являются исходными изображениями; то есть изображение W2, изображение S2 и изображение T2 соответствуют изображениям, которые получены с использованием внутренних параметров камер. Например, собственный угол фотографирования широкоугольной камеры составляет 120 градусов, и после того, как пользователь установил FOV, а текущий угол фотографирования равен 100 градусам, изображения, используемые для синтеза, имеют угол фотографирования 100 градусов. Данные синтезированного изображения JPEG привязываются к данным исходного изображения W2, данным исходного изображения S2 и данным исходного изображения T2 и используются для последующей обработки изображения, например, увеличения масштаба или уменьшения масштаба. На Фиг. 9 показан формат, в котором хранится окончательное синтезированное изображение. Данные широкоугольного изображения (W2), данные стандартного изображения (S2) и данные длиннофокусного изображения (T2) ассоциативно связываются с данными синтезированного изображения JPEG. Когда выполняется предварительный просмотр изображения, могут быть вызваны данные изображения JPEG. Когда выполняется увеличение и уменьшение масштаба, могут вызываться ассоциативно связанные данные широкоугольного изображения (W2), данные стандартного изображения (S2) и данные длиннофокусного изображения (T2), чтобы соответствовать требованиям масштабирования и четкости изображения.[0095] It should be noted that the W2 image, the S2 image, and the T2 image are the original images; that is, the W2 image, the S2 image, and the T2 image correspond to images that are acquired using the internal parameters of the cameras. For example, the native photographing angle of a wide-angle camera is 120 degrees, and after the user sets the FOV and the current photographing angle is 100 degrees, the images used for synthesis have a photographing angle of 100 degrees. The JPEG synthesized image data is linked to the original image data W2, the original image data S2, and the original image data T2, and is used for post-image processing such as upscaling or downscaling. On FIG. 9 shows the format in which the final synthesized image is stored. Wide-angle image data (W2), standard image data (S2), and long-focus image data (T2) are associated with the JPEG synthesized image data. When an image preview is performed, JPEG image data can be called. When zooming in and out is performed, the associated wide-angle image data (W2), standard image data (S2), and long-focus image data (T2) can be called to meet the requirements of image scaling and clarity.

[0096] Этап S3: Отображение первого изображения.[0096] Step S3: Displaying the first image.

[0097] В частности, после того, как все изображения наложены друг на друга, текущее окончательное синтезированное изображение, то есть первое изображение, может быть отображено на экране дисплея. Первое изображение также может храниться в графической библиотеке, чтобы пользователь мог просматривать и выполнять постобработку для получения второго изображения, причем постобработка включает в себя увеличение и уменьшение масштаба.[0097] In particular, after all the images are superimposed on each other, the current final synthesized image, that is, the first image, can be displayed on the display screen. The first image may also be stored in a graphics library so that the user can view and post-process to obtain the second image, the post-processing including zooming in and out.

[0098] В возможной реализации, если изображение синтезируется с использованием способа, показанного на фиг. 9, постобработка может быть выполнена с использованием способов, показанных на фиг. 10 по фиг. 11, а постобработка может включать в себя увеличение и уменьшение масштаба. Пользователь может задать коэффициент увеличения масштаба и коэффициент уменьшения масштаба. Например, коэффициент уменьшения масштаба может находиться в диапазоне от 0,33 до 1, а коэффициент увеличения масштаба может находиться в диапазоне от 1 до 3,33, или коэффициент увеличения масштаба может быть больше 3,33.[0098] In a possible implementation, if an image is synthesized using the method shown in FIG. 9, post-processing may be performed using the methods shown in FIG. 10 in FIG. 11, and post-processing may include zooming in and out. The user can set the zoom ratio and zoom ratio. For example, the zoom factor may be in the range of 0.33 to 1, and the zoom factor may be in the range of 1 to 3.33, or the zoom factor may be greater than 3.33.

[0099] В процессе, в котором пользователь просматривает текущее изображение для предварительного просмотра, если пользователь выполняет операцию масштабирования текущего изображения для предварительного просмотра, в процессор мобильного терминала выдается инструкция по масштабированию изображения, и инструкция включает в себя коэффициент масштабирования. После приема команды масштабирования изображения процессор мобильного терминала может синтезировать исходные изображения на основе коэффициента масштабирования в инструкции так, чтобы сформировать второе изображение и отобразить второе изображение на экране дисплея.[0099] In a process in which the user is viewing the current preview image, if the user performs a zoom operation on the current preview image, an image zoom instruction is issued to the mobile terminal processor, and the instruction includes a zoom factor. Upon receiving the image scaling command, the mobile terminal processor may synthesize original images based on the scaling factor in the instruction so as to generate a second image and display the second image on a display screen.

[00100] Следует отметить, что операция масштабирования, выполняемая пользователем на текущем изображении для предварительного просмотра, также может представлять собой непрерывный динамический рабочий процесс до тех пор, пока текущее изображение для предварительного просмотра не будет увеличено до ожидаемого размера изображения. Следовательно, во всем рабочем процессе масштабирования ряд инструкций по масштабированию изображения может непрерывно выдаваться процессору мобильного терминала, и процессор мобильного терминала определяет текущий коэффициент масштабирования на основе принятой в данный момент инструкции масштабирования изображения. Кроме того, коэффициент увеличения масштаба зависит от параметра аппаратной камеры, то есть коэффициент увеличения масштаба имеет определенный диапазон, и бесконечное увеличение и уменьшение масштаба не могут быть выполнены.[00100] It should be noted that the zoom operation performed by the user on the current preview image may also be a continuous dynamic workflow until the current preview image is enlarged to the expected image size. Therefore, throughout the zoom workflow, a number of image zoom instructions can be continuously issued to the mobile terminal processor, and the mobile terminal processor determines the current zoom factor based on the currently received image zoom instruction. In addition, the zoom ratio depends on the setting of the hardware camera, that is, the zoom ratio has a certain range, and infinite zoom in and out cannot be performed.

[00101] Сценарий уменьшения масштаба изображения описан со ссылкой на фиг. 10. Коэффициент масштабирования, соответствующий данным синтезированного изображения 1010 JPEG, равен 1, коэффициент масштабирования, соответствующий данным широкоугольного изображения 1011, равен 0,3, коэффициент масштабирования, соответствующий данным стандартного изображения 1012, равен 1, и коэффициент масштабирования, соответствующий данным длиннофокусного изображения 1013 равен 4; и все эти четыре изображения имеют разрешение 3000*3000 и коэффициент уменьшения масштаба 0,5.[00101] The zoom out scenario is described with reference to FIG. 10. The scaling factor corresponding to the JPEG synthesized image data 1010 is 1, the scaling factor corresponding to the wide-angle image data 1011 is 0.3, the scaling factor corresponding to the standard image data 1012 is 1, and the scaling factor corresponding to the long-focus image data 1013 is 4; and all these four images have a resolution of 3000*3000 and a zoom factor of 0.5.

[00102] Во-первых, данные широкоугольного изображения 1011 подвергаются повышающей дискретизации, и изображение увеличивается в масштабе до 0,5/0,3 раз (то есть 5/3 раз) от исходного размера, чтобы получить широкоугольное изображение 1011a с повышающей дискретизацией, причем разрешение широкоугольного изображения 1011a с повышенной дискретизацией изменяется на 5000×5000. Затем данные стандартного изображения 1012 подвергаются понижающей дискретизации, и изображение уменьшается в масштабе до 1/0,5 раз (то есть 2 раз) от исходного размера, чтобы получить стандартное изображение 1012a с понижающей дискретизацией, причем разрешение стандартного изображения 1012a с понижающей дискретизацией меняется на 1500*1500. Затем данные длиннофокусного изображения 1013 подвергаются понижающей дискретизации, и изображение уменьшают в масштабе до 4/0,5 раз (то есть 8 раз) от исходного размера для получения длиннофокусного изображения 1013a с понижающей дискретизацией, причем разрешение длиннофокусного изображения 1013a с понижающей дискретизацией изменяется на 375*375. Затем широкоугольное изображение 1011a с повышенной дискретизацией, стандартное изображение 1012a с пониженной дискретизацией и длиннофокусное изображение 1013a с пониженной дискретизацией объединяются для получения синтезированного изображения 1020 в уменьшенном масштабе, и отображается синтезированное изображение 1020 в уменьшенном масштабе.[00102] First, the wide-angle image data 1011 is upsampled, and the image is scaled up to 0.5/0.3 times (that is, 5/3 times) of the original size to obtain the upsampled wide-angle image 1011a, wherein the resolution of the upsampled wide-angle image 1011a is changed to 5000×5000. Then, the data of the standard image 1012 is downsampled, and the image is scaled down to 1/0.5 times (i.e., 2 times) of the original size to obtain the standard downsampling image 1012a, wherein the resolution of the standard downsampling image 1012a is changed to 1500*1500. Then, the long throw image data 1013 is downsampled, and the image is scaled down to 4/0.5 times (i.e., 8 times) of the original size to obtain a downsampling long throw image 1013a, the resolution of the downsampling long throw image 1013a is changed to 375 *375. Then, the upsampled wide-angle image 1011a, the downsampled standard image 1012a, and the downsampled long-focus image 1013a are combined to obtain the downsampled synthesized image 1020, and the downsampled synthesized image 1020 is displayed.

[00103] Следует отметить, что в процессе объединения, поскольку широкоугольное изображение 1011a с повышенной дискретизацией было подвергнуто повышенной дискретизации, и размер изображения изменился, необходимо выполнить кадрирование. В частности, широкоугольное изображение 1011a с повышающей дискретизацией может быть кадрировано для получения широкоугольного изображения 1011b с понижающей дискретизацией с разрешением 3000×3000, а затем стандартное изображение 1012a с понижающей дискретизацией и длиннофокусное изображение 1013a с понижающей дискретизацией последовательно накладываются на широкоугольное изображение 1011b с понижающей дискретизацией так, чтобы получить синтезированное изображение 1020 в уменьшенном масштабе. После кадрирования и наложения размер исходного изображения 1010 не изменяется, и краевая часть исходного изображения 1010 в уменьшенном масштабе может быть заполнена широкоугольным кадрированным изображением 1011b, тем самым расширяя поле зрения. Центральная часть может быть заполнена стандартным изображением 1012a с понижающей дискретизацией и длиннофокусное изображением 1013a с понижающей дискретизацией так, чтобы детали центральной области были более четкими, тем самым удовлетворяя требованиям уменьшения масштаба изображения и большего поля зрения.[00103] It should be noted that during the merging process, since the upsampled wide-angle image 1011a has been upsampled and the image size has changed, it is necessary to perform cropping. In particular, the wide angle upsampling image 1011a can be cropped to obtain a wide angle downsampling image 1011b with a resolution of 3000×3000, and then the standard downsampling image 1012a and the long focus downsampling image 1013a are sequentially superimposed on the wide angle downsampling image 1011b so as to obtain the synthesized image 1020 in a reduced scale. After cropping and overlaying, the size of the original image 1010 does not change, and the edge part of the original image 1010 in a reduced scale can be filled with a wide-angle cropped image 1011b, thereby expanding the field of view. The central portion may be filled with the standard downsampling image 1012a and the long downsampling image 1013a so that the details of the central region are sharper, thereby satisfying the requirement of downscaling and a larger field of view.

[00104] Далее описывается сценарий увеличения изображения в масштабе со ссылкой на фиг. 11. Коэффициент масштабирования, соответствующий синтезированному изображению 1010 в формате JPEG, равен 1, коэффициент масштабирования, соответствующий данным стандартного изображения 1012, равен 1, и коэффициент масштабирования, соответствующий данным длиннофокусного изображения 1013, равен 4; и все эти три изображения имеют разрешение 3000*3000 и коэффициент увеличения масштаба 2.[00104] Next, the magnification scenario will be described with reference to FIG. 11. The scaling factor corresponding to the synthesized JPEG image 1010 is 1, the scaling factor corresponding to the standard image data 1012 is 1, and the scaling factor corresponding to the long-focus image data 1013 is 4; and all these three images have resolution 3000*3000 and zoom factor 2.

[00105] Сначала данные стандартного изображения 1012 подвергаются повышающей дискретизации, и размер изображения увеличивается в масштабе в 2/1 раза (то есть в 2 раза) по сравнению с исходным размером для получения стандартного изображения 1012b с повышающей дискретизацией, причем разрешение стандартного изображения 1012b в увеличенном масштабе изменено до 6000*6000. Затем данные длиннофокусного изображения 1013 подвергаются понижающей дискретизации, и размер изображения уменьшается в 2/4 раза (то есть в 2 раза) по сравнению с исходным размером, чтобы получить длиннофокусное изображение 1013b с понижающей дискретизацией, причем разрешение длиннофокусного изображения 1013b с понижающей дискретизацией изменяется до 1500×1500. Затем стандартное изображение 1012b с понижающей дискретизацией и длиннофокусное изображение 1013b с понижающей дискретизацией объединяются для получения синтезированного изображения 1021 в уменьшенном масштабе, и отображается синтезированное изображение 1021 в уменьшенном масштабе.[00105] First, the standard image data 1012 is upsampled, and the image size is scaled up to 2/1 times (i.e., 2 times) the original size to obtain the upsampled standard image 1012b, the resolution of the standard image 1012b being scaled up to 6000*6000. Then, the long throw image data 1013 is downsampled, and the image size is reduced by 2/4 times (i.e., 2 times) of the original size to obtain a downsampling long throw image 1013b, wherein the resolution of the downsampling long throw image 1013b is changed to 1500×1500. Then, the downsampled standard image 1012b and the downsampled long focus image 1013b are combined to obtain the downsampled synthesized image 1021, and the downsampled synthesized image 1021 is displayed.

[00106] Следует отметить, что в процессе слияния, поскольку стандартное изображение 1012b с повышающей дискретизацией было подвергнуто повышающей дискретизации, и размер изображения изменился, необходимо выполнить кадрирование. В частности, стандартное изображение 1012b с повышающей дискретизацией может быть кадрировано для получения стандартного кадрированного изображения 1012c с разрешением 3000×3000, а затем длиннофокусное изображение 1013b с понижающей дискретизацией накладывается на стандартное кадрированное изображение 1012c так, чтобы получить синтезированное изображение 1021 в увеличенном масштабе. После кадрирования и наложения размер исходного изображения 1010 не изменяется, а центральная часть может быть заполнена длиннофокусным изображением 1013b с понижающей дискретизацией, так что детали центральной области становятся более четкими, тем самым удовлетворяя требованиям изображения в увеличенном масштабе и предотвращения искажения изображения.[00106] It should be noted that during the merging process, since the standard upsampled image 1012b has been upsampled and the image size has changed, it is necessary to crop. In particular, the standard upsampled image 1012b can be cropped to obtain a standard cropped image 1012c with a resolution of 3000×3000, and then the long focus downsampled image 1013b is superimposed on the standard cropped image 1012c so as to obtain an upscaled synthesized image 1021. After cropping and overlay, the size of the original image 1010 is not changed, and the central part can be filled with a downsampled long focus image 1013b so that the details of the central area become clearer, thereby meeting the requirements of the upscaled image and preventing image distortion.

[00107] В возможной реализации данные широкоугольного изображения 1011 могут быть дополнительно увеличены в масштабе. Например, в описанном выше способе увеличения масштаба, данные широкоугольного изображения 1012 могут быть сначала увеличены в масштабе посредством повышающей дискретизации, и кадрирование выполняется на основе размера исходного изображения так, чтобы получить изображение в увеличенном масштабе, и отображается изображение в увеличенном масштабе.[00107] In an exemplary implementation, wide-angle image data 1011 may be further scaled up. For example, in the above-described upscaling method, wide-angle image data 1012 may be first upscaled by upsampling, and cropping is performed based on the size of the original image so as to obtain an upscaled image, and the upscaled image is displayed.

[00108] Фиг. 12 представляет собой схематическое представление системной архитектуры 1200 мобильного терминала в соответствии с вариантом осуществления данной заявки. Архитектура системы используется для реализации способа, предусмотренного в предыдущем варианте осуществления способа.[00108] FIG. 12 is a schematic representation of a system architecture 1200 of a mobile terminal in accordance with an embodiment of this application. The system architecture is used to implement the method provided in the previous embodiment of the method.

[00109] Приложение (APP, Application) камеры 1210 сконфигурировано для получения инструкции по выбору FOV или инструкции по фотографированию, которую вводит пользователь.[00109] The application (APP, Application) of the camera 1210 is configured to receive the FOV selection instruction or photography instruction that the user enters.

[00110] Центр 1220 управления выполнен с возможностью: обнаруживать текущую инструкцию, введенную пользователем; и если текущая инструкция, введенная пользователем, является инструкцией по выбору FOV, отправлять режим комбинирования FOV, выбранный пользователем, в процессор сигналов изображения (ISP, процессор сигналов изображения) 1230, или если текущая инструкция, введенная пользователем, представляет собой инструкцию по фотографированию, запрашивать режим целевой экспозиции из центра 1240 обработки.[00110] The control center 1220 is configured to: detect the current instruction entered by the user; and if the current instruction inputted by the user is a FOV selection instruction, send the FOV combination mode selected by the user to the image signal processor (ISP, Image Signal Processor) 1230, or if the current instruction inputted by the user is a photographing instruction, request target exposure mode from the processing center 1240.

[00111] Центр 1240 обработки сконфигурирован для отправки параметра целевой экспозиции в центр 1220 управления на основании запроса центра 1220 управления, причем параметр целевой экспозиции включает в себя фокус, время экспозиции и чувствительность.[00111] The processing center 1240 is configured to send the target exposure parameter to the control center 1220 based on the request of the control center 1220, the target exposure parameter including focus, exposure time, and sensitivity.

[00112] Центр 1220 управления дополнительно сконфигурирован для того, чтобы: после приема параметра целевой экспозиции отправлять параметр целевой экспозиции в процессор 1230 сигналов изображения и инструктировать процессор 1230 сигналов изображения захватить множество изображений на основе комбинированного режима FOV и параметра целевой экспозиции.[00112] The control center 1220 is further configured to: after receiving the target exposure parameter, send the target exposure parameter to the image signal processor 1230 and instruct the image signal processor 1230 to capture a plurality of images based on the combined FOV mode and the target exposure parameter.

[00113] В возможной реализации центр 1220 управления может быть, например, операционной системой мобильного терминала.[00113] In a possible implementation, the control center 1220 may be, for example, the operating system of a mobile terminal.

[00114] В возможной реализации центр обработки 1240 может быть, например, модулем фоновой обработки, соответствующим камере.[00114] In a possible implementation, the processing center 1240 may be, for example, a background processing module corresponding to a camera.

[00115] Процессор 1230 сигналов изображения сконфигурирован для управления камерой 1250 для захвата множества изображений на основе режима комбинирования FOV и параметра целевой экспозиции и отправки множества захваченных изображений в центр 1240 обработки.[00115] The image signal processor 1230 is configured to control the camera 1250 to capture a plurality of images based on the FOV combination mode and the target exposure parameter, and send the plurality of captured images to the processing center 1240.

[00116] Центр 1220 управления дополнительно сконфигурирован для отправки множества захваченных изображений, полученных от процессора 1230 сигналов изображения, в центр 1040 обработки.[00116] The control center 1220 is further configured to send a plurality of captured images received from the image signal processor 1230 to the processing center 1040.

[00117] Процессор 1230 сигналов изображения дополнительно сконфигурирован для ассоциативного связывания каждого захваченного изображения с соответствующим режимом FOV или ассоциативного связывания каждого захваченного изображения с соответствующей камерой.[00117] The image signal processor 1230 is further configured to associate each captured image with a respective FOV mode or associate each captured image with a respective camera.

[00118] Центр 1240 обработки дополнительно сконфигурирован для отправки блоку 1260 кодирования изображения захваченных изображений, отправленных из центра 1220 управления или процессора 1230 сигналов изображения.[00118] The processing center 1240 is further configured to send to the image encoding unit 1260 the captured images sent from the control center 1220 or the image signal processor 1230.

[00119] Центр 1240 обработки дополнительно сконфигурирован для определения текущего режима фотографирования и инструктирования экрана 1270 дисплея отображать текущий режим фотографирования.[00119] The processing center 1240 is further configured to determine the current photographing mode and instruct the display screen 1270 to display the current photographing mode.

[00120] Процессорный центр 1240 дополнительно сконфигурирован для инструктирования экрана 1270 дисплея отображать текущий рабочий интерфейс на основе текущей инструкции пользователя.[00120] The processing center 1240 is further configured to cause the display screen 1270 to display the current operating interface based on the current user instruction.

[00121] Блок 1260 кодирования изображения сконфигурирован для того, чтобы: после кодирования захваченного изображения, отправленного из центра 1240 обработки, отправлять захваченное изображение на экран 1270 дисплея и сохранять закодированное изображение в графической библиотеке 1280.[00121] The image encoding unit 1260 is configured to: after encoding the captured image sent from the processing center 1240, send the captured image to the display screen 1270 and store the encoded image in the graphics library 1280.

[00122] В возможной реализации модуль 1260 кодирования изображения дополнительно сконфигурирован для: сохранения исходного захваченного изображения и ассоциативного связывания исходного захваченного изображения с закодированным изображением.[00122] In an exemplary implementation, the image encoding module 1260 is further configured to: store the original captured image and associate the original captured image with the encoded image.

[00123] Экран 1270 дисплея сконфигурирован для отображения пользователю закодированного изображения, отправленного блоком 1260 кодирования изображения.[00123] The display screen 1270 is configured to display the encoded image sent by the image encoding unit 1260 to the user.

[00124] Экран 1270 дисплея дополнительно сконфигурирован для отображения пользователю текущего режима фотографирования.[00124] The display screen 1270 is further configured to display the current photographing mode to the user.

[00125] Экран 1270 дисплея дополнительно сконфигурирован для отображения текущего рабочего интерфейса для пользователя на основе инструкции пользователя.[00125] The display screen 1270 is further configured to display the current operating interface to the user based on the user's instruction.

[00126] Центр 1240 обработки дополнительно сконфигурирован для: выполнения обработки синтеза полученного множества захваченных изображений для получения первого изображения, отправки первого изображения в модуль 1260 кодирования изображения, отображения первого изображения на экране 1270 дисплея и сохранения первого изображения в графической библиотеке 1280.[00126] The processing center 1240 is further configured to: perform synthesis processing on the obtained captured image set to obtain a first image, send the first image to the image encoding module 1260, display the first image on the display screen 1270, and store the first image in the graphics library 1280.

[00127] В возможной реализации библиотека 1280 дополнительно сконфигурирована для приема инструкции по редактированию изображения от пользователя и инструктирования, на основе инструкции по редактированию изображения, блока 1260 кодирования изображения синтезировать исходные захваченные изображения, хранящиеся в блоке 1260 кодирования изображения.[00127] In an exemplary implementation, the library 1280 is further configured to receive an image editing instruction from a user and instruct, based on the image editing instruction, the image encoding unit 1260 to synthesize the original captured images stored in the image encoding unit 1260.

[00128] Блок 1260 кодирования изображения дополнительно сконфигурирован для синтеза сохраненных исходных захваченных изображений на основе команды графической библиотеки 1280 так, чтобы получить второе изображение, и инструктировать экран 1270 дисплея отобразить второе изображение после завершения синтеза.[00128] The image encoding unit 1260 is further configured to synthesize the stored original captured images based on the graphics library command 1280 so as to obtain a second image, and instruct the display screen 1270 to display the second image after the synthesis is completed.

[00129] Понятно, что взаимосвязь интерфейсного соединения между модулями, проиллюстрированная в этом варианте осуществления настоящего изобретения, является просто примером для описания и не является ограничением структуры мобильного терминала 100. В некоторых других вариантах осуществления данной заявки мобильный терминал 100 альтернативно может использовать режим интерфейсного соединения, который отличается от режимов в предшествующих вариантах осуществления, или использовать комбинацию множества режимов интерфейсного соединения.[00129] It is understood that the interface connection relationship between modules illustrated in this embodiment of the present invention is merely an example for description and is not a limitation on the structure of the mobile terminal 100. In some other embodiments of this application, the mobile terminal 100 may alternatively use the interface connection mode , which is different from the modes in the previous embodiments, or use a combination of a plurality of interface connection modes.

[00130] Понятно, что для реализации вышеизложенных функций вышеописанный терминал и т.п. включают в себя соответствующие аппаратные конструкции и/или программные модули для выполнения функций. Специалисту в данной области техники должно быть легко понятно, что со ссылкой на блоки и этапы алгоритма, описанные в вариантах осуществления, раскрытых в этом описании, варианты осуществления этого приложения могут быть реализованы в виде аппаратных средств или аппаратных средств и компьютерного программного обеспечения. Выполняется ли функция аппаратным обеспечением или аппаратным обеспечением, управляемым компьютерным программным обеспечением, зависит от конкретных приложений и конструктивных ограничений технических решений. Специалист в данной области техники может использовать разные способы реализации описанных функций для каждого конкретного приложения, но не следует считать, что реализация выходит за рамки вариантов осуществления настоящего изобретения.[00130] It is understood that in order to implement the above functions, the above-described terminal and the like. include appropriate hardware constructs and/or software modules to perform the functions. One skilled in the art will readily appreciate that with reference to the blocks and steps of the algorithm described in the embodiments disclosed in this specification, the embodiments of this application may be implemented in hardware or hardware and computer software. Whether the function is performed by hardware or by hardware controlled by computer software depends on particular applications and design constraints. A person skilled in the art may use different ways to implement the described functions for each particular application, but the implementation should not be considered outside the scope of the embodiments of the present invention.

[00131] В вариантах осуществления данной заявки вышеуказанный терминал и т.п. могут быть разделены на функциональные модули на основе приведенных выше примеров способов. Например, каждый функциональный модуль может быть получен путем разделения на соответствующую функцию, или две или более функции могут быть интегрированы в один модуль обработки. Интегрированные модули могут быть реализованы в виде аппаратных средств или могут быть реализованы в виде функционального модуля программного обеспечения. Следует отметить, что модульное разделение в вариантах осуществления настоящего изобретения является примером и представляет собой просто логическое функциональное разделение. В реальной реализации может быть другой способ разделения.[00131] In the embodiments of this application, the above terminal and the like. can be divided into functional modules based on the above example methods. For example, each functional module may be obtained by dividing into a corresponding function, or two or more functions may be integrated into one processing module. The integrated modules may be implemented as hardware or may be implemented as a functional software module. It should be noted that the modular separation in the embodiments of the present invention is an example and is simply a logical functional separation. In a real implementation, there may be another way to split.

[00132] Приведенные выше описания вариантов реализации позволяют специалисту в данной области техники ясно понять, что в целях удобного и краткого описания разделение вышеприведенных функциональных модулей используется только в качестве примера для иллюстрации. В реальном применении вышеупомянутые функции могут быть распределены по различным функциональным модулям и реализованы в соответствии с потребностями, то есть внутренняя конструкция аппарата разделена на различные функциональные модули для реализации всех или некоторых функций, описанных выше. Для конкретных рабочих процессов системы, аппарата и блоков, описанных выше, можно сделать ссылку на соответствующие процессы в вышеупомянутых вариантах осуществления способа. Подробности здесь повторно не приводятся.[00132] The above descriptions of the embodiments will enable one skilled in the art to clearly understand that, for purposes of convenience and conciseness, the division of the above functional modules is used by way of example only for illustration. In actual application, the above functions can be divided into various functional modules and implemented according to needs, that is, the internal structure of the apparatus is divided into various functional modules to implement all or some of the functions described above. For the particular operating processes of the system, apparatus, and blocks described above, reference can be made to the corresponding processes in the above method embodiments. The details are not repeated here.

[00133] Функциональные блоки в вариантах осуществления этой заявки могут быть интегрированы в один процессорный блок, или каждый из блоков может физически существовать сам по себе, или два или более блоков могут быть объединены в один блок. Интегрированный блок может быть реализован в виде аппаратных средств или может быть реализован в виде функционального блока программного обеспечения.[00133] The functional blocks in the embodiments of this application may be integrated into a single processing unit, or each of the units may physically exist on its own, or two or more units may be combined into one unit. The integrated block may be implemented in hardware or may be implemented as a software functional block.

[00134] Когда интегрированный блок реализован в форме программного функционального блока и продан или используется в качестве независимого продукта, интегрированный блок может храниться на машиночитаемом носителе. Исходя из такого понимания, техническое решение данного варианта осуществления данной заявки, являющееся существенным или частью, способствующей существующей технологии, или все техническое решение или его часть, может быть реализовано в виде программного продукта, а компьютерный программный продукт хранится на носителе данных и включает в себя несколько инструкций, позволяющих компьютерному устройству (которым может быть персональный компьютер, сервер или сетевое устройство) или процессору 130 выполнять все или некоторые этапы способа в соответствии с каждым вариантом осуществления настоящей заявки. Вышеупомянутый носитель данных включает в себя: любой носитель, на котором может храниться программный код, такой как флэш-память, съемный жесткий диск, постоянное запоминающее устройство, оперативное запоминающее устройство, магнитный диск или оптический диск.[00134] When an integrated block is implemented in the form of a software functional block and sold or used as a standalone product, the integrated block may be stored on a computer-readable medium. Based on this understanding, the technical solution of this embodiment of this application, which is essential or a part that contributes to existing technology, or all or part of the technical solution, can be implemented as a software product, and the computer program product is stored on a storage medium and includes a plurality of instructions allowing the computing device (which may be a personal computer, server, or network device) or processor 130 to perform all or some of the steps of the method in accordance with each embodiment of the present application. The aforementioned storage medium includes: any medium on which program code can be stored, such as flash memory, removable hard disk, read only memory, random access memory, magnetic disk or optical disk.

[00135] Вышеприведенное описание представляет собой лишь конкретные реализации данной заявки, но оно не предназначено для ограничения объема охраны данной заявки. Любое изменение или замена, выполненная в пределах технической области, раскрытой в этой заявке, должна подпадать под область защиты этой заявки. Следовательно, объем охраны настоящей заявки должен соответствовать объему охраны формулы изобретения.[00135] The above description is only specific implementations of this application, but is not intended to limit the scope of protection of this application. Any change or replacement made within the technical scope disclosed in this application shall fall within the scope of this application. Therefore, the scope of protection of the present application should be consistent with the scope of protection of the claims.