pimiПриборы и методы измеренийDevices and Methods of Measurements2220-95062414-0473BNTU10.21122/2220-9506-2023-14-1-7-17pimi-804Research ArticleСредства измеренийMeasuring instrumentsПолучение фотоспектральных данных с использованием беспилотного комплекса авиационного спектрометрированияPhotospectral Data Obtaining with the Unmanned Aerial Spectrometry VehicleЛомакоА. А.LamakaA. A.

Адрес для переписки: Ломако А.А. -Институт прикладных физических проблем имени А.Н. Севченко Белорусского государственного университета,ул. Курчатова, 7, г. Минск 220045, Беларусь e-mail:  alekseylomako@gmail.com

Address for correspondence:Lamaka A.A.–A.N. Sevchenko Institute of Applied Physical Problems of Belarusian State University,Kurchatov str., 7, Minsk 220045, Belarus e-mail: alekseylomako@gmail.com

alekseylomako@gmail.comГуторовА. В.GutarauA. V.

ул. Курчатова, 7, г. Минск 220045

Kurchatov str., 7, Minsk 220045

ЩербаковН. Г.ShcherbakouN. G.

ул. Курчатова, 7, г. Минск 220045

Kurchatov str., 7, Minsk 220045

ИвутьП. В.IvutsP. V.

ул. Курчатова, 7, г. Минск 220045

Kurchatov str., 7, Minsk 220045

Институт прикладных физических проблем имени А.Н. Севченко Белорусского государственного университетаБеларусьA.N. Sevchenko Institute of Applied Physical Problems of Belarusian State UniversityBelarus202307042023141717Copyright © Ломако А.А., Гуторов А.В., Щербаков Н.Г., Ивуть П.В., 20232023Ломако А.А., Гуторов А.В., Щербаков Н.Г., Ивуть П.В.Lamaka A.A., Gutarau A.V., Shcherbakou N.G., Ivuts P.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://pimi.bntu.by/jour/article/view/804

Исследование отражательных характеристик объектов на поверхности Земли с использованием беспилотных летательных аппаратов является одним из развивающихся направлений в дистанционном зондировании Земли. Целью работы являлась разработка способа получения фотоспектральных данных с использованием беспилотного комплекса авиационного спектрометрирования.

Предложена адаптация методики определения пространственной разрешающей способности камер на основе фотофиксации специализированной миры. Также предложен способ синхронизации камеры и спектрометра видеоспектрального комплекса, основанный на проведении эксперимента по регистрации спектров и изображений экрана, где последовательно отображаются различные цвета. Предложен способ комбинирования изображений и спектров с объединением их в единое фотоспектральное изображение. Способ позволяет учитывать смещение летательного аппарата при привязке поля зрения спектрометра к изображению. Предложен способ объединения фотоспектральных изображений, основывающийся на сшивке изображений по особым точкам.

Получены угловые разрешающие способности для 3 камер из состава беспилотного комплекса. Показано, что при движении беспилотного комплекса со скоростью до 5 м/с ухудшение разрешающей способности камеры Zenmuse H20T, вызванное движением носителя аппаратуры, можно не учитывать. Определено время рассинхронизации работы камеры и спектрометра из состава видеоспектрального комплекса. Проведена автоматическая сшивка ряда изображений по особым точкам с привязкой к сшитому изображению областей спектрометрирования (относительная точность привязки к изображению – 84,9 ± 11,6 %). Для каждой из областей спектрометрирования получены коэффициенты спектральной яркости в диапазоне 350–900 нм.

В исследовании выявлено расхождение экспериментальных и теоретических значений углового пространственного разрешения, что свидетельствует о важности проведения экспериментальной оценки пространственного разрешения съёмочной аппаратуры. Определение времени рассинхронизации спектрометра и обзорной камеры видеоспектрального комплекса позволило осуществить коррекцию времени регистрации данных, что привело к уменьшению среднеквадратичной величины ошибки синхронизации со 142 мс до 15 мс. Разработан способ получения данных БЕКАС в фотоспектральном представлении.

Study of the Earth’s surface objects reflectance characteristics with unmanned aerial vehicles is one of the most actual remote sensing trends. Aim of this work was to develop a method for obtaining of photospectral data using unmanned aerial spectrometry vehicle.

An adaptation of the cameras spatial resolution evaluating technique based on a specialized target photographic fixation was proposed. A method for synchronizing of the camera and spectrometer of the videospectral device was also proposed. It was based on an experiment with spectra and screen images recording. Different colors were sequentially displayed on the screen. The percentage contribution of each of colors to the “mixed” spectra was calculated. So the out-of-sync time estimation became possible. In addition the work proposed the method for combining images and spectra with their merging into photospectral images. The method allows to consider the aircraft displacement when linking the spectrometer field of view to the RGB image. The way for photospectral images combining based on the images key points detectors was also proposed.

Spatial resolutions for 3 aerial vehicle cameras were obtained. The study showed that the spatial resolution decrease of Zenmuse H20T caused by the device carrier movement with a speed of up to 5 m/s can be ignored. The videospectral device camera and spectrometer out-of-sync time was evaluated. An automatic merging of a set of images using key points detection was made. The spectrometry areas were linked to the panoramic image. The reflectance coefficients were obtained for each of the areas in the range of 350–900 nm. The areas to image linking accuracy was 84.9 ± 11.6 %.

A discrepancy between the angular spatial resolution values got experimentally and theoretically was revealed as a result of the cameras spatial resolution evaluating. This indicates the importance of the imaging equipment spatial resolution experimental evaluation. The videospectral device spectrometer and observation camera out-of-sync time evaluation made it possible to correct the data recording time. This led to the timing error standard deviation reduction from 142 ms to 15 ms. The way for the unmanned aerial spectrometry vehicle data obtaining in a photospectral representation was developed. The proposed methods and techniques can be used in similar unmanned systems.

БПЛАспектрометрпространственное разрешениепрограммная синхронизациясшивка изображенийUAVspectrometerspatial resolutionsoftware synchronizationimage connectionReferencesLu H., Fan T., Ghimire P., Deng L. Experimental Evaluation and Consistency Comparison of UAV Multispectral Minisensors. Remote Sens., 2020, no. 12(16), рр. 2542. DOI: 10.3390/rs12162542Lu H., Fan T., Ghimire P., Deng L. Experimental Evaluation and Consistency Comparison of UAV Multispectral Minisensors. Remote Sens., 2020, no. 12(16), рр. 2542. DOI: 10.3390/rs12162542Iizuka K., Itoh M., Shiodera S., Matsubara T., Dohar M., Watanabe K. Advantages of unmanned aerial vehicle (UAV) photogrammetry for landscape analysis compared with satellite data: A case study of postmining sites in Indonesia. Cogent Geosci, 2018, vol. 4, pp. 1498180. DOI: 10.1080/23312041.2018.1498180Iizuka K., Itoh M., Shiodera S., Matsubara T., Dohar M., Watanabe K. Advantages of unmanned aerial vehicle (UAV) photogrammetry for landscape analysis compared with satellite data: A case study of postmining sites in Indonesia. Cogent Geosci, 2018, vol. 4, pp. 1498180. DOI: 10.1080/23312041.2018.1498180Dash J.P., Watt M.S., Pearse G.D., Heaphy M., Dungey H.S. Assessing very high-resolution UAV imagery for monitoring forest health during a simulated disease outbreak. ISPRS J. Photogramm, 2017, vol. 131, pp. 1–14. DOI: 10.1016/j.isprsjprs.2017.07.007Dash J.P., Watt M.S., Pearse G.D., Heaphy M., Dungey H.S. Assessing very high-resolution UAV imagery for monitoring forest health during a simulated disease outbreak. ISPRS J. Photogramm, 2017, vol. 131, pp. 1–14. DOI: 10.1016/j.isprsjprs.2017.07.007Bendig J., Yu K., Aasen H., Bolten A., Bennertz S., Broscheit J., Gnyp M.L., Bareth G. Combining UAVbased plant height from crop surface models, visible, and near infrared vegetation indices for biomass monitoring in barley. Int. J. Appl. Earth Obs., 2015, vol. 39, pp. 79–87. DOI: 10.1016/j.jag.2015.02.012Bendig J., Yu K., Aasen H., Bolten A., Bennertz S., Broscheit J., Gnyp M.L., Bareth G. Combining UAVbased plant height from crop surface models, visible, and near infrared vegetation indices for biomass monitoring in barley. Int. J. Appl. Earth Obs., 2015, vol. 39, pp. 79–87. DOI: 10.1016/j.jag.2015.02.012Candiago S., RemondinoF., De Giglio M., Dubbini M., Gattelli M. Evaluating Multispectral Images and Vegetation Indices for Precision Farming Applications from UAV Images. Remote Sens., 2015, vol. 7, pp. 4026– 4047. DOI: 10.3390/rs70404026Candiago S., RemondinoF., De Giglio M., Dubbini M., Gattelli M. Evaluating Multispectral Images and Vegetation Indices for Precision Farming Applications from UAV Images. Remote Sens., 2015, vol. 7, pp. 4026– 4047. DOI: 10.3390/rs70404026Gutarau A.V., Lamaka A.A., Belyaev B.I., SosenkoV.A., Ivut P.V. Unmanned Aerial Spectrometry Vehicle. The 8th Belarussian Space Congress: materials, Minsk, 2022, October 25‒27, vol. 1, pp. 129–132 (in Russian).Gutarau A.V., Lamaka A.A., Belyaev B.I., SosenkoV.A., Ivut P.V. Unmanned Aerial Spectrometry Vehicle. The 8th Belarussian Space Congress: materials, Minsk, 2022, October 25‒27, vol. 1, pp. 129–132 (in Russian).Molchanov A.S. Methodology of evaluation of linear permit per pixel of aerophotosystems of military purpose when conducting flight tests. Izvestia vuzov. Geodesy and Aerophotosurveying, 2018, vol. 62(4), pp. 390– 396 (in Russian). DOI 10.30533/0536-101X-2018-62-4-390-396Molchanov A.S. Methodology of evaluation of linear permit per pixel of aerophotosystems of military purpose when conducting flight tests. Izvestia vuzov. Geodesy and Aerophotosurveying, 2018, vol. 62(4), pp. 390– 396 (in Russian). DOI 10.30533/0536-101X-2018-62-4-390-396Peisahson I.V. Optics of Spectral Instruments. Ed. 2nd, add. and reworked. Instruments with concave diffraction gratings. Leningrad: Mashinostroenie Publ., 1975, Ch. 6, pp. 222–227.Peisahson I.V. Optics of Spectral Instruments. Ed. 2nd, add. and reworked. Instruments with concave diffraction gratings. Leningrad: Mashinostroenie Publ., 1975, Ch. 6, pp. 222–227.Katkovsky L.V. Calculation of objects thermal imaging parameters from unmanned aerial vehicles. Doklady BGUIR, 2020, vol. 18(2), pp. 53‒61 (in Russian). DOI: 10.35596/1729-7648-2020-18-2-53-61Katkovsky L.V. Calculation of objects thermal imaging parameters from unmanned aerial vehicles. Doklady BGUIR, 2020, vol. 18(2), pp. 53‒61 (in Russian). DOI: 10.35596/1729-7648-2020-18-2-53-61Box and linearly constrained optimization [Electronic resource]. ALGLIB – Optimization (nonlinear and quadratic). Avialable at: https://www.alglib.net/optimization/boundandlinearlyconstrained.php. (accessed: 01.09.2022).Box and linearly constrained optimization [Electronic resource]. ALGLIB – Optimization (nonlinear and quadratic). Avialable at: https://www.alglib.net/optimization/boundandlinearlyconstrained.php. (accessed: 01.09.2022).Kaehler A., Bradski G. Learning OpenCV 3. Published by O’Reilly Media, Inc., 1005 Gravenstein Highway North, Sebastopol, CA, 2016, pp. 511–583.Kaehler A., Bradski G. Learning OpenCV 3. Published by O’Reilly Media, Inc., 1005 Gravenstein Highway North, Sebastopol, CA, 2016, pp. 511–583.Lamaka A.A. Considering camera distortion panoramic images forming method for unmanned aerial vehicle multispectral data. Journal of the Belarusian State University. Physics, 2022, vol. 2, pp. 60–69 (in Russian). DOI: 10.33581/2520-2243-2022-2-60-69Lamaka A.A. Considering camera distortion panoramic images forming method for unmanned aerial vehicle multispectral data. Journal of the Belarusian State University. Physics, 2022, vol. 2, pp. 60–69 (in Russian). DOI: 10.33581/2520-2243-2022-2-60-69Katkouski L.V. Hardware-software system “Calibrovka” for ground-based spectrometry of the underlying surface and atmosphere. The 7th Belarussian Space Congress: materials, Minsk, 2017, October 25‒27, vol. 2, pp. 36‒40 (in Russian).Katkouski L.V. Hardware-software system “Calibrovka” for ground-based spectrometry of the underlying surface and atmosphere. The 7th Belarussian Space Congress: materials, Minsk, 2017, October 25‒27, vol. 2, pp. 36‒40 (in Russian).

The authors declare that there are no conflicts of interest present.