Статистический подход к обнаружению и удалению шумовых выбросов в визуализированных данных зондовой электрометрии

Рост объёмов измерительной информации делает ручную обработку непрактичной, а существующие алгоритмы демонстрируют ограниченную эффективность (до 93 %). Целью работы являлась разработка комбинированного алгоритма на основе синтеза существующих методов для повышения точности и надёжности автоматизированного выявления аномальных значений в данных промышленных измерительных систем, в частности, на обработку изображений, получаемых техническими приборами. Для повышения точности и надёжности обнаружения аномалий предложен комбинированный алгоритм, интегрирующий статистические методы обнаружения выбросов на основе многомерного нормального распределения для фильтрации шумовых аномалий, методы бинаризации и морфологической обработки изображений для выделения геометрических контуров, а также алгоритм анализа связных компонент для локализации области интереса. Особое внимание уделено обработке визуализированных данных (изображений), где ключевой задачей является отделение полезных аномалий от шума. Разработанный метод позволяет автоматически выделять области интереса и сжимать исходные данные более чем вдвое от их объёма без потери информативности. Также разработан подход для локализации нескольких разрозненных областей с аномальной интенсивностью на основе анализа связных компонентов. Алгоритм позволяет автоматически присваивать уникальные метки каждому связному объекту и извлекать их характеристики (площадь, периметр, центроид) для последующего анализа. Реализация и тестирование проведены в среде Wolfram Mathematica на примере карт распределения поверхностного электростатического потенциала композитных материалов. Предложенные подходы упрощают последующий анализ измерительных данных и могут быть использованы совместимо с алгоритмами машинного обучения.

1. Bell G, Hey T, Szalay A. Beyond the Data Deluge. Science. 2009;323(5919):1297-1298. DOI: 10.1126/science.1170411

2. Liu Y, Wang H, Zhang Q. Robust anomaly detection for industrial sensor networks with uncertain data quality. IEEE Transactions on Industrial Informatics. 2023;(7):8765-8775. DOI: 10.1109/TII.2022.3221234

3. Chandola V, Banerjee A, Kumar V. Anomaly detection: A survey. ACM Computing Surveys. 2009;41(3):1-58. https://doi.org/10.1145/1541880.1541883

4. Qiao Y. [et al.] A multihead attention self-supervised representation model for industrial sensors anomaly detection. IEEE Transactions on Industrial Informatics. 2023;20(2):2190-2199. DOI: 10.1109/TII.2023.3280337

5. Ruff L. [et al.] A unifying review of deep and shallow anomaly detection. Proceedings of the IEEE. 2021;109(5):756-795. DOI: 10.1109/JPROC.2021.3052449

6. Weihua W. License Plate Recognition Algorithm Based on Radial Basis Function Neural Networks. Intelligent Ubiquitous Computing and Education, 2009 International Symposium on. 2009;38-41.

7. Anagnostopoulos C, Anagnostopoulos L, Loumos V, Kayafas E. A license plate-recognition algorithm for intelligent transportation system applications. IEEE Trans. Intell. Transp. Syst. 2006;7(3):377-392. DOI:10.1109/TITS.2006.880641

8. Jiao J, Ye Q, Huang Q. A configurable method for multi-style license plate recognition. Pattern Recognition. 2009;42(3):358-369. DOI: 10.1016/j.patcog.2008.08.016

9. Гундина, М.А. Особенности процесса определения аномальных значений при обработке изменительной информации / М.А. Гундина, П.С. Богдан, О.В. Юхновская // Вестник Белорусско-Российского университета. – 2024. – № 2. – С. 96–103. DOI: 10.24412/2077-8481-2024-2-96-103

10. Hundzina МА, Bohdan PS, Yukhnouskaya VV. Features of the process of determining the number. Belarusian-Russian University Bulletin. 2024;83(2):96-103. DOI: 10.24412/2077-8481-2024-2-96-103

11. Zharin AL, Mikitsevich UA, Svistun AI, Pantsialeyeu KU. Universal Digital Probe Electrometer for Testing Semiconductor Wafers. Devices and Methods of Measurements. 2023;14(3):161-172. DOI: 10.21122/2220-9506-2023-14-3-161-172

12. Gonzalez RC, Woods RE. Digital image processing. 4th ed. Pearson. 2018;1168 p.