Pomiary Automatyka Robotyka 2/2024

W numerze:

3 Od Redakcji

5

11

21

37

45

53

Zbigniew Świder Nastawy regulatora kursu dla autopilota statku

Tomasz Winiarski, Jan Kaniuka, Jakub Ostrysz

Metodyka projektowania systemów robotycznych w oparciu o metamodele

EARL i MeROS

Sandra Śmigiel, Tomasz Topoliński, Damian Ledziński, Tomasz Andrysiak

The ECG Monitoring System Using Machine Learning Methods and LoRa Technology

Adam Idźkowski, Mateusz Sumorek

Zastosowanie metod uczenia maszynowego do predykcji generowanej energii w małym systemie PV

Karol Erd

Analiza porównawcza wybranych metod kalibracji kamery termowizyjnej z chłodzonym detektorem pracującym w zakresie MWIR

Arkadiusz Rubiec, Mirosław Przybysz, Marian J. Łopatka, Łukasz Rykała, Piotr Krogul, Karol Cieślik, Rafał Typiak Study on the Influence of an UGV Suspension System on Camera Motion of the Teleoperation System

Rok 28 (2024) Nr 2(252)

ISSN 1427-9126, Indeks 339512

Redaktor naczelny

prof. Cezary Zieliński

Zastępca redaktora naczelnego dr inż. Małgorzata Kaliczyńska

Zespół redakcyjny dr inż. Jerzy Borzymiński

prof. Wojciech Grega – automatyka prof. Krzysztof Janiszowski dr inż. Małgorzata Kaliczyńska – redaktor merytoryczny/statystyczny dr inż. Michał Nowicki – mechatronika prof. Mateusz Turkowski – metrologia prof. Cezary Zieliński – robotyka

Korekta

dr inż. Janusz Madejski

Skład i redakcja techniczna

Ewa Markowska

Druk

Drukarnia „PAPER & TINTA” Barbara Tokłowska Sp. K. Nakład 500 egz.

Wydawca

Sieć Badawcza Łukasiewicz –Przemysłowy Instytut Automatyki i Pomiarów PIAP Al. Jerozolimskie 202, 02-486 Warszawa

Kontakt

Redakcja kwartalnika naukowo-technicznego Pomiary Automatyka Robotyka Al. Jerozolimskie 202, 02-486 Warszawa tel. 22 874 01 46, nauka@par.pl www.par.pl

Pomiary Automatyka Robotyka jest czasopismem naukowo-technicznym obecnym na rynku od 1997 r. Przez 18 lat ukazywało się jako miesięcznik. Aktualnie wydawany kwartalnik zawiera artykuły recenzowane, prezentujące wyniki teoretyczne i praktyczne prowadzonych prac naukowo-badawczych w zakresie szeroko rozumianej automatyki, robotyki i metrologii. Kwartalnik naukowo-techniczny Pomiary Automatyka Robotyka jest indeksowany w bazach BAZTECH, Google Scholar oraz INDEX COPERNICUS (ICV 2022: 91,28), a także w bazie naukowych i branżowych polskich czasopism elektronicznych ARIANTA. Przyłączając się do realizacji idei Otwartej Nauki, udostępniamy bezpłatnie wszystkie artykuły naukowe publikowane w kwartalniku naukowo-technicznym Pomiary Automatyka Robotyka. Wersją pierwotną (referencyjną) jest wersja papierowa.

Punktacja Ministerstwa Edukacji i Nauki za publikacje naukowe w kwartalniku Pomiary Automatyka Robotyka wynosi obecnie 70 pkt. (wykaz czasopism naukowych i recenzowanych materiałów z konferencji międzynarodowych z dnia 5 stycznia 2024 r., poz. 29984). Przypisane dyscypliny naukowe – automatyka, elektronika, elektrotechnika i technologie kosmiczne.

Kwartalnik jest organem wydawniczym Polskiego Stowarzyszenia Pomiarów, Automatyki i Robotyki POLSPAR – organizacji prowadzącej działalność naukowo-techniczną w obszarze metrologii, automatyki, robotyki i pomiarów, reprezentującej Polskę w międzynarodowych organizacjach IFAC, IFR, IMEKO.

Rada Naukowa

prof. Jan Awrejcewicz

Katedra Automatyki, Biomechaniki i Mechatroniki, Politechnika Łódzka

prof. Milan Dado University of Žilina (Słowacja)

prof. Ignacy Dulęba Wydział Elektroniki, Fotoniki i Mikrosystemów, Politechnika Wrocławska

prof. Tadeusz Glinka Instytut Elektrotechniki i Informatyki, Politechnika Śląska

prof. Evangelos V. Hristoforou National Technical University of Athens (Grecja)

dr Oleg Ivlev University of Bremen (Niemcy)

prof. Larysa A. Koshevaja Narodowy Uniwersytet Lotnictwa, Kiev (Ukraina)

prof. Igor P. Kurytnik

Małopolska Uczelnia Państwowa im. rot. W. Pileckiego

prof. J. Tenreiro Machado Polytechnic Institute of Porto (Portugalia)

prof. Jacek Malec

Lund University (Szwecja)

prof. Andrzej Masłowski Sieć Badawcza Łukasiewicz –Przemysłowy Instytut Automatyki i Pomiarów PIAP, Warszawa

prof. Maciej Michałek

Wydział Automatyki, Robotyki i Elektrotechniki, Politechnika Poznańska

dr Vassilis C. Moulianitis University of Patras (Grecja)

prof. Joanicjusz Nazarko

Wydział Inżynierii Zarządzania, Politechnika Białostocka

prof. Serhiy Prokhorenko

„Lviv Polytechnic” National University (Ukraina)

prof. Eugeniusz Ratajczyk

Wydział Inżynierii i Zarządzania, Wyższa Szkoła Ekologii i Zarządzania w Warszawie

prof. Jerzy Sąsiadek Carleton University (Kanada)

prof. Rossi Setchi

Cardiff University (Wielka Brytania)

prof. Waldemar Skomudek

Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej, Akademia Górniczo-Hutnicza

dr Dragan Stokic

ATB – Institute for Applied Systems Technology Bremen GmbH (Niemcy)

prof. Eugeniusz Świtoński

Wydział Mechaniczny Technologiczny, Politechnika Śląska

prof. Peter Švec Slovak Academy of Sciences (Słowacja)

prof. Wojciech Włodarski

RMIT University, Melbourne (Australia)

prof. Eugenij T. Volodarsky

„Kyiv Polytechnic” National University (Ukraina)

Wydawanie kwartalnika Pomiary Automatyka Robotyka – zadanie finansowane w ramach umowy 907/P-DUN/2019 ze środków Ministra Nauki i Szkolnictwa Wyższego przeznaczonych na działalność upowszechniającą naukę.

Spis treści

3 Od Redakcji

5 Zbigniew Świder

Nastawy regulatora kursu dla autopilota statku

Tuning the Heading Controller for the Ship’s Autopilot

11 Tomasz Winiarski, Jan Kaniuka, Jakub Ostrysz

Metodyka projektowania systemów robotycznych w oparciu o metamodele

EARL i MeROS

Robotic Systems Development Method Based on EARL and MeROS Metamodels

21 Sandra Śmigiel, Tomasz Topoliński, Damian Ledziński, Tomasz Andrysiak

The ECG Monitoring System Using Machine Learning Methods and LoRa Technology System do monitorowania sygnału EKG z wykorzystaniem metod uczenia maszynowego i technologii LoRa

37 Adam Idźkowski, Mateusz Sumorek

Zastosowanie metod uczenia maszynowego do predykcji generowanej energii w małym systemie PV

The Use of Machine Learning Algorithms to Forecast Energy Production in a Small PV System

45 Karol Erd

Analiza porównawcza wybranych metod kalibracji kamery termowizyjnej z chłodzonym detektorem pracującym w zakresie MWIR

Comparative Analysis of Selected Calibration Methods for a Thermal Imaging Camera with a Cooled Detector Operating in the MWIR Range

53 Arkadiusz Rubiec, Mirosław Przybysz, Marian J. Łopatka, Łukasz Rykała, Piotr Krogul, Karol Cieślik, Rafał Typiak

Study on the Influence of an UGV Suspension System on Camera Motion of the Teleoperation System

Badanie wpływu układu zawieszenia bezzałogowej platformy lądowej na ruch kamery układu teleoperacji

67 Piotr Golański, Marek Szczekala

Using the Digital-Twin Technology in the Mi-17 Mixed Reality Simulator Zastosowanie technologii cyfrowych bliźniaków w symulatorze mieszanej rzeczywistości śmigłowca Mi-17

73 Ela Zawidzka, Jacek Szklarski, Janusz Kobaka, Machi Zawidzki Przykłady Małej Architektury w oparciu o System Arm-Z

Examples of Urban Furniture Based on Arm-Z System

81 Krzysztof Kubiczek, Marian Kampik, Michał Grzenik, Krzysztof Musioł, Anna Piaskowy

Wideband AC Voltage Standards

Wzorce napięcia przemiennego o szerokim paśmie częstotliwości

89 Tomasz Sosnowski, Mariusz Kastek, Krzysztof Sawicki, Grzegorz Bieszczad, Sławomir Gogler, Tadeusz Piątkowski

Metoda pomiaru temperatury ciała człowieka za pomocą kamery termowizyjnej

The Method of Measuring Human Body Temperature Using a Thermal Imaging Camera

99 Sławomir Gogler, Krzysztof Sawicki, Andrzej Ligienza, Mariusz Mścichowski

Metoda pomiaru minimalnej rozróżnialnej różnicy temperatury w funkcji powiększenia i rozogniskowania kamery termowizyjnej

A Method of Measurement of Minimum Resolvable Temperature Difference as a Function of Magnification and Defocusing of a Thermal Camera

107 Andrzej Ligienza, Mariusz Kastek, Tomasz Sosnowski, Krzysztof Firmanty

Nieselektywne powierzchnie referencyjne w teledetekcji hiperspektralnej w zakresie dalekiej podczerwieni

Non-selective Reference Surfaces for Hyperspectral Remote Sensing in the Long-Wave Infrared Range

113 Mateusz Tecław, Maciej Szłapczyński

Generacja terenu przestrzennego za pomocą edytora Hermes

Generation of Spatial Terrain Using the Hermes Editor

119 Paweł Lisiecki, Maciej Szłapczyński, Ewelina Chołodowicz

Automatyczna generacja wirtualnych elementów infrastruktury kolejowej

Automatic Generation of Virtual Railway Infrastructure Elements

125 Informacje dla Autorów

127 Nasze wydawnictwa

128 Repozytorium Robotyki

Drodzy Czytelnicy,

bieżący numer naszego kwartalnika, podobnie jak poprzednie, przedstawia szeroką gamę zagadnień dotyczących pomiarów, automatyki, robotyki i informatyki. Cieszy nas szczególnie, że od wielu kwartałów znaczna liczba autorów wybiera nasze czasopismo do prezentacji wyników swoich badań. Ten numer przynosi czternaście artykułów, które pozytywnie przeszły proces recenzji. Mamy nadzieję, że zaobserwowany trend utrzyma się w przyszłości.

Zagadnienia związane z robotyką poruszane są w czterech artykułach. Jeden poświęcony jest opisowi pewnej metody projektowania systemów robotycznych. Proponuje zastosowanie graficznego opisu systemów złożonych z agentów upostaciowionych realizowanych za pomocą oprogramowania ROS/ROS 2 do stworzenia specyfikacji, na podstawie której można zaimplementować docelowy system. Kolejny artykuł prezentuje wytyczne projektowe dotyczące uwzględnienia wpływu zawieszenia teleoperowanego pojazdu bezzałogowego, na obraz uzyskiwany z kamery zamocowanej na nim. Następny artykuł z tej grupy dotyczy tworzenia obrazów, w których łączone są zdjęcia rzeczywistych obiektów z graficznymi reprezentacjami sztucznych obiektów, w celu użycia ich w symulatorach helikopterów. Ostatni artykuł z cyklu poświęconego robotyce dotyczy konstrukcji redundantnego łańcucha kinematycznego manipulatora o specyficznych złączach.

W tym numerze kwartalnika jedynie dwa artykuły poświęcone są automatyce. Pierwszy z nich zajmuje się doborem nastaw regulatora PID zastosowanego w autopilocie statku. Natomiast drugi dotyczy prognozowania ilości generowanej energii elektrycznej w sieciach fotowoltaicznych z wykorzystaniem uczenia maszynowego.

Sześć artykułów poświęconych jest pomiarom. Pierwszy zajmuje się analizą sygnałów uzyskiwanych z encefalografu, do której wykorzystano techniki uczenia maszynowego w celu wykrywania kategorii schorzeń serca. Drugi poświęcony jest metrologicznym właściwościom oraz sposobom konstrukcji szerokopasmowych wzorców napięcia przemiennego. Trzeci ogniskuje uwagę Czytelnika na konstrukcji powierzchni referencyjnych służących do kalibracji kamer hiperspektralnych, jakie stosowane są do teledetekcji w zakresie podczerwieni. Kolejne trzy artykuły związane są z różnymi aspektami wykorzystania kamer termowizyjnych. Pierwszy dotyczy pomiaru temperatury człowieka. Drugi kalibracji tego typu kamer. A ostatni zajmuje się detekcją odczynów alergicznych skóry za pomocą pomiaru niewielkich różnic temperatury między nieodległymi obszarami.

Dwa artykuły dotyczące informatyki technicznej koncentrują się na automatycznym tworzeniu trójwymiarowych modeli otoczenia. Jeden zajmuje się generowaniem modeli graficznych budynków i terenów, a drugi wirtualnej infrastruktury kolejowej.

Mamy nadzieję, że wybór artykułów opublikowanych w tym numerze wzbudzi Państwa ciekawość.

Redakcja życzy intersującej lektury.

Redaktor naczelny kwartalnika Pomiary Automatyka Robotyka prof. dr hab. inż. Cezary Zieliński

Nastawy regulatora kursu dla autopilota statku

Zbigniew Świder

Politechnika Rzeszowska, Katedra Informatyki i Automatyki, al. Powstańców Warszawy 12, 35-959 Rzeszów

Streszczenie: Przedstawiono wybrane metody doboru nastaw PID dla regulatora kursu w autopilocie statku. Spójność projektowania jest możliwa dzięki temu, że zastosowano model Nomoto dla statku oraz dzięki eliminacji przez regulator stałej czasowej obiektu, przez co układ zamknięty staje się układem 2-go rzędu. W dwóch przypadkach założono dodatkowo, że układ ten ma mieć podwójną stałą czasową, różniącą się w zadanym stosunku r od stałej czasowej obiektu. Pokazano, że tak zaprojektowany regulator kursu zapewnia przebiegi aperiodyczne krytyczne przy skokowej zmianie wartości zadanej oraz lepiej tłumi zakłócenia środowiskowe niż standardowo nastrojone regulatory.

Słowa kluczowe: regulator PID, autopilot statku, dobór nastaw, odpowiedź skokowa

1. Wprowadzenie

Powszechnie stosowanym w praktyce algorytmem sterowania kursem statku jest PID z nastawami wyznaczonymi dla prostego opisu dynamiki statku, znanego w literaturze jako model Nomoto [1–3]. Ma on postać integratora ze stałą czasową i jego współczynniki są określane na podstawie prób morskich (zwykle na otwartych wodach). Dodatkowo, śledzenie prostoliniowego fragmentu trasy, inaczej ścieżki pomiędzy dwoma zadanymi punktami na mapie, można realizować w układzie kaskadowym [4, 5] z regulatorem nadrzędnym (także PID) wyznaczającym zadany kurs dla regulatora podrzędnego (również PID).

Parametry modelu Nomoto, a więc i nastawy PID, można uzależnić od prędkości statku otrzymując adaptacyjny regulator kursu (utrzymujący zadany kurs magnetyczny). Trudnością jest jednak uzależnienie ich od stopnia załadowania, zmiennego dla wielu typów statków, oraz innych czynników. Rozwiązaniem może być tutaj rozmyty regulator PID, w którym na podstawie odchyłki kursu i prędkości jej zmiany co pewien czas koryguje się nastawy według wcześniej przygotowanych reguł [6, 7].

Wzorcowe nastawy regulatora PID sterującego kursem statku podane są m.in. w książkach Fossena [2, 3], fundamentalnych dla automatyki okrętowej. Zakłada się tam, że układ zamknięty, na razie tylko z regulatorem PD, ma mieć transmitancję 2-go rzędu o częstotliwości naturalnej n ω i współczynniku tłumienia ξ zawartego w przedziale [0,8; 1]. Składową I, dołączaną następnie do PD, określa wzór heurystyczny (pocho-

Autor korespondujący:

Zbigniew Świder, swiderzb@prz.edu.pl Artykuł recenzowany nadesłany 18.02.2024 r., przyjęty do druku 10.04.2024 r.

dzący od Balchena). Z takich nastaw wzorcowych korzysta obecnie wielu autorów, np. [7, 8].

Alternatywą dla tych nastaw mogą być nastawy podane w [8, 9] (obliczone metodą lokacji biegunów), sformułowane przy założeniu podwójnej stałej czasowej układu zamkniętego (tłumienie krytyczne), która w zadanym stosunku ma różnić się od stałej czasowej statku. Dzięki eliminacji przez regulator tej stałej czasowej, układ zamknięty staje się układem 2-go rzędu, ale bez sięgania po zależność heurystyczną.

Wśród komercyjnych autopilotów statków wykorzystujących regulatory PID pierwszą grupę stanowią proste regulatory kursu, których nastawy dobierane są ręcznie, np. [12]. Do drugiej grupy należą autopiloty wyposażone w GPS [13], które mogą kierować statek do wybranego punktu (ang. Goto Waypoint) lub przechwytywać założoną ścieżkę między dwoma punktami na mapie (ang. Goto Track). Trzecią grupę stanowią zaawansowane rozwiązania z wbudowanym trybem śledzenia ścieżki oraz możliwością planowania optymalnej trasy podróży na urządzeniu ECDIS (ang. Electronic Chart Display Information System). Producenci autopilotów nie podają jednak, według jakich zależności dobierane są nastawy regulatorów.

2. Układy regulacji kursu statku

2.1. Model statku i regulator PID

Dla celów projektowania układów regulacji prostym opisem dynamiki statku dla sterowania kursem φ za pomocą wychylenia steru δ jest model Nomoto [1–3] w postaci transmitancji trzeciego rzędu

() ()() 1 , 11 c ab skTs ssTsTs

(1)

gdzie k jest wzmocnieniem statycznym a T a, Tb, T c stałymi czasowymi. Na podstawie prób na otwartym morzu można wyznaczyć wartości wszystkich współczynników modelu [2, 10], a także uprościć go do postaci transmitancji drugiego rzędu w postaci

, 1 s k ssTs

= + T = Ta + Tb – Tc, (2)

czyli jako integrator o wzmocnieniu k i stałej czasowej T. Dodatkowo współczynnik wzmocnienia k jest wprost proporcjonalny do aktualnej prędkości statku V, a stała czasowa T odwrotnie proporcjonalna, czyli k = k0 · V/V0 oraz T = T0 · V0/V, gdzie początkowe wartości k0, T0 są określane na podstawie wyników prób morskich wykonywanych przy nominalnej prędkości V0

W dalszej części rozważany będzie układ regulacji kursu pokazany na rys. 1, w którym φref reprezentuje wartość zadaną (kurs magnetyczny), δ sterowanie (wychylenie steru), d łączne zakłócenia środowiskowe (wiatr, fale lub prąd morski) a φ aktualny kurs statku (magnetyczny). Standardowy regulator PID ma postać

ustalone, z których należy odczytać amplitudę A cr i okres T cr, a następnie korzystając z funkcji opisującej przekaźnika, albo reguł Zieglera-Nicholsa, bądź ich modyfikacji, obliczyć nastawy. Niech R, I określają wartości bezwzględne części rzeczywistej i urojonej transmitancji obiektu dla częstotliwości 2/, cr cr T ωπ = tzn.

Go(jω cr) = – R – jI (6)

Z warunku Nyquista określającego cykl graniczny przy sterowaniu przekaźnikowym otrzymuje się zależności

22 , 4 cr RAH U π =− , 4 H I U π = 22 , MRI =+ (7)

Niestety daje to tylko jeden punkt charakterystyki amplitudowo-fazowej obiektu, co pokazano na rys. 3a, więc na dobre nastrojenie regulatora nie ma raczej co liczyć.

Rys. 1. Ogólny schemat układu regulacji kursu Fig. 1. General diagram of the heading control system

W praktycznej realizacji algorytmu PID składowa różniczkująca jest dodatkowo uzupełniana filtrem o stałej czasowej Td/D, czyli ma postać

() , /11/1 dd d TsTs TDsNs = ++ . d D N T = (4)

Łatwo można sprawdzić, że dla 4 D ≥ odpowiedź skokowa układu z filtrem różniczkowania praktycznie nie różni się od odpowiedzi bez tego filtru.

2.2. Nastawy PID według Åströma-Hägglunda

W 1943 r. Ziegler i Nichols przedstawili metodę cyklu granicznego dla eksperymentalnego doboru nastaw regulatorów polegającą na doprowadzeniu układu z regulatorem P do granicy stabilności. Należy wtedy odczytać wzmocnienie krytyczne k cr i okres drgań T cr, a następnie obliczyć nastawy regulatora. Dla regulatora PID wzory mają postać:

k p = 0,6 k cr, Ti = 0,5 T cr, Td = 0,125 T cr (5)

Klasyczny eksperyment Zieglera-Nicholsa nie jest jednak wygodny ze względu na konieczność ręcznego ustawianie wzmocnienia. Stąd zainteresowanie, jakie wzbudził oryginalny pomysł Åströma i Hägglunda [11], w którym zaproponowano automatyzację eksperymentu Zieglera-Nicholsa poprzez sterowanie przekaźnikowe w układzie z rys. 2a. Po przełączeniu na T (ang. Tune) obiekt jest sterowany przez przekaźnik dwupołożeniowy z histerezą. Amplituda zmian sterowania wynosi U, natomiast histereza H (rys. 2b). W układzie powstają drgania

Rys. 2. Strojenie przekaźnikowe: (a) układ; (b) typowe przebiegi Fig. 2. Relay tuning: (a) circuit; (b) typical waveforms (a) (b)

W pracy Åströma i Hägglunda [11] do wyznaczenia nastaw stosowany jest warunek

()() 3 4 0,5 j ocrPIDcr GjGje π ωω = (8)

stanowiący kombinację 2-krotnego zapasu modułu i zapasu fazy równego 45°. Czułość regulatora będzie więc mniejsza, niż w przypadku nastawienia wg reguł Zieglera-Nicholsa. Na rys. 3b pokazano, jaki skutek wywiera warunek (4) na transmitancję układu otwartego (open) dla częstotliwości ω cr Ponieważ warunek (8) pozwoli określić tylko dwa związki między trzema nastawami k p, Ti, Td regulatora PID, więc potrzebny jest trzeci warunek, aby jednoznacznie wyznaczyć nastawy. Może nim być np. /4 di TT = (jak w regułach Zieglera-Nicholsa). Łatwo sprawdzić, że wstawiając

1 1 pd i kTs Ts  ++    oraz /4 di TT = do (8), a także uwzględniając (6) i (7), otrzymamy nastawy

Jeżeli zachodzi warunek 2,AH > a tak zwykle jest przy znacznej amplitudzie U, to R > I, czyli 0,75π Φ> (czyli 145°).

Realne proporcje są więc mniej więcej takie, jak na rys. 3b. Zatem dla częstotliwości ω cr regulator PID zwiększa fazę o 0,75, π Φ− zaś moduł jego transmitancji wynosi 0,5/M

(a) (b) 21 tan, 24 i cr T

Rys. 3. Charakterystyka amplitudowo-fazowa: (a) obiekt; (b) układ otwarty dla warunku Åströma-Hägglunda

Fig. 3. Amplitude-phase characteristics: (a) object; (b) an open system for the Åström-Hägglund condition

2.3. Nastawy PID według Fossena

W fundamentalnych książkach Fossena [2, 3] jako transmitancję układu zamkniętego przyjęto () 2 22 , 2 n cl nn Gs ss ω ξωω = ++ 0,81 ξ  ∈  (10)

z dwoma parametrami projektowymi ω n, ξ. Projektowany jest tam najpierw regulator PD, do którego następnie składową I dobiera się heurystycznie. Podane w [2, 3] nastawy, nazywane dalej wzorcowymi, mają postać

2 , n p T k k ω = 2 21 , n d n T T T ξω ω = 10 i n T ω = (11)

Przyjmijmy teraz dodatkowy parametr projektowy – dzielnik redukcyjny r. Jeżeli r > 1, to stała czasowa Tcl układu zamkniętego ma być r-krotnie mniejsza od stałej czasowej statku T (układu otwartego). Stała czasowa Tcl odpowiada więc odwrotności modułu części rzeczywistej pierwiastka mianownika, czyli

1 cl n T ξω = (12)

Ponieważ Tcl = T/r, więc ω n = r/(ξT) po podstawieniu do (11) daje nastawy Fossena z nowymi dwoma parametrami projektowymi r oraz ξ:

2 2 , p r k kTξ = 10, i T T r ξ = (13)

2.4. Nastawy

obliczone metodą lokacji biegunów

Tryb projektowania polega na takim doborze nastaw regulatora PID (3), aby transmitancja układu zamkniętego miała postać (z podwójnym biegunem w mianowniku, [8, 9])

(14)

Również tu dzielnik redukcyjny r jest parametrem projektowym. Eliminacja stałej czasowej T przez podstawienie T2 = T w regulatorze (3) daje transmitancję układu otwartego w postaci

po

Przebieg linii pierwiastkowej dla transmitancji (15) przedstawiono na rys. 5. Poszukujemy teraz takiego punktu na linii pierwiastkowej, aby w transmitancji układu zamkniętego wystąpił podwójny biegun w punkcie (–1/Tcl, j0), czyli punktu rozwidlenia linii pierwiastkowej.

Rys. 4. Linia pierwiastkowa dla transmitancji (15)

Fig. 4. Root locus for transfer function (15)

Transmitancję układu zamkniętego Gcl(s) = G op(s)/(1 + G op(s)) przekształcamy tak, aby ostatnim elementem mianownika było 1. Mianownik ten powinien być taki sam, jak mianownik w (14), czemu odpowiada równanie

()2 2 1 1 11. cl p TT sTsTs kk + ++=+ (16)

Wynikają stad wprost wzory na T1 i k p w zależności od Tcl, czyli

1 2,TTcl = 1 2 1 p cl TT k k T + = (17)

Ponieważ Tcl = T/r, według (14), więc przy warunku T2 = T otrzymuje się finalne nastawy regulatora k p, Ti, Td

() 1 2, p krr kT =+ 2 , i r TT r + = 2 . 2 d TT r = + (18)

Układ zamknięty będzie miał postać Gcl,F(s) = 1/(Tcls + 1)2, jeśli układ z rys. 1 uzupełnimy o filtr F wartości zadanej o transmitancji GF(s) = 1/(TFs + 1), gdzie TF = T1 = 2T/r. Można go również uzupełnić o ogranicznik prędkości nara -

stania wartości zadanej (przy jej skokowej zmianie), jak to pokazano na rys. 5.

3. Badania symulacyjne

Do testów porównawczych przyjęto znormalizowaną transmitancję statku (model Nomoto) w postaci

() () () 1 , 11 s k ssTsss ϕ δ == ++ czyli k = 1, T = 1. (19)

Na wstępie układ regulacji przełączono w tryb T (Tune) jak na rys. 2a, gdzie obiekt (statek) jest sterowany przez przekaźnik dwupołożeniowy z histerezą. Amplituda zmian sterowania wynosiła U = 1, natomiast histereza H = 0,01. Odczytano amplitudę drgań krytycznych A cr = 0,4874 oraz okres oscylacji równy T cr = 1,258, a następnie obliczono k cr = (4U)/(πA cr) = 0,2612 oraz T cr = T osc = 1,258. Korzystając z podanych wcześniej wzorów obliczono nastawy regulatora PID dla wybranych metod strojenia, a wyniki przedstawiono w tab. 1.

Na rys. 6 przedstawiono odpowiedzi skokowe i zakłóceniowe dla tych czterech zestawów nastaw z tab. 1. Warto zauważyć, że stosując standardowe metody inżynierskie strojenia regulatorów (cyklu granicznego Zieglera-Nicholsa oraz zmodyfiko-

Rys. 5. Układ sterowania dla regulatora kursu z ogranicznikiem i filtrem

Fig. 5. Control system for heading regulator with rate limiter and prefilter

waną Åströma-Hägglunda) otrzymujemy przebiegi oscylacyjne ze stosunkowo dużym przeregulowaniem (rzędu 50 %) oraz długim czasem regulacji t r. Najlepsze wyniki daje tu strojenie metodą lokacji biegunów (opisaną m.in. w [8, 9]), gdzie otrzymujemy stosunkowo krótki czas regulacji przy przebiegach aperiodycznych krytycznych (odpowiedź skokowa).

Na rys. 7 przedstawiono ponownie odpowiedzi skokowe i zakłóceniowe, ale dla parametru projektowego r zmniejszonego do wartości 2 (czyli stała czasowa układu zamkniętego ma być dwukrotnie mniejsza od stałej czasowej układu otwartego).

Odpowiedź skokowa i zakłóceniowa dla strojenia metodą Zieglera Nicholsa oczywiście się nie zmieniła (nie zależy od parametru r), natomiast nastąpiło znaczne pogorszenie odpowiedzi zakłóceniowej dla nastrojenia regulatora metodą Fossena. Dla pozostałych metod pogorszenie odpowiedzi było nieznaczne.

Porównano również odpowiedzi dla parametru r = 3 w sytuacji, gdy do wszystkich układów regulacji dodano filtr wstępny F wartości zadanej (zgodnie z rys. 5) oraz ogranicznik prędkości narastania sygnału. Wyniki przedstawiono na rys. 8.

Można zauważyć, że w dwóch pierwszych przypadkach przeregulowanie zmniejszyło się, a dla nastaw Fossena przebiegi stały się aperiodyczne krytyczne. Odpowiedzi na skokowe zakłócenie oczywiście nie zmieniły się (gdyż nie zależą od filtru F). Tutaj również, zarówno odpowiedź skokowa jak i zakłóceniowa, jest najkorzystniejsza dla projektowania metodą lokacji biegunów.

Tab. 1. Nastawy regulatora PID kursu statku dla wybranych metod

Tab. 1. Setting of the ship heading PID controller for selected methods

Metoda Parametry projektowe Wzory

Rys. 6. Odpowiedzi skokowe (a) i zakłóceniowe (b) z regulatorem PID (dla

Fig. 6. Step (a) and disturbance (b) responses with PID controller (for r = 3)

Rys. 7. Odpowiedzi skokowe (a) i zakłóceniowe (b) z regulatorem PID (dla r = 2) Fig. 7. Step (a) and disturbance (b) responses with PID controller (for r = 2)

a)

Rys. 8. Odpowiedzi skokowe (a) i zakłóceniowe (b) z regulatorem PID i filtrowaniem wartości zadanej Fig. 8. Step (a) and disturbance (b) responses with PID controller and setpoint filtering

4. Podsumowanie

W artykule przedstawiono i porównano kilka wybranych metod doboru nastaw PID dla regulatora kursu w autopilocie statku. Spójność projektowania jest możliwa dzięki temu, że przyjęto ogólnie znany model Nomoto oraz dzięki eliminacji przez regulator stałej czasowej obiektu, gdyż wtedy układ zamknięty staje się układem 2-go rzędu. W dwóch przypadkach założono dodatkowo, że stała czasowa odpowiedniego układu zamkniętego r-krotnie różni się od stałej czasowej modelu statku. W podanej tabeli nastaw PID występują jedynie parametry modelu Nomoto oraz parametr projektowy r. Pokazano również, że w takim przypadku regulator lepiej tłumi zakłócenia środowiskowe niż standardowo nastrojone regulatory.

Bibliografia

1. Nomoto K., Taguchi T., Honda K., Hirano S., On the steering Qualities of Ships, Technical Report, International Shipbuilding Progress, Vol. 4, 1957, 354–370.

2. Fossen T.I., Guidance and Control of Ocean Vehicles (4th ed.), Wiley, Chichester, 1999.

3. Fossen T.I., Marine Control Systems, Marine Cybernetics, Trondheim, 2002.

4. Morawski L., Pomirski J., Rak A., A cascade control system for trajectory tracking, 4th International Congress on Maritime Technological Innovations and Research, 2004, 265–276.

5. Chen C.Y., Ruiz M.T., Delefortrie G., Vantorre M., Lataire E., An Energy-Efficient Adaptive Course Control System for Ocean Surface Ships, 11th International Workshop on Ship and Marine Hydrodynamics, Hamburg, 2019, DOI: 10.15480/882.3349.

6. van Amerongen J., van Nauta Lemke H.R., van der Veen J.C.T., An autopilot for ships designed with fuzzy sets, “IFAC Proceedings Volumes”, Vol. 10, No. 16, 1977, 479–487, DOI: 10.1016/S1474-6670(17)69559-4

7. Tomera M., Fuzzy Self-tuning PID controller for a Ship Autopilot, Proceedings of the 12th International Conference on Marine Navigation and Safety of see transportation, TransNav, Gdynia, 2017, DOI: 10.1201/9781315099132-15.

8. Trybus L., Świder Z., Stec A., Tuning Rules of Conventional and Advanced Ship Autopilot Controllers, Automation 2015, 303–311, DOI: 10.1007/978-3-319-15796-2_31.

9. Świder Z., Trybus L., Consistent design of PID controllers for an autopilot, “Polish Maritime Research”, Gdańsk, Vol. 30, No. 1, 2023, 78–85, DOI: 10.2478/p omr-2023-0008.

10. Saari H., Djemai M., Ship motion control using multi-controller structure. “Ocean Engineering”, Vol. 55, 2012, 184–190, DOI: 10.1016/j.oceaneng.2012.07.028.

11. Åström K.J., Hägglund T., Automatic tuning of simple regulators with specifications on phase and amplitude margins “Automatica”, Vol. 20, No. 5, 1984, 645–651, DOI: 10.1016/0005-1098(84)90014-1.

Inne źródła

12. ALPHASEAPILOT MFC Autopilot Operating Manual, Alphatron, https://www.alphatronmarine.com

13. FAP-2000 Autopilot Operator Manual, Furuno, https://www.furuno.com.

Tuning the Heading Controller for the Ship’s Autopilot

Streszczenie: Selected methods of PID settings for the heading controller in the ship’s autopilot are presented. The consistency of the design is possible due to the fact that the Nomoto model was used for the ship and thanks to the elimination of the time constant of the object by the controller, so that the closed system becomes a 2nd order system. In two cases, it was additionally assumed that the system is to have a double time constant, differing in a given ratio r from the time constant of the object. It has been shown that the heading controller designed in this way provides critical aperiodic waveforms at a step change in the setpoint value and suppresses environmental disturbances better than standardly tuned controllers.

Słowa kluczowe: PID controller, ship autopilot, tunings methods, step response

dr hab. inż. Zbigniew Świder swiderzb@prz.edu.pl

ORCID: 0000-0003-3504-5340

Absolwent Wydziału Elektrotechniki i Informatyki Politechniki Rzeszowskiej (1984). Na Wydziale Automatyki, Elektroniki i Informatyki Politechniki Śląskiej w Gliwicach uzyskał stopień doktora nauk technicznych (1992) oraz doktora habilitowanego nauk technicznych (2004). Od początku pracy zawodowej zajmuje się sterownikami mikroprocesorowymi, a ostatnio metodami samostrojenia i adaptacji nastaw regulatorów, komputerowymi systemami automatyki oraz środowiskami inżynierskimi do programowania przemysłowych układów sterowania.

Metodyka projektowania systemów robotycznych w oparciu o metamodele EARL i MeROS

Tomasz Winiarski, Jan Kaniuka, Jakub Ostrysz

Politechnika Warszawska, Instytut Automatyki i Informatyki Stosowanej

Streszczenie: Inżynieria systemów odgrywa obecnie kluczową rolę w procesie wytwarzania, wdrażania oraz utrzymania systemów cyberfizycznych. Coraz częściej staje się ona nieodłącznym narzędziem podczas projektowania, chociażby systemów robotycznych. W artykule zaproponowano metodykę projektowania systemów robotycznych w oparciu o dwa metamodele: EARL na poziomie niezależnym od platformy implementacji oraz MeROS dedykowany dla ROS/ROS 2. Procedura została zaprezentowana poprzez analizę reprezentatywnego zastosowania aplikacyjnego: heteregonicznego systemu wielorobotowego z centralnym koordynatorem.

Słowa kluczowe: robot, inżynieria systemów, ROS 2, EARL, MeROS

1. Wprowadzenie

Podobnie jak w innych dziedzinach inżynierii, w robotyce podstawowym problemem jest jak opracowywać systemy w warunkach różnorodnych wyzwań i ryzyk projektowych. Procedura powinna być możliwie niezawodna i minimalizować ryzyko błędów czy też niepowodzenia projektu. Tradycyjną odpowiedzią jest inżynieria systemów oparta na modelu MBSE (ang. Model-Based Systems Engineering) [16]. Pytaniem, na jakie odpowiada ten artykuł, jest postać i sposób realizacji procedury projektowej nawiązującej do powyższej problematyki. Procedura opiera się współczesnych narzędziach, a do jej ilustracji wybrano przykład nawiązujący do robotyki przemysłowej.

Charakter systemów przemysłowych powoduje, że w wielu zastosowaniach uzasadnione jest użycie centralnej koordynacji [26–28]. Choć tego typu rozwiązania znane są od wielu lat, obecnie coraz częściej roboty wdrażane w zakładach przemysłowych zgodnie z koncepcją Przemysłu 4.0 są silnie zróżnicowane i obok robotów manipulacyjnych pojawią się roboty mobilne autonomicznie przewożące towary w ramach procesów intralogistycznych.

Przemysłowe systemy robotyczne cechowała znaczna rozmaitość języków programowania [29]. Ponadto frameworki usprawniające proces programowania robotów tworzone były pierwotnie głównie w środowisku akademickim [30]. Wśród frameworków na pierwszy plan wysunął się ROS (ang. Robot Operating System), obecnie rozwijany i zalecany do użycia w wersji drugiej [10]. Naturalną koleją rzeczy jest postępująca próba standaryza-

Autor korespondujący:

Tomasz Winiarski, tomasz.winiarski@pw.edu.pl

Artykuł recenzowany nadesłany 01.11.2023 r., przyjęty do druku 16.04.2024 r.

Zezwala się na korzystanie z artykułu na warunkach licencji Creative Commons Uznanie autorstwa 3.0

cji sposobu programowania robotów przemysłowych w oparciu o ROS 2 i społeczność ROS Industrial [4]. Efektywny opis systemów wspierany jest przez graficzny język SysML [11]. Do tego wskazane są metamodele dziedzinowe [1], stąd w ostatnim czasie dla ROS powstał metamodel bazujący na SysML o nazwie MeROS. Artykuł [18] zawiera szczegółowe omówienie sensu i znaczenia stosowania podobnych metamodeli, natomiast bieżąca wersja MeROS wraz z dodatkowymi materiałami instruktażowymi umieszczona jest na stronie tego projektu1. Rysunek 1 przedstawia kluczowe dla dalszej prezentacji bloki MeROS. Odnoszą się one do poziomu abstrakcyjnego opisu systemu poprzez Intrasystemy i Kanały Komunikacyjne oraz konkretne aspekty implementacji jak Węzły i metody komunikacji ROS.

1 https://github.com/twiniars/MeROS

Rys. 1. Kompozycja systemu MeROS: Intrasystem i związane z nim bloki

Fig. 1. MeROS System Composition: Intrasystem and associated blocks

Sam proces opracowywania systemu cyberfizycznego, jakim jest system robotyczny, wymaga osadzenia logiki działania w sprzęcie, stąd obok logicznej koncepcji działania potrzebne jest upostaciowienie [9]. Taką możliwość daje EARL [22, 23]. Podobnie jak MeROS, EARL oparty jest na SysML, co ułatwia ich wspólne wykorzystanie, będące przedmiotem tego artykułu. Mimo tego że EARL jest nowym rozwiązaniem, był już szeroko stosowany m.in. dla robotów manipulacyjnych i mobilnych [2]. EARL wywodzi się z Teorii Agentowej Szkoły Warszawskiej [7, 9, 25], podejścia ugruntowanego od lat i stosowanego współcześnie w wyjściowej postaci m.in. w tak rozbudowanych frameworkach jak TaskER [3]. W artykule korzystamy z EARL i MeROS, kontynuując i rozszerzając wcześniejsze prace nad metodami projektowania sterowników systemów robotycznych [17, 31] przez synergiczne stosowanie metamodeli zależnych i niezależnych od platformy implementacyjnej. W tym celu koncentrujemy się na blokach EARL wskazanych na diagramie 2, które z jednej strony odnoszą się do ogólnej struktury systemu, ale co jest kluczowe dla znaczenia EARL w proponowanym podejściu, mają upostaciowiony charakter.

Rys. 2. Kompozycja systemu EARL: Agenty i Grupy Połączeń Fig. 2. EARL System Composition: Agents and Groups of Links

Postać dalszej części artykułu jest następująca. Rozdział 2 prezentuje procedurę projektową. Rozdział 3 opisuje jej przykładową realizację. Artykuł kończy podsumowanie w rozdziale 4.

2. Procedura projektowa

Kluczowe wymagania dla procedury projektowej przedstawiono na rys. 3 i 4. Diagramy te, podobnie jak inne części procedury, zostały zdefiniowane w SysML [13]. Wymagania zaetykietowano według wzorca [RX.Y], gdzie X oznacza poziom wymagań, a Y numer wymagania na określonym poziomie. Poziom pierwszy odnosi się do wyjściowych wymagań, natomiast kolejne poziomy są wywiedzione i wiążą się z decyzjami projektowymi. Kluczowa w procesie opracowywania procedury projektowej jest alokacja wymagań, co uwidocznione jest na kolejnych diagramach, tym razem aktywności. Poczynając od rys. 3. Założono, że procedura będzie dotyczyła pewnej podklasy systemów robotycznych, gdzie brak jest bezpośredniej komunikacji między robotami [R1.1], ale i ich działania są koordynowane [R1.2]. Wynika z tego dedykowany Agent koordynatora [R2.1]. Walidacja [R1.3] jest jednym z kluczowych elementów przebiegu projektu w inżynierii systemów [6]. W rozważanej klasie systemów robotycznych założono, że system ma realizować scenariusz określony na wstępie [R2.2] i podlegający walidacji podczas testów systemu [R2.3]. Kolejny zestaw wymagań przedstawiono na rys. 4. Weryfikacja [R1.4] jest newralgicznym elementem procesu projektowego [6] i wspiera jego poprawny przebieg. Zanim do niej przejdziemy, należy wspomnieć o wymaganiu [R1.5], gdyż w tej pracy zajmujemy się systemami na bazie ROS 2. Weryfikacja wiąże się w praktyce z zapewnieniem czytelnych przejść pomiędzy różnymi sposobami/poziomami definicji projektowanego systemu. Stąd zdecydowano o zastosowaniu MeROS w wersji 1.2.7, który to zapewnia, i, co również było wymagane, odnosi się do ROS. Przejście od ogólniejszych do bliższych imple-

Rys. 3. Wymagania dla procedury projektowej – część 1

Fig. 3. Design procedure requirements – part 1

Rys. 4. Wymagania dla procedury projektowej – część 2

Fig. 4. Design procedure requirements – part 2

Rys. 5. Procedura projektowa – widok ogólny

Fig. 5. Design procedure – general view

Rys. 6. Struktura systemu wyrażona w EARL i MeROS

Fig. 6. System structure expressed in EARL and MeROS

Rys. 7. Procedura projektowa – ACT1: EARL strukturyzacja

Fig. 7. Design procedure – ACT1: Structurisation with EARL

Rys. 8. Procedura projektowa – EARL zachowanie

Fig. 8. Design procedure – Behaviour with EARL

mentacji opisów systemu w MeROS wymaga dekompozycji i uszczegóławiania bytów agregujących [R3.1].

Powracając do wymagań wyjściowych, zakładamy pewien zadany zestaw robotów o określonej funkcjonalności [R1.6], z którego zostanie skomponowany system. Roboty mają w naturalny sposób fizyczną naturę, co skłania do zastosowania EARL2 [R2.5] (wybrano jego najnowszą wersję 1.3) do modelowania systemu o fizycznej naturze, podczas gdy MeROS dotyczy konkretnej platformy programistycznej. W EARL zachowanie Agentów definiowane jest na ogólnym poziomie poprzez automat skończony i tak też zdefiniowany jest koordynator [R3.3], który w przeciwieństwie do robotów nie ma z góry określonej funkcjonalności. Połączenie EARL z MeROS w jednym procesie projektowym wymaga mapowania sprzętu na oprogramowanie [R3.2]. Procedura projektowa została przedstawiona w ogólnej postaci poprzez diagram aktywności na rys. 5. Wyróżniono pięć głównych aktywności oznaczonych etykietami [ACTX.Y], gdzie X to numer aktywności głównej, a Y to numer podaktywności. Na diagramie 5 nakreślono zasadniczy przepływ sterowania oraz alokację wymagań. Każda z aktywności głównych została szczegółowo omówiona na dedykowanym dla siebie diagramie aktywności w dalszej części tej sekcji. Zastosowanie EARL [R2.5] pociąga za sobą aktywności: [ACT1] – gdzie należy nakreślić strukturę systemu w EARL, a następnie [ACT2] – gdzie definiowane jest zachowanie systemu w EARL. Kolejny etap procedury zachodzi w MeROS [R2.4], w którym najpierw definiowany jest widok ogólny [ACT3] a następnie implementacyjny [ACT4]. Projekt kończą implementacja i testy [ACT5]. Naturalnie w praktyce możliwe, a nawet niekiedy wskazane, są powroty do poprzednich faz procedury, stąd mowa jest o zasadniczym przepływie sterowania. Dodatkowe dwie aktywności: ActivityInitial oraz ActivityFinal są standardowymi aktywnościami, którymi oznacza się początek i koniec procedury.

Dla dalszych, szczegółowych rozważań kluczowe jest sformułowanie struktury opracowywanego systemu poprzez diagram definicji bloków na rys. 6.

Diagram przedstawia obraz systemu z dwóch perspektyw: EARL (u góry) i MeROS w widoku ogólnym (u dołu). Obie części podlegają mapowaniu. Aktywność [ACT1] przedstawiona jest na diagramie 7. W pierwszej kolejności należy zaproponować diagram strukturalny w EARL, składający się z Agentów robotów i koordynatora [ACT1.1] oraz połączeń między nimi [ACT1.2].

2 https://www.robotyka.ia.pw.edu.pl/projects/earl/

Rys. 9. Procedura projektowa – ACT3: MeROS widok ogólny

Fig. 9. Design procedure – ACT3: MeROS general view

Tomasz Winiarski, Jan Kaniuka, Jakub Ostrysz

W kolejnym etapie (rys. 8) następuje w pierwszej kolejności sformułowanie scenariusza działania systemu na diagramie sekwencji [ACT2.1], gdzie podmiotami są komponenty z diagramu strukturalnego opracowanego w etapie pierwszym [ACT1]. W oparciu o scenariusz oraz założoną na wstępie funkcjonalność robotów należy opracować automat skończony dla koordynatora [ACT2.2].

Po definicji systemu w EARL, przychodzi czas na specyfikację w MeROS. W pierwszej kolejności opracowywany jest widok ogólny (rys. 9). Jest to stosunkowo proste [ACT3.1] i sprowadza się do mapowania bloków EARL na ich odpowiedniki w MeROS. W ogólności ROS i MeROS mogą być zastąpione przez inne specyficzne rozwiązania, co jest kolejną zaletą wykorzystania modelowania niezależnego od platformy, jakie zapewnia EARL.

W kolejnej fazie (rys. 10) realizowana jest dekompozycja i uszczegółowienie komponentów [ACT4.1] określonych uprzednio w widoku ogólnym MeROS. Choć to pojedyncza aktywność, to jest to jeden z najbardziej czasochłonnych i złożonych etapów projektowania systemu.

Rys. 10. Procedura projektowa – ACT4: MeROS widok implementacyjny

Fig. 10. Design procedure – ACT4: MeROS implementation view

Na koniec (rys. 11) następują implementacja [ACT5.1] i testy [ACT5.2]. Naturalnie ich przebieg może wpływać na poprzednie aktywności. Wskazana jest też wspomagana generacja kodu w celu ułatwienia zapewnienia jego zgodności ze specyfikacją. W [ACT5.2] domykana jest procedura tworzenia systemu poprzez walidację pierwotnie założonego scenariusza jego działania.

Rys. 11. Procedura projektowa – ACT5: Implementacja i testy

Fig. 11. Design procedure – ACT5: Implementation and tests

3. Realizacja przykładowego systemu

3.1. Założenia

Podstawowym wymaganiem odnośnie realizacji systemu jest [R1.2] z diagramu 3. Współpraca wymaga współdziałania co najmniej dwóch robotów. Postanowiono wykorzystać roboty dostępne w Laboratorium Robotyki Instytutu Automatyki i Informatyki Stosowanej WEiTI PW, tzn. dwa manipulatory Dobot Magician i robota mobilnego MiniRyś. Opisom wspomnianych platform robotycznych poświęcono osobne sekcje w dalszej części tego artykułu. Drugą istotną kwestią było zdefiniowanie zadania, którą mają wspólnie wykonywać roboty. Zdecydowano się na realizację zadania transportu detalu przez robota mobilnego pomiędzy dwoma robotami manipulacyjnymi.

3.2. Opis środowiska testowego

Środowiskiem operacyjnym dla robotów jest modularna plansza o wymiarach 2 m × 1,2 m [20] (rys. 12).

Konfiguracja tej planszy może być modyfikowana przez zmianę położenia poszczególnych elementów oraz dodanie ruchomych przeszkód. Podczas budowy planszy wykorzystano elementy modularnego środowiska do rywalizacji robotów sportowych śledzących linię [24]. Wszystkie kable zasilające, sygnałowe i sieciowe poprowadzono pod planszą. Roboty manipulacyjne Dobot Magician zostały rozmieszczone w dwóch przeciwległych rogach planszy. Natomiast robot mobilny MiniRyś może swobodnie poruszać się po całej planszy. 3.3. Robot manipulacyjny Dobot Magician Robot manipulacyjny wykorzystany podczas testów opracowanego systemu to Dobot Magician – wielofunkcyjny, szeregowy manipulator dydaktyczny o czterech stopniach swobody (rys. 13) produkowany przez firmę Dobot.

Zasięg manipulatora wynosi 320 mm, a maksymalny udźwig to 0,5 kg. Robota Dobot Magician można łatwo rekonfigurować i dodawać nowy osprzęt np. przyssawkę pneumatyczną lub dwupalczasty chwytak równoległy, dostosowując go pod konkretne

environment

Rys. 12. Środowisko testowe

Fig. 12. Test

Rys. 13. Manipulator Dobot Magician – wizualizacja [20]

Fig. 13. Dobot Magician manipulator – visualization [20]

zastosowanie aplikacyjne. Manipulator jest sterowany pozycyjnie. Przy komunikacji z manipulatorem korzysta się z portu szeregowego i interfejsu USB.

Robot został wyposażony w system sterowania opracowany w ramach pracy inżynierskiej ”System sterowania robota manipulacyjnego Dobot Magician na bazie frameworka ROS 2” [8]. System sterowania daje możliwość interakcji z robotem z wykorzystaniem mechanizmu akcji (ruch manipulatora), usług (sterowanie efektorami) i tematów (odczyt pozycji). Użytkownik ma również możliwość wizualizacji stanu robota, sterowania z poziomu GUI oraz diagnostyki. Struktura kinematyczna tego robota sprawia, że przystaje on do realizacji zadań typu podnieś i umieść. Robot wykorzystany podczas testów posiada dodatkowe komponenty wykonane w technologii druku 3D – nakładki na chwytak oraz uchwyt do kamery głębi Intel RealSense D435i.

3.4. Robot mobilny MiniRyś

MiniRyś to dwukołowy mobilny robot o zmiennym sposobie lokomocji, który rozwijany jest w ramach działalności Koła Naukowego Robotyki ”Bionik” od 2013 r. (rys. 14).

Rys. 14. Robot mobilny MiniRyś (model CAD)

Fig. 14. MiniRyś mobile robot (CAD model)

Pierwsze prototypy [19] powstały na podstawie badań nad platformą robota o zmiennym trybie lokomocji [14, 15, 21]. W kolejnych wersjach rozwojowych robota badano jego poszczególne komponenty sprzętowe, rozwiązania programowe jak również systemy operacyjne. Aktualnie robot posiada system sterowania oparty o ROS 2 stworzony w ramach prac nad platformą sprzętowo-programową czasu rzeczywistego [5]. W ramach ostatnich prac nad najnowszą wersją robota skupiono się na diagnostyce, testach i wizualizacji działania [12]. Platforma sprzętowa robota została wyposażona w obrotowy skaner LiDAR, a system sterowania został zintegrowany ze stosem nawigacyjnym Nav2. Oprócz poruszania się w trybie poziomym, w którym trzecim punktem podparcia jest zderzak, ma on również możliwość przemieszczania się w trybie pionowym, w którym robot balansuje na dwóch kołach. Robot jest platformą dydaktyczno-badawczą, umożliwiającą szkolenie z zakresu sterowania robotami mobilnymi, systemów wizyjnych, systemów czasu rzeczywistego, a także prowadzenie badań z zakresu zarządzania systemami wielorobotowymi i zachowania roju robotów.

3.5. Konfiguracja sprzętowo-sieciowa systemu podczas testów

Elementy systemu (m.in. roboty i ich sensory) wraz z interfejsami do ich wzajemnej komunikacji zobrazowano na diagramie 15.

Celem zachowania zgodności językowej modelu systemu z wytworzonym oprogramowaniem, na diagramach prezentują-

Rys. 15. Diagram konfiguracji sprzętowo-sieciowej

Fig. 15. Hardware and network configuration diagram

cych realizację systemu zastosowano anglojęzyczne oznaczenia. Manipulatory komunikują się z kamerami RGBD oraz z jednostką sterująco-koordynującą z wykorzystaniem interfejsu USB. Komunikacja z robotem mobilnym odbywa się poprzez interfejs WLAN, a jego eksteroreceptor tzn. LiDAR, komunikuje się z komputerem robota z wykorzystaniem interfejsu UART.

3.6. Przykład zastosowania procedury projektowej

Pierwszym krokiem procedury projektowej jest strukturyzacja z wykorzystaniem dziedzinowego języka opisu systemów cyberfizycznych, którym jest EARL [ACT1]. Należy wskazać roboty i koordynatora oraz przypisać im Agenty [ACT1.1]. W naszym systemie występują cztery Agenty, których typy oraz zadania podano poniżej.

1) Agent koordynatora (CT): koordynacja.

2) Agent manipulatora pierwszego (CERT): stawianie kostki na robocie mobilnym.

3) Agent manipulatora drugiego (CERT): podnoszenie kostki z robota mobilnego.

4) Agent robota mobilnego (CERT): transport kostki między manipulatorami.

Po wskazaniu Agentów można przejść do wskazania Grup Połączeń <GpLinks> między nimi [ACT1.2], pamiętając przy tym o założeniu [R1.1] mówiącym o braku bezpośredniej komunikacji między robotami. Na diagramie 16 zobrazowano grupy połączeń między Agentami. Agent koordynatora wymienia informacje z Agentami każdego z robotów, pośrednicząc tym samym w komunikacji między poszczególnymi robotami.

W drugim etapie opracowanej procedury projektowej również wykorzystywany jest język EARL. Ten etap rozpoczęto od sformułowania scenariusza działania systemu w formie diagramu sekwencji [ACT2.1], który widoczny jest na rysunku 17. Bloki występujące na tymże diagramie to Agenty z diagramu strukturalnego z rysunku 16.

Rys. 16. Ogólna struktura omawianego systemu wielorobotowego

Fig. 16. Overall structure of considered multi-robot system

Tomasz Winiarski, Jan Kaniuka, Jakub Ostrysz

Diagram sekwencji reprezentuje jedynie konkretny scenariusz realizacji danego zadania. Jest on przejrzysty i czytelny dlatego, że nie są na nim rozpatrywane wszystkie sytuacje, które potencjalnie mogą zachodzić w trakcie działania systemu. Do zilustrowania wszystkich stanów systemu i tranzycji pomiędzy nimi wykorzystywany jest diagram automatu stanów (ang. State Machine Diagram), którego utworzenie jest częścią drugiego etapu procedury projektowej [ACT2.2]. Automat skończony zdefiniowany dla naszego scenariusza testowego widoczny jest na rysunku 18.

Na diagramie automatu skończonego znajdują się także stany terminalne, które są osiągane w momencie niepowodzenia na etapie wykonywania danego podzadania przez robota. W tym miejscu warto także wspomnieć o założeniu dotyczącym stanu początkowego systemu. Zakładamy, że robot mobilny nie ma na sobie kostki i znajduje się on w zasięgu manipulatora, który ma nim tę kostkę położyć.

Kolejny krok procedury to specyfikacja systemu z wykorzystaniem metamodelu MeROS [ACT3.1]. Rezultatem realizacji tego etapu procedury projektowej jest diagram strukturalny

Rys. 17. Scenariusz działania systemu Fig. 17. System operation scenario

Rys. 18. Automat skończony zachowania koordynatora

Fig. 18. Finite state automata of coordinator behaviour

Rys. 19. Specyfikacja systemu z wykorzystaniem metamodelu MeROS

Fig. 19. System specification using MeROS metamodel

Rys. 20. Interfejsy do komunikacji pomiędzy Intrasystemami

Fig. 20. Communication interfaces between Intrasystems

o ogólnym charakterze widoczny na rysunku 19. Powstał on przez mapowanie bloków EARL na ich odpowiedniki w MeROS. Najbardziej rozbudowanym krokiem procedury projektowej jest etap czwarty, w którym następuje dekompozycja i uszczegółowienie komponentów [ACT4.1] określonych na diagramie MeROS z widokiem ogólnym. Na diagramie bloków wewnętrznych (rys. 20) opisano, jakie mechanizmy komunikacji dostarczane przez ROS 2 zostały wykorzystane do wymiany informacji między Intrasystemami.

Intrasystemy obydwu manipulatorów otrzymują zadania od koordynatora poprzez odebranie wiadomości typu std_msgs.String na temacie /heros_task (nazwa heros to skrót od ”Heterogenous robots in ROS”). Manipulatory otrzymują komendy wysokopoziomowe (load lub unload), które odpowiadają sekwencji akcji wykonywanych w ramach Intrasystemu danego manipulatora. Informacja zwrotna mówiąca o zakończeniu wykonywania zadania lub wystąpieniu błędu jest przesyłana do koordynatora odpowiednio na tematach /loading_manipulator i /unloading_manipulator Robot mobilny otrzymuje od koordynatora zadania przez przesłanie na temacie /goal_pose współrzędnych punktu, do którego ma dojechać. Koordynator oczekuje na odpowiedź zwrotną na temacie /navigate_to_pose/_action/status Zadanie dla robota mobilnego MiniRyś może zakończyć się sukcesem, tzn. robot dojechał do celu lub niepowodzeniem – na drodze robota pojawiła się przeszkoda, której nie może ominąć. Intrasystem koordynatora został już opisany w formie automatu skończonego na diagramie 18. Wykorzystywane podczas testów manipulatory różnią się jedynie narzędziem roboczym oraz zadaniem, które wykonują. Manipulator 1 ma chwytak dwupalczasty równoległy i odpowiada za odkładanie kostki na robota mobilnego, z kolei Manipulator 2 ma przyssawkę pneumatyczną i zdejmuje nią kostki z robota. Struktura Intrasystemu Manipulator 1 została przedstawiona na diagramie 21.

Węzeł Pick&Place odbiera polecenia od Węzła Koordynatora, wykonuje sekwencję operacji pozwalających podnieść kostkę, a następnie przesyła informację zwrotną o statusie wykonania zadania. Węzeł Intel RealSense Wrapper przesyła obraz z kamery RGBD do Węzła Aruco Marker Detector, który lokalizuje kostkę i przesyła informację o jej pozycji do Węzła Pick&Place. Na podstawie tej informacji wykonywana jest sekwencja operacji otwarcia/zamknięcia chwytaka oraz ruchu manipulatora, które pozwalają na podjęcie obiektu. Opisane powyżej operacje przedstawiono również w formie diagramu behawioralnego widocznego na rysunku 22. Na diagramie 23 przedstawiono strukturę Intrasystemu robota mobilnego. Głównym elementem jest Węzeł BT Navigator, pełniący rolę interfejsu między Węzłem koordynatora a robotem mobilnym. Węzeł ten otrzymuje od koordynatora informację dotyczące punktu na mapie modularnej planszy, do którego dotrzeć ma robot mobilny. Po otrzymaniu wiadomości, BT Navigator przekazuje informację zwrotną o statusie wykonania zadania. Węzeł AMCL odbiera odczyt z dwuwymiarowego skanu laserowego od Węzła Lidar. Dodatkowo otrzymuje mapę środowiska testowego od Węzła Map Server Dzięki tym danym możliwe jest zlokalizowanie robota przez

Rys. 21. Struktura Intrasystemu manipulatora

Fig. 21. Diagram of manipulator’s Intrasystem

Rys. 22. Diagram behawioralny Intrasystemu manipulatora

Fig. 22. Behavioural diagram of manipulator Intrasystem

Tomasz Winiarski, Jan Kaniuka, Jakub Ostrysz

określenie układu współrzędnych bazy robota w układzie współrzędnych mapy. Następnie Węzeł Global Costmap, wykorzystuje te dane podczas tworzenia globalnej mapy kosztu. Ta mapa jest następnie przekazywana do Węzła Planner Server, na podstawie której wyznaczany jest globalny plan i ścieżka, którą robot powinien podążać. Następnie na podstawie akcji ścieżka ta przetwarzana jest na pozycje na mapie i przekazywana do Węzła BT Navigator. Informacja o skanie laserowym 2D wykorzystywana jest również do tworzenia lokalnej mapy kosztu w Węźle Local Costmap, która następnie przesyłana jest do Węzła Controller Server. Węzeł ten wykorzystuje również dane odometryczne z Węzła silników robota, oraz informację o ścieżce przesyłane za pomocą akcji z Węzła BT Navigator w celu wyznaczenia prędkości, z którą powinien poruszać się robot mobilny, aby pokonać skorygowaną ścieżkę uwzględniającą informację o potencjalnych przeszkodach wykrywanych przez lokalną mapę kosztu. Ostatecznie wiadomość dotycząca zadanej prędkości przetwarzana jest przez Węzeł Motors Controller, który wyznacza sterowania na poszczególne silniki robota i przekazuje je do Węzła efektorów. Opisane powyżej operacje przedstawiono również w formie diagramu behawioralnego widocznego na rysunku 24.

Rys. 23. Struktura Intrasystemu robota mobilnego

Fig. 23. Diagram of mobile robot Intrasystem

Rys. 24. Diagram behawioralny Intrasystemu robota mobilnego

Fig. 24. Behavioural diagram of mobile robot Intrasystem

4. Podsumowanie

4.1. Ocena działania systemu

Ostatni etap procedury projektowej to implementacja [ACT5.1] i testy [ACT5.2]. Zaplanowany scenariusz testowy wykonano wielokrotnie. We wszystkich przypadkach koordynator w odpowiednich chwilach czasu przydzielał zadania właściwym robotom. Celowo wykorzystano roboty heterogeniczne podczas weryfikacji, aby pokazać, że opracowana procedura projektowa nie zakłada homogeniczności systemu robotycznego. Podczas jednej z prób manipulatorowi z przyssawką pneumatyczną nie udało się pobrać kostki z robota mobilnego. Test ten przeprowadzany był już późną porą i na skutek niedostatecznego oświetlenia sceny system wizyjny miał problem z detekcją obiektu do podjęcia. Wymóg zapewnienia dostatecznego oświetlenia nie został uwzględniony na etapie specyfikacji wymagań.

Film dokumentujący jeden z testów wraz z jednoczesną wizualizacją automatu stanu koordynatora dostępny jest pod linkiem3

Podczas implementacji automatu stanów koordynatora wykorzystano otwartoźródłową bibliotekę YASMIN (ang. Yet Another State MachINe). Dostarcza ona klasy oraz metody, które pozwalają w prosty i przejrzysty sposób skojarzyć zachowania (akcje) z poszczególnymi stanami. Dodatkowym atutem tej biblioteki jest możliwość bieżącej wizualizacji stanu automatu (rys. 25) przez program YasminViewer, co ułatwia identyfikację ewentualnych błędów poczynionych na etapie implementacji.

4.2. Perspektywy

rozwoju

Opracowana procedura projektowa dla systemów opartych o ROS 2 charakteryzuje się dużym potencjałem rozwojowym. Przykładowo możliwe jest jej rozbudowa przez wykorzystanie innych diagramów behawioralnych, np. diagramów przypadków użycia (ang. Use case diagram [uc]).

Etap implementacji systemu opracowanego z wykorzystaniem zaproponowanej procedury projektowej można także usprawnić poprzez dodanie wspomaganej generacji kodu w [ACT5.1]. Przyspieszy to proces tworzenia oprogramowania oraz pozwoli na wyeliminowanie części błędów na początkowym etapie implementacji. Do testów walidacyjnych systemu można także przygotować bardziej skomplikowany scenariusz. Warte rozważenia

3 https://vimeo.com/865928183

Rys. 25. Widok automatu skończonego koordynatora z poziomu YasminViewer

Fig. 25. View of coordinator’s finite state automaton from YasminViewer

wydaje się rozbudowanie modularnej planszy, aby umożliwić współdziałanie kilku robotów mobilnych. Istotnym rozszerzeniem etapu projektowania systemu może być także uwzględnienie współbieżności wykonywania zadań przez roboty.

Podziękowania

Projekt został zrealizowany w ramach grantu Koła Naukowego Robotyki Bionik ”Rozwój metod współdziałania robotów manipulacyjnych i mobilnych wykorzystujących framework ROS 2”. Sprzęt potrzebny do realizacji projektu współfinansowano ze środków programu IDUB – Inicjatywa Doskonałości: Uczelnia Badawcza.

Autorzy pragną podziękować Danielowi Giełdowskiemu i Jakubowi Sadowskiemu za udział w tworzeniu modularnego środowiska testowego dla heterogeniczego systemu robotycznego.

Bibliografia

1. de Araújo Silva E., Valentin E., Carvalho J.R.H., da Silva Barreto R., A survey of model driven engineering in robotics. “Journal of Computer Languages”, Vol. 62, 2021, DOI: 10.1016/j.cola.2020.101021.

2. Dudek W., Miguel N., Winiarski T., SPSysML: A metamodel for quantitative evaluation of Simulation-Physical Systems. arXiv preprint arXiv:2303.09565, 2023, DOI: 10.48550/arXiv.2303.09565.

3. Dudek W., Winiarski T., Scheduling of a Robot’s Tasks With the TaskER Framework. “IEEE Access”, Vol. 8, 2020, 161449–161471, DOI: 10.1109/ACCESS.2020.3020265.

4. D’Avella S., Avizzano C.A., Tripicchio P., ROS-Industrial based robotic cell for industry 4.0: Eye-in-hand stereo camera and visual servoing for flexible, fast, and accurate picking and hooking in the production line. “Robotics and Computer-Integrated Manufacturing”, Vol. 80, 2023, DOI: 10.1016/j.rcim.2022.102453.

5. Giełdowski D., Struktura i implementacja systemu robotycznego zawierającego robota MiniRyś. Master’s thesis, WEiTI, 2021.

6. Grady J.O., System validation and verification, CRC Press, 1997.

7. Janiak M., Zieliński C., Control system architecture for the investigation of motion control algorithms on an example of the mobile platform Rex. “Bulletin of the Polish Academy

of Sciences – Technical Sciences”, Vol. 63, No. 3, 2015, 667–678, DOI: 10.1515/bpasts-2015-0078.

8. Kaniuka J., System sterowania robota manipulacyjnego Dobot Magician na bazie frameworka ROS 2. Bachelor’s thesis, WEiTI, 2023.

9. Kornuta T., Zieliński C., Winiarski T., A universal architectural pattern and specification method for robot control system design. “Bulletin of the Polish Academy of Sciences – Technical Sciences”, Vol. 68, No. 1, 2020, 3–29, DOI: 10.24425/bpasts.2020.131827.

10. Macenski S., Foote T., Gerkey B., Lalancette C., Woodall W., Robot operating system 2: Design, architecture, and uses in the wild, “Science Robotics”, Vol. 7, No. 66, 2022, DOI: 10.1126/scirobotics.abm6074.

11. Op en Management Group. OMG Systems Modeling Language – Version 1.7, December 2022. https://www.omg. org/spec/SysML/1.7/Beta1/PDF (dostęp: 2024-03-23).

12. Ostrysz J., Badania, modernizacja oraz wizualizacja robota mobilnego MiniRyś. Bachelor’s thesis, WEiTI, 2023.

13. Salado A., Wach P., Constructing True Model-Based Requirements in SysML. “Systems”, Vol. 7, No. 2, 2019, DOI: 10.3390/systems7020019.

14. Seredyński D., Winiarski T., Robot mobilny o zmiennym sposobie lokomocji – wyniki badań. „Pomiary Automatyka Robotyka”, R. 17, Nr 7–82013, 107–115.

15. Seredyński D., Winiarski T., Banachowicz K., Walęcki M., Stefańczyk M., Majcher P., Robot mobilny o zmiennym sposobie lokomocji – konstrukcja mechaniczna i elektroniczna. „Pomiary Automatyka Robotyka”, R. 17, Nr 1, 2013, 162–167.

16. The International Council on Systems Engineering. INCOSE systems engineering handbook: a guide for system life cycle processes and activities. John Wiley & Sons, 2023.

17. Trojanek P., Zieliński C., Kornuta T., Winiarski T., Metoda projektowania układów sterowania autonomicznych robotów mobilnych. Część 2. Przykład zastosowania. „Pomiary Automatyka Robotyka”, R. 15, Nr 10, 2011, 84–90.

18. Winiarski T., MeROS: SysML-Based Metamodel for ROSBased Systems. “IEEE Access”, Vol. 11, 2023, 82802–82815, DOI: 10.1109/access.2023.3301727.

19. Winiarski T., Bogusz M., Giełdowski D., Foryszewski K., Miniaturowy robot mobilny o zmiennym sposobie lokomocji MiniRyś. XV Krajowa Konferencja Robotyki – Postępy robotyki, Vol. 1, 2018, 251–260.

20. Winiarski T., Giełdowski D., Kaniuka J., Ostrysz J., Sadowski J., HeROS: a miniaturised platform for research

and development on Heterogeneous RObotic Systems arXiv:2403.04384, 2024, DOI: 10.48550/arXiv.2403.04384.

21. Winiarski T., Seredyński D., Robot mobilny o zmiennym sposobie lokomocji – system sterowania. „Pomiary Automatyka Robotyka”, R. 17, Nr 5, 2013, 93–99, 2013.

22. Winiarski T., Seredyński D., EARL – dziedzinowy język opisu systemów cyberfizycznych. XVI Krajowa Konferencja Robotyki – Postępy robotyki, Vol. 1, 2022, 223–232.

23. Winiarski T., Węgierek M., Seredyński D., Dudek W., Banachowicz K., Zieliński C., EARL – Embodied Agent-Based Robot Control Systems Modelling Language. „Electronics”, Vol. 9, No. 2, 2020, DOI: 10.3390/electronics9020379.

24. Węgierek M., Świstak B., Winiarski T., Modularne środowisko do rywalizacji robotów sportowych śledzących linię „Pomiary Automatyka Robotyka”, R. 19, Nr 3, 2015, 61–66, DOI: 10.14313/PAR_217/61.

25. Zieliński C., Transition-function based approach to structuring robot control software. K. Kozłowski, redaktor, Robot Motion and Control, Vol. 335 serii Lecture Notes in Control and Information Sciences, 2006, 265–286. Springer-Verlag, DOI: 10.1007/978-1-84628-405-2_17.

26. Zieliński C., Robotyka: techniki, funkcje, rola społeczna Cz. 1. Techniczne podstawy inteligencji i bezpieczeństwa robotów. „Pomiary Automatyka Robotyka”, R. 26, Nr 4, 2022, 5–26, DOI: : 10.14313/PAR_246/5.

27. Zieliński C., Robotyka: techniki, funkcje, rola społeczna Cz. 2. Aktualne możliwości robotów. „Pomiary Automatyka Robotyka”, R. 27, Nr 1, 2023, 5–18, 1 DOI: 10.14313/PAR_247/5.

28. Zieliński C., Robotyka: techniki, funkcje, rola społeczna. Cz. 3. Roboty a problemy społeczne. „Pomiary Automatyka Robotyka”, R. 27, Nr 2, 2023, 5–20, 10.14313/PAR_248/5.

29. Zieliński C., Kornuta T., Programowe struktury ramowe do tworzenia sterowników robotów. „Pomiary Automatyka Robotyka”, R. 19, Nr 1, 2015, 5–14, DOI: 10.14313/PAR_215/5.

30. Zieliński C., Kornuta T., Stefańczyk M., Szynkiewicz W., Trojanek P., Walęcki M.. Języki programowania robotów przemysłowych. „Pomiary Automatyka Robotyka”, R. 16, Nr 112012, 10–19.

31. Zieliński C., Kornuta T., Trojanek P., Winiarski T., Metoda projektowania układów sterowania autonomicznych robotów mobilnych. Część 1. Wprowadzenie teoretyczne. „Pomiary Automatyka Robotyka”, R. 15, Nr 9, 2011, 84–87.

Robotic Systems Development Method Based on EARL and MeROS Metamodels

Abstract: Systems engineering is currently playing a key role in the manufacture, implementation and maintenance of cyber-physical systems. Increasingly, it is becoming an integral tool when designing, for example, robotic systems. This paper proposes a methodology for the design of robotic systems based on two metamodels: EARL at the implementation platform-independent level and MeROS dedicated to ROS/ROS 2. The procedure is demonstrated by analysing a representative application: a heteregonous multi-robot system with a central coordinator.

Keywords: robot, systems engineering, ROS 2, EARL, MeROS

Tomasz Winiarski, Jan Kaniuka, Jakub Ostrysz

dr inż. Tomasz Winiarski tomasz.winiarski@pw.edu.pl

ORCID: 0000-0002-9316-3284

Jest adiunktem w Instytucie Automatyki i Informatyki Stosowanej Politechniki Warszawskiej oraz opiekunem Koła Naukowego Robotyki „Bionik”. Jego zainteresowania naukowe koncentrują się obecnie wokół inżynierii systemów cyberfizycznych, którą aplikuje w obszarze robotyki. W swojej pracy kierował licznymi grantami badawczymi poświęconymi powyższej tematyce. Jest członkiem polskich sekcji stowarzyszeń IEEE i INCOSE.

inż. Jakub Ostrysz jakub.ostrysz.stud@pw.edu.pl

ORCID: 0009-0006-8178-0134

Student kierunku Automatyka i Robotyka na Wydziale Elektroniki i Technik Informacyjnych Politechniki Warszawskiej. W 2023 r uzyskał tytuł inżyniera. Jego zainteresowania badawcze koncentrują się wokół systemów nawigacji robotów mobilnych i systemów sterowania rojem robotów. Aktywny członek Koła Naukowego Robotyki ”Bionik”.

inż. Jan Kaniuka

jan.kaniuka.stud@pw.edu.pl

ORCID: 0009-0009-9379-4906

Student kierunku Automatyka i Robotyka na Wydziale Elektroniki i Technik Informacyjnych Politechniki Warszawskiej. W 2023 r. uzyskał tytuł inżyniera z wyróżnieniem. W ramach pracy inżynierskiej zajmował się implementacją systemu sterowania 4-osiowego robota manipulacyjnego na bazie ROS 2. Aktywny członek Koła Naukowego Robotyki ”Bionik”.

The ECG Signal Monitoring System Using Machine Learning Methods and LoRa Technology

Sandra Śmigiel, Tomasz Topoliński

Bydgoszcz University of Science and Technology, Faculty of Mechanical Engineering, al. prof. S. Kaliskiego 7, 85-796 Bydgoszcz

Damian Ledziński, Tomasz Andrysiak

Bydgoszcz University of Science and Technology, Faculty of Telecommunications, Computer Science and Electrical Engineering, al. prof. S. Kaliskiego 7, 85-796 Bydgoszcz

Abstract: An electrocardiogram (ECG) is the first step in diagnosing heart disease. Heart rhythm abnormalities are among the early signs of heart disease, which can contribute to a patient’s heart attack, stroke, or sudden death. The importance of the ECGs has increased with the development of technologies based on machine learning and remote monitoring of vital signs. In particular, early detection of arrhythmias is of great importance when it comes to diagnosing a patient with heart disease. This is made possible through recognizing and classifying pathological patterns in the ECG signal. This paper presents a system for mobile monitoring of ECG signals enriched with the results of the study of the application of machine learning models from the group of Tree-based ML techniques and Neural Networks in the context of heart disease classification. The research was carried out through the use of the publicly available PTB-XL database of the ECG signals. The results were analyzed in the context of classification accuracy for 2, 5 and 15 classes of heart disease. Moreover, a novelty in the work is the proposal of machine learning techniques and architectures neural networks, which, have been selected to be applicable to IoT devices. It has been proven that the proposed solution can run in real time on IoT devices.

Keywords: mobile device, ECG signal, classification, IoT, LoRa, Neural Network, Machine Learning, PTB-XL database

1. Introduction

Cardiology is one of the fields of medicine where devices are finding applications in both diagnosis and therapy. Basic and relatively simple to obtain biomedical signals are increasingly providing useful and even relevant information about a patient’s condition (e.g., blood pressure, heart rate, heart rhythm). When it became possible to remotely transmit information recorded by medical devices, concepts of telemonitoring and even remote treatment began to emerge.

Remote monitoring in cardiology involves the use of electronic devices and telecommunications technology to digitally transmit physiological data from a patient’s home to a healthcare facility, thus helping to monitor the progression of diseases. This can be partially achieved using the parameters mentioned earlier, such as blood pressure and heart rate, which

Autor korespondujący:

Tomasz Andrysiak, tomasz.andrysiak@pbs.edu.pl

Artykuł recenzowany nadesłany 30.11.2023 r., przyjęty do druku 15.05.2024 r.

are measured by devices such as blood pressure monitors and pulse oximeters. In contrast, a comprehensive approach is the use of electrocardiography (ECG). ECG, as a graphical representation of the heart’s electrical activity, makes it possible to detect and analyze abnormal electrical activity of the heart outside the hospital, during daily activities. ECG telemonitoring is responsible for reading the recorded ECG signals, archiving them on a mobile device (saving) and transmitting them to a medical center (sending).

The electrocardiogram (ECG) is determined by many variables. It provides specific curves of electrical differences when the atria and ventricles of the heart muscle depolarize and repolarize, which corresponds to the cardiac cycle. The work of the atria and ventricles of the heart muscle produces waves as a result. The ECG signal consists of repetitive waves, such as the P-wave, QRS complex, and T-wave. These elements make up the ECG signal (fig. 1). The ECG analysis is one of the most important steps in diagnosing a heart disease. Issues in this area involve finding pathological patterns in the ECG signal. Any abnormality in the heart muscle can cause a heart disease, which may contribute to heart attacks, strokes, and cardiac arrhythmias. Many of these are treatable if they are diagnosed in time and the treatment undertaken by doctors is properly conducted. Predicting the onset of these disorders has been a major concern of researchers and scientists for many years [2].

At the core of ECG signal analysis there are shapes from individual heartbeats, morphological features of the ECG curve components, and their temporal properties. This process requires knowledge of the location and morphology of its various components, such as P-QRS-T. These features correspond to the location, duration, amplitude, and shape of individual waves or deflections. An important step in considering issues corresponding to the analysis of electrocardiographic signals is the pre-processing and de-noising of the signal [16]. The next step is feature extraction, which involves extracting characteristic information from the electrocardiographic waveform. The next step is the ECG signal classification, corresponding to signal evaluation in the context of cardiac diseases. The realization of these areas is possible mainly due to the availability of large, public open-source ECG datasets. The most commonly used databases are Physionet, PhysioBank, and PhysioToolkit [3].

Remote monitoring systems in medicine are seen as a composite of three components: a device (which collects data on physiological parameters), a network-communication interface (which enables data transmission), and a remote analytical platform (which collects and integrates large amounts of data, often enriched with pre-processing and analysis algorithms) [17].

Measurements are most often realized through devices placed on/near the human body. The sensors used for this purpose, in a non-invasive and convenient way for the patient, can provide real-time continuous recording of relevant physiological parameters over a long period of time.

From a clinical and research point of view, ideally, ECG signal monitoring devices should combine the features of an ECG Holter device with the simultaneous ability to transmit and analyze data in real time. The new devices should allow the implementation of novel diagnostic algorithms to find patterns and correlate with standards accepted in the diagnosis and treatment of heart disease. This corresponds to classification and compression processes implemented within the device, as well as within the network and medical system. In this context, the use of artificial intelligence techniques works well. The literature indicates using different approaches to ECG signal classification using machine learning (ML) methods [4]. This division includes classical machine learning and deep learning methods. The most commonly mentioned involve the use of artificial neural networks [12, 13, 23], the Support Vector Machine [10], the Decision Tree [9], the K-Nearest-Neighbor [11], the Multi-Layer-Perceptron, the Deep Learning methods [1, 6, 14, 21, 22], hybrid methods [7, 18] and many others.

An important area from the perspective of the ECG signal processing and analysis is its application in everyday life solutions. This is possible due to the development and proliferation of devices for remote monitoring vital signs. Mobile solutions, i.e. small and unobtrusive devices, are increasingly used for long-

-term ECG monitoring and prevention of heart disease complications. Furthermore, increasingly associated with this context is the Internet of Things (IoT) paradigm, related to smart sensor networks and wireless communication protocols. From the perspective of the high incidence of heart disease, as well as the patients in underdeveloped countries, such solutions could provide automatic analysis of the ECG signal and, for example, classification of various heart diseases [5].

Considering the development of wireless and remote data transmission technologies, LoRa communication technology may find use. LoRa is a standard for long-distance, low-power communication within the IoT [19]. IoT defines a network of interconnected objects (objects), each with a unique identifier (address) and the ability to indirectly or directly store, process or exchange data [15]. A large number of IoT devices use technologies such as GSM, Wi-Fi, ZigBee or Bluetooth to transmit data [8]. However, none of them provide long range, with low power consumption and no transmission fees at the same time. Technologies such as Bluetooth, ZigBee, and Wi-Fi have severely limited range. GSM technology is a long-range and relatively high-bandwidth solution, but its use is associated with high energy requirements and the need to pay additional fees. LoRa technology, on the other hand, is characterized by very long range (more than 10 km) and low energy consumption at the expense of very low throughput. LoRa technology makes it possible to create your own network by erecting one or more LoRa gateways, allowing LoRa devices to communicate with, for example, a server. It is also possible to use The Things Network (TTN), which is a public network created and maintained by the community. This solution does not involve additional fees but has limitations on the amount of data transferred. Since it is a community-maintained network, it does not have as much coverage as, for example, commercial GSM networks, while it is possible to put up and plug into TTN your own LoRa gateway. This paper presents a system for remote monitoring of ECG signal enriched with the results of studies of the application of machine learning models from the group of Tree-based ML techniques and Neural Networks in the context of heart disease classification. The idea of the system is a mobile recorder for monitoring the electrical activity of the heart muscle continuously for 24 hours or longer. The solution provides simultaneous analysis of rhythm and heart rate and controls in real time the phenomena occurring within the myocardium. The recorded data can be transmitted to the medical facility and/or directly to the attending physician. For the input data, preprocessing based on aggregation and feature extraction was performed using the Orthogonal Matching Pursuit (OMP) method. In addition, the performance of various models, combinations of input data (both raw and extracted data) was examined. Proposals for models and a set of features for input data relevant to classification were developed. Lastly, a verification of the applicability of the proposed methods on IoT devices has been made.

2. ECG LoRa devices

2.1. The system architecture

The ECG LoRa system includes devices, and a server in a medical facility or the cloud. Communication with the devices is carried out over a LoRa network (fig. 2). It can be either a private network, such as a single gateway connected to a server in a senior citizen’s home, or a public network, such as The Things Network. A private network, on the one hand, has a limited range, covering no more than a few kilometers, but no transmission restrictions. A public network, on the other hand, has no coverage limitations (although coverage is not present everywhere), while it has limitations on the amount of data transmitted with a single device.

Fig. 1. Example of ECG waveform

Rys. 1. Przykładowy fragment przebiegu EKG

Sandra Śmigiel, Tomasz Topoliński, Damian Ledziński, Tomasz Andrysiak

2.2. The device architecture

The ECG LoRa device includes (fig. 3):

− Microcontroller ESP32-S3 – 32-bit 2-core microcontroller equipped with Wi-Fi module, operating at 240 MHz clock; responsible for logic of system operation, handling of other devices, classification and compression of ECG signal.

− LoRa module with antenna – communication module responsible for transferring data to and from the medical facility via the LoRa network; realized on the SX1276 chip.

− ADC – 16-bit analog front-end for biopotential measurements; realized on the ADS1194CPAG chip, an analog-to-digital converter with SPI interface.

− Isolator – reinforced digital isolator with integrated power; isolates the patient from the rest of the circuit (isolates the SPI bus, and the ADC power supply).

− GPS module – a L80M39 module, turned on when needed; used for patient location and time synchronization.

− User interface consisting of LCD display, RGB LED and two buttons.

− SD Card – a card used to record the measured ECG signal, logs and device configuration.

− Power management and LiPo battery – a module that allows charging via USB and manages LiPo battery operation.

− Electrodes connectors – connectors for electrodes.

3. Materials and Methods of ECG classification

The methodology used in the study was as follows (fig. 6). Records from the PTB-XL database were used for the study. The R-waves of the ECG waveforms were then detected and labeled. On this basis, QRS complexes were extracted. The data was divided into data for teaching Orthogonal Matching Pursuit (OMP) dictionaries and data used in the training/validation/test process of the models. Cross-validation was used, that is, the training/validation/test data was split using five different seeds. Three types of OMP dictionaries were created. Then, for the data intended for training/testing the models, OMP atom coefficients were obtained. The following data was combined to train/test the models.

The following data was combined to train/test the models: QRS complexes, OMP atom co efficients, Metadata.

Fig. 2. Diagram of a system based on ECG LoRa device Rys. 2. Schemat działania systemu opartego o urządzenie ECG LoRa

Fig. 3. Block diagram of ECG LoRa device Rys. 3. Schemat blokowy urządzenia ECG LoRa

Fig. 4. ECG LoRa device elements layout, top side Rys. 4. Rozmieszczenie elementów urządzenia ECG LoRa, strona górna

Fig. 5. ECG LoRa device elements layout, bottom side Rys. 5. Rozmieszczenie elementów urządzenia ECG LoRa, strona dolna

Figures 4 and 5 show the PCB and layout of the ECG LoRa device components.

Fig. 6. A general overview diagram of the method Rys. 6. Ogólny schemat metody

Fig. 7. An example of the ECG waveform for each class, along with the detected R-waves (green) and cut lines (red)

Rys. 7. Przykładowy przebieg ECG dla każdej z klas wraz z wykrytymi załamkami R (zielony) i liniami cięć (czerwony)

Then two different approaches were used:

− Tree-based ML techniques,

− Neural Networks only.

The study consisted of classifying 2, 5, and 15 cardiovascular diseases. In the last step, an evaluation was made.

3.1. PTB-XL Dataset

The research for the study was carried out using the PTB-XL database [3, 24], a collection of electrocardiographic signals recorded for 12 leads. The dataset identified 21,837 ECG records, 10 s in length, collected from 18,885 individuals (men and women). The dataset was balanced between both sexes. However, it was not balanced regarding the number of included records in classes and subclasses for the study. Records that lacked labels (in the sense of the assigned class) and records for which the certainty of medical diagnosis assignment was not 100 % were excluded. This resulted in 17,011 records that referred to one of two classes (NORM class and others from the database), five classes (disease classes from the database), and 15 subclasses (disease subclasses). A detailed description of the classes and subclasses is included in the source literature reference of the database creators. ECG recordings with a sampling rate of 500 Hz with 16-bit resolution were used for the study.

3.2. QRS extraction

The method described in [20] was used to extract QRS complexes. This method labels R-waves in the first step. For this purpose, it uses known R-wave detectors (Two Average, Christov, Engzee) on all 12 leads and then, using the k-mean algorithm, deduces the true position of R-waves. In the next stage, the centers of the segments between the R-waves are determined which represent the location of the signal cut. With this approach, the R-waves are at or very close to the center of the extracted QRS complexes. In a further step, the determined R-peaks were used to cut the 10-second recordings into ECG segments for each of the five classes of heart disease separately (fig. 7).

3.3. Data splitting

At this stage, the experience of the article [20] was used. However, the parameter combinations used in [20] were limited: Dictionaries (for OMP algorithm): Dictionary Learning (DL), KSVD, Gabor dictionary, −Dictionary sizes: 125, 250 elements, −Number of non-zero coefficients: 20, −Aggregation metho ds: Voting.

In this way, collections of records were obtained, each record contained the following types of data:

−Metadata (sex, age, BPM, resampling ratio),

−Segments containing QRS complexes, −Co efficients from the OMP algorithm, Classes and sub classes of heart disease from the PTB-XL database.

Each set of records was divided into training (70 %), validation (15 %), and test (15 %) data. To get a more accurate assessment of the model’s performance, non-exhaustive cross-validation was used. The split function was used with five different seeds to repeat all tests five times for different data splits. For statistical significance tests, the results were recalculated for the test data using a split function with 50 different seeds.

3.4. Orthogonal Matching Pursuit

The issue of classification using machine learning methods have been pursued by other researchers in various combinations. The presented work proposes a method for classifying cardiac arrhythmias based on a multi-lead ECG signal. There are methods based on neural networks, however, to the knowledge of the authors of this work, they can be enhanced by the Orthogonal Matching Pursuit (OMP) method. The OMP is a technique that can provide an optimal representation of the ECG signal, defined as a subset of dictionary elements, as is the case with the ECG signal representations as linear expansions relative to a specified set of basic functions, well localized in time and/or frequency. For dictionaries, the OMP linear combination explains the largest percentage of the signal energy among all subsets of the same amount. For the OMP, dictionaries created using Dictionary Learning (DL) Technique, KSVD Technique, and Gabor functions were created. The DL and KSVD dictionaries were based on data, i.e., the ECG signal waveforms contained in the PTB-XL database. A detailed description of the Orthogonal Matching Pursuit method, as well as the dictionary creation, is described in the paper [20].

3.5. Tree-based ML techniques

In this approach, the optimized XGBoost, and LightGBM classifiers were used for classification (fig. 8). The following parameters were changed:

− Boosting learning rate (learning_rate) – 0.01, 0.1, 0.3,

− Number of boosting rounds (n_estimators) – 100, 200,

− Subsample ratio of columns when constructing each tree (colsample_bytree) – 0.6, 1.0,

− Subsample ratio of the training instance (subsample) –0.6, 1.0.

QRS complexes, OMP atomic coefficients (obtained from three types (Gabor, DL, KSVD), and two sizes (125, 250 atoms) of dictionaries), and metadata were provided at the model inputs, depending on the study. In this case, all data types were flattened to a 1-dimensional array. Since the ECG records studied had different numbers of R-waves, and thus different numbers of QRS complexes while the model had a fixed number of inputs, an aggregation method called Voting was used [20]. It is based on the fact that for each QRS complex the classification is done independently, and then the probabilities from all of them are averaged, and the final result is determined on this basis.

Fig. 8. Tree-based ML techniques; A. XGBoost, B. LightGBM

Rys. 8. Techniki uczenia maszynowego oparte na drzewach; A. XGBoost, B. LightGBM

Sandra Śmigiel, Tomasz Topoliński, Damian Ledziński, Tomasz Andrysiak

3.6. Neural Networks

This approach uses six artificial neural network architectures, referred to by the authors as VanillaNet (VN), BigVanillaNet (BVN), ConvolutionNet1 (CN1), ConvolutionNet2 (CN2), ConvolutionNet3 (CN3), ConvolutionNet4 (CN4). VanillaNet

Table 1. VanilaNet network architecture. n_inputs – input tensor size, n_outputs – output tensor size

Tabela 1. Architektura sieci VanilaNet. n_inputs – wielkość tensora wejściowego, n_outputs – wielkość tensora wyjściowego

3 20 n_outputs

and BigVanillaNet (fig. 9) are networks consisting of linear layers. Their parameters are presented in tables 1 and 2. Con-

Table 2. BigVanilaNet network architecture. n_inputs – input tensor size, n_outputs – output tensor size

Tabela 2. Architektura sieci BigVanilaNet. n_inputs – wielkość tensora wejściowego, n_outputs – wielkość tensora wyjściowego

volutionNet (fig. 10) additionally contains convolutional layers. Their parameters are presented in tables 3 to 8.

As with tree-based models, the combinations of QRS complexes, OMP atomic coefficients, and metadata were given as

Fig. 9. Neural Network architectures; A. VanillaNet, B. BigVanillaNet

Rys. 9. Architektury sieci neuronowych; A. VanillaNet, B. BigVanillaNet

Fig. 10. Neural Network architectures; A. ConvolutionNet1 and ConvolutionNet2, B. ConvolutionNet3 or ConvolutionNet4

Rys. 10. Architektury sieci neuronowych; A. ConvolutionNet1 and ConvolutionNet2, B. ConvolutionNet3 or ConvolutionNet4

Table 3. ConvolutionNet1 network architecture – convolutional layers

Tabela 3. Architektura sieci ConvolutionNet1 – warstwy konwolucyjne

Table 4. ConvolutionNet2 network architecture – convolutional layers

Tabela 4. Architektura sieci ConvolutionNet2 – warstwy konwolucyjne

Table 5. ConvolutionNet3 network architecture – convolutional layers

Tabela 5. Architektura sieci ConvolutionNet3 – warstwy konwolucyjne

Table 6. ConvolutionNet4 network architecture – convolutional layers

Tabela 6. Architektura sieci ConvolutionNet4 – warstwy konwolucyjne

Table 7. ConvolutionNet1 and ConvolutionNet2 network architecture –linear layers. n_inputs – input tensor size, n_outputs – output tensor size

Tabela 7. Architektura sieci ConvolutionNet1 i ConvolutionNet2 – warstwy liniowe. n_inputs – wielkość tensora wejściowego, n_outputs – wielkość tensora wyjściowego

Layer

input. However, for VanillaNet and BigVanillaNet networks, all data types were flattened to a 1-dimensional tensor. For ConvolutionNet networks, the OMP atom coefficients and metadata were flattened and the QRS complexes were given without changes on the convolution layers. The neural networks were trained using cross entropy as a loss function, the Adam optimizer with lr = 0.001, and took 100 epochs. As in previous approaches, the voting aggregation method, as well as the dictionaries were used.

3.7. Metrics

The models were evaluated using the following metrics [20]: Accuracy. It is calculated as follows: Accuracy = (True Positives + True Negatives) / (Total Predictions). Precision. It is calculated as follows: Precision = True Positives / (True Positives + False Positives).

Recall. It is calculated as follows: Recall = True Positives / (True Positives + False Negatives). F1 score. It is calculated as follows: F1 = 2 ∙Precision ∙Recall / (Precision + Recall).

Balanced accuracy: Balanced Accuracy = (True Positives / (True Positives + False Negatives)) + (True Negatives / (True Negatives + False Positives)).

Table 8. ConvolutionNet3 and ConvolutionNet4 network architecture –linear layers, n_inputs – input tensor size, n_outputs – output tensor size

Tabela 8. Architektura sieci ConvolutionNet3 i ConvolutionNet4 – warstwy liniowe, n_inputs – wielkość tensora wejściowego, n_outputs – wielkość tensora wyjściowego

1n_inputs + 96 × 13

2

3.8. Used tools

Two types of servers were used to perform the calculations: one GPU server with 2 Intel Xeon Silver 4210R processors, 192 GB of RAM, and NVIDIA Tesla A100 and NVIDIA Tesla A40 cards, five CPU servers with 2 Intel Xeon Gold 6132 processors and 512 GB of RAM each.

The following tools were used as software: JupyterLab, PyTorch, Sklearn, Numpy and Pandas.

4. Results

All experiments were conducted for 2, 5, and 15 disease classes. The following dictionaries were used for the research: Gabor, Dictionary Learning, and KSVD. 125 and 250 element dictionaries were used. Various combinations of input data were used: QRS complexes, OMP atomic coefficients, metadata, further labeled: signal, coef, meta. All tests were repeated for five seeds of data splitting into training, validation, and test data. The above parameters are identical in all approaches.

Table 9. First decile of tree-based classification results calculated in terms of ACC for validation data – two classes Tabela 9. Pierwszy decyl wyników klasyfikacji opartej na drzewie obliczony pod względem ACC dla danych walidacyjnych – dwie klasy

ModelDictionarylr necbsb Acc PrecisionRecallF1BAcc

LGBMgabor-1250.32001.01.00.9080.9040.9080.9060.908

LGBMgabor-1250.32001.00.60.9080.9040.9080.9060.908

LGBMgabor-2500.32001.00.60.9070.9030.9070.9050.907

LGBMgabor-2500.32001.01.00.9070.9030.9070.9050.907

XGBoostgabor-2500.32001.01.00.9070.9030.9070.9050.907

XGBoostgabor-1250.32000.61.00.9070.9030.9070.9050.907

XGBoostgabor-1250.32001.01.00.9070.9030.9070.9040.907

XGBoostgabor-2500.32000.60.60.9070.9030.9060.9040.906

XGBoostgabor-1250.31001.01.00.9060.9030.9060.9040.906

LGBMgabor-1250.32000.61.00.9060.9030.9060.9040.906

LGBMgabor-1250.32000.60.60.9060.9030.9060.9040.906

XGBoostgabor-1250.32001.00.60.9060.9030.9060.9040.906

LGBMgabor-2500.32000.60.60.9060.9030.9060.9040.906

LGBMgabor-2500.32000.61.00.9060.9030.9060.9040.906

4.1. Results for Tree-based ML techniques

In this approach, due to a large number of combinations of optimization parameters, only signal+coef+meta was used

as the input data type. Tables 9, 10 and 11 contain the first decile of classification results calculated in terms of ACC for validation data.

Table 10. First decile of ML based classification results calculated in terms of ACC for validation data – five classes Tabela 10. Pierwszy decyl wyników klasyfikacji opartej na drzewie obliczony pod względem ACC dla danych walidacyjnych – pięć klas

ModelDictionarylr necbsb Acc PrecisionRecallF1BAcc

LGBMgabor-1250.32001.00.60.7830.7460.6930.7130.693

LGBMgabor-1250.32001.01.00.7830.7460.6930.7130.693

LGBMgabor-2500.32001.00.60.7820.7490.6930.7140.693

LGBMgabor-2500.32001.01.00.7820.7490.6930.7140.693

LGBMgabor-2500.32000.60.60.7820.7480.6930.7140.693

LGBMgabor-2500.32000.61.00.7820.7480.6930.7140.693

LGBMgabor-2500.12001.01.00.7820.7530.6960.7180.696

LGBMgabor-2500.12001.00.60.7820.7530.6960.7180.696

LGBMgabor-1250.31001.01.00.7810.7430.6930.7120.693

LGBMgabor-1250.31001.00.60.7810.7430.6930.7120.693

LGBMgabor-1250.32000.61.00.7800.7450.6920.7120.692

XGBoostgabor-1250.32000.60.60.7800.7450.6920.7120.692

LGBMgabor-2500.31000.60.60.7800.7470.6940.7150.694

LGBMgabor-2500.31000.61.00.7800.7470.6940.7150.694

Table 11. First decile of ML based classification results calculated in terms of ACC for validation data – 15 classes Tabela 11. Pierwszy decyl wyników klasyfikacji opartej na drzewie obliczony pod względem ACC dla danych walidacyjnych – 15 klas

ModelDictionarylr necbsb Acc PrecisionRecallF1BAcc

LGBMgabor-2500.12001.00.60.7140.5790.4510.4570.451

LGBMgabor-2500.12001.01.00.7140.5790.4510.4570.451

LGBMgabor-2500.12000.60.60.7140.5710.4490.4570.449

LGBMgabor-2500.12000.61.00.7140.5710.4490.4570.449

LGBMgabor-2500.11000.60.60.7120.5590.4530.4610.453

LGBMgabor-2500.11000.61.00.7120.5590.4530.4610.453

XGBoostgabor-2500.32001.01.00.7120.5710.4470.4530.447

LGBMgabor-2500.11001.01.00.7120.5640.4510.4570.451

LGBMgabor-2500.11001.00.60.7120.5640.4510.4570.451

XGBoostgabor-2500.32000.61.00.7120.6080.4470.4550.447

LGBMgabor-1250.12000.61.00.7110.5620.4460.4500.446

LGBMgabor-1250.12000.60.60.7110.5620.4460.4500.446

XGBoostgabor-2500.32001.00.60.7110.5800.4450.4530.445

XGBoostgabor-2500.32000.60.60.7110.5860.4440.4490.444

Sandra Śmigiel, Tomasz Topoliński, Damian Ledziński, Tomasz Andrysiak

The ECG Signal Monitoring System Using Machine Learning

4.1. Results for Neural Networks

Tables 12, 13 and 14 contain the best results for each combination of data input and neural network models in terms of ACC

for validation data. As it can be seen, the ConvolutionalNet models have the highest accuracy for classifying 2, 5 and 15 classes. The addition of the MaxPool1D layer in the convolu-

Table 12. Best results for each combination of data input and neural network models in terms of ACC for validation data – two classes Tabela 12. Najlepsze wyniki dla każdej kombinacji danych wejściowych i modeli sieci neuronowych pod względem ACC dla danych walidacyjnych – dwie klasy

CN3 signal N/A

CN1signal-coef-metagabor-1250.905

CN2signal-coef-metagabor-1250.904

CN4signal-coefgabor-1250.903

CN4signal-coef-metagabor-1250.902

tion layers has improved the accuracy (ConvolutionalNet3 and ConvolutionalNet4). Both kernel_size = 3 and kernel_size = 5 in Conv1D layers bring good results. The best result is obtained

through the use of Gabor and KSVD dictionaries. DL dictionary does not provide a similar result.

Table 13. Best results for each combination of data input and neural network models in terms of ACC for validation data – five classes Tabela 13. Najlepsze wyniki dla każdej kombinacji danych wejściowych i modeli sieci neuronowych pod względem ACC dla

klas

CN4signal-coef-metagabor-1250.766

CN4signal-coefgabor-1250.766

CN1signal-coef-metagabor-2500.766

CN3signal-coef-metagabor-1250.764

CN2signal-coef-metaksvd-1250.763

CN3signal-coefdl-125

The ECG Signal Monitoring System Using Machine Learning Methods and LoRa

Table 14. Best results for each combination of data input and neural network models in terms of ACC for validation data – 15 classes Tabela 14. Najlepsze wyniki dla każdej kombinacji danych wejściowych i modeli sieci

11. Sample learning curve – Accuracy as a function of learning epoch

12. Sample learning curve – loss as a function of learning epoch

13. Example filters of convolutional layers of the CN4 network

Rys. 13. Przykładowe filtry warstw konwolucyjnych sieci CN4

Figures 11 and 12 show an example of a learning curve (in this case for ConvolutionNet for five classes).

Figure 13 presents an example of filters for the convolutional layers of the CN4 network (which have kernel_size = 5).

4.3. Results for test data

Table 15 shows the results for the two presented approaches for the test data. The designations used in the tables correspond to the following descriptions: Classes – number of classes used in classification, Model – the classifier model that obtained the highest ACC score for a given approach, and the following columns are the evaluation metrics.

Evaluating Tree-based ML techniques based on the optimization of XGBoost and LightGBM classifiers, a slight improvement in the classification results for 2, 5, and 15 classes was noticed, compared to references [20]. In the paper [20], its authors used well-known classifier models with default parameters. An analysis of ACC metrics for the best items showed higher accuracy of 0.3 % for two classes, 0.6 % for five classes, and 0.4 % for 15 classes, respectively. Regardless of the num-

ber of classes considered, the LGBM classifier achieves better results than XGBoost. Evaluation of the optimization parameters suggests the validity of their verification and their common use in the undertaken studies. Keeping the default parameters of the LGBM or XGBoost models would render achieving this improvement impossible. It is worth noting that in every case Tree-based ML technique obtained better results for the test data than neural networks.

5. Verification of the applicability in the IoT

Verification of the applicability of the proposed models in the IoT devices has been carried out. As hardware for the research, ESP32-S3 microprocessor was used (dual-core Xtensa LX7 at 240 MHz, with 512 kB of Flash memory and 8 MB of RAM). As software, the micropython environment (which is a port of the python language to the microprocessor) and the ulab library (which is a port of the NumPy and SciPy libraries for Micropython) were used.

Table 15. Results for test data for Tree-Based ML techniques and Neural Networks Tabela 15. Wyniki klasyfikacji technik

Fig.

Rys. 11. Przykładowa krzywa uczenia – dokładność w funkcji epoki uczenia

Fig.

Rys. 12. Przykładowa krzywa uczenia – strata w funkcji epoki uczenia

Fig.

Śmigiel, Tomasz Topoliński, Damian Ledziński, Tomasz Andrysiak

Table 16 shows the execution time of R-wave detectors for a 10-second 1-lead ECG signal sampled at 100 Hz. Table 17 shows the execution of features: OMP algorithm for 250-element dictionary, and convolution layers for CN3. Table 18 shows the execution time of Tree-based ML techniques. Table 19 shows the execution time of linear layers of chosen neural networks. Note that the trained LGBM model was too large to run on IoT devices.

The above ensures that the proposed methods on a 3-lead ECG signal, for selected models, will be able to perform the classification process in real time. Analysis of the 12-lead ECG signal requires skipping some of the QRS complex.

Table 16. Execution time of R-wave detectors for 10-second 1-lead ECG signal sampled at 100 Hz

Tabela 16. Czas wykonania detektorów załamka R dla 10-sekundowego 1-odprowadzeniowego sygnału EKG próbkowanego z częstotliwością 100 Hz

6. Conclusion

The need for long-term ECG signal monitoring is increasingly recognized, despite the existence of advanced medical equipment in healthcare centers. This process carried out in real time, at home, should concern patients and the elderly with comorbidities. This is made possible by the advent of widely used portable ECG telemonitoring systems for recording arrhythmias as they occur or for recording ECGs for later observation of various trends.

Table 17. Execution time of data processing for 1 lead ECG signal

Tabela 17. Czas wykonania przetwarzania danych dla 1 odprowadzenia

The difficulties in applying cardiac telemonitoring can be boiled down to two issues. The first issue concerns real-time data analysis. This is a direct result of the increasing speed of data generation and the numerous devices that transmit data using sensors. This data should be analyzed in real time in order to take action on patient care. On the other hand, these aspects have to do with the processes involved in digital signal processing and compression, which is the second issue. Their limitations are related to the transmission bandwidth, memory and battery of the remote cardiac monitoring device and ECG recording. In such scenarios, the main goal right next to ECG signal compression is the issue of classification, which aims to evaluate the correlations present and interpret them in terms of determining the occurrence of heart disease, in a way that allows immediate action to be taken to reduce the risk of patient death. In addition, medical data collected from different patients over time is an important dataset that can be used to train machine learning models for smarter and targeted disease prediction and treatment.

Table 18. Execution time of Tree-based ML techniques

Tabela 18. Czas wykonania technik ML opartych na drzewach

LGBM N/A N/A

Table 19. Execution time of Neural Network

Tabela 19. Czas wykonania architektur sieci neuronowych

The aforementioned difficulties can be overcome by properly designing the device, as well as enriching the device with appropriate methods for processing and analyzing the recorded signals. The use of LoRa technology in the device allows to reduce the cost of operating of the system significantly due to the avoidance of transmission fees. Moreover, unlike technologies such as GSM or even Wi-Fi, LoRa technology has very low power consumption. A limitation of LoRa technology is the impossibility of transmitting the ECG signal without a break, therefore the need to use classification directly on the device. In addition, the use of a GPS receiver increases the functionality of the device, allowing the location of the patient to be indicated during the alarm, and allowing the patient to be found on demand.

The classification from the field of the ECG is known mainly from works involving the diagnosis of arrhythmias, which refers to cardiac arrhythmias in general. In contrast, the motivation for most researchers are incidents of myocardial infarction. Their early detection helps preventing complications such as an increased risk of a stroke or even sudden death. Analyses of the models used for this purpose over the past few years have shown different approaches, with results at different levels. For the vast majority, studies were implemented using the MIT-BIH Arrhythmia Database and the PTB Diagnostic ECG Database. The classification was most often two or five classes of arrhythmia. The assessment metric was most often Accuracy (ACC), Recall, Precision, and the F1 parameter. ACC and F1 were most often highlighted as significant. Due to the unbalanced nature of the dataset, it was often decided to introduce the Balanced Accuracy (BAcc) metric, relevant to the PTB-XL dataset.

The proposed approach shows promising results of the ECG signal classification using Tree-based ML techniques and artificial neural networks. Comparing optimizing ML models with Ref 4 (using ML models on default options), there is an improvement from optimization. It can be observed (tables 9–11) that learning_rate and n_estimators parameters are of great importance for the effectiveness of optimization. In contrast, parameters colsample_bytree and subsample are of negligible importance. Interestingly, after optimization, the LightGBM

model turned out to be significantly better, and without optimization, the XGBoost model. Although Neural Networks did not yield the expected results. This signalizes the need to carry out research that takes into account various parameters, defining classifier models, so that it would be possible to develop the best model in terms of its effectiveness and efficiency.

As it can be observed (tables 12–14), the difference between Accuracy and Balanced Accuracy metrics increases as the number of disease classes increases. For the classifications of 2 classes, the values are almost identical, while for the classifications of 15 classes, the difference is dramatic. This is because the number of elements in the classes varies – the data is unbalanced. This causes the models to learn to classify more numerous classes better because they have more such records. A likely solution to this problem would be to train models with the same number of elements in each class.

It has been proven that the proposed solution can run in real time on the IoT devices. As it can be seen in Results Section, the total analysis time of the 3-lead ECG signal (on the ESP32-S3 microprocessor) is shorter by the duration of this signal. This means that the proposed solution can run in real time on the IoT devices. For a 12-lead ECG signal, the analysis time is longer than the duration of the signal. In this case, for the device to run in real time, it is required to skip some QRS complexes.

The conducted research confirms that considering the issue of the ECG signal classification is complex and requires further research. Although the test results have shown satisfactory results, there are still some imperfections, limitations, and uncertainties, both in relation to the biological evaluation of the ECG signal (in the context of the supplied ECG waveforms within publicly available data sets) and the selection of processing and analysis methods. However, it seems indisputable that further research is needed for the sake of the relevance of the topic, which takes into account the high morbidity and mortality of heart diseases, as well as the development of machine learning methods.

References

1. Al Rahhal M.M., Bazi Y., AlHichri H., Alajlan N., Melgani F., Yager R.R., Deep learning approach for active classification of electrocardiogram signals. “Information Sciences”, Vol. 345, 2016, 340–354, DOI: 10.1016/j.ins.2016.01.082.

2. Benjamin E.J., Muntner P., Alonso A., Bittencourt M.S., Callaway C.W., Carson A.P., et al., Heart disease and stroke statistics—2019 update: a report from the American Heart Association, “Circulation”, Vol. 139, No. 10, 2019, e56–e528, DOI: 10.1161/CIR.0000000000000659.

3. Goldberger A.L., Amaral L.A.N., Glass L., Hausdorff J.M., Ivanov P.C., Mark R.G., Mietus J.E., Moody G.B., Peng C.K., Stanley H.E. PhysioBank, PhysioToolkit, and Physionet: Components of a new research resource for complex physiologic signals, “Circulation”, 2000, DOI: 10.1161/01.cir.101.23.e215.

4. Hong S., Zhou Y., Shang J., Xiao C., Sun J., Opportunities and challenges of deep learning methods for electrocardiogram data: A systematic review. “Computers in Biology and Medicine”, Vol. 122, 2020, DOI: 10.1016/j.compbiomed.2020.103801.

5. Karthiga M., Santhi V., Sountharrajan S., Hybrid optimized convolutional neural network for efficient classification of ECG signals in healthcare monitoring. “Biomedical Signal Processing and Control”, Vol. 76, 2022, DOI: 10.1016/j.bspc.2022.103731.

6. Kiranyaz S., Ince T., Gabbouj M., Real-time patient-specific ECG classification by 1-D convolutional neural networks

“IEEE Transactions on Biomedical Engineering”, Vol. 63, No. 3, 2016, 664–675, DOI: 10.1109/TBME.2015.2468589.

7. Korürek M., Doğan B., ECG beat classification using particle swarm optimization and radial basis function neural network. “Expert Systems with Applications”, Vol. 37, No. 12, 2010, 7563–7569, DOI: 10.1016/j.eswa.2010.04.087.

8. Lavric A., Popa V., LoRa wide-area networks from an Internet of Things perspective, 9th International Conference on Electronics, Computers and Artificial Intelligence (ECAI), 2017, DOI: 10.1109/ECAI.2017.8166397.

9. Mahesh V., Kandaswamy A., Vimal C., Sathish B., ECG arrhythmia classification based on logistic model tree “Journal of Biomedical Science and Engineering”, Vol. 2, No. 6, 2009, 405–411, DOI: 10.4236/jbise.2009.26058.

10. Moavenian M., Khorrami H., A qualitative comparison of artificial neural networks and support vector machines in ECG arrhythmias classification. “Expert Systems with Applications”, Vol. 37, No. 4, 2010, 3088–3093, DOI: 10.1016/j.eswa.2009.09.021.

11. Owis M.I., Ab ou-Zied A.H., Youssef A.B., Kadah Y.M., Study of features based on nonlinear dynamical modeling in ECG arrhythmia detection and classification. “IEEE Transactions on Biomedical Engineering”, Vol. 49, No. 7, 2002, 733–736, DOI: 10.1109/TBME.2002.1010858.

12. Özbay Y., Ceylan R., Karlik B., A fuzzy clustering neural network architecture for classification of ECG arrhythmias. “Computers in Biology and Medicine”, Vol. 36, No. 4, 2006, 376–388, DOI: 10.1016/j.compbiomed.2005.01.006.

13. Özbay Y., Tezel G., A new method for classification of ECG arrhythmias using neural network with adaptive activation function. “Digital Signal Processing”, Vol. 20, No. 4, 2010, 1040–1049, DOI: 10.1016/j.dsp.2009.10.016.

14. Pałczyński K., Śmigiel S., Ledziński D., Bujnowski S., Study of the Few-Shot Learning for ECG Classification Based on the PTB-XL Dataset. “Sensors”, Vol. 22, No. 3, 2022, DOI: 10.3390/s22030904.

15. Perles A., Pérez-Marín E., Mercado R., Segrelles J.D., Blanquer I., Zarzo M., GarciaDiego F.J., An energy-efficient internet of things (IoT) architecture for preventive conservation of cultural heritage. “Future Generation Computer Systems”. Vol. 81, 2018, 566–581, DOI: 10.1016/j.future.2017.06.030.

16. Roonizi E.K., Sassi R., A signal decomposition model-based Bayesian framework for ECG components separation. “IEEE Transactions on Signal Processing”, Vol. 64, No. 3, 2015, 665–674, DOI: 10.1109/TSP.2015.2489598.

17. Sana F., Isselbacher E.M., Singh J.P., Heist E.K., Pathik B., Armoundas A.A., Wearable devices for ambulatory cardiac monitoring: JACC state-of-the-art review “Journal of the American College of Cardiology”. Vol. 75, No. 13, 2020, 1582–1592, DOI: 10.1016/j.jacc.2020.01.046.

18. Shadmand S., Mashoufi B., A new personalized ECG signal classification algorithm using Block-based Neural Network and Particle Swarm Optimization. “Biomedical Signal Processing and Control”, Vol. 25, 2016, 12–23, DOI: 10.1016/j.bspc.2015.10.008.

19. Main page LoRa Alliance [on-line], accessed on: https:// lora-alliance.org/

20. Śmigiel S., ECG Classification Using Orthogonal Matching Pursuit and Machine Learning. “Sensors”, Vol. 22, No. 13, 2022, DOI: 10.3390/s22134960.

21. Śmigiel S., Pałczyński K., Ledziński D., ECG signal classification using deep learning techniques based on the PTB-XL dataset. “Entropy”, Vol. 23, No. 9, 2021, DOI: 10.3390/e23091121.

22. Śmigiel S., Pałczyński K., Ledziński D., Deep Learning Techniques in the Classification of ECG Signals Using

Sandra Śmigiel, Tomasz Topoliński, Damian Ledziński, Tomasz Andrysiak

R-Peak Detection Based on the PTB-XL Dataset. “Sensors”, Vol. 21, No. 24, 2021, DOI: 10.3390/s21248174.

23. Übeyli E.D., Combining recurrent neural networks with eigenvector methods for classification of ECG beats. “Digital Signal Processing”, Vol. 19, No. 2, 2009, 320–329, DOI: 10.1016/j.dsp.2008.09.002.

24. Wagner P., Strodthoff N., Bousseljot R.D., Kreiseler D., Lunze F.I., Samek W., Schaeffter T., PTB-XL, a large publicly available electrocardiography dataset. “Scientific Data”, 2020, DOI: 10.1038/s41597-020-0495-6.

System do monitorowania sygnału EKG z wykorzystaniem metod uczenia

maszynowego i technologii LoRa

Streszczenie: Elektrokardiogram (EKG) jest pierwszym krokiem w diagnozowaniu chorób serca. Zaburzenia rytmu serca są jednymi z wczesnych objawów chorób serca, które mogą przyczynić się do zawału serca, udaru mózgu lub nagłej śmierci pacjenta. Znaczenie EKG wzrosło wraz z rozwojem technologii opartych na uczeniu maszynowym i zdalnym monitorowaniu parametrów życiowych. W szczególności wczesne wykrywanie arytmii ma ogromne znaczenie, jeśli chodzi o diagnozowanie pacjenta z chorobą serca. Jest to możliwe dzięki rozpoznawaniu i klasyfikowaniu patologicznych wzorców w sygnale EKG. W artykule przedstawiono system zdalnego monitorowania sygnałów EKG wzbogacony o badania eksperymentalne nad zastosowaniem modeli uczenia maszynowego (ML) z grupy opartych na drzewach i architekturze sieci neuronowych, w kontekście klasyfikacji chorób serca. Badania przeprowadzono z wykorzystaniem publicznie dostępnej bazy danych sygnałów EKG, tj. PTB-XL. Wyniki analizowano w kontekście dokładności klasyfikacji dla 2, 5 i 15 klas chorób serca. Nowością w pracy jest wskazanie modeli uczenia maszynowego i architektury sieci neuronowych, jakie można zastosować w urządzeniach IoT. W oparciu o przeprowadzone badania udowodniono, że proponowane rozwiązanie może działać w czasie rzeczywistym na urządzeniach IoT.

Słowa kluczowe: urządzenie mobilne, sygnał EKG, klasyfikacja, IoT, LoRa, sieć neuronowa, uczenie maszynowe, baza danych PTB-XL

Sandra Śmigiel, PhD sandra.smigiel@pbs.edu.pl

ORCID: 0000-0003-2459-5494

Research associate at Bydgoszcz University of Science and Technology. Ph.D. in technical sciences. Research interests include bio-signal analysis (especially ECG signal analysis), medical image processing, computer simulations in biomedicine, Machine Learning, aspects of telemedicine, telemonitoring. Co-creator of inventions in the area of developing wireless monitoring of vital functions by means of an ECG signal and software for ECG analysis.

Prof. Tomasz Andrysiak, DSc PhD tomasz.andrysiak@pbs.edu.pl

ORCID: 0000-0001-8138-6619

Research associate at Bydgoszcz University of Science and Technology. Ph.D. in technical sciences. Research interests: signal processing and analysis, using computational intelligence, use of methods and techniques for anomaly detection, network security issues. Expert in artificial intelligence algorithms and software engineering. Initiator of many projects. Has extensive experience in R&D projects.

Damian Ledziński, PhD

damian.ledzinski@pbs.edu.pl

ORCID: 0000-0003-0796-4390

Research associate at Bydgoszcz University of Science and Technology. Ph.D. in technical sciences. Research interests: software engineering, data science, deep neural networks, unmanned aerial vehicles, drone autonomy, biomedical engineering. Passionate about artificial intelligence and new technological solutions. Co-author of numerous scientific publications. Java and python developer. Popularizer of science among young people.

Prof. Tomasz Topoliński, DSc PhD ibm.topol@gmail.com

ORCID: 0000-0002-6232-2692

Professor and doctor of technical sciences, mechanical engineer. Research interests: engineering biomechanics (gait analysis and load distribution of human load-bearing structures), medical biomechanics (design of implants, prostheses, and orthopedic and rehabilitation devices), evaluation of mechanical and strength properties of bone structures, biomaterials, and synthetic biomedical materials. Developer of phenomenological methods for fatigue life calculations.

Zastosowanie metod uczenia maszynowego do predykcji generowanej energii w małym systemie

Adam Idźkowski, Mateusz Sumorek

Politechnika Białostocka, Wydział Elektryczny, ul. Wiejska 45D 15-351 Białystok

Streszczenie: Artykuł przedstawia problem prognozowania generacji energii elektrycznej w małych systemach fotowoltaicznych (PV). Celem opracowanych długoterminowych prognoz jest możliwość poprawnego zarządzania systemem elektroenergetycznym poprzez podejmowanie odpowiednich działań zachowawczych. Przeanalizowano czynniki atmosferyczne wpływające na pozyskiwanie energii elektrycznej w systemach fotowoltaicznych. Dokonano porównania wybranych modeli prognostycznych z wykorzystaniem uczenia maszynowego, m.in. sieci neuronowych MLP oraz metody wektorów nośnych SVM. Zostały wybrane mierniki pozwalające określić trafność (dokładność) prognoz. Określenie jakości prognoz bazowało na stanach faktycznych pogody, a nie na jej prognozie. Przedstawiono sposób przygotowania danych do utworzenia modeli prognostycznych i zaprezentowano najlepsze modele regresyjne. Do tego celu wykorzystano bibliotekę Scikit-learn umożliwiającą tworzenie skryptów w języku Python. W rozpatrywanym zespole fotowoltaicznym najlepsze rezultaty uzyskano dla modeli MLPRegressor, CatBoostRegressor i SVR. Wykorzystano rzeczywiste dane pomiarowe z systemu paneli ustawionych optymalnie o mocy 3,0 kWp. Dla modelu MLPRegressor osiągnięto największy współczynnik determinacji 0,605 oraz najmniejszy pierwiastek błędu średniokwadratowego 1,79 KWh dla średniej dziennej generacji energii elektrycznej w okresie od kwietnia do września 2022 r. wynoszącej 11,65 kWh.

Słowa kluczowe: elektrownia fotowoltaiczna; uczenie maszynowe; prognozowanie wytwarzanej energii; modele regresji; sieci neuronowe; perceptron wielowarstwowy; regresja metodą wektorów nośnych; regresja grzbietowa

1. Wstęp

Tak nadwyżka, jak i deficyt wytwarzanej energii negatywnie wpływa na funkcjonowanie sieci elektroenergetycznej. Niezbędnym elementem poprawnego funkcjonowania systemu energetycznego jest dostosowanie wygenerowanej energii do aktualnego zapotrzebowania [1]. O ile znajomość zapotrzebowania pozwala na dostosowanie pozyskiwanej energii w elektrowniach konwencjonalnych, to nie jest to do końca możliwe w elektrowniach opartych o źródła odnawialne. W tym celu konieczne jest zrealizowanie zautomatyzowanego prognozowania energii pozyskiwanej przez odnawialne źródła energii – szczególnie gdy udział takich elektrowni jest znaczący w stosunku do pozostałych źródeł energii elektrycznej. Predykcja możliwości wytwarzania energii ze źródeł odnawial-

Autor korespondujący:

Adam Idźkowski, a.idzkowski@pb.edu.pl

Artykuł recenzowany nadesłany 04.08.2023 r., przyjęty do druku 18.01.2024 r.

Zezwala się na korzystanie z artykułu na warunkach licencji Creative Commons Uznanie autorstwa 3.0

nych w odstępach minutowych, godzinowych, czy dziennych, umożliwia skuteczniejsze zarządzanie generowaną energią elektryczną oraz zabezpieczenie systemu elektroenergetycznego [2].

Stały rozwój gospodarki, zmiany w życiu codziennym, zmiany społeczne, czy też zmiany środowiskowe, wymuszają opracowywanie różnych profili zużycia energii elektrycznej. Zwiększenie udziału odnawialnych źródeł energii w pozyskiwaniu energii elektrycznej oraz stopniowe przekształcanie sieci elektroenergetycznej w sieć inteligentną powoduje pojawienie się z tym związanych nowych wyzwań [3]. Tak oto pojawia się zapotrzebowanie na metody prognozowania generacji energii elektrycznej przez elektrownie wiatrowe, czy też słoneczne, zależnie od warunków pogodowych [4]. W literaturze występują liczne publikacje z zakresu prognozowania pozyskiwanej energii elektrycznej w systemach fotowoltaicznych. Wiele z nich powstało w ostatnich kilku latach. Opracowania te opisują prognozy ultrakrótkoterminowe (kilkuminutowe), krótkoterminowe (godzinne), średnioterminowe (dniowe, tygodniowe) oraz długoterminowe (miesięczne) z wykorzystaniem metod sztucznej inteligencji, najczęściej sztucznych sieci neuronowych.

Sztuczne sieci neuronowe są wykorzystywane w głębokim uczeniu DL (ang. Deep Learning), podkategorii uczenia maszynowego ML (ang. Machine Learning), aby przeprowa-

dzać w ich warstwach ukrytych proces uczenia i konstruować modele na podstawie dużych ilości danych [5]. W zależności od publikacji proponowane są różne rodzaje tych sieci, są to między innymi: MLP (ang. Multi-Layer Perceptron) [6], RNN (ang. Recurrent Neural Network ) [7], LSTM (ang. Long Short-Term Memory) [8], CNN (ang. Convolutional Neural Network) [9], systemy hybrydowe [10]. Stosuje się także metodę wektorów nośnych SVM (ang. Support Vector Machine) zastosowaną do regresji [11]. Ostatnio opublikowane badania wykazały, że architektura oparta na dekoderze i enkoderze, zastosowana w modelu sieci typu transformer, nadaje się do modelowania złożonych relacji sekwencyjnych oraz do wieloetapowego prognozowania szeregów czasowych. Transformer jest potężnym narzędziem do wieloetapowego prognozowania szeregów czasowych, co jest trudnym zadaniem do realizacji w przypadku tradycyjnych modeli statystycznych, takich jak ARIMA i GARCH [12].

Na podstawie literatury można zauważyć, iż dominują publikacje dla systemów fotowoltaicznych położonych w takich położeniach geograficznych, gdzie ich zastosowanie jest wyraźnie uzasadnione ekonomicznie. Wynika to z warunków klimatycznych występujących w danych miejscach. W krajach takich jak np. Australia, Indie, Arabia Saudyjska, czy Włochy, liczba dni słonecznych w roku jest wyraźnie większa niż np. w Polsce, co bezpośrednio jest powiązane z irradiancją, a finalnie z wytwarzaniem energii elektrycznej. Ponadto w tych państwach możliwe jest zauważenie wyraźniejszej sezonowości i cykliczności pogody w kolejnych latach. Artykuł skupia się na prognozowaniu generowanej energii elektrycznej w małych systemach fotowoltaicznych metodą regresji. Wykorzystano kilka znanych algorytmów uczenia maszynowego z darmowej biblioteki Scikit-learn, dostępnej dla użytkowników języka programowania Python. Do tego celu zostały wykorzystane zgromadzone dane pomiarowe z lat 2015–2022 z elektrowni hybrydowej położonej na terenie Politechniki Białostockiej (http://elektrownia.pb.edu.pl/).

2. Materiały i metody

Elektrownia hybrydowa (rys. 1) usytułowana jest na kampusie Politechniki Białostockiej w Białymstoku. Elementami składowymi elektrowni są dwie turbiny wiatrowe oraz cztery zespoły paneli fotowoltaicznych [13]. Wśród paneli możemy wyróżnić: panele ustawione optymalnie, o mocy DC 3,0 kWp (PV1), panele na trackerze, o mocy DC 3,0 kWp (PV3), panele na elewacji południowo-wschodniej, o mocy DC 1,5 kWp (PV2a), panele na elewacji południowo-zachodniej, o mocy DC 1,5 kWp (PV2b).

Prognozy zostały opracowane na podstawie danych pomiarowych historycznych z lat 2015–2021, w okresie od 1 kwietnia do 30 września każdego roku. Dane zgromadzone w roku 2022 zostały wykorzystane do testowania opracowanych modeli prognostycznych. Prognozy zostały wykonane dla różnych wariantów parametrów modeli, najlepsze rezultaty zostały zaprezentowane graficznie. Jakość prognoz została oszacowana na podstawie współczynnika determinacji oraz wybranych mierników (błędów).

Zgodnie z dostępnymi danymi z elektrowni fotowoltaicznej, założono, że prognozy będą wykonywane dla zespołu paneli ustawionych optymalnie, pod kątem nachylenia 38° (PV1), i mają one określać dzienną energię wyrażoną w kWh i będą one dokonane na podstawie: temperatury maksymalnej oraz minimalnej danego dnia, ciśnienia atmosferycznego, średniej

Rys. 1. Ogólny widok elektrowni hybrydowej: PV1 – panele ustawione optymalnie, PV2a oraz PV2b – panele na elewacjach, PV3 – fotowoltaiczny system nadążny

Fig. 1. General view of the hybrid power plant: PV1 – fixed-tilt with panels optimally directed, PV2a and PV2b - panels on the facades, PV3 – solar tracking system

prędkości wiatru, dnia roku (okresowość cyklu słonecznego w ciągu roku). Wybór czynników wykorzystywanych do prognozowania generowanej energii podyktowany był faktem, iż są to powszechnie dostępne informacje w prognozach pogodowych krótko- i średnioterminowych.

Pierwszym etapem jakiejkolwiek analizy jest odpowiednie przygotowanie danych wejściowych. Dane pomiarowe z elektrowni fotowoltaicznej zostały pobrane z serwera elektrownia. pb.edu.pl w postaci plików CSV. Każdy plik był oddzielny dla danego roku, zaś dane w każdym pliku zawierały pomiary w okresie od 1 kwietnia do 30 września. System pomiarowy rejestruje wartości z okresem około 10 sekund, co przekłada się na ponad 2,1 miliona rekordów dla każdego roku w analizowanym okresie [14]. Konieczne zatem było zredukowanie danych przez określenie temperatury minimalnej oraz maksymalnej, maksymalnego ciśnienia atmosferycznego, średniej prędkości wiatru jak i obliczenie ilości pozyskanej energii dla poszczególnych dni z tego okresu. W tym celu opracowany został skrypt w języku Python. Jego zadaniem było wczytanie wybranego pliku CSV oraz wygenerowanie pliku zawierającego pojedynczy rekord danych z danego dnia zawierający: datę (przeliczoną na numer dnia z analizowanego okresu, 1, 2, 3, …), energię elektryczną uzyskaną przez zesp ół PV1, temp eraturę maksymalną, temp eraturę minimalną, ciśnienie atmosferyczne, średnią prędkość wiatru.

W rezultacie z każdego roku uzyskano 183 pozycje – każdą odpowiadającą jednemu dniowi z analizowanego okresu od 1 kwietnia do 30 września, w formacie jak przedstawiono w tab. 1 zgo dnie z dotychczas określonymi założeniami, napisano programy odpowiadające za przygotowanie modelu i prognozy, oparte na bazie sieci neuronowych MLP oraz metody wektorów nośnych SVM. Założono tworzenie prognoz długoterminowych. Wykorzystano darmową bibliotekę algorytmów z dziedziny uczenia maszynowego Scikit-learn, napisaną w języku Python [15–17].

W tabeli 2 przedstawiono korelację między poszczególnymi wielkościami a energią wyjściową, otrzymane na podstawie zarejestrowanych danych z okresu lat 2015–2021. Można zauważyć znaczącą korelację energii generowanej z temperaturą maksymalną i ciśnieniem atmosferycznym.

Tab. 1. Fragment danych użytych do opracowania modeli

Tab. 1. A fragment of the data used to develop the models Numer dnia

Tab. 2. Współczynniki korelacji Pearson’a między poszczególnymi wielkościami wejściowymi a generowaną energią

Tab. 2. Pearson correlations between the input features and produced energy

Wartości wejściowe Współczynnik korelacji

Numer dnia -0,11

Temperatura maksymalna 0,40

Temperatura minimalna 0,06

Ciśnienie atmosferyczne 0,32

Średnia prędkość wiatru -0,08

3. Mierniki jakości prognoz

Prognozy są to estymacje oparte na obserwacjach lub zebranych danych, poparte stosownymi wyliczeniami. Przybliżenie charakteryzuje się tym, iż w pewnym (większym lub mniejszym) stopniu jego wynik będzie odbiegał od rzeczywistości. Po zaistnieniu prognozowanego zdarzenia, możliwe jest skonfrontowanie wartości rzeczywistych z przewidywanymi, a następnie określenie jakości prognozy. W tym celu istnieją różne mierniki służące tym wyliczeniom. Najbardziej stosowne do omawianego zagadnienia to [18–20]:

MAE – średni błąd bezwzględny, MSE – błąd średniokwadratowy, RMSE – pierwiastek błędu średniokwadratowego, R2 – współczynnik determinacji.

Średni błąd bezwzględny wyraża średnią wartość błędu bezwzględnego w danym zbiorze próbek. Błąd bezwzględny wyraża różnicę między wartością estymowaną, a rzeczywista wyrażoną w procentach. MAE można opisać zależnością:

() 1 1 ˆˆ ,, N ii i MAEyy yy N = =− ∑ (1) gdzie: N – liczba próbek, yi – i-ta wartość rzeczywista, i – i-ta wartość estymowana.

Błąd średniokwadratowy wyrażany jest przez kwadrat różnicy między wartością rzeczywistą, a wartością oczekiwaną (prognozowaną). Błąd średniokwadratowy przyjmuje zawsze wartości dodatnie. Charakteryzuje się tym, iż duże błędy mają

większy wpływ (wagę) na rezultat. MSE można opisać zależnością

() ()2 1 1 ˆˆ ,. N ii i MSEyy yy N = ∑ (2)

RMSE jest to pierwiastek z wartości MSE. Dzięki pierwiastkowi wartości przedstawiane przez błąd MSE są bardziej intuicyjne w interpretacji, ponieważ jego wartość jest wyrażona w jednostce badanej wielkości. Ponadto przy dużych wartościach (ze względu na podniesienie do kwadratu) w takiej postaci jest bardziej reprezentatywny. RMSE można wyrazić za pomocą wyrażenia:

() ()2 1 1 ˆˆ ,. N ii i RMSEyy yy N = = ∑ (3)

Współczynnik determinacji R2 jest miarą, która wskazuje na dopasowanie modelu do danych uczących. Mierzy on zmienność (wariancję) w wektorze docelowym (zawierającym wyniki prognoz). Współczynnik R2 przyjmuje wartości z zakresu od 0 do 1, gdzie wartości zbliżone do jedności mówią o lepszym dopasowaniu. Współczynnik wyraża się zależnością: () () 2 21 2 1 1, N ii i N i i yy R yy =− ∑ ∑ (4)

gdzie: – wartość średnia wektora wartości rzeczywistych.

4. Wyniki prognoz

Przeprowadzone liczne próby skutkowały opracowaniem wielu wariantów prognoz przedstawionych w tabeli 3, dla których zestawiono najlepsze wyniki przy zastosowaniu poszczególnych modeli prognostycznych dla zespołu paneli ustawionego w pozycji optymalnej (PV1).

Prognozy zostały wykonane dla różnych parametrów modelu. Zmieniany był stopień wielomianu m w zakresie od 1 do 5. Najlepsze rezultaty uzyskano przy m = 2, czyli dla przypadku, kiedy zależność między zmienną objaśniającą a objaśnianą w modelu regresji jest nieliniowa (funkcja kwadratowa)

W przypadku opracowania prognoz z wykorzystaniem sieci neuronowych, niemożliwe było zastosowanie procedury jak w przypadku regresji w celu doboru najlepszych parametrów

Rys. 4. Regresja metodą wektorów nośnych SVR z liniową funkcją jądrową w modelu – uzysk i prognoza energii

Fig. 4. Support vector regression SVR used with the linear kernel function in the model – energy yield and forecast

Rys. 2. Energia uzyskana w każdym dniu analizowanego okresu oraz prognozy dla elektrowni PV1 z wykorzystaniem modelu regresji liniowej dla m = 1 oraz z wykorzystaniem modelu MLPRegressor

Fig. 2. The daily energy yield in the analyzed period and the forecast for the PV1 power plant using the linear regression model for m = 1 and the MLPRegressor model

Rys. 3. Energia wygenerowana w każdym dniu analizowanego okresu wraz z prognozą dla elektrowni PV1 z wykorzystaniem modelu MLPRegressor; różnica między prognozą i pomiarem

Fig. 3. The daily energy yield in the analyzed period and the forecast for the PV1 power plant using the MLPRegressor model; the difference between forecast and measurement

Rys. 5. Regresja metodą wektorów nośnych SVR z nieliniową funkcją jądrową w modelu (wielomian 35 stopnia) – uzysk i prognoza energii

Fig. 5. Support vector regression SVR with the polynomial of degree 35 as a kernel function in the model – energy yield and forecast

Tab. 3. Zestawienie najlepszych prognoz dla poszczególnych metod

Tab. 3. A summary of the best forecasts for individual methods

Parametry i hiperparametry modeli: 1 – m = 1; 2 – m = 2; 3 – m = 3; 4 – iterations = 1000, loss function=’RMSE’, l2_leaf_reg=30, depth = 6; 5 – activation = ‘tanh’, solver = ‘lbfgs’, hidden_layers_size = 5; 6 – kernel=’linear’, epsilon = 0,1; 7 – kernel = ’poly’, degree = 35, epsilon = 0,1.

Rys. 6. Zależność współczynnika determinacji R2 od stopnia wielomianu (regresja SVR)

Fig. 6. Dependence of the coefficient of determination R2 on the degree of the polynomial (SVR regression)

do wyliczenia modelu. Wynika to ze stochastycznego charakteru procesu nauczania sieci neuronowej. Wprowadzając ten sam zestaw danych uczących, za każdym razem uzyskany zostanie inny model. W związku z tym wybór najlepszych wyników został przeprowadzony metodą eksperymentalną. Przeprowadzone zostały liczne próby z różnymi hiperparametrami modeli. Po przeprowadzeniu tych prób zostały przedstawione najlepsze uzyskane rezultaty wraz z dobranymi parametrami modelu.

Na podstawie przedstawionego zestawienia możliwe jest wytypowanie najlepszej jakościowo prognozy. Stosując identyczne kryteria jak przy wyborze najlepszego wariantu (maksymalizacja wartości R2) można jednoznacznie wskazać, iż najlepiej sprawdziła się sztuczna sieć neuronowa MLP

w wariancie regresyjnym (MLPRegressor). Jak można zauważyć wyższy współczynnik determinacji R2 niekoniecznie koreluje się wartością MAE. Niższa jego wartość nie musi wiązać się z lepszą korelacją między prognozą, a stanem rzeczywistym (pomiarami). Patrząc na wartości błędu RMSE w rozpatrywanym zestawieniu, można już taką korelację dostrzec, im mniejszy błąd średniokwadratowy MSE, tym większa wartość współczynnika R2

Poszerzając analizę o wizualną reprezentacje prognoz subiektywnie można stwierdzić iż każda z zaprezentowanych prognoz (rys. 2–5) pokrywa się z pomiarami. Niebieska linią zostały przedstawione dane historyczne (rzeczywiste), zaś kolorem czerwonym wartości prognozowane. Wartości osi X to numery dni z analizowanego okresu, tj. dzień o numerze 1 odpowiada dacie 1 kwietnia, a 183 dacie 30 września 2022 r. Możliwe jest dostrzeżenie trendów, natomiast nie zaobserwowano cykliczności.

Rysunki 4 i 5 przedstawiają wyniki najlepszych prognoz metodą regresji SVR. Rysunek 6 przedstawia współczynnik determinacji R2 w zależności od stopnia wielomianu.

5. Podsumowanie i wnioski końcowe

Biorąc pod uwagę wszystkie zgromadzone dane, zarówno w postaci metryk (tabela 3) jak i wykresów reprezentujących rezultaty, trudno jest bazować na jednym parametrze metryk jako uniwersalnym wskaźniku jakości prognozy. W przypadku sieci neuronowych MLP, mimo zbliżonych wartości współczynnika R2 do prognoz uzyskanych za pomocą klasycznej regresji liniowej, widoczna jest duża rozbieżność wartości RMSE między tymi metodami. Porównując najlepsze rezultaty między klasyczną regresją, a regresją z wykorzystaniem sieci MLP, trudno jest wskazać realny wpływ na jakość prognoz. Rozszerzając analizę o pozostałe przeprowadzone próby, różnice w wynikach są niewielkie. Mimo

wszystko, sieć MLP umożliwia poprawę wyniku w sytuacji gdzie w metodzie regresyjnej niemożliwe jest już poprawienie wyniku z tym samym zestawem danych, co wynika między innymi ze stochastycznego charakteru procesu uczenia sieci MLP. Błąd RMSE jest wyraźnie mniejszy dla modelu regresji MLP. Dla badanych modeli osiągnięto R2 na poziomie 0,6, a sieć neuronowa typu MLP pozwoliła uzyskać najmniejszą wartość RMSE.

Większe możliwości prognozowania szeregów czasowych stwarzają techniki głębokiego uczenia. Oprócz tradycyjnych, jednoblokowych, modeli ML do prognozowania generowanej energii fotowoltaicznej, obecnie używane są złożone modele oparte na sieciach typu LSTM [21] lub sieciach typu transformer z mechanizmem uwagi (ang. transformer models with attention) pozwalającym skupić się na części podzbioru danych [22]. Struktura sieci neuronowych typu transformer oparta jest na architekturze enkoder-dekoder. Takie modele można tworzyć w języku Python z pomocą bibliotek Keras lub TensorFlow.

Na jakość opracowanych modeli duży wpływ miała ilość danych historycznych. Modele powstały na podstawie danych z siedmiu lat. Modele bazowały na podstawowych danych klimatycznych, bez uwzględnienia irradiancji jako wielkości wejściowej. Posiadanie danych z dłuższego okresu niewątpliwie pozytywnie by wpłynęło na uzyskane rezultaty. Ponadto jakość prognoz była określana względem danych pomiarowych z jednego okresu w 2022 r. W związku z tym wszelkie odstępstwa od typowych warunków dla danych okresów (zauważalnie mała powtarzalność pogody w Polsce w poszczególnych dniach czy miesiącach w ostatnich latach), negatywnie wpłynęły na wartości metryk.

Bibliografia

1. Sabat M., Baczyński D., Szafranek K. Analiza szeregów czasowych produkcji energii ze źródeł odnawialnych pod kątem niezależności energetycznej wybranego obszaru „Przegląd Elektrotechniczny”, Vol. 93, No. 9, 2017, 11–15, DOI: 10.15199/48.2017.09.02.

2. Nawrowski R., Filipiak M., Węgrzyn W., Kurz D., Analiza możliwości zarządzania i rozdziału energii elektrycznej, wyprodukowanej w prosumenckiej instalacji fotowoltaicznej, w budynku z automatyką budynkową. „Przegląd Elektrotechniczny”, Vol. 98, No. 11, 2022, 253–258, DOI: 10.15199/48.2022.11.53.

3. ElNozahy M.S., Salama M.M.A. Technical impacts of grid-connected photovoltaic systems on electrical networks-a review. “Journal of Renewable and Sustainable Energy”, Vol. 5, No. 3, 2013, DOI: 10.1063/1.4808264.

4. Moreira M.O., Kaizer B.M., Ohishi T., Bonatto B.D., Zambroni de Souza A.C., Balestrassi P.P., Multivariate Strategy Using Artificial Neural Networks for Seasonal Photovoltaic Generation Forecasting. “Energies”, Vol. 16, No. 1, 2023, DOI: 10.3390/en16010369.

5. Soori M., Arezoo B., Dastres R., Artificial intelligence, machine learning and deep learning in advanced robotics, a review. “Cognitive Robotics”, Vol. 3, 2023, 54–70, DOI: 10.1016/j.cogr.2023.04.001.

6. Markovics D., Mayer M.J., Comparison of machine learning methods for photovoltaic power forecasting based on numerical weather prediction. “Renewable and Sustainable Energy Reviews”, Vol. 161, 2022, DOI: 10.1016/j.rser.2022.112364.

7. Kusuma V., Privadi A., Setya Budi A. L., Budiharto Putri V. L., Photovoltaic Power Forecasting Using Recurrent Neural Network Based On Bayesian Regularization Algorithm [in:] IEEE International Conference in Power Engineering Application (ICPEA), Malaysia, 2021, 109–114, DOI: 10.1109/ICPEA51500.2021.9417833.

8. Jailani N.L.M., Dhanasegaran J.K., Alkawsi G., Alkahtani A.A., Phing C.C., Baashar Y., Capretz L.F., Al-Shetwi A.Q., Tiong S.K., Investigating the Power of LSTM-Based Models in Solar Energy Forecasting. “Processes”, Vol. 11, No. 5, 2023, DOI: 10.3390/pr11051382.

9. Thangavel A., Govindaraj V., Forecasting Energy Demand Using Conditional Random Field and Convolution Neural Network. “Elektronika ir Elektrotechnika”, Vol. 28, No. 5, 2022, 12–22, DOI: 10.5755/j02.eie.30740.

10. Mukhtar M., Oluwasanmi A., Yimen N., Qinxiu Z., Ukwuoma C.C., Ezurike B., Bamisile O., Development and Comparison of Two Novel Hybrid Neural Network Models for Hourly Solar Radiation Prediction. “Applied Sciences”, Vol. 12, No. 3, 2022, DOI: 10.3390/app12031435.

11. Preda S., Oprea S.-V., Bâra, A., Belciu A., PV Forecasting Using Support Vector Machine Learning in a Big Data Analytics Context. “Symmetry”, Vol. 10, No. 12, 2018, DOI: 10.3390/sym10120748.

12. Tehrani S., Juan J., Caro E., Electricity Spot Price Modeling and Forecasting in European Markets. “Energies”, Vol. 15, No. 16, 2022, DOI: 10.3390/en15165980.

13. Trzasko W., Analiza wydajności dwuosiowego solarnego układu nadążnego. „Pomiary Automatyka Robotyka”, Vol. 22, No. 1, 2018, 11–17, DOI: 10.14313/PAR_227/11.

14. Idzkowski A., Karasowska K., Walendziuk W., Temperature Analysis of the Stand-Alone and Building Integrated Photovoltaic Systems Based on Simulation and Measurement Data. “Energies”, Vol. 13, No. 16, 2020. DOI: 10.3390/en13164274.

15. Machine Learning in Python https://scikit-learn.org/stable/index.html.

16. Geron A., Hands-on Machine Learning with Scikit-Learn, Keras, and TensorFlow, Concepts, Tools, and Techniques to Build Intelligent Systems. O’Reilly Media Inc., USA, 2019.

17. Müller A.C., Guido S., Introduction to Machine Learning with Python. O’Reilly Media Inc., USA, 2016.

18. Li G., Wei X., Yang H., Decomposition integration and error correction method for photovoltaic power forecasting “Measurement”, Vol. 208, 2023, DOI: 10.1016/j.measurement.2023.112462.

19. Sumorek M., Idzkowski A., Time Series Forecasting for Energy Production in Stand-Alone and Tracking Photovoltaic Systems Based on Historical Measurement Data. “Energies”, Vol. 16, No. 17, 2023, DOI: 10.3390/en16176367.

20. Radicioni M., Lucaferri V., De Lia F., Laudani A., Lo Presti R., Lozito G.M., Riganti Fulginei F., Schioppo R., Tucci M., Power Forecasting of a Photovoltaic Plant Located in ENEA Casaccia Research Center. “Energies”, Vol. 14, No. 3, 2021, DOI: 10.3390/en14030707.

21. Wang K., Qi X., Liu H., Photovoltaic power forecasting based LSTM-Convolutional Network. “Energy”, Vol. 189, 2019, DOI: 10.1016/j.energy.2019.116225.

22. Al-Ali EM., Hajji Y., Said Y., Hleili M., Alanzi AM., Laatar AH., Atri M., Solar Energy Production Forecasting Based on a Hybrid CNN-LSTM-Transformer Model. “Mathematics”, Vol. 11, No. 3, 2023, DOI: 10.3390/math11030676.

The Use of Machine Learning Algorithms to Forecast Energy Production in a Small PV System

Abstract: The article presents data analysis for predicting energy production in photovoltaic (PV) power plant systems. The purpose of long-term forecasts is to determine the effectiveness of preventive actions and manage the power system effectively. Climate variables affecting the production of electricity in photovoltaic systems were analyzed. Forecasting methods using machine learning techniques such as Multi-Layer Perceptron (MLP) neural networks and Support Vector Machine (SVM) were compared. In addition, metrics were selected to determine the quality of forecasts. Determining the quality of forecasts was based on the actual varying conditions, not on the weather forecast data. The way of data preparation to create forecasting models were presented and the models with the best metrics were selected. For this purpose, the Scikit-learn library was used to create scripts in Python. The best results were obtained for regression models: MLPRegressor, CatBoostRegressor and Support Vector Regression. Actual measurement data from a system of optimally-positioned panels with a power of 3.0 kWp were used. For the MLPRegressor model, the highest coefficient of determination 0.605 was achieved with the smallest root-mean-square error of 1.79 KWh.

Keywords: photovoltaic power station; machine learning; energy forecasting; regression models; neural networks; Multi-Layer Perceptron; Support Vector Regression; Kernel Ridge Regression

dr hab. inż. Adam Idźkowski a.idzkowski@pb.edu.pl

ORCID: 0000-0002-1671-8979

Absolwent Wydziału Elektrycznego Politechniki Białostockiej 2001, doktorat 2013, habilitacja 2019. Obecnie profesor Politechniki Białostockiej. Autor i współautor ponad 90 publikacji na temat technik i aplikacji pomiarowych. Zainteresowania naukowe: modelowanie statystyczne, sensory i systemy pomiarowe, uczenie maszynowe.

mgr inż. Mateusz Sumorek mateusz.sumorek@pb.edu.pl

ORCID: 0009-0003-2440-9556

Ukończył studia magisterskie na Wydziale Elektrycznym Politechniki Białostockiej (kierunek Elektronika i Telekomunikacja, specjalność Aparatura Elektroniczna i Telekomunikacja). Obecnie jest uczestnikiem Szkoły Doktorskiej Politechniki Białostockiej w dyscyplinie automatyka, elektronika, elektrotechnika i technologie kosmiczne. Przedmiotem jego badań jest lokalizacja w pomieszczeniach zamkniętych z wykorzystaniem technik radiowych.

Analiza porównawcza wybranych metod kalibracji

kamery termowizyjnej

z

chłodzonym detektorem pracującym

Karol Erd

w zakresie MWIR

Wojskowa Akademia Techniczna, Instytut Optoelektroniki, ul. Gen. Sylwestra Kaliskiego 2, 01-476 Warszawa

Streszczenie: Do zdalnego pomiaru temperatury za pomocą kamery termowizyjnej niezbędne jest przeprowadzenie kalibracji radiometrycznej. Pozwala to na przypisanie parametrów radiacyjnych obiektu, a co za tym idzie, jego temperatury, do odpowiedzi obserwującego go detektora podczerwieni. W artykule przedstawiono podstawowe pojęcia związane z kalibracją radiometryczną i czynniki wpływające na jej skuteczność. Dokonano także przeglądu najpowszechniejszych metod kalibracji, a następnie zrealizowano i porównano dwie z nich na specjalnie skonstruowanym stanowisku laboratoryjnym, wykorzystującym autorskie oprogramowanie i wyposażonym w chłodzoną kamerę podczerwieni, pracującą w zakresie MWIR. Kamerę skalibrowano w zakresie temperatury 20–50 °C. Porównanie metod przeprowadzono na podstawie serii pomiarów temperatury, na podstawie analizy błędów bezwzględnych i względnych, a także analizy rozrzutu zmierzonych wartości temperatury.

Słowa kluczowe: kamera termowizyjna, kalibracja radiometryczna, zdalny pomiar temperatury

1. Wprowadzenie

Dokładny zdalny pomiar temperatury za pomocą kamery termowizyjnej jest zagadnieniem trudnym i na jego skuteczność ma wpływ wiele czynników zewnętrznych i wewnętrznych. Kamery termowizyjne, bez względu na to czy działają na pojedynczym detektorze czy na matrycach detektorów, muszą zostać poddane kalibracji radiometrycznej.

W artykule omówiono dwie najczęściej stosowane metody kalibracji radiometrycznej kamer termowizyjnych, a także sprawdzono ich skuteczność i dokładność w zakresie temperatury 20–50 °C.

2. Podstawowe zagadnienia związane z radiometrią

Podstawowym prawem promieniowania ciał jest prawo Plancka, które określa promieniowanie ciała doskonale czar-

Autor korespondujący:

Karol Erd, karol.erd@wat.edu.pl

Artykuł recenzowany nadesłany 17.07.2023 r., przyjęty do druku 28.01.2024 r.

Zezwala się na korzystanie z artykułu na warunkach licencji Creative Commons Uznanie autorstwa 3.0

nego (cdc) [1–4]. Kształt charakterystyki spektralnej emisji cdc jest zależny tylko od jego temperatury T Przekształcenie prawa Plancka w celu wyznaczenia temperatury obiektu nie jest zagadnieniem skomplikowanym. Każdy detektor kamery termowizyjnej ma jednak najczęściej pasmową charakterystykę czułości. Oznacza to, że pochłaniane promieniowanie o różnej długości fali jest przekształcane na pojedynczą wartość sygnału elektrycznego. Brak informacji na temat udziału promieniowania o poszczególnych długościach fali w całkowitej zgromadzonej energii uniemożliwia idealne odwzorowanie jego charakterystyki spektralnej, a co z tego wynika, precyzyjne wyznaczenie temperatury źródła.

Z tego powodu kalibracja radiometryczna kamery termowizyjnej jest najczęściej realizowana przez przybliżenie zależności odpowiedzi rejestrowanej przez detektor od parametrów radiacyjnych źródła promieniowania funkcją podobną do funkcji Plancka.

Jednym z najprostszych równań, przybliżającym prawo Plancka, jest aproksymacja Wiena [5]: ()

2 , c AT C UT e = (1)

gdzie U(T) jest odpowiedzą detektora, c2 = 0,014388 m·K, C i A – współczynniki aproksymacji. Przybliżenie to jest jednak skuteczne tylko dla bardzo wąskich zakresów spektralnych, gdzie można pominąć zależność parametrów detektora od długości fali absorbowanego promieniowania [5].

Rozwiązaniem tego problemu zajęli się między innymi Fumihiro Sakuma i Susumo Hattori, którzy dodając dodatkowy

współczynnik aproksymacji, zaproponowali równanie przedstawione wzorem (2):

Pozwala ono na lepsze uwzględnienie zależności spektralnej charakterystyki czułości detektora od temperatury obiektu i dobrze sprawdza się do kalibracji detektorów o małych szerokościach pasma czułości [5−7].

Równanie to pozwala na skuteczne przybliżenie funkcji Plancka w wąskich pasmach spektralnych, przez co znajduje zastosowanie w zdalnych pomiarach temperatury. Pomiary z jego użyciem są jednak obarczone błędami przez fakt, że charakterystyki emisji rzeczywistych obiektów odbiegają od charakterystyki ciała doskonale czarnego. Równanie Sakuma-Hattori jest bowiem zbliżone do przybliżenia Wiena. Istnieje wiele innych modeli przybliżających prawo Plancka, między innymi model RBF [4, 8−10], czy równanie aproksymacji [5, 11]. Nicolas Horny zaproponował aproksymację, wykorzystującą cztery współczynniki i wymagające w metodzie większego nakładu obliczeń, ale lepiej uwzględniającego nieliniowość układu w szerszym paśmie długości fali [6, 12, 13]: () , B T R UT O eF =+ (3)

gdzie: R, B, F, O – współczynniki aproksymacji.

W pracy porównano skuteczność kalibracji kamery metodą Sakuma-Hattori (2), oraz metodą Horny’ego, nazywaną również metodą RBFO (3). W obu metodach kalibracja polega na zmierzeniu cyfrowej odpowiedzi detektora, dla kilku wartości temperatury ciała czarnego i dopasowaniu współczynników aproksymacji wybraną metodą. Liczba wykonanych pomiarów jest zależna od liczby współczynników. Minimalnie do wyznaczenia współczynników równania Sakuma-Hattori należy rozwiązać układ trzech równań, a w przypadku równania RBFO – czterech. W celu uzyskania poprawnej kalibracji, należy także uwzględnić wpływ innych czynników wpływających na odpowiedź detektora. Wśród najważniejszych z nich znajduje się atmosfera, która pochłania oraz emituje promieniowanie, a jej wpływ wzrasta nieliniowo wraz ze wzrostem odległości od obserwowanego obiektu. Ponadto inne źródła, także te spoza pola widzenia kamery, emitują promieniowanie, które może ulec odbiciu od celu i trafić do detektora. Tych czynników zewnętrznych nie można wyeliminować.

Sam detektor, podobnie jak jego obudowa i elementy układu optycznego również emitują i odbijają promieniowanie mające wpływ na wartość zarejestrowanego za pomocą detektora sygnału. Można je nazwać czynnikami wewnętrznymi. Źródła

te, przez dużo mniejszą odległość od detektora, niż obserwowany obiekt, mogą całkowicie uniemożliwić pomiar. Dlatego też w wielu kamerach termowizyjnych, a w szczególności tych, które wykorzystują detektory fotonowe, stosuje się układy chłodzenia i tak zwane „zimne przesłony”. Dzięki nim wpływ promieniowania emitowanego przez elementy obudowy na zarejestrowany sygnał ulega znacznemu zmniejszeniu.

Kalibrowana kamera, wykorzystana w tej pracy, wyposażona jest w układ chłodzenia z chłodziarką Stirlinga. Można więc przyjąć, że do jej detektora docierają trzy różne składowe promieniowania, przedstawione na rysunku 1: składowa użyteczna emitowana przez obiekt i częściowo pochłaniana przez atmosferę, o współczynniku transmisji τ , składowa pochodząca od otoczenia radiacyjnego, następnie odbita od obserwowanego obiektu i częściowo pochłaniana przez atmosferę, −składowa wynikająca z emisji termicznej samej atmosfery. Uwzględniając te składowe, całkowitą luminancję obserwowaną przed detektor podczerwieni można opisać wzorem (4) [14]: (4)

gdzie: L m(T) – luminancja zmierzona, L0(T) – luminancja ciała czarnego o temperaturze T, L0(TR) – luminancja odpowiadająca emisji elementów otoczenia, L0(T atm) – luminancja odpowiadająca emisji atmosfery, λ1 – minimalna długość fali promieniowania pochłanianego przez detektor, λ 2 – maksymalna długość fali promieniowania pochłanianego przez detektor, ε – współczynnik emisyjności obiektu.

3. Metoda pomiaru temperatury

3.1. Metoda kalibracji

Skuteczny pomiar temperatury obiektu z dużą dokładnością, wymaga przeprowadzenia kalibracji, w trakcie której wyznaczane są współczynniki aproksymacji. W tym celu należy przygotować specjalne stanowisko pomiarowe, którego schemat został przedstawiony na rysunku 2. Na rysunku 3 z kolei, przedstawiono zdjęcie jego realizacji. W skład stanowiska wchodzą:

moduł kamery termowizyjnej z matrycowym detektorem chłodzonym, wykonanym z InSb, pracującym w zakresie MWIR, o rozdzielczości matrycy 640 × 512 pikseli, techniczne ciało czarne, o jednorodnym współczynniku emisyjności ε = 0,98 i regulowanej temperaturze,

Rys. 1. Model radiacyjny kamery z detektorem chłodzonym Fig. 1. Radiative transfer model for a camera with cooled detector

Kamera termowizyjna

Detektor przetwarzania obrazu

Komputer z oprogramowaniem

Rys. 2. Schemat blokowy stanowiska pomiarowego

Fig. 2. Block diagram of a measurement station

Zasilacz laboratoryjny

Kamera termowizyjna

Zasilacz laboratoryjny

Komputer z oprogramowaniem

Rys. 3. Zdjęcie stanowiska pomiarowego

Fig. 3. Photo of a measurement station

komputer ze specjalnie napisanym do badań, dedykowanym oprogramowaniem, realizującym rejestrację obrazu, zamianę go na odpowiedź cyfrową, w formacie 14-bitowym, obliczenia związane z aproksymacją, przeliczaniem odpowiedzi na temperaturę oraz analizą błędów i niepewności, zestaw interfejsów potrzebnych do połączenia komputera z kamerą, −zasilacz lab oratoryjny.

Wszystkie czynności związane z kalibracją kamery odbywały się w zamkniętym pomieszczeniu, w możliwie stałej temperaturze, bez dostępu światła słonecznego i z niewielkiej odległości.

Tabela 1. Zestawienie średnich wartości odpowiedzi detektora, oraz odpowiadających im temperatur ciała czarnego Tab. 1. Comparison of the average detector response values and their corresponding blackbody temperatures

TBB, K Wartość średnia odpowiedzi, DL

293,15 2346,89

298,15

303,15

308,15 3058,56

313,15 3363,48

318,15

323,15

Wynika to z faktu, że kalibracja kamery jest wymagana do określenia wpływu czynników zewnętrznych na odpowiedź detektora, należy je więc na etapie kalibracji zminimalizować. Stanowisko pomiarowe składa się z kamery ustawionej na stabilnym podłożu tak, aby nie ulegała drganiom, wraz przyrządami umożliwiającymi kalibrację i rejestrację obrazu oraz ciała czarnego o regulowanej wartości temperatury powierzchni i znanej, jednorodnej emisyjności. Ciało czarne jest położone w płaszczyźnie ogniskowania kamery i zajmuje możliwie jak największą część obrazu, bez występowania na nim wyraźnych zniekształceń. Płaszczyzna apertury układu optycznego kamery i płaszczyzna wzorca są względem siebie równoległe. Odległość obiektywu kamery od wzorca nie może być zbyt mała, aby nie zachodziła między nimi wymiana ciepła drogą konwekcji swobodnej, co mogłoby wpłynąć na uzyskiwane wyniki. Ponadto przed przeprowadzeniem kalibracji kamera została poddana korekcji niejednorodności. Przeprowadzenie kalibracji wymaga zarejestrowania sygnału z kamery dla przynajmniej tylu różnych wartości temperatury ciała czarnego, ile współczynników aproksymacji ma dana metoda. Kamerę skalibrowano w zakresie temperatury 293,15–323,15 K, co odpowiada zakresowi 20–50 °C. Przybliżana zależność ma charakter silnie nieliniowy, więc w celu zwiększenia dokładności dopasowania do obu metod użyto siedmiu punktów pomiarowych z zadanego zakresu. Aby zredukować wpływ szumów, odczytywano wartości odpowiedzi z obszaru obrazu obejmującego fragment ciała czarnego oraz przeprowadzono pomiar w serii czasowej. Następnie uśredniono otrzymane wyniki, w celu uzyskania pojedynczej wartości liczbowej odpowiedzi.

Współczynniki obu metod kalibracji były wyznaczane metodą najmniejszych kwadratów, bez ograniczonych przedziałów wartości dla współczynników. W celu uzyskania pojedynczej wartości odpowiedzi, zarejestrowano w każdym punkcie minimum 50 obrazów w ciągu 10 sekund, oraz wyznaczono obszar zainteresowania, obejmujący 60 % widocznej powierzchni ciała czarnego, oddalonego od obiektywu kamery o 10 cm, a następnie dokonano uśrednienia czasowego i przestrzennego. Średnie wartości sygnałów dla każdego punktu kalibracyjnego przedstawiono w tabeli 1. Uzyskane przy narzuconej liczbie iteracji algorytmu (równej 10 000) wartości współczynników obu metod przedstawiono w tabeli 2, dla metody S-H oraz tabeli 3, dla metody RBFO.

Tabela 2. Zestawienie wyznaczonych współczynników metody Sakuma-Hattori

Tab. 2. Comparison of the calculated coefficients of the Sakuma-Hattori method

Współczynnik Wartość Jednostka

A 6,03e–7 m

B 4,94e–4 m·K

C 4,75e12

V

Tabela 3. Zestawienie wyznaczonych współczynników metody RBFO

Tab. 3. Comparison of the determined coefficients of the RBFO method

WspółczynnikWartość Jednostka

R 1,62

B 0,64

F 1,00

O –616,65

Na podstawie uzyskanych współczynników wyznaczono krzywe kalibracyjne dla obu metod, które zostały przedstawione na rysunku 4.

Rys. 5. Przykładowy termogram z zaznaczonym obszarem zainteresowania i temperaturą cdc

Fig. 5. Sample thermogram with highlighted region of interest and the BB temperature

Zgodnie z przyjętym modelem radiacyjnym detektora chłodzonego, na całkowitą odpowiedź ma wpływ atmosfera i otoczenie radiacyjne spoza pola widzenia kamery. Na podstawie wzoru (4), otrzymuje się wyrażenie na całkowitą odpowiedź uwzględniającą wszystkie składowe sygnału, zgodnie z przyjętym modelem, co zostało przedstawione równaniem (7):

Odpowiedź U została następnie zastąpiona podstawowymi postaciami równań aproksymacji (równania (2) i (3)). Podstawiając odpowiadające wpływowi atmosfery i otoczenia radiacyjnego temperatury, określono ich udziały w całkowitej odpowiedzi matrycy.

Rys. 4. Zestawienie punktów kalibracyjnych oraz wyznaczonych na ich podstawie krzywych kalibracyjnych metody S-H i metody RBFO Fig. 4. Comparison of calibration points and the corresponding calibration curves obtained using the S-H method and the RBFO method

3.2. Weryfikacja skuteczności

kalibracji

W celu weryfikacji skuteczności obu metod kalibracji wykonano 16 serii pomiarów temperatury, dla zadanych wartości temperatury cdc z zakresu 293,15–323,15 K, co 2 K. W każdym punkcie pomiarowym zarejestrowano 30 obrazów w ciągu 10 sekund i wyznaczano obszar zainteresowania tak samo, jak przy kalibracji. W tym przypadku jednak ciało czarne było umieszczone w odległości 30 cm od obiektywu kamery i uwzględniono przy tym pomiarze wpływ atmosfery oraz otoczenia radiacyjnego na odpowiedź detektora. Przykładowy fragment termogramu przy pomiarze temperatury przedstawiono na rysunku 5. Ponadto w celu weryfikacji kalibracji, temperatura została obliczona oddzielnie dla każdego piksela obszaru zainteresowania każdego obrazu. Pomiar temperatury opiera się na wyznaczeniu ze wzoru S-H oraz ze wzoru RBFO temperatury w funkcji odpowiedzi detektora, uzyskując kolejno wzory (5) i (6):

Za temperaturę atmosfery przyjęto 296,15 K, natomiast temperaturę odpowiadającą promieniowaniu odbitemu od cdc wyznaczono za pomocą metody odbiciowej zgodnie normą ISO 18434-1:2008. Zarejestrowano w ten sposób 30 termogramów, z których wyznaczono średnią wartość odpowiedzi pochodzącej od promieniowania odbitego. Następnie odpowiedź ta została przeliczona na temperaturę, zgodnie z wzorami (5) i (6), kolejno dla metody Sakuma-Hattori i metody RBFO, w wyniku czego otrzymano TRSH = 300,28 K, oraz TRRBFO = 300,23 K.

Za współczynnik emisyjności ciała czarnego przyjęto wartość 0,98. Transmisję atmosfery obliczono natomiast w oparciu o prawo Lamberta-Beera na odległości 30 cm, dzięki czemu uzyskano wartość 0,99997. Do obliczeń przyjęto więc zaokrągloną wartość równą 1. W ten sposób końcowe wyrażenia na temperaturę przyjmują postać zgodną z wzorem (8) dla metody Sakuma-Hattori, oraz wzorem (9) dla metody RBFO:

Tabela 4. Zestawienie obliczonych wartości temperatury

Tab. 4. Comparison of calculated temperature values

TBB, K Wartość średnia odpowiedzi, DL TRBFO, K TSH, K

293,15 2335,54 293,18293,78

295,15 2413,21 295,07295,48

297,15 2496,53 297,01297,25

299,15 2584,40 298,97299,05

301,15 2677,27 300,96300,91

303,15 2776,20 302,99302,82

305,15 2880,45 305,04304,77

307,15 2988,29 307,06306,72

3.3. Analiza i porównanie wyników W celu porównania skuteczności użytych metod kalibracji radiometrycznej, wyznaczono błąd bezwzględny ∆T i względny δT, oddzielnie dla każdej wartości temperatury cdc. Za wartość błędu bezwzględnego w każdej serii przyjęto różnicę między wartością średnią temperatury dla wszystkich pikseli obszaru zainteresowania a zadaną wartością temperatury wzorca. Wyznaczone wartości błędów zostały przedstawione na rysunku 6. Błąd względny wyznaczono jako procentowy stosunek wartości błędu bezwzględnego do wartości temperatury cdc. Wartości błędu względnego przedstawiono na rysunku 7.

Ponadto jako dodatkową miarę skuteczności, zbadano statystyczny rozrzut wyznaczanych wartości temperatury wokół wartości średniej, dla obu metod kalibracji. W tym celu wyznaczono odchylenie standardowe sT w każdej serii pomiarowej zgodnie ze wzorem (10):

()2 1 1 , 1 N Tn n s TT N = ∑ (10)

gdzie: N – liczba pikseli w serii pomiarowej, T n – wartość temperatury obliczona z n-tego piksela, T – wartość średnia temperatury z całej serii.

Rys. 6. Błąd bezwzględny dla kalibracji radiometrycznej metodą Sakuma-Hattori i RBFO

Fig. 6. Absolute error for radiometric calibration using the Sakuma-Hattori method and RBFO method

TBB, K Wartość średnia odpowiedzi, DL TRBFO, K TSH, K

309,15 3103,87 309,10308,73

311,15 3224,63 311,15310,78

313,15 3353,39 313,22312,88

315,15 3485,57 315,23314,96

317,15 3624,88 317,23317,05

319,15 3772,06 319,25319,22

321,15 3924,22 321,23321,38

323,15 4088,06 323,20323,58

Rys. 7. Błąd względny dla kalibracji radiometrycznej metodą Sakuma-Hattori i RBFO

Fig. 7. Relative error for radiometric calibration using the Sakuma-Hattori method and RBFO method

Zestawienie obliczonych błędów i rozrzutu wyników przedstawiono w tabeli 5, zaś na rysunku 8 przedstawiono wykres wartości odchylenia standardowego.

Rys. 8. Odchylenie standardowe od średniej temperatury obliczonej dla kalibracji radiometrycznej metodą Sakuma-Hattori i RBFO

Fig. 8. Standard deviation from average temperature value calculated for radiometric calibration using the Sakuma-Hattori method and RBFO method

Tabela 5. Zestawienie błędów pomiarowych i rozrzutu wyników kalibracji radiometrycznej metodą Sakuma-Hattori i RBFO

Tab. 5. Comparison of measurement errors and the spread of results in radiometric calibration using the Sakuma-Hattori method and RBFO method

W większości przeprowadzonych serii pomiarowych wartość błędu bezwzględnego i względnego metody RBFO jest mniejsza, niż w przypadku metody Sakuma-Hattori. Relacja ta jest odwrotna dla wartości temperatury wzorca równej 297,15; 299,15 i 319,15 K. Może to jednak wynikać wprost z kształtów krzywych tworzących wykresy obu metod i zmianą znaków wartości błędów. Kształt obu wykresów błędu metody Sakuma-Hattori jest parabolą, a metody RBFO – sinusoidą lub fragmentem funkcji wielomianowej trzeciego rzędu. Różnica ta może wynikać z innej liczby wyznaczanych współczynników aproksymacji. Rozrzut wyników pomiaru temperatury jest zbliżony dla obu metod kalibracji.

4. Wnioski

W większości punktów pomiarowych temperatura obliczona za pomocą równania RBFO jest bliższa zadanej temperaturze wzorcowej obserwowanego ciała czarnego, niż ta uzyskana poprzez zastosowanie równania Sakuma-Hattori. Krzywa kalibracyjna równania RBFO przebiega także bliżej punktów kalibracyjnych. Kształt wykresów błędu obu metod może wynikać z nieliniowej natury aproksymacji i występowania innej liczby ich współczynników.

Liczba indywidualnych dla każdego piksela obliczeń powoduje, że cała procedura pomiaru, łącznie z wyznaczeniem współczynników krzywych kalibracyjnych, jest stosunkowo

czasochłonna i zajmuje około kilkadziesiąt sekund. Ponieważ rozrzut wyników pomiaru pochodząca od statystycznych różnic w odczytanym dla każdego piksela sygnale jest mała w porównaniu z innymi jej składowymi, w celu przyspieszenia pomiaru i obliczeń można zmniejszyć liczbę pozyskiwanych obrazów, bez znacznego pogorszenia dokładności.

Dzięki temu, że testowy pomiar temperatury przeprowadzony został z niewielkiej odległości, wpływ atmosfery na odpowiedź detektora był znikomy. Wraz ze wzrostem odległości od celu staje się on jednak coraz bardziej znaczący i może wprowadzać duże błędy. Chcąc zastosować tak skalibrowaną kamerę do pomiarów temperatury z większej odległości, należałoby dostosować przyjęte modele w celu uwzględnienia większej liczby zmiennych czynników. Wprowadzając takie parametry jak odległość, czy wilgotność powietrza, można jeszcze precyzyjniej odwzorować wpływ atmosfery i zmniejszyć powodowany przez nią spadek dokładności pomiarów poza warunkami laboratoryjnymi, co może być przedmiotem przyszłych badań.

Należy zaznaczyć, że cały proces kalibracji, oraz jej weryfikacji był przeprowadzany w warunkach laboratoryjnych. Poza nimi pomiar temperatury z wykorzystaniem ustalonych współczynników aproksymacji będzie znacznie mniej dokładny, z uwagi na widmową charakterystykę emisyjności celu, ale także przez większą niejednorodność i udział atmosfery w modelu radiacyjnym, oraz obecność wielu innych źródeł promieniowania wprowadzających dodatkowy szum.

Bibliografia

1. Bielecki Z., Rogalski A., Detekcja sygnałów optycznych. Wydawnictwo naukowe PWN, 2021.

2. Więcek B., De Mey G., Termowizja w Podczerwieni Podstawy i Zastosowania. Wydawnictwo Naukowe PWN, 2017.

3. Howell J., Mengüc M.P., Siegel R., Thermal Radiation Heat Transfer. CRC Press Taylor & Francis, 2015, DOI: 10.1201/9780429327308.

4. Minkina W., Dudzik S., Infrared Thermography: Errors and Uncertainties, NJ: Wiley, 2009.

5. Park S.-N., Kim B.-H., Park C.-W., Lee D.-H., Realization of Radiance Temperature Scale from 500K to 1,250K by a Radiation Thermometer with a Thermal Detector, “International Journal of Thermophysics”, Vol. 29, 2008, 301–311, DOI: 10.1007/s10765-007-0328-2.

6. Lane B., Whitenton E., Madhavan V., Donmez M., Uncertainty of temperature measurements by infrared thermography for metal cutting applications, ”Metrologia”, Vol. 50, No. 6, 2013, DOI: 10.1088/0026-1394/50/6/637.

7. Sakumam F., Hattori S., Study for Establishing a Practical Temperature Standard by Using Silicon Narrow-Band Radiation Thermometer, “Journal of the Society of Instrument and Control Engineers”, Vol. 18, No. 5, 1982, 482–488, DOI: 10.9746/sicetr1965.18.482.

8. Minkina W., Pomiary termowizyjne: przyrządy i metody, Wydawnictwa Politechniki Częstochowskiej, 2004.

9. Martiny M., Schiele R., Gritsch M., Schulz A., Wittig S., In situ calibration for quantitative infrared thermography, Proceedings of the 1996 International Conference on Quantitative InfraRed Thermography, QIRT Council, 1996, DOI: 10.21611/qirt.1996.001.

10. Pron H., Menanteau W., Bissieux C., Beaudoin J., Characterization of a focal plane array (FPA) infrared camera, Proceedings of the 2000 International Conference on Quantitative InfraRed Thermography, QIRT Council, 2000. DOI: 10.21611/qirt.2000.061.

11. Ragheb H., Hamid M., An approximation of Planck’s formula for the inverse black body radiation problem, “IEEE Transactions on Antennas and Propagation”, Vol. 35, No. 6, 1987, 739–742, DOI: 10.1109/TAP.1987.1144165.

12. Horny N., FPA camera standardisation, “Infrared Physics & Technology”, Vol. 44, No. 2, 2003, 109–119, DOI: 10.1016/S1350-4495(02)00183-4.

13. Budzier H., Gerlach G., Calibration of uncooled thermal infrared cameras, ”Journal of Sensors and Sensor Systems”, Vol. 4, No. 1, 2015, 187–197, DOI: 10.5194/jsss-4-187-2015.

14. Sosnowski T., Bieszczad G., Gogler S., Madura H., Felczak M., Strąkowski R., Radiacyjny model obudowy chłodzonego matrycowego detektora podczerwieni, „Pomiary Automatyka Robotyka”, R. 25, Nr 4, 2021, 67–76, DOI: 10.14313/PAR_242/67.

Comparative Analysis of Selected Calibration Methods for a Thermal Imaging Camera with a Cooled Detector Operating in the MWIR Range

Abstract: For accurate remote temperature measurement with a thermal imaging camera, it is necessary to perform radiometric calibration. This allows the radiative parameters of an object, and therefore its temperature, to be related to the response of the infrared detector observing it. The article presents the basic concepts related to radiometric calibration and various factors influencing its effectiveness. The most common calibration methods were also reviewed, and then two of them were implemented and compared on a specially constructed laboratory station, using proprietary software and equipped with a cooled infrared camera, operating in the MWIR range. The camera was calibrated in the temperature range from 20 °C to 50 ° C. The comparison of methods was carried out on the basis of a series of temperature measurements, analysis of absolute and relative errors, as well as analysis of the dispersion of the measured temperature values.

Keywords: Thermal camera, Radiometric calibration, Remote temperature measurement

mgr inż. Karol Erd karol.erd@wat.edu.pl

ORCID: 0009-0007-0532-6578

Ukończył w 2023 r. Wojskową Akademię Techniczną w Instytucie Optoelektroniki. Obecnie zajmuje się zagadnieniami związanymi z przetwarzaniem obrazu, ich zastosowaniem w technice podczerwieni, a także zdalnym pomiarem temperatury.

Karol Erd

Study on the Influence of an UGV Suspension System on Camera Motion of the Teleoperation System

Arkadiusz Rubiec, Mirosław Przybysz, Marian J. Łopatka, Łukasz Rykała, Piotr Krogul, Karol Cieślik, Rafał Typiak

Military University of Technology, Faculty of Mechanical Engineering, ul. gen. Sylwestra Kaliskiego 2, 00-908 Warsaw, Poland

Abstract: In the following article, the results of a study on the impact of the suspension system used in Unmanned Ground Vehicles (UGVs) on the kinematic excitation of cameras in teleoperation systems are presented. As indicated by preliminary reconnaissance studies, these excitations significantly affect the operator’s ability to perceive the environment and recognize images while driving. Currently, there is a lack of publications and guidelines in the literature regarding the design of UGV suspensions and their evaluation in terms of improving operator perception in teleoperation systems. The studies were conducted in a simulated environment using multibody systems, where various suspension structure variants were developed. The tests were carried out on the ISO 5008 rough test track. The evaluation of the tested suspension structures was carried out using a proprietary method, enabling parametric analysis and the selection of favorable solutions for improving image recognition by the UGV operator. Future research can focus on adjustment of the UGV suspension characteristics which could have significant influence on situational awareness and the operator’s ability to act effectively, especially during dynamic missions.

Keywords: suspension system, teleoperation system, UGV, situational awareness, multibody model

1. Introduction

Human activity in areas that require performing monotonous, complex, and time-consuming tasks [27], especially where health and life can be at risk, has led to significant interest in the possibility of robotizing such operations and developing unmanned technologies [21]. Advanced systems increase the autonomy levels of the mentioned technologies [12, 23], yet they are defined differently for mobile robots (rescue, military), vehicles, or industrial robots [10]. Thanks to this approach, there is a reduction in human involvement and participation in task execution, which leads to a minimization of their psychophysical strain. Ultimately, as a result, tasks can be conducted with greater efficiency and repeatability.

In recent times, there has been a significant technological leap in increasing achieved levels of autonomy, particularly in the case of cars and industrial robots [38, 24, 30]. Both move and perform tasks in a known and structured environment [40, 7]. Cars, for instance, travel on a known road where familiar and defined

Autor korespondujący:

Mirosław Przybysz, miroslaw.przybysz@wat.edu.pl

Artykuł recenzowany nadesłany 24.10.2023 r., przyjęty do druku 22.04.2024 r.

objects appear (other vehicles, horizontal and vertical road signs, etc.), and a GNSS signal is typically available, which, supported by RTK corrections, ensures high location accuracy [33]. On the other hand, industrial robots usually perform tasks in industrial halls where every object in their working field can be defined.

Nevertheless, there are still areas where increasing level of autonomy is decidedly more challenging, and often an operator must take control over task execution, possibly remotely controlling the robot, for instance, in a teleoperation system [36]. This can occur, especially when robots are designated to perform tasks in tough, unfavorable terrain conditions, in an unknown, heterogeneous, and dynamically changing environment that is difficult to define. Examples include unmanned ground vehicles and mobile robots used in rescue operations after natural disasters or during military actions [4, 13]. They move over numerous irregularities and overcome significant terrain obstacles, which exert forces through the drivetrain and suspension onto the robot’s structure, and subsequently onto the teleoperation system’s cameras, thereby complicating the operator’s task and reducing their situational and operational awareness [8, 14, 11]. The challenge in this case is to shape the force transfer path to the teleoperation system’s cameras in a way that minimizes their adverse effects.

One possible direction is to avoid a rigid connection of the cameras to the robot’s structure and to utilize vibration isolation or actively controlled platforms (gimbals) [37, 31]. However, conducted analyses [25, 32] showed that this approach might be ineffective. In crisis situations, the image from the teleoperation system is the only signal based on which the operator builds awareness and makes decisions. The situation is different for

manned machines and vehicles where operators/drivers directly perceive the movements and vibrations of the machine/vehicle, allowing them to, for example, reduce speed when there is a risk of rollover instability and tipping of the machine/vehicle. In the case of UGVs, if the camera is stabilized and has a different angular position than the robot’s structure, and the operator does not feel excessive tilts, it might lead to the robot’s overturning and failure to complete the task.

A potential solution to this problem could be the design of the UGV’s suspension system (both in structure and characteristics) that minimizes the negative impact of kinematic excitation on the teleoperation system’s cameras, caused by ground irregularities it traverses. In the literature, numerous research findings dedicated to the design of suspension systems for machines and vehicles can be found [41, 3, 35]. They primarily focus on three criteria:

health and comfort [6, 17, 39, 42] in terms of vibration frequency and amplitude; −safety [22, 29] concerning stability and motion steadiness.

Research is also carried out on autonomous UGVs in the context of defense technology advancement [34], UGVs suspension designs tailored for desert terrains [2], and minefields [15]. Studies also explore hydropneumatic solutions used for heavy UGVs [20], accompanied by various controllers based, among others, on adaptive [26], adaptive sliding [5], or fuzzy [1] control systems.

Mentioned papers concern the adaptation of suspension properties to defined functions and requirements set for manned vehicles and machines, aimed at reducing the negative impact of ground unevenness on the human and the body frame. Existing ISO 2631 guidelines [18], such as recommendations regarding vibration frequency and total acceleration acting on a human, serve as a basis for designing suspension systems focused on enhancing comfort and safety. In the studies [2, 20, 15, 28, 19], research was conducted on shaping the suspension properties of UGVs. However, they primarily addressed the impact of the suspension system on the platforms’ ability to overcome terrain obstacles [15] or develop traction force [19]. What is missing, however, are research findings regarding the impact of the properties (structure and characteristics) of the UGVs’ suspension system on building situational and actionable awareness and the efficiency of task execution using teleoperated platforms. In this case, the movement of teleoperation cameras and, consequently, what the operator sees on the monitor screens can be significant. This pertains to tasks of reconnaissance and identification of objects/threats in the immediate vicinity of the platforms. Current existing indicators to evaluation of suspension systems are proper to manned vehicles and there are not taking into consideration unmanned character of mobile robots. It can be fulfilled by proposed approach. Study proposes a method for evaluating the influence of the suspension properties of unmanned ground platforms controlled in a teleoperation system on the movement of their cameras, and consequently, the operator’s ability to recognize and identify.

2. Preliminary research

To evaluate the influence of the movement of the teleoperation system’s cameras on the operator’s ability to recognize and identify images, preliminary identification tests were conducted. The trials were performed with the participation of 30 operators aged between 27 and 42, controlling UGVs using a teleoperation system while driving along a test track (Fig. 1). During the tests, the operators’ task was to recognize (locate) and identify (read) markers (Fig. 2), placed on the left and right of the test track at locations unknown to the operators. The UGV, during the test, traveled in a straight line over

uneven terrain, causing angular accelerations of the vehicle’s body [9].

During the research, the UGV traveled on the experimental test track, which had terrain irregularities (Fig. 2) [9]. The irregularities height was 0.15 m, and they were alternately placed on the left and right sides of the track every 3 m. During the tests, the UGV traveled at average speeds vj (j = 1, …, 5) of 0.5; 0.7; 1.3; 2.5, and 3.4 m/s. An IMU sensor was mounted on the platform to measure kinematic quantities: angle, angular velocity, and angular acceleration of the vehicle body relative to the axes: 1 – longitudinal, 2 – vertical, and 3 – transverse.

Main technical parameters of the vision and measurement systems used during the research are provided in Table 1.

Tab. 1. Parameters of the vision and measurement system Tab. 1. Parametry systemu wizyjnego i pomiarowego

Name of parametersValue of the parameter

Number and type of cameras Three LC – 1/3 Sony 650TVL

Converter 1/3” Sony CCD

Resolution TVL 650

Sensitivity 0.1 lux

Transmission systemBMS dedicated

Frequency 1400 MHz

Number of channels 3

Time delay 120 ms

VECTORNAV VN-100

IMU

Pitch/Roll Accuracy: 0.5 deg

Accel In-Run Bias Stability < 0.04 mg

In the studies, the markers consisted of letters or numbers. Between trials, their positions were changed or swapped to avoid memory-based identification attempts. The control station (Fig. 1) was located in a closed room away from the track, thus operators did not have direct visual contact with the driving area.

Fig. 1. A view of the vehicle and control station used during the research

Rys. 1. Widok pojazdu i stanowiska sterowania używanego podczas badania

2. Test track: a) track profile; b) markers

Rys. 2. Tor testowy: a) profil toru; b) znaczniki

3. Changes in average efficiency indicators for locating markers and identifying markers function of average values: a) ; b) ; c) ; d) ; e) ; f)

Rys. 3. Zmiany wartości średnich wskaźników skuteczności odnajdowania znaczników oraz identyfikacji znaczników w funkcji średnich wartości: a) ; b) ; c) ; d) ; e) ; f)

Fig.

Fig.

Tab. 2. Classification of suspension system efficiency in remotely controlled wheeled UGVs based on marker identification

Tab. 2. Klasyfikacja efektywności układu zawieszenia w sterowanych zdalnie kołowych UGV pod względem identyfikacji znaczników

To evaluate the efficiency of the task performed by the teleoperator, two indicators were used:

a markers detection efficiency index o calculated as the ratio of the number of markers found by the operator during a single drive i o to the total number of markers placed on the route i c during that drive, according to the equation:

groups. The key indicator for this classification is the value of the marker detection efficiency index . In the context of missions related to driving, detecting, and identifying objects, the failure to find any object is deemed unacceptable. As a result of the discussed research, it was possible to develop universal criteria that can be used to evaluate the suspension systems of teleoperated wheeled UGVs.

3. Simulation Studies

a markers identification efficiency index hi calculated as the ratio of the number of identified markers by the operator during a single drive ii to the number of markers found i o during that drive, according to the equation:

During each drive, the number of markers found, and the number of markers identified were noted. Cameras head motion were described by:

average of angular displacement RMS values of the camera head around the longitudinal axis ; average of angular displacement RMS values of the camera head around the transverse axis ; average of angular displacement standard deviation values of the camera head around the longitudinal axis ; average of angular displacement standard deviation values of the camera head around transverse axis ; average of maximum angular displacement values of the camera head around the longitudinal axis ; average of maximum angular displacement values of the camera head around the transverse axis

As a result of the conducted research, it was found that the dominant influence on the ability to recognize and identify an image has the angular velocity around the longitudinal axis and around the transverse axis.

The change in average values of the marker detection efficiency index ho and marker identification index hi depending on the average effective values, standard deviations, and maximum angular displacements of the teleoperation system’s camera head during the research is presented in Fig. 3. To evaluate the results obtained from the conducted tests, four levels of suspension performance were defined: Excellent, Good, Acceptable, and Unacceptable. These levels are determined by the number of detected obstacles, with the assumption that a performance is deemed “Unacceptable” when less than 90 % of the obstacles are detected.

According to the proposed classification (Table 2), the effectiveness level of the suspension system was divided into four

The impact of the suspension structure used in the wheeled UGV on the effectiveness of object observation using cameras during off-road driving was studied via simulation. Conducting such experimental studies would be highly challenging in practice and would require substantial financial resources. Therefore, an advanced simulation model of the UGV was constructed, incorporating different suspension structures. During these simulation studies, the platform models moved along a test track (Fig. 4), which imposed a kinematic excitation q(t) with constant specified driving speeds of 4, 5, and 7 km/h (in accordance with ISO 5008 standard).

During recording, selected kinematic features were recorded: −angular displacement () , t α () , t β and () , t γ −angular velocity () , t α () , t β and () , t γ −at the center mass position of the platform (Fig. 5).

3.1. Unmanned Ground Vehicle model

For the purpose of simulation studies, a numerical model of a 6 × 6 UGV (unmanned six-wheeled ground vehicle) was used, weighing 2800 kg, with an axle base of 1.80 m, wheel track of 1.80 m, and wheel diameter of 0.50 m (Fig. 5). The model was developed using the multi-body method in the Adams 2014.0.1

Fig. 4. Excerpt of the test track used in simulation studies [32]

Rys. 4. Fragment toru testowego użytego w badaniach symulacyjnych[32]

Fig. 5. Main dimensions of the UGV model [32]

Rys. 5. Główne wymiary modelu UGV [32]

Fig. 6. Model of UGV Suspension Structures I-V with the orientation of the global coordinate system: a) side view; b) front view; q(t) – kinematic excitation [32] Rys. 6. Model struktur zawieszenia UGV I-V w widoku: a) bocznym; b) przednim; q(t) – wymuszenie kinematyczne [32]

software (MSC Software Corporation) [25]. To this end, a set of simplifying assumptions were adopted, including: rigid bodies/non-deformable, with homogeneous density throughout their volume, reduction of mass and mass moments of inertia to the resultant values m, and I, contact forces of wheels with the ground were calculated analytically using the impact force model according to the equation (5), ideal kinematic constraints (without friction), a constant angular velocity of the driving wheels was assumed during the entire pass on the test track.

The values of masses and mass moments of inertia are presented in Table 3, while the main dimensions and the positions of the centers of gravity are given in Table 4.

3.2. Suspension structure in the vehicle model

In the simulation studies, three vehicle structure variants were developed: wheels mounted directly to the vehicle frame (Fig. 6a), rear axles are attached to longitudinal control arms and the front wheels on a transverse control arm (Fig. 6b, c), independent wheel suspension with a shock-absorbing spring (Fig. 6d, e) [16].

Tab. 3. Masses and moments of inertia of the UGV body and wheel model [32]

Tab. 3. Masy i momenty bezwładności bryły nadwozia modelu UGV oraz kół jezdnych [32] Name m [kg] I

Tab. 4. Principal dimensions of the model in numerical analyses [32]

Tab. 4. Główne wymiary modelu w analizach numerycznych [32]

3. Axle track L

4. Vertical position of the chassis center of mass h

3.3. Discrete Model of the flexible wheel

In the vehicle model, a discrete wheel model was implemented. It consists of rigid bodies arranged circumferentially in a ring, representing the tire tread. These discrete elements were coupled to the rim using linear forces and moments. Unit stiffness and damping values were chosen based on literature data to achieve the desired resultant stiffness and damping parameters in the circumferential, radial, and lateral directions.

The wheel-ground contact is of a multi-point nature and is influenced by both the wheel deflection and the ground curvature. The forces arising from this contact are computed independently for each i-th tread element that is in contact with the ground. The total normal force from the wheel to the ground is derived from the summation of the normal forces of the n-number of tread elements.

1 n N Ni i FF = ∑ (3)

The force occurrence of the i-th tread element is determined by the condition:

Fig. 9. View of the wheel model while overcoming a 90 mm height obstacle at a speed of approximately 1 km/h: a), b), c) sequential stages [32]

Rys. 9. Widok modelu koła podczas pokonywania przeszkody o wysokości 90 mm przy prędkości wynoszącej około 1 km/h: a), b), c) kolejne etapy [32]

(4)

where: qi – the distance between the i-th tread element and the ground.

Fig. 10. Comparison of the wheel center position while overcoming a step-type obstacle: a) comparison of the MSS wheel models (constant tread length model), MSP (model in the form of radially arranged spring-damper links), measurement – result of the measurement conducted on the physical object, b) result of the test conducted on the model (Fig. 9) used in this study [32] Rys. 10. Porównanie położenia środka koła podczas pokonywania przeszkody typu występ: a) porównanie modeli koła MSS (model o stałej długości śladu), MSP (model w postaci promieniowo rozmieszczonych łączników sprężysto-tłumiących) pomiar – wynik pomiaru dokonanego na obiekcie fizycznym, b) wynik próby przeprowadzonej na modelu (rys. 9) wykorzystanym w pracy [32]

Rys. 8.

()e Nistiffgroundoi Fkqq =⋅− (5)

where: kground – ground stiffness, (qo – qi) – tread element penetration into the ground, e – exponent determining the shape of the characteristic (according to MSC Adams recommendations, e = 1.5) [9].

The damping force depends on the speed, and its rise time depends on the tread penetration into the ground surface. The function describing the increase in damping along with the value of penetration takes a shape similar to the hyperbolic tangent in the range FNi_damp = (0–cground) and has been determined based on the equation (Fig. 8):

() ( )Step,0,,1Nidampgroundo oo Fcqqqqd =⋅+ (6)

where: cground – ground damping coefficient; Step(…) – a function describing the gradual increase in value from 0 to 1 as a function of penetration qi

The wheel’s tire model consists of 36 elements, representing the tire tread in accordance with the recommendations provided in [16]. An essential feature of a wheel model is its “absorbing” properties. These influence the trajectory of the wheel’s center. In the study, a result of measurement and simulation of the wheel center’s positional change while overcoming a bump of 90 mm in height at a speed of approximately 1 km/h was presented. A similar simulation test was performed for the wheel model used in this study.

Fig. 7. Discrete Model of the wheel [32]

Rys. 7. Dyskretny model koła [32]

Fig. 8. Function describing the damping force in the wheel-ground contact [32]

Przebieg funkcji opisującej siłę tłumienia w kontakcie koło-ziemia [32]

As a result of the test, a graph depicting the change in the position of the wheel model’s center while overcoming an obstacle-type protrusion was plotted (Fig. 10b).

The displacement graph of the wheel axis model presented in Fig. 10b is closely aligned with the measurement (Fig. 10a). Therefore, it was concluded that the adopted wheel model possesses “absorbing” characteristics.

Based on the simulations, an analysis was conducted to evaluate the test results. The following performance indicators were used for evaluation:

− Root Mean Square (RMS) value of angular displacements around the longitudinal axis αRMS and the transverse axis γRMS;

− Standard deviation value σ of angular displacements around the longitudinal axis σ α(t) and the transverse axis

σ γ(t);

− Maximum value of angular displacements around the longitudinal axis αMAX and the transverse axis γMAX;

− Root Mean Square (RMS) value of angular velocities around the longitudinal axis , RMSα  vertical axis , RMSβ and the transverse axis ; RMSγ

− Standard deviation value σ of angular velocities around the longitudinal axis () , t α σ vertical () , t β σ and the transverse axis () ; t γ σ

− Maximum value of angular velocity around the longitudinal axis , MAXα vertical axis , MAXβ and the transverse axis MAXγ

4. Results

Examples of simulation results obtained during the simulation tests are presented in Fig. 11. They present the time histories of angular velocities and angular displacements recorded at the location of the center of gravity for two variants of road wheel suspension.

Figure 12 shows a graphical comparison of the values of evaluation indicators calculated based on changes in angular displacements around the longitudinal axis α(t) and transverse axis γ(t) during simulations.

The analysis of the obtained results indicates that the change in driving speed has a significant impact on the angular displacements of the models around the longitudinal axis (Fig. 12a). Larger differences between angular displacements occurred in the case of displacements around the transverse axis (Fig. 12b).

Structure III is the least sensitive to changes in driving speed and, as a result, in angular displacements around the transverse axis. In this case, an increase in driving speed 4–7 km/h resulted

Fig. 11. Angular velocities time series fragments at a speed of 7 km/h for structure I I relative to the axes: 1 – longitudinal, 2 – vertical, 3 – transverse, and for structure I II: 4 – transverse velocity, 5 – vertical, 6 – velocity relative to the transverse axis [32]

Rys. 11. Fragmenty przebiegów czasowych prędkości kątowych nadwozia przy prędkości jazdy 7 km/h i struktury zawieszenia II, względem osi: 1 – podłużnej, 2 – pionowej, 3 – poprzecznej, oraz dla struktury III: 4 – prędkość poprzeczna, 5 – pionowa, 6 – prędkość względem osi poprzecznej [32]

12. Comparison of the values of evaluation indicators (effective values, standard deviation, maximum values) of angular displacements: a) around the longitudinal axis; b) around the transverse axis, I–V – suspensions structure [32] Rys. 12. Porównanie wartości wskaźników oceny (wartości skutecznych, odchylenia standardowego, wartości maksymalnych) przemieszczeń kątowych: a) wokół osi wzdłużnej; b) wokół osi poprzecznej, I–V – struktura zawieszenia [32]

Fig.

in a slight change in the effective value of angular displacements γRMS from 1.86 to 1.93 deg, and the value of standard deviation σ γ(t) 1.82–1.9 deg and a change in the maximum value of γMAX 8.33–8.34 deg. At the same time, in the case of structure II, a similar change in speed resulted in an increase in the effective value of angular displacement around the transverse axis by 0.15 deg, the value of the standard deviation by 0.12 deg, and the value of the maximum angular displacement by 2.05 deg.

A graphical comparison of RMS values, standard deviations, and maximum angular speeds around the longitudinal, vertical, and transverse axes is shown in Fig. 13.

The largest change in the effective value of angular velocity around the longitudinal axis occurred in the case of structure II (an increase of 4.2 deg/s), constituting approximately 75 % of the velocity value achieved at a driving speed of 4 km/h. The smallest change occurred in structure I (an increase of 1.2 deg/s), which is approximately 35 % of the initial value. The dispersion of the velocity values around the longitudinal axis around the mean value was also the largest in the case of structure II (change by 4.6 deg/s), while the smallest in structure V (1.75 deg/s). The maximum values of angular velocity around the longitudinal axis have changed similarly. In the case of structure II, the increase in the maximum value (Fig. 13a) was close to 20 deg/s (representing approximately 45 % of the maximum value that occurred in the case of driving at a speed of 4 km/h), while in structure V there was an increase in the maximum value of the angular velocity around the longitudinal axis by 5.2 deg/s (thus constituting approximately 45 % of the initial value). The greatest intensity of changes in angular velocity around the ver-

tical axis (Fig. 13b) based on changes in the RMS value and standard deviation occurred in the case of structures III, IV, and V (changes of approximately 0.8 deg/s). The smallest in the case of structure I (RMS change by 0.2 deg/s). In turn, in the case of examining this structure, the greatest change in the value of the maximum angular velocity around the vertical axis occurred (an increase of approximately 4.8 deg/s). The smallest impact on changes in angular velocities around the transverse axis (Fig. 13c), caused by changes in driving speed, occurred in the case of structure I. The largest change in angular velocities around the transverse axis occurred in structures IV and V.

Figure 14 shows a graphical comparison of the effective values, standard deviation, and values of maximum angular displacements of the tested structures around the longitudinal and transverse axes.

In structure II (Fig. 14a), there was the highest effective value of angular displacements around the longitudinal axis (1.46 deg), the standard deviation value (1.38 deg), and the maximum value (5.26 deg). They were higher than the lowest value in structure IV by 71 %, 73 %, and in the case of the maximum value by 115 %, respectively. Angular displacements around the transverse axis (Fig. 14 b) were the smallest in structures I and II. In their case, there was also the smallest dispersion of displacement values around the average value. By far the highest effective value of angular displacements around the transverse axis occurred in structure IV (2.27 deg) and was greater than the smallest one by approximately 26 %. The highest standard deviation value was also recorded in this structure. The maximum angular displacement around the transverse axis occurred

Fig. 13. Comparison of the values of evaluation indicators (RMS values, standard deviation, maximum values) of angular velocity: a) around the longitudinal axis; b) around the vertical axis; c) around the transverse axis, I–V – suspensions structure [32] Rys. 13. Porównanie wartości wskaźników oceny (wartości skutecznych, odchylenia standardowego, wartości maksymalnych) prędkości kątowej: a)

osi wzdłużnej; b) wokół osi pionowej; c) wokół osi poprzecznej, I–V – struktura zawieszenia [32]

wokół

Fig. 14. Comparison of RMS values, standard deviations, and maximum angular displacements: a) around the longitudinal axis; b) around the transverse axis of the central camera while passing structure models at a speed of 5 km/h, I–V – suspensions structure [32]

Rys. 14. Porównanie wartości skutecznych, odchyleń standardowych i maksymalnych przemieszczeń kątowych: a) wokół osi wzdłużnej; b) wokół osi poprzecznej, kamery środkowej podczas przejazdu modeli struktur z prędkością 5 km/h, I–V – struktura zawieszenia [32]

Fig. 15. Comparison of RMS values, standard deviations, and maximum angular velocities: (a) around the longitudinal axis; b) around the vertical axis; c) around the transverse axis of the central camera while passing structure models at a speed of 5 km/h, I–V – suspensions structure [32]

Rys. 15. Porównanie wartości skutecznych, odchyleń standardowych i maksymalnych prędkości kątowej: a) wokół osi wzdłużnej; b) wokół osi pionowej; c) wokół osi poprzecznej, kamery środkowej podczas przejazdu modeli struktur z prędkością 5 km/h, I–V – struktura zawieszenia [32]

in structure IV and amounted to 9.1 deg. This result is approximately 43 % greater than the maximum displacement that occurred in structure I.

Figure 15 shows a graphical comparison of RMS values, standard deviations, and maximum angular velocities around the longitudinal, vertical, and transverse axes.

In structure II, there were not only the highest values of angular displacements around the longitudinal axis (Fig. 15a) but also the highest values of velocities around the longitudinal axis. In this case, the effective value of speed and standard deviation was approximately 7.3 deg/s, and the maximum was 48.68 deg/s. These values significantly exceeded the lowest values that occurred in structure V. They were higher than them by 3.96 deg/s and 37.26 deg/s, respectively. In the case of angular velocity around the vertical axis (Fig. 15b), the highest effective and maximum values were achieved by structures III, IV, and V. They were much smaller in structures I and II. The absolute differences between the extreme values were for the effective value

and standard deviation approximately 0.6 deg/s, and for the maximum value approximately 1.7 deg/s. The highest values of angular velocity around the transverse axis (Fig. 15c) occurred in structure IV, while the lowest in structure III.

In order to select the best structure, a system for evaluating the obtained results was proposed in which, for each assessed indicator (e.g., RMS value of angular displacement), the structures are ranked from the smallest value of a given quantity to the largest value. Then each structure receives pi points from 0 points. (in the case of the highest value of the assessed quantity) up to 1 point. (in the case of the smallest value of the assessed quantity – the best solution). The remaining structures receive intermediate values proportionally. The final value, which is the final assessment of a given structure A (after taking into account all assessment indicators), is calculated based on the relationship:

where: a – a parameter that takes the value 1/3 if any of the wheels lost contact with the ground while running on the track or 1 if none of the wheels lost contact with the ground while driving; ki – weight and – of this assessed quantity; pi – the value of points awarded to a given structure after assessing i – this value.

Based on the posted research, it was concluded that the angular velocities of the cameras have the greatest impact on the operators’ ability to observe the surroundings. Therefore, it was decided that the indicators associated with them had the highest ki weight value. The AHP (Analytic Hierarchy Process) method was used to determine the value of weights assigned to a given quantity. It is used for the multi-criteria analysis of decision-making problems [23]. Before starting the analysis using it, a definition of the decision-maker’s preferences is established and determined using relative importance ratings (Table 4).

In the proposed evaluation system, it was found that the angular velocities of the cameras are the strongly preferred quantity. The values of the weights adopted in the proposed evaluation system for individual indicators are summarized in Table 5.

Tab. 4. The scale of weights assigned, depending on the importance of individual criteria in the AHP method [32]

Tab. 4. Skala wag przypisywanych w zależności od ważności poszczególnych kryteriów w metodzie AHP [32]

Value Rating of element A against B 9 And is extremely preferred 7 A is very strongly preferred

The structure that obtained the highest number of points in the adopted evaluation system is the best structure. During the tests, the wheels of structures I and II lost contact with the ground several times. In the case of structures III, IV, and V, the wheels did not detach from the ground. The assessment was conducted for driving speeds of 5 and 7 km/h. The final results of the assessment of all indicators considered (Table 5) using the adopted system are graphically presented in Fig. 16.

As a result of the research and evaluation, the best (among) the examined structures for UGV are structures III (swinging) and V (flexible). Ultimately, these structures received a score of 36 points (III – driving speed of 5 km/h) and 33.9 points (V – driving speed of 7 km/h). Structures I and II are by far the worst in both cases. They obtained scores of 7 and 9 points. It should be noted that increasing the driving speed to 7 km/h resulted in the fully flexible structure receiving the best rating.

5. Discussion / Conclusions

Selecting the most advantageous structure of the suspension system for performing the task of off-road driving and observing the surroundings, required the development of a method for assessing suspension systems and conducting numerical tests. For this purpose, numerical models of five alternative suspension system structures for UGV were developed, and their tests were conducted while driving on a rectilinear off-road track (ISO 5008) constituting kinematic excitation. In addition, the influence of camera placement and movement speed on the interactions occurring on the cameras was examined.

The most advantageous solution is when the robot is suspended with an independent connection of the wheels to the body frame. The values of the angular velocities of the cameras, which are a critical factor determining the effectiveness of this type of task, have the lowest values and approach the limit values of the range of good effectiveness of the UGV suspension.

Tab. 5. Summary of the values of weights and indicators to which they refer, adopted in the UGV suspension structure assessment method [32]

Tab. 5. Zestawienie wartości wag i wskaźników, do których się odnoszą, przyjętych w systemie oceny struktury zawieszeń UGV [32]

Index

Fig. 16. Summary of the results of the assessment of suspension system structures using the adopted assessment method: a) at a driving speed of 5 km/h; b) at a driving speed of 7 km/h, I–V – suspensions structure [32]

Rys. 16. Zestawienie wyników oceny struktur układu zawieszenia z wykorzystaniem przyjętego systemu oceny: a) przy prędkości jazdy 5 km/h; b) przy prędkości jazdy 7 km/h, I–V – struktura zawieszenia [32]

Marian J.

In the next step, a system was created for assessing the suitability of suspension system structures based on a point assessment of several values, such as effective values, standard deviations, and maximum values. Due to the amount of movement of the teleoperation system cameras, the most advantageous solution is to place them in the longitudinal axis of the robot. Depending on the compared parameter, the intensity of the impacts to which the center camera was subjected compared to the side cameras decreased from several to several dozen percent.

Conducting tests at different driving speeds made it possible to assess the structures in terms of their sensitivity to changes in driving speed and its impact on the values that affect the cameras of the teleoperation system. The smallest impact of changes in driving speed on the vibrations of the teleoperation system cameras occurred in the case of structures III and V. Structure I is the most “sensitive” to changes in driving speed. In this case, the calculated evaluation indices at the highest driving speed (7 km/h) were higher than the values calculated at the lowest driving speed (4 km/h) by up to 190 %.

As a result of the assessment, based on the developed system, structure III (the best result for a driving speed of 5 km/h) and structure V (the b est result for a driving speed of 7 km/h) were considered the best UGV designs.

Proposed method can be used to evaluate other suspension structures with different velocities and other terrain conditions. This take into account mostly limits of operator perception in objects detection and identification. Future research can focus on adjustment of the UGV suspension characteristics which could have significant influence on situational awareness and the operator’s ability to act effectively, especially during dynamic missions.

Bibliography

1. Almayyahi A., Wang W., Hussein A.A., Birch P., Motion control design for unmanned ground vehicle in dynamic environment using intelligent controller, “International Journal of Intelligent Computing and Cybernetics”, Vol. 10, No. 4, 2017, 530–548, DOI: 10.1108/IJICC-112016-0044.

2. Althani T., Salim R., Anzil M.M., Subramaniam P., Almaeeni K., Shukla A., Design and Implementation of a Locomotion Suspension System for a Desert Terrain UGV, “2023 9th International Conference on Automation, Robotics and Applications (ICARA)”, Abu Dhabi, United Arab Emirates, 2023, 259–262, DOI: 10.1109/ICARA56516.2023.10125898.

3. Bartnicki A., Muszyński T., Rubiec A., Hydropneumatic Suspension Efficiency in Terms of Teleoperated UGV Research, “Solid State Phenomena”, Vol. 237, 2015, 195–200, DOI: 10.4028/www.scientific.net/SSP.237.195.

4. Berns K., Nezhadfard A., Tosa M., Balta H., De Cubber G., Unmanned Ground Robots for Rescue Tasks. Search and Rescue Robotics – From Theory to Practice, “InTech”, 2017, DOI: 10.5772/intechopen.69491.

5. Chen G., Jiang Y., Tang Y., Xu X., Revised adaptive active disturbance rejection sliding mode control strategy for vertical stability of active hydro-pneumatic suspension, “ISA Transactions”, Vol. 132, 2023, 490–507, DOI: 10.1016/j.isatra.2022.06.008.

6. Chen S., Wang D., Zuo A., Chen Z., Li W., Zan J., Vehicle Ride Comfort Analysis and Optimization Using Design of Experiment, “Second International Conference on Intelligent Human-Machine Systems and Cybernetics”, Nanjing, China, 2010, 14–18, DOI: 10.1109/IHMSC.2010.11.

7. Chen Z., Path Planning and optimization of Unmanned Ground Vehicles (UGVs) in the Field, “3rd International

Łukasz Rykała, Piotr Krogul, Karol Cieślik, Rafał Typiak

Conference on Unmanned Systems (ICUS)”, Harbin, China, 2020, 708–713, DOI: 10.1109/ICUS50048.2020.9274968.

8. Czapla T., Wrona J., Technology development of military applications of unmanned ground vehicles, “Vision Based Systems for UAV Applications”, Springer: Heidelberg, Germany, 2013, 293–309, DOI: 10.1007/978-3-319-00369-6_19.

9. Dąbrowska A., Jaskółowski M.B., Rubiec A., Cameras vibrations influence on efficiency of teleoperated Unmanned Ground Vehicle, “2016 21st International Conference on Methods and Models in Automation and Robotics (MMAR)”, Międzyzdroje, Poland, 2016, 772–777, DOI: 10.1109/MMAR.2016.7575234.

10. Dinelli C., Racette J., Escarcega M., Lotero S., Gordon J., Montoya J., Dunaway C., Androulakis V., Khaniani H., Shao S., Configurations and Applications of Multi-Agent Hybrid Drone/Unmanned Ground Vehicle for Underground Environments: A Review, “Drones”, Vol. 7, No. 2, 2023, DOI: 10.3390/drones7020136.

11. Fabris E.J., Sangalli V.A., Soares L.P., Pinho M.S., Immersive telepresence on the operation of unmanned vehicles, “International Journal of Advanced Robotic Systems”, Vol. 18, No. 1, 2021, DOI: 10.1177/1729881420978544.

12. Febriyanto R., Setiawardhana S., Tamara M.N., Sena Bayu B. Dewantara, Sigit R., Sanusi M.A., Design and Realization of UGV Robot with Combined of Geared Wheel and Walked Mechanism for Uncertain Terrain in Volcanic Observation, “International Electronics Symposium (IES)”, Surabaya, Indonesia, 2022, 317–323, DOI: 10.1109/IES55876.2022.9888626.

13. Gadekar A., Fulsundar S., Deshmukh P., Aher J., Kataria K., Patel V., Barve S., Rakshak, A modular unmanned ground vehicle for surveillance and logistics operations, “Cognitive Robotics”, Vol. 3, 2023, 23–33, DOI: 10.1016/j.cogr.2023.02.001.

14. Ha C., Lee D., Vision-based teleoperation of unmanned aerial and ground vehicles, “IEEE International Conference on Robotics and Automation”, Karlsruhe, Germany, 2013, 1465–1470, DOI: 10.1109/ICRA.2013.6630764.

15. Hamid A.A., Nazih A., Ashraf M., Abdulbaky A., Khamis A., UGV locomotion system for rough terrain, “2016 International Workshop on Recent Advances in Robotics and Sensor Technology for Humanitarian Demining and Counter-IEDs (RST)”, Cairo, Egypt, 2016, DOI: 10.1109/RST.2016.7869858.

16. Hapian-Smith J., An introduction to modern vehicle design, Butterworth-Heinemann, Oxford, 2002.

17. Ibicek T., Thite A.N., Quantification of Human Discomfort in a Vehicle Using a Four-Post Rig Excitation, “Journal of Low Frequency Noise, Vibration and Active Control”, Vol. 31, No. 1, 2012, 29–42, DOI: 10.1260/0263-0923.31.1.29.

18. ISO 2631, Mechanical vibration and shock – Evaluation of human exposure to whole-body vibration, 1997.

19. Kim J., Lee J., A Testbed for Predicting Maneuverability of UGV on Rough Terrain, “IFAC Proceedings Volumes”, Vol. 46, No. 10, 2013, 132–137, DOI: 10.3182/20130626-3-AU-2035.00044.

20. Krogul P., Cieślik K., Łopatka M.J., Przybysz M., Rubiec A., Muszyński T., Rykała Ł., Typiak R., Experimental Research on the Influence of Size Ratio on the Effector Movement of the Manipulator with a Large Working Area, “Applied Sciences”, Vol. 13, No. 15, 2023, DOI: 10.3390/app13158908.

21. Luettel T., Himmelsbach M., Wuensche H.J., Autonomous Ground Vehicles—Concepts and a Path to the Future, “Proceedings of the IEEE 2012”, Vol. 100, 2002, 1831–1839, DOI: 10.1109/JPROC.2012.2189803.

22. Lukoševičius V., Makaras R., Rutka A., Keršys R., Dargužis A., Skvireckas R., Investigation of Vehicle Stability

with Consideration of Suspension Performance, “Applied Sciences”, Vol. 11, No. 20, 2021, DOI: 10.3390/app11209778.

23. Man C.K.Y.L.L., Koonjul Y., Nagowah L., A low cost autonomous unmanned ground vehicle, “Future Computing and Informatics Journal”, Vol. 3, No. 2, 2018, 304–320, DOI: 10.1016/j.fcij.2018.10.001.

24. Mazal J., Stodola P., Podhorec M., UGV development with supervised autonomy, “Proceedings of the 16th International Conference on Mechatronics – Mechatronika 2014”, Brno, Czech Republic, 359–363, DOI: 10.1109/MECHATRONIKA.2014.7018284.

25. McConville J., Introduction to Mechanical System Simulation Using Adams, SDC Publications, 2015.

26. Mlati M.C., Wang Z., Unmanned ground vehicles: adaptive control system for real-time rollover prevention, “International Journal of Vehicle Autonomous Systems”, Vol. 16, No. 1, 2021, 81–95, DOI: 10.1504/IJVAS.2021.118047.

27. Muktadir M., Yi S., Hamoush S., Garfo S., Dekkata S.C., Li X., Tereda A.A., McKee R., Brown K., Klawah N., Uncrewed Ground Vehicles (UGVs) and Nature-Inspired Designed Robot DIGIT and SPOT: A Review, “American Journal of Engineering and Applied Sciences”, Vol. 15, No. 4, 2022, 274–287, DOI: 10.3844/ajeassp.2022.274.287.

28. Nie C., Hauschka G., Spenko M., Design and experimental characterization of an omnidirectional unmanned ground vehicle for outdoor terrain, “IEEE International Conference on Robotics and Automation”, Saint Paul, USA, 2012, DOI: 10.1109/ICRA.2012.6225155.

29. Parczewski K., Wnęk H., The influence of the type of suspensions on vehicle stability and steerability, “Proceedings of 19th International Conference Transport Means.”, 2015.

30. Parekh D., Poddar N., Rajpurkar A., Chahal M., Kumar N., Joshi G.P., Cho W., A Review on Autonomous Vehicles: Progress, Methods and Challenges, “Electronics”, Vol. 11, No. 14, 2022, DOI: 10.3390/electronics11142162.

31. Rajesh R.J., Kavitha P., Camera gimbal stabilization using conventional PID controller and evolutionary algorithms, “International Conference on Computer, Communication and Control (IC4)”, Indore, India, 2015, DOI: 10.1109/IC4.2015.7375580.

32. Rubiec A., Kształtowanie właściwości zawieszeń kołowych teleoperowanych Inżynieryjnych Robotów Wsparcia, PhD thesis, 2017 (In Polish).

33. Rykała Ł., Rubiec A., Przybysz M., Krogul P., Cieślik K., Muszyński T., Rykała M., Research on the Positioning Performance of GNSS with a Low-Cost Choke Ring Antenna, “Applied Sciences“, Vol. 13, No. 2, 2023, DOI: 10.3390/app13021007.

34. Someshwaran M., Jose D., Jefferson P.P., Autonomous unmanned ground vehicle for enhancement of defence strategies, “Inventive Communication and Computational Technologies: Proceedings of ICICCT 2019”, Springer Singapore, 873–880, DOI: 10.1007/978-981-15-0146-3_84.

35. Theunissen J., Tota A., Gruber P., Dhaens M., Sorniotti A., Preview-based techniques for vehicle suspension control: a state-of-the-art review, “Annual Reviews in Control”, Vol. 51, 2021, 206–235, DOI: 10.1016/j.arcontrol.2021.03.010.

36. Typiak A., Sterowanie mobilnymi maszynami inżynieryjnymi w układzie teleoperacji. Wojskowa Akademia Techniczna, 2013, 30–50, ISBN 978-83-62954-82-7 (In Polish).

37. Verma M., Lafarga V., Baron M., Collette C., Active stabilization of unmanned aerial vehicle imaging platform “Journal of Vibration and Control”, Vol. 26, No. 19-20, 2020, 1791–1803, DOI: 10.1177/1077546320905494.

38. Wang Y., Liu J., Evaluation methods for the autonomy of unmanned systems, “Chinese Science Bulletin”, Vol. 57, 2012, 3409–3418, DOI: 10.1007/s11434-012-5183-2.

39. Yu B., Wang Z., Wang G., Zhao J., Zhou L., Zhao J., Investigation of the suspension design and ride comfort of an electric mini off-road vehicle, “Advances in Mechanical Engineering”, Vol. 11, No. 1, 2019, DOI: 10.1177/1687814018823351.

40. Zhang J., Hou J., Hu J., Zhao C., Xu Z., Cheng C., UGV autonomous driving system design for unstructed environment, “40th Chinese Control Conference (CCC)”, Shanghai, China, 2021, 4157–4162, DOI: 10.23919/CCC52363.2021.9549342.

41. Zhang K., Yang Y., Fu M., Wang M., Traversability Assessment and Trajectory Planning of Unmanned Ground Vehicles with Suspension Systems on Rough Terrain, “Sensors”, Vol. 19, No. 20, 2019, DOI: 10.3390/s19204372.

42. Zhang L., Ren C., Yuan X., Zhang W., Ride comfort control of in-wheel motor drive unmanned ground vehicles with energy regeneration, “Proceedings of the Institution of Mechanical Engineers, Part D: Journal of Automobile Engineering”, Vol. 235, No. 4, 2021, 1057–1069, DOI: 10.1177/0954407020933364.

Badanie wpływu układu zawieszenia bezzałogowej platformy lądowej na ruch kamery układu teleoperacji

Streszczenie: W poniższym artykule przedstawiono wyniki badań wpływu zastosowanego w bezzałogowej platformie lądowej (BPL) układu zawieszenia na wymuszenia kinematyczne kamer w systemie teleoperacji. Jak wynika z opisanych wstępnych badań rozpoznawczych, te wymuszenia istotnie wpływają na zdolność percepcji operatora oraz jego umiejętność rozpoznawania obrazu podczas jazdy. Obecnie w literaturze brakuje publikacji i wytycznych w zakresie projektowania zawieszeń w BPL oraz ich oceny pod kątem poprawy percepcji operatorów w systemie teleoperacji. Przeprowadzone badania dowodzą, że odpowiednie dostosowanie charakterystyki zawieszenia

BPL może znacznie poprawić świadomość sytuacyjną i umiejętność działania operatorów. Badania zostały przeprowadzone w sposób symulacyjny w środowisku przeznaczonym do modelowania układów wieloczłonowych, gdzie opracowano różne warianty struktur zawieszenia. Jako wymuszenie zastosowano model toru testowego ISO 5008 standard. Ocenę badanych struktur zawieszenia przeprowadzono za pomocą autorskiej metody, która pozwoliła na parametryczną analizę i wybór najlepszych rozwiązań pod kątem poprawy rozpoznawania obrazu przez operatora BPL.

Słowa kluczowe: układ zawieszenia, system teleoperacji, BPL, świadomość sytuacyjna, model wieloczłonowy

Arkadiusz Rubiec, PhD, Eng. arkadiusz.rubiec@wat.edu.pl

ORCID: 0000-0003-1010-4973

He received his MSc degree and PhD in mechanical engineering from Military University of Technology in Warsaw, in 2008 and 2017. Currently he is an Assistant Professor at Institute of Robots and Machine Design, Faculty of Mechanical Engineering, Military University of Technology. From 2022 he is Head of Center for Mobile Robot and member of WAT Center for Mobile Robots and Drones. His research interests include designing, constructing and testing innovative technological solutions, in particular dynamic and simulations of unmanned ground vehicles, their manipulators and hydraulic drive systems and factors related to mobile robots operators situational and actional awareness.

Mirosław Przybysz, PhD, Eng.

miroslaw.przybysz@wat.edu.pl

ORCID: 0000-0003-2479-7571

He currently serving as an Assistant Professor at the Institute of Robots and Machine Design within the Faculty of Mechanical Engineering at the Military University of Technology, earned his MSc and PhD degrees in mechanical engineering from the same institution in 2009 and 2019 respectively. His scholarly pursuits focus on the development, construction, and evaluation of cutting-edge technological innovations, with a specific emphasis on unmanned land platforms, transmission system, and hydraulic drive systems.

Marian Janusz Lopatka, DSc, PhD, Eng. marian.lopatka@wat.edu.pl

ORCID: 0000-0003-3449-4611

He received the MSc degree and the PhD degree in mechanical engineering from the Military University of Technology in Warsaw, in 1986 and 1994, respectively. His research interests include dynamic of manipulators and robot undercarriage systems, drive and control systems, especially for robots and combat engineer equipment.

Łukasz Rykała, PhD, Eng. lukasz.rykala@wat.edu.pl

ORCID: 0000-0002-2301-3280

He received his MSc degree in automatic control and PhD in mechanical engineering from Military University of Technology (2022). Currently he is an Assistant Professor at Institute of Robots and Machine Design, Faculty of Mechanical Engineering, Military University of Technology. His research interests include Ultra-Wideband positioning, artificial intelligence and unmanned ground vehicles.

Piotr Krogul, PhD, Eng. piotr.krogul@wat.edu.pl

ORCID: 0000-0002-3082-1075

He received his MSc degree and PhD in mechanical engineering from Military University of Technology in Warsaw, in 2009 and 2019. Currently he is an Assistant Professor at Institute of Robots and Machine Design, Faculty of Mechanical Engineering, Military University of Technology. His research interests include designing, constructing and testing innovative technological solutions, in particular unmanned land platforms, their manipulators and hydraulic drive systems.

Rafał Typiak, PhD, Eng. rafal.typiak@wat.edu.pl

ORCID: 0000-0003-1380-9979

He received his MSc degree from the Warsaw University of Technology in 2008, and the PhD from the Military University of Technology in Warsaw in 2017. Since then, he has been working as an Assistant Professor at the Faculty of Mechanical Engineering of the Military University of Technology. He deals with developing control systems for robots and other working machines. He also tackles the problems of autonomous operations and swarm management.

Karol Cieślik, PhD, Eng. karol.cieslik@wat.edu.pl

ORCID: 0000-0003-4126-2878

He received his B.Eng. degree in 2012, the MSc degree in 2013 and the PhD degree in mechanical engineering from the Military University of Technology in Warsaw in 2019. Since 2019, he has been working as an Assistant Professor at the Faculty of Mechanical Engineering of the Military University of Technology. He deals with modeling, design, and development of kinematic structures of manipulators and their drive systems. He also conducts simulation and experimental research in terms of changes in hydrostatic parameters of drive systems and their influence on the dynamic properties of manipulators.

Using the Digital-Twin Technology in the Mi-17 Mixed Reality Simulator

Piotr Golański, Marek Szczekala Air Force Institute of Technology, ul. Ks. Bolesława 6, 01-494 Warszawa, Poland

Abstract: The article is aimed at the issue of combining the real world with the virtual world in Mixed Reality (MR) simulators. Mixed reality allows for integrating the real world with the virtual world – real objects with computer-generated objects. A person interacting with such a system receives both visual and tactile sensations. To ensure proper interaction with system elements, high reconstruction accuracy of virtual objects in relation to the corresponding real objects is necessary. The article presents the concept of combining the real and virtual world using a combination of VR and digital-twin technology and aims to illustrate how to ensure high accuracy of mapping virtual objects in relation to their real originals on the example of the Mi-17 helicopter simulator made using MR technology.

Keywords: Mixed Reality (MR), Virtual Reality (VR), Mi-17 helicopter simulator, Unity 3D, Digital Twins

1. Introduction

The article is focused on combining the real world with the virtual world in a mixed-reality simulator. Mixed Reality (MR) enables the integration of real world with the virtual world - real world objects with computer-generated objects. A person interacting with such a system receives both visual and tactile sensations. Thus, to ensure proper human interaction with such systems, high precision and reconstruction of shapes and location of virtual objects in relation to their real-world counterparts is needed.

By selecting how to combine the real world with the virtual one in a given application, we must know where it is located on a Reality-Virtuality continuum. According to [10], this continuum includes four application fields:

1. Real Environment

2. Augmented Reality

3. Augmented Virtuality

4. Virtual Environment.

The first and the last images are the so-called continuum poles. They are well known from the real life (the first one) and with artworks or computer games (the second one). Images 2 and 3 apply to MR applications depending on whether the real world is immersed in the virtual or vice versa. In [1], AR was defined as follows:

Autor korespondujący:

Piotr Golański, piotr.golanski@itwl.pl

Artykuł recenzowany nadesłany 08.11.2023 r., przyjęty do druku 11.04.2024 r.

1) It combines both the real and virtual content, 2) The system is interactive and performs in real-time, and, 3) The virtual content is registered with the real world.

Augmented Reality is an enhanced, interactive version of a real-world environment. Augment Reality is applied when human work is supported in diagnostics and maintenance (Fig. 2).

According to the references [9], AR has been researched and developed for over 30 years. It is mainly used to support object tracking, maintenance and diagnostic activities, repairs and training [2, 5, 11, 12, 14]. In all these areas, the virtual world is embedded in the real world. The problem of mixing realities is different in the case of simulation issues. Here, the opposite situation occurs it is the real world that is added to the dominant virtual world to enrich the visual experience with tactile sensations. This is augmented virtuality (AV), which can be defined by modifying sentence 3) defining AR to “The real content is registered with the virtual world”.

An example of the system built based on the above assumptions is a simulator prototype of a Mi-17 helicopter designed by the Air Force Institute of Technology (AFIT) [3], which was illustrated in Fig. 3. In this simulator, the HTC Vive was used as a monitor. This device is dedicated to VR applica-

Fig. 1. Mixed Reality Continuum [10] Rys. 1. Kontinuum Mieszanej Rzeczywistości

tions and does not allow visualisation of real-world objects. AR monitors such as HoloLens, for example, allow this. However, these monitors have two main drawbacks that prevent their use in the simulator. The first is that the viewing angle is too small. For HoloLens, the field of view is 43° horizontally and 29° vertically [19], while for the HTC Vive, the angle of view both vertically and horizontally is 151.93°. As shown in [4, 8], a relatively small FOV is a feature of all current AR monitors. A second disadvantage is the design of AR monitors, which do not provide total immersion in the virtual world.

Fig. 2. Applying augmented reality in diagnostics and maintenance [12]

Rys. 2. Wykorzystanie poszerzonej rzeczywistości w diagnostyce i obsłudze

airport runway, flight control tower, etc. Human-machine interaction occurs using real flight controls: control stick, collective-pitch lever and rudder pedals, which enable a human to control the simulated object. In response, he receives imagery of surroundings: view of one’s own hands, cockpit and terrain view, rendered on Head Mounted Display in the form of virtual 3D objects. Objects affecting the sense of touch, such as the stick and the pitch lever, are visualised on the display as digital twins. Figure 4 shows a blending of the virtual and real worlds affecting the human eye and touch, respectively. The large frame shows the image the human sees in the VR monitor while the small one inside, surrounded by a red frame corresponding to the virtual one, shows the real world. The image shows the real control stick and its digital twin corresponding to it in the virtual world.

Pairs of real objects, such as the pilot’s hand and the rudder stick, interact with each other, which must be matched by the interaction of their virtual counterparts, so it is extremely important to ensure high accuracy and consistency in the representation of both the shape and position of the virtual objects.

The actual control elements are a part of the Helicopter Flight Control Sets – Puma [15]. They represent certain 3 n B ⊂ℜ bodies to which their digital 3 ˆ n B ⊂ℜ twins correspond, which are objects of the Unity 3D graphics engine [17]. To express a spatial description of these bodies, a homogeneous transformation matrix is used, which can be defined as follows:

Therefore, the only solution is the use of VR monitors. Since, as previously mentioned, these monitors do not allow visualising real objects, digital twin technology was used to ensure correct interaction with the simulator. A digital twin can be defined as an intelligent technology platform for synchronising physical objects and digital objects, imitating them in (quasi) real-time [7]. Using this technology, both real objects and their digital twins coexist in the simulator. The real objects provide tactile sensations, while their digital twins provide visual sensations using VR monitors.

2. Formulating a problem

In the Mi-17 simulator, the virtual world is formed by the cabin with avionics equipment and its surroundings: terrain,

where R is a 3×3 orthogonal matrix and vector 3 n T ∈ℜ [13].

Data on the position of flight controls are collected from their potentiometer sensors, which are transferred to the flight dynamics module via the USB port (Fig. 5). Then, the data are sent to the Visual Display System via Ethernet port (UDP protocol). Based on the obtained data, in the VDS module are updated transformation matrices (1) of Unity 3D graphical objects (Control Stick Transform), which estimate the transformation matrices of the real (simulated) flight controls ˆ n A and clearly define the position of the flight controls nn B ∈ x

Fig. 3. Cockpit simulator in MR technology

Rys. 3. Symulator kabinowy zrealizowany w technologii Mieszanej Rzeczywistości

Fig. 4. Blending a real and a virtual world using digital twins

Rys. 4. Łączenie rzeczywistego i wirtualnego świata z wykorzystaniem cyfrowych bliźniaków

Fig. 5. Location verification mechanism of the control units in the r eal and virtual world (mixed reality) for the control stick

Rys. 5. Mechanizm weryfikacji położenia organów sterowania w świecie rzeczywistym i wirtualnym (mieszana rzeczywistość) dla drążka sterowego

Fig. 6. Mismatch between the position of digital twin of the control stick and the virtual hand of the operator Rys. 6. Niedopasowanie pozycji cyfrowego bliźniaka drążka do wirtualnej dłoni operatora

In the case of data related to the position of hands, the measurement path is different. Hands are recognised by LeapMotion [16] sensors, and their location is determined by two IR sensors and provided to VDS, where their positions are estimated lefthand x and righthand x Due to the high accuracy of sensors (the manufacturer assures that the difference in positions of the virtual hand compared to its real counterpart is no more than a few millimetres [18]), their estimated positions were assumed to be equal to their real positions lefthand x i righthand x In the case of

control units, determining their positions is not so precise, and a mismatch error function defined by the formula appears:

where: i – object index, di – mismatch function for i-th object.

The figure shows the visual effect of this mismatch occurring when the real hand grabs the control stick.

To remove this effect, calibration should be made to minimise the mismatch d by finding 3 : i ∈ℜ b

where: bi – calibration vector for i-th object.

3. Mixed Reality Calibration

Condition (3) formulated in the previous section in practice applies to two pairs of objects: left-hand – pitch lever and right-hand – control stick. Therefore, for calibration purposes, two real-world reference points were chosen for which buttons were selected [15]: the “Coolie Hat” located on the control stick and the “Throttle-Cutoff” button located on the collective pitch lever. The location of the buttons is shown in Fig. 7.

Referencepoints

Referencepoints

Fig. 7. Reference points: “Coolie Hat” button located on the control stick and “Throttle-Cutoff” button located on the collective pitch lever (on the left –virtual world, on the right – real world) Rys. 7. Punkty referencyjne: przycisk „Coolie Hat” znajdujący się na drążku sterowniczym oraz przycisk “ThrottleCutoff” zabudowany na dźwigni skoku ogólnego (z lewej - świat wirtualny, z prawej – świat rzeczywisty)

The calibration is done separately for the stick and the pitch lever and, in the case of the stick, involves placing the distal phalanx of the thumb of the right hand on the “Coolie Hat” button on the real control stick. Figure 6 shows that, due to the mismatch between the real and virtual worlds, the virtual right hand is not on the digital twin of the stick, but outside it. The calibration process is triggered by touching the virtual screen opposite the first pilot with the virtual hand. Calibration procedures are determined by vector bstick (3). As a result of calibration, consistency between the imaging of the virtual objects and their originals is achieved, as shown in Fig. 8.

Fig. 8. Reconciling the position of the virtual hand and the digital twin as a result of MR calibration (hand and joystick on the light background)

Rys. 8. Uzgodnienie położenia wirtualnej dłoni i cyfrowego bliźniaka w wyniku kalibracji MR (dłoń i drążek na jaśniejszym tle)

Figure 9 shows the results of the obtained MR discrepancies for the control stick described in [3].

Fig. 9. Relation of a static error from the deflection of a control stick

Rys. 9. Zależność błędu statycznego od wychylenia drążka

The error changes range from 2 to 12 millimetres. In our case, the error increase is due to the mismatch of the real control stick with its virtual counterpart. A virtual control stick, although it can be extended, doesn’t enable the change of the position of its attachment point in relation to the object-parent. Thus, it is impossible to change the location of its pivot point in relation to the entire object, i.e., flight control. It results in the fact that either the frame of the control system or the attachment point of the control stick will be matched to the aircraft model.

4. Summary

This paper presents the aspect of using mixed reality in aircraft simulators. In contrast to other areas of application of this technology, such simulators require a very large ‘share’ of the virtual world, which consists of the interior of the aircraft, its equipment, and its surroundings: terrain ground objects and other simulated objects. We are, therefore, dealing with augmented virtuality, in which the real world is added to the virtual world to extend the impact of the simulator on the sense of touch.

To realise this goal, a VR monitor was used. To visualise the real objects of the flight controls, their digital twins were used. LeapMotion sensors were used for hand detection, localisation, and visualisation. A method is presented to remove discrepancies in the positions of the virtual objects relative to their originals so that the image on the VR monitor is consistent with the real situation. The results of the mapping accuracy measurement presented in the paper [3] confirmed the satisfactory accuracy of the calibration performed.

From the reliability perspective, the use of LeapMotion sensors for hand localisation and 3D reconstruction has its major drawback. Proper operation is possible when the hands are clearly visible in the lens of the two infrared cameras. If part of the hand is obscured by other real objects (e.g., the control stick), the hand may display inaccurately, incorrectly or disappear altogether. The use of VR gloves can be adopted as an alternative solution.

In conclusion, using VR monitors in combination with digital twin technology is an appropriate solution for the implementation of an aircraft simulator in MR technology.

References

1. Azuma R., A survey of augmened reality. “Presence: Teleoperation and Virtual Environments”, Vol. 6, No. 4, 1997, 355-385, DOI: 10.1162/pres.1997.6.4.355.

2. Farasin A., Peciarolo F., Grangetto M., Gianaria E., Garza P., Real-time Object Detection and Tracking in Mixed Reality using Microsoft HoloLens, Proceedings of the 15th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (VISIGRAPP 2020), Vol. 4: VISAPP, 165-172, DOI: 10.5220/0008877901650172.

3. Golański P., Szczekala M., Roguszewski M., Analysis of the 3D Object Reconstruction Accuracy in an Mi-17 Mixed Reality Simulator, Automation 2021: Recent Achievements in Automation, Robotics and Measurement Technique, Vol. 1390, 136–145, DOI: 10.1007/978-3-030-74893-7_14.

4. Guttag K., FOV: AR and The View of the Real World, KGOnTech, https://kguttag.com/.

5. Haller M., Billinghurst M., Thomas B., Emerging technologies of augmented reality – interfaces and design, Idea Group Inc., 2007.

6. Henderson S., Feiner S., Exploring the Benefits of Augmented Reality Documentation for Maintenance and Repair, “IEEE Transactions on Visualization and Computer Graphics”, Vol. 17, No. 10, 2011, 1355–1368, DOI: 10.1109/TVCG.2010.245.

7. Jeong D.-Y. et al., Digital Twin: Technology Evolution Stages and Implementation Layers with Technology Elements, “IEEE Access”, Vol. 10, 2022, 52609–52620, DOI: 10.1109/ACCESS.2022.3174220.

8. Kress B.C., Digital optical elements and technologies (EDO19): applications to AR/VR/MR, Proceedings SPIE 11062, Digital Optical Technologies 2019, DOI: 10.1117/12.2544404.

9. Mackay W.E., Augmented reality: linking real and virtual worlds: a new paradigm for interacting with computers, AVI ‘98: Proceedings of the working conference on Advanced Visual Interfaces, 1998, 13–21, DOI: 10.1145/948496.948498.

10. Milgram P., Kishino F., A taxonomy of mixed reality visual displays, IEICE Transactions on Information Systems, E77-D (12), December 1994.

11. Prokopiuk N., Falkowski P., Applicability of augmented and virtual reality for education in robotics, “Journal of Automation, Mobile Robotics and Intelligent Systems”, Vol. 16, No. 3, 2022, 65–74, DOI: 10.14313/JAMRIS/3–2022/25.

12. Szczekala M., Mądrzycki P., Zastosowanie technologii rozszerzonej rzeczywistości do doskonalenia procesów szkoleniowych, „Technika Transportu Szynowego”, Vol. 20, No. 10, 2013, 93–102, DOI:10. 13140/RG.2.1.2652.6565.

13. Tchon K., Muszynski R., Mazur A., Duleba I., Hossa R., Manipulators and mobile robots – models, traffic planning, control. AOW PLJ, Warszawa 2000.

14. Wójcicki T., Supporting the diagnostics and maintenance of technical devices with augmented reality, “Diagnostyka”, Vol. 15, No. 1, 2014, 43–47.

Other sources

15. Der PUMA Helicopter Controller, https://docplayer. org/193087430-Der-puma-helicopter-controller.html.

16. Ultraleap Ltd. LEAP Motion, Do cumentation. developer. leapmotion.com/documentation.

17. Unity, unity.com.

18. HTC Corp oration, vive.com/us/support/vive.

19. Microsoft HoloLens 2 – main features, use cases, b enefits, https://nsflow.com/blog/microsoft-hololens-2-main-features-use-cases-benefits.

Zastosowanie technologii cyfrowych bliźniaków w symulatorze mieszanej rzeczywistości

Streszczenie: Artykuł dotyczy zagadnienia łączenia świata rzeczywistego ze światem wirtualnym w symulatorach Mieszanej Rzeczywistości (MR). Rzeczywistość mieszana pozwala na integrację świata rzeczywistego ze światem wirtualnym – obiektów rzeczywistych z obiektami generowanymi komputerowo. Osoba wchodząca w interakcję z takim systemem otrzymuje zarówno wrażenia wizualne, jak i dotykowe. Aby zapewnić właściwą interakcję z elementami systemu, konieczna jest duża dokładność rekonstrukcji obiektów wirtualnych w stosunku do odpowiadających im obiektów rzeczywistych. Artykuł przedstawia koncepcję łączenia świata rzeczywistego i wirtualnego z wykorzystaniem kombinacji technologii VR i Digital Twins oraz ma na celu zilustrowanie, w jaki sposób zapewnić wysoką zgodność odwzorowania obiektów wirtualnych w stosunku do ich rzeczywistych oryginałów, na przykładzie symulatora śmigłowca Mi-17 wykonanego w technologii MR.

Słowa kluczowe: Mieszana Rzeczywistość (MR), Wirtualna Rzeczywistość (VR), symulator śmigłowca Mi-17, Unity 3D, Cyfrowe bliźniaki

Piotr Golański, PhD Eng.

piotr.golanski@itwl.pl

ORCID: 0000-0002-3286-8678

Piotr Golański works as assistant professor at Training Systems Division at Air Force Institute of Technology. His main interests are mathematical modeling and implementation of models in training simulators.

Marek Szczekala, MSc Eng.

marek.szczekala@itwl.pl

ORCID: 0000-0002-5970-2256

Marek Szczekala works as main specialist at Training Systems Division at Air Force Institute of Technology. His work concentrates on creation and implementation of diagnostic models and the Augmented Reality technology in training simulators.

Piotr Golański, Marek Szczekala

Przykłady Małej Architektury w oparciu

o System Arm-Z

Ela Zawidzka, Jacek Szklarski

Instytut Podstawowych Problemów Techniki PAN, ul. Adolfa Pawińskiego 5B, 02-106 Warszawa

Janusz Kobaka

Uniwersytet Warmińsko-Mazurski w Olsztynie, Instytut Geodezji i Budownictwa, ul. Michała Oczapowskiego 2, 10-719 Olsztyn

Machi Zawidzki

Sieć Badawcza Łukasiewicz – Przemysłowy Instytut Automatyki i Pomiarów PIAP, Al. Jerozolimskie 202, 02-486 Warszawa

Streszczenie: Arm-Z to koncepcja hiperredundantnego manipulatora robotycznego opartego na sekwencji szeregowo połączonych identycznych modułów. Każdy moduł ma tylko jeden stopień swobody (1-DOF) – skręt względem poprzedniego. Moduły systemu Arm-Z mogą być masowo produkowane i łatwo wymieniane w przypadku awarii. Sterowanie Arm-Z jest stosunkowo trudne, dlatego zwykle wymaga stosowania metod inteligencji obliczeniowej. W artykule przedstawiono kilka koncepcji kinetycznych obiektów małej architektury opartych na Arm-Z: spiralną kolumnę o regulowanej wysokości, system nadążania słonecznego, kinetyczną rzeźbę bioniczną i kinetyczny zraszacz/fontannę. Prezentowane koncepcje są zasadniczo nisko-technologiczne (“low-tech”). W każdym przypadku moduł bazowy jest przymocowany do podstawy (podłoża). Dla prostoty napęd jest przykładany bezpośrednio do pierwszego modułu, a następnie przenoszony za pomocą wewnętrznych przekładni na kolejne moduły. Każdy moduł jest wyposażony w zestaw cylindrycznych i stożkowych kół zębatych z zębami prostymi o profilu spiralnym (do połączeń miedzy modułami).

Słowa kluczowe: systemy modularne, Arm-Z, manipulator, hiperredundancja, mała architektura

1. Wprowadzenie

Jak przedstawiono w [1], za pomocą względnie prostych przystających modułów można tworzyć skomplikowane trójwymiarowe kształty rurowe. Analogiczny system parametrycznego projektowania do tworzenia trójwymiarowych węzłów matematycznych, składających się tylko z jednego typu modułu został przedstawiony w [2]. Arm-Z to zrobotyzowany manipulator oparty na tej samej koncepcji, która została przedstawiona w [3].

Biologiczne węże są niezwykle dobrze przystosowane do różnych rodzajów środowiska. Wynika to głównie z wysokiej redundancji “mechanizmu węża”. W przypadkach nieregularnych środowisk roboty inspirowane biologią przewyższają tradycyjne roboty wyposażone w koła, nogi lub gąsienice. Badania nad robotami wężopodobnymi prowadzone są od kilku dekad. Ten rodzaj lokomocji był badany już w latach czterdziestych

Autor korespondujący:

Ela Zawidzka, zawidzka@ippt.pan.pl

Artykuł recenzowany nadesłany 04.01.2024 r., przyjęty do druku 04.04.2024 r.

Zezwala się na korzystanie z artykułu na warunkach licencji Creative Commons Uznanie autorstwa 3.0

dwudziestego wieku [4]. Pięćdziesiąt lat później opracowano ścisły model matematyczny tej lokomocji. Pod koniec lat dziewięćdziesiątych lokomotory i manipulatory przypominające trąbę słonia zostały wprowadzone w [5]. Ruch wężowy daje tego typu manipulatorom pewną przewagę nad konwencjonalnymi manipulatorami robotycznymi w różnych, szczególnie nieznanych środowiskach. Tego typu manipulatory robotyczne mogą być wyposażone w różnego rodzaju głowice robocze służące np. do nadzoru, czyszczenia, spawania itp. Rysunek1 pokazuje dwa takie przykłady.

Rys. 1. Roboty z ramieniem wężowym, seria II, system X125. Po lewej: manipulator z głowicą do cięcia laserowego. Po prawej: manipulator z kamerą inspekcyjną i latarką (źródło: Oliver Crispin Robotics Ltd. www.ocrobotics.com)

Fig. 1. Oliver Crispin Robotics Ltd. Snake arm robots, series II, X125 System. On the left: sleeved and integrated manipulator with a laser cutting head. On the right: unsleeved, integrated manipulator with inspection camera and light tool (Source: http://www.ocrobotics.com)

Konwencjonalne manipulatory przemysłowe mają niewielką liczbę stopni swobody (DOF), zwykle sześć. Z drugiej strony, bioniczne ramiona robotyczne przypominające węża lub trąbę słonia mają dużą (nadmiarową) liczbę stopni swobody. Manipulator Arm-Z ma tyle stopni swobody, ile wynosi liczba modułów minus jeden. W związku z tym Arm-Z można sklasyfikować jako, tak zwany manipulator hiperredundantny [6].

Odwrotny problem kinematyczny typowego manipulatora przemysłowego można rozwiązać łatwo [7], dlatego jego sterowanie jest względnie proste. Z drugiej strony, ponieważ manipulatory hiperredundantne są wysoce nieliniowe, ich sterowanie nie jest bynajmniej łatwe i wymaga zastosowania technik sztucznej inteligencji [8–10]. Więcej informacji na temat tego typu manipulatorów można znaleźć w [11].

2. Koncepcja systemu Arm-Z

Arm-Z to koncepcja jednogałęziowego trójwymiarowego manipulatora rurowego wykonanego z jednego rodzaju modułu. Moduł Arm-Z określa kilka parametrów: wielkość r, odsunięcie d, i kąt ζ między powierzchniami dolną (B) i górną (T), co ilustruje Rys. 2.

Wygodnie jest używać dodatkowego parametru s = d/r, co ilustruje Rys. 3.

Rys. 2. Wizualizacja modułu Arm-Z opisywanego trzema parametrami geometrycznymi: r, d oraz ζ

Fig. 2. Visualization of the Arm-Z module defined by three geometric parameters: r, d and ζ

Rys. 3. Przykłady prostych konfiguracji modułów dla różnych parametrów ζ i s

Fig. 3. A table with simple sequences of modules with various angles ζ and slenderness s

Ogólny kształt Arm-Z jest funkcją liczby modułów, parametrów geometrycznych modułu i sekwencji względnych skrętów między każdą parą modułów. Na Rys. 4 przedstawiono dwa moduły przy kolejnych skrętach od 0 do 180° w krokach co 30°.

3. Elementy Małej Architektury

W tej sekcji przedstawiono kilka koncepcji elementów małej architektury “low-tech” opartych na systemie Arm-Z.

3.1. Spiralna kolumna o regulowanej wysokości

Słupy to wynalazek architektoniczny pozwalający na podparcie sufitów bez użycia masywnych ścian. Pierwszym zastosowaniem była pojedyncza centralna podpora dachu stosunkowo niewielkich budynków. W przypadku konstrukcji nowożytnych, wykonanych z żelbetu dzięki zastosowaniu zbrojenia można zwiększyć nośność słupów osiowo ściskanych, a więc takich, w których teoretycznie występują jedynie naprężenia ściskające, dobrze przenoszone przez beton. Wynika to ze zwiększenia odporności na wyboczenie. Co ciekawe, słupy betonowe zbrojone spiralnie mogą przenosić większe obciążenia niż zbrojone tradycyjnie. Taki rodzaj zbrojenia jest szczególnie korzystny na obszarach aktywnych sejsmicznie [12]. Ponadto tak zbrojone słupy prefabrykowane są potencjalnie bardziej ekonomiczne [13]. Plastycznie opracowany słup, podzielony na części składowe: bazę, trzon i głowicę pełni ponadto funkcję dekoracyjną i zwany jest odtąd kolumną. Takie właśnie kolumny – z funkcją estetyczną, czyli wykraczającą poza zwykłe wsparcie konstrukcyjne, pojawiły się w epoce brązu (3000–1000 p.n.e.) w Minos, Asyrii i Egipcie. Tzw. ”kolumna Salomona“ ma formę spiralnie skręconą. Prawdopodobnie najbardziej znanymi przykładami są wielkie brązowe kolumny kompozytowe podpierające baldachim w Bazylice Świętego Piotra autorstwa Gian Lorenzo Berniniego (Rys. 5).

Rys. 5. Historyczny przykład kolumn spiralnych: Baldachim w Bazylice św. Piotra (G. Bernini 1634 r.) Fig. 5. Historical example of spiral columns: Bernini’s Baldachin in St. Peter’s Basilica (A.D. 1634)

Rys. 4. Dolny moduł jest przymocowany do podstawy i nie obraca się. Oś obrotu jest prostopadła do dolnej powierzchni górnego modułu Fig. 4. The bottom module is fixed to the base and does not rotate. The axis of rotation is perpendicular to the bottom face of the top module.

Na Rys. 6 pokazano koncepcję kinetycznej kolumny spiralnej Arm-Z: od prostej rury do silnie skręconej spirali, co osiągnięto przez zwiększanie względnego skrętu między każdą parą modułów. Ponieważ względny kąt obrotu dla każdego modułu jest taki sam, system wymaga tylko najprostszego sterowania

Rys. 6. Pięć przykładów kinetycznych kolumn spiralnych Arm-Z sterowanych przez względny skręt (taki sam dla każdego modułu, wartości kątów są pokazane dla każdego przypadku)

Fig. 6. Five examples of Arm-Z kinetic spiral columns controlled by relative twists (same for each unit, the values are shown for each case)

Rys. 7. Pozycje Słońca w ciągu roku. Kolorem szarym zaznaczono rozważane okresy śledzenia

Fig. 7. The Sun positions during a year. Gray hatch indicates the considered tracking periods

Rys. 8. Układ współrzędnych, nazewnictwo i parametry optymalizacji sterowania Arm-Z trackerem

Fig. 8. The coordinate system, nomenclaturentrolling parameters of the Arm-Z

(wł./wył.). System taki można stosunkowo łatwo zrealizować przez bezpośredni napęd skrętny na pierwszy moduł oraz przenoszenie napędu na każdy kolejny moduł za pomocą prostej wewnętrznej przekładni.

3.2. System nadążania słonecznego

Prototyp modułowego systemu nadążania słonecznego (ang. solar tracker) w oparciu o Arm-Z został opisany w naszym poprzednim artykule [14]. Celem takiego urządzenia jest efektywne zbieranie energii słonecznej lub jako aktywna osłona przeciwsłoneczna. Na Rys. 7 pokazano kierunek Słońca, za którym podąża Arm-Z tracker w okresie letnim, od przesilenia do równonocy jesiennej, w godzinach od 10:00 do 18:00.

Pozycjonowanie Arm-Z w przestrzeni oraz ilustracja parametrów śledzenia są pokazane na Rys. 8. Vd to kierunek padania promieni słonecznych, VN to wektor skierowany od końcówki Arm-Z, P t to pozycja tejże końcówki, Vd ( φ , θ ) jest funkcją kąta azymutu φ i wysokości astronomicznej θ Śledzenie Słońca jest tutaj sformułowane jako minimalizacja kąta między wektorami VN i Vd. Rozwiązanie tego problemu przy użyciu metody podwójnego wyżarzania [15, 16] zostało zaproponowane w [14]. Autorzy wykazali tam, że Arm-Z z tylko czterema modułami (trzy skrętne i jeden przymocowany do podstawy) jest w stanie ustawić swoją końcówkę w prawie wszystkich wymaganych kierunkach. W celu przeprowadzenia realistycznych symulacji, manipulator został zaimplementowany w pakiecie Bullet Physics SDK [17]. Jest to szeroko stosowane narzędzie do wykrywania kolizji w czasie rzeczywistym i symulacji fizycznych dla wirtualnej rzeczywistości (VR), robotyki, uczenia maszynowego itp. W celu sterowania manipulatorem, dynamika odwrotna została rozwiązana za pomocą dwóch metod numerycznych: klasycznego rekurencyjnego algorytmu Newtona-Eulera (RNEA) [18] oraz za pomocą podwójnego wyżarzania [15, 16]. Jak się okazało, ta druga metoda działała lepiej (pod względem średnich błędów) niż RNEA. Wytłumaczeniem może być fakt, że system jest wysoce nieliniowy i nawet niewielkie zmiany w położeniu modułów przy podstawie mogą głęboko wpłynąć na położenie końcówki. W celu płynnego sterowania manipulatorem, prędkości i kierunki skrętów trzech modułów zostały zoptymalizowane metodą podwójnego wyżarzania w sposób, w którym znaczne odchylenia od bieżącego stanu zostały “ukarane”. Umożliwiło to osiągnięcie dość płynnego ruchu manipulatora. Wyniki (prędkości kątowe poszczególnych modułów) pokazano na Rys. 9.

Rys. 9. Względne obroty trzech modułów skrętnych: x1, x2, x3 dla 4-jednostkowego Arm-Z podążającego za Słońcem 1 lipca między 8:00 a 20:00

Fig. 9. The relative rotations of the three twisting modules: x1, x2, x3 for a 4-unit Arm-Z following the Sun on July 1st between 8:00 and 20:00

Ela Zawidzka, Jacek Szklarski, Janusz Kobaka, Machi Zawidzki

Na Rys. 10 przedstawiono błędy kątowe w tym samym okresie śledzenia Słońca, co na Rys. 9.

Rys. 10. Błędy, czyli różnice między wektorem VN a pożądanym kierunkiem Vd dla globalnie optymalnych stanów i dla “gładkiego” scenariusza działania

Fig. 10. The errors, that is the differences between vector VN and desired direction Vd for globally optimal states and for „smooth” action scenario

W artykule [14] zaprezentowano prototyp takiego systemu nadążania słonecznego w prostej technologii “low-tech” Arm-Z. Został on wyposażony w przekładnie pozwalające na przełączanie obrotów każdej jednostki (lewo/prawo) wokół własnej osi i przekazywanie obrotów do następnej jednostki. Przekładnia została wyposażona w tzw. przełącznik rewersyjny. Specjalny przełącznik dźwigniowy prawo/lewo został umieszczony z boku każdej jednostki (Rys. 11).

Ciekawe byłoby również zainstalowanie na końcówce Arm-Z trackera większego elementu zbierającego energię słoneczną i/lub zacieniającego, jak pokazano na Rys.12.

W przypadku większych takich elementów można również zsynchronizować więcej manipulatorów Arm-Z, jak pokazano na tym samym rysunku.

3.3. Kinetyczna rzeźba bioniczna

Arm-Z z kilkunastoma modułami może wykonywać biomimiczny ruch przypominający ruch wodorostów pod wodą lub “robaków”. Na Rys. 13 przedstawiono wybrane kroki czasowe losowego ruchu 12-modułowego Arm-Z.

Interaktywną demonstrację tego ruchu Arm-Z można znaleźć w [19]. Koncepcja ta wymagałaby jednak albo współzależnej kontroli każdego modułu, albo losowego (do pewnego stopnia) obrotu względnego każdego modułu. Obecnie każdy przypadek wydaje się sporym wyzwaniem technologicznym.

3.4. Kinetyczny zraszacz/fontanna

W trakcie prac nad Arm-Z, jednym z rozwiązań budowy prototypu było umieszczenie układu napędowo-przekładniowego przy zewnętrznej części obudowy i pozostawienie środka modułu pustego, jak pokazano na Rys. 14.

Rys. 12. Po lewej: membrana rozciągnięta między trzema zsynchronizowanymi Arm-Z. Po prawej: pojedynczy Arm-Z z większym elementem zacieniającym lub fotowoltaicznym

Fig. 12. On the left: a single Arm-Z with larger shading/PV element. On the right a canopy stretched between three synchronized Arm-Zs

Rys. 11. Po lewej: zdjęcie wstępnego 4-modułowego Arm-Z. Po prawej: komputerowy model 4-modułowego trackera słonecznego Arm-Z

Fig. 11. On the left: a photograph of preliminary 4-module Arm-Z. On the right: a computer model of a 4-module Arm-Z solar tracker

Rys. 13. 12-modułowy “robak” Arm–Z w losowym ruchu

Fig. 13. A 12-module Arm-Z „worm” in a random movement

Rys. 14. Pusta przestrzeń wewnątrz każdego modułu tego typu Arm-Z pozwala na zainstalowanie przewodu doprowadzającego np. płyny, w tym wodę

Fig. 14. Hollow space inside each module of this type of Arm-Z module allows for installing a water-pipe

Zraszacz Arm-Z może działać jako proste urządzenie nawadniające wykonujące ruch okrężny, albo może wykonywać ciekawy ruch “budzącego się do życia” organizmu, czyli odwijania/zwijania, jak pokazano na Rys. 15.

Jest to szczególnie ciekawy przypadek, ponieważ jest on również stosunkowo prosty do wykonania. Z konfiguracji torusa, w której początkowo każdy kolejny moduł znajduje się pod kątem 0° względem poprzedniego, wszystkie moduły po prostu wykonują jednoczesny obrót względny o 360°, a cała struktura powraca do początkowego stanu torycznego.

4. Podsumowanie

Arm-Z jest zasadniczo bardzo prostym systemem, jednak może wykonywać interesujące ruchy/zachowania w przestrzeni.

Właściwości te można wykorzystać w przypadku obiektów małej architektury również w nisko-zaawansowanej, a przez to taniej, technologii “low-tech”.

Ela Zawidzka, Jacek Szklarski, Janusz Kobaka, Machi Zawidzki

Rys. 15. Wybrane stop-klatki “odwijania” 12-modułowego Arm-Z z torusa w prostą rurę i z powrotem do torusa. Względny skręt każdego modułu jest taki sam, a wartość w stopniach jest pokazana dla każdej stop-klatki. Ślad końcówki Arm-Z jest pokazany jako czarna linia

Fig. 15. Selected time-steps of „unwinding” of a 12-module Arm-Z from torus into a straight pipe and back to torus. The relative twist is the same for each module and the value in degrees is shown for each frame. The trace of the tip of Arm-Z is shown as a black line

W artykule zaprezentowano cztery rodzaje takich niebanalnych obiektów.

Prototypy fizyczne są obecnie w trakcie opracowywania i realizacji. Opracowanie funkcjonalnych prototypów o poziomie gotowości technologicznej (TRL) 5-6, czyli umożliwiających testy w środowisku symulującym bądź zbliżonym do rzeczywistych pozwolą na przeprowadzenie konkretnych rozmów z krajowymi producentami maszyn i urządzeń dla przemysłu i usług. Planowane i będące w trakcie opracowywania prototypy będą częścią oferty dla obszaru Automatyzacji w Budownictwie Sieci Badawczej Łukasiewicz – Przemysłowego Instytutu Automatyki i Pomiarów PIAP.

Podziękowania

Opisane tu badania stanowią część projektu „Arm-Z: ekstremalnie modularny hiperredundantny ekonomiczny manipulator – opracowanie metod sterowania oraz analiza efektywności” finansowanego przez Narodowe Centrum Nauki w ramach programu OPUS 17, kontrakt nr 2019/33/B/ ST8/02791.

Bibliografia

1. Fuhs W., Stachel H., Circular pipe-connections. “Computers & Graphics”, Vol. 12, No. 1, 1988, 53–57, DOI: 10.1016/0097-8493(88)90007-6.

2. Zawidzki M., Nishinari K., Modular pipe-z system for threedimensional knots. “Journal for Geometry and Graphics”, Vol. 17, No. 1, 2013, 81–87.

3. Zawidzki M., Nagakura T., Arm-Z: a modular virtual manipulative. [In:] H-P. Schröcker, editor, 16th International Conference on Geometry and Graphics, 2014, 75–80.

4. Gray J., The mechanism of locomotion in snakes. “Journal of Experimental Biology”, Vol. 23, No. 2, 1946, 101–120, DOI: 10.1242/jeb.23.2.101.

5. Hirose S., Biologically Inspired Robots: Snake-Like Locomotors and Manipulators. Oxford University Press, 1993.

6. Ning K., Wörgötter F., A novel concept for building a hyper-redundant chain robot. “IEEE Transactions on Robotics”, Vol. 25, No. 6, 2009, 1237–1248, DOI: 10.1109/TRO.2009.2032968.

7. Murray R.M., Li Z., Sastry S.S., A mathematical introduction to robotic manipulation. CRC press, 1994.

8. Rolf M., Steil J.J., Efficient exploratory learning of inverse kinematics on a bionic elephant trunk. “IEEE Transactions on Neural Networks and Learning Systems”, Vol. 25, No. 6, 2014, 1147–1160, DOI: 10.1109/TNNLS.2013.2287890.

9. Melingui A., Escande C., Benoudjit N., Merzouki R., Mbede J.B., Qualitative approach for forward kinematic modeling of a Compact Bionic Handling Assistant trunk “IFAC Proceedings Volumes”, Vol. 47, No. 3, 2014, 9353–9358, DOI: 10.3182/20140824-6-ZA-1003.01758.

10. Falkenhahn V., Hildebrandt A., Neumann R., Sawodny O., Dynamic control of the bionic handling assistant. “IEEE/ ASME Transactions on Mechatronics”, Vol. 22, No. 1, 2017, 6–17, DOI: 10.1109/TMECH.2016.2605820.

11. Chirikjian G.S., BurdickJ.W., A hyper-redundant manipulator. “IEEE Robotics & Automation Magazine”, Vol. 1, No. 4, 1994, 22–29, DOI: 10.1109/100.388263.

12. Yin S.Y.-L., Wang J.-C., Wang P.-H., Development of multi-spiral confinements in rectangular columns for construction automation. “Journal of the Chinese Institute of Engineers”, Vol. 35, No. 3, 2012, 309–320, DOI: 0.1080/02533839.2012.655528.

13. Havlásek P., Jirásek M., Bittnar Z., Modeling of precast columns with innovative multi-spiral reinforcement. Proceedings of the fib Symposium 2019, 2301–2307.

14. Zawidzka E., Szklarski J., Kiński W., Zawidzki M., Prototype of the Arm-Z Modular Solar Tracker. [In:] Conference on Automation, Springer, 2022, 273–282, DOI: 10.1007/978-3-031-03502-9_28.

15. Xiang Y., Sun D.Y., Fan W., Gong X.G., Generalized simulated annealing algorithm and its application to the Thomson model. “Physics Letters A”, Vol. 233, No. 3, 1997, 216–220, DOI: 10.1016/S0375-9601(97)00474-X.

16. Virtanen P., et al., SciPy 1.0: Fundamental Algorithms for Scientific Computing in Python. “Nature Methods”, Vol. 17, 2020, 261–272, DOI: 10.1038/s41592-019-0686-2.

17. Coumans E., Bai Y., Pybullet, a python module for physics simulation for games, robotics and machine learning http://pybullet.org, 2016–2021.

18. Luh J.Y.S., Walker M.W., Paul R.P.C., On-Line Computational Scheme for Mechanical Manipulators. “Journal of Dynamic Systems, Measurement, and Control”, Vol. 102, No. 2, 1980, 69–76, DOI: 10.1115/1.3149599.

19. Zawidzki M., Arm-Z Manipulations, 2014. URL http:// demonstrations. wolfram.com/ArmManipulations/. An interactive demonstration

Examples of Urban Furniture Based on Arm-Z System

Abstract: Arm-Z is a conceptual hyperredundant robotic manipulator composed on linearly joined number of identical modules. Each of them has one-degree-of-freedom (1-DOF) - the relative twist. Since modules are congruent, Arm-Z presents potential economical advantages and enhanced robustness. The modules can be mass produced and easily replaceable. The control of Arm-Z, however, is difficult and not intuitive. Therefore it most often requires the use of computational intelligence techniques. This article presents selected concepts for kinetic street furniture based on Arm-Z: a helical column of adjustable height, a sun tracking shade or solar energy harvesting device, bio-mimicing sculpture, sprinkler or fountain. All these ideas are based on low-tech approach. For this purpose, the initial unit in the chain is fixed to the solid foundation. For simplicity, the drive is applied directly to the first unit and transferred by the means of internal gears to the following modules. All of them are equipped with a set of cylindrical and bevel gears with straight teeth with involute profile (for connecting the modules).

Keywords: modular systems, Arm-Z, manipulator, hyper-redundancy, small architecture

Ela Zawidzka, Jacek Szklarski, Janusz Kobaka, Machi Zawidzki

mgr inż. Ela Zawidzka zawidzka@ippt.pan.pl

ORCID: 0000-0003-1243-9355

Od 10/2020 szkoła doktorska Instytutu Podstawowych Problemów Techniki Polskiej Akademii Nauk. Temat badań: Metody sterowania hiperredundantnym modularnym manipulatorem. W latach 2009–2013 studium doktoranckie na Wydziale Inżynierii M ateriałowej, Politechnika Warszawska. Temat badań: Stopy o wysokiej entropii. W l atach 2003–2008 studia magisterskie na Wydziale Inżynierii Materiałowej PW. Temat pracy: Wytwarzanie i charakteryzacja stopów z układu Ni-Zr-Ti z dodatkiem Ag, B, Cu lub Nb.

dr hab. inż. Machi Zawidzki zawidzki@piap.lukasiewicz.gov.pl ORCID: 0000-0001-8695-4400

Od 10/2022 kierownik ZBI – Dział Wsparcia

Badań Aplikacyjnych w Sieci Badawczej Łukasiewicz – Przemysłowym Instytucie Automatyki i Pomiarów PIAP. Od 2/2017 adiunkt w Zakładzie Technologii Inteligentnych w Instytucie Podstawowych Problemów Techniki Polskiej Akademii Nauk. 7/2020 habilitacja w dziedzinie Nauk Technicznych, w dyscyplinie – Informatyka. Tytuł autoreferatu: Zastosowania metod inteligencji obliczeniowej do optymalizacji architektonicznych Systemów Ekstremalnie Modularnych. W latach 10/2007 – 09/2010 studia doktoranckie na Uniwersytecie Ritsumeikan w Japonii. Temat rozprawy: Application of Computational Intelligence to engineering design problems in Architecture – firmitatis, utilitatis, venustatis.

dr Jacek Szklarski jszklar@ippt.pan.pl

ORCID: 0000-0003-1541-9878

Kierownik Pracowni Systemów Inteligentnych w IPPT PAN. Doktorat w dziedzinie na uk fizycznych uzyskał na Uniwersytecie w Poczdamie. Aktualnie jego główne obszary zainteresowań to wizja maszynowa i zastosowanie metod sztucznej inteligencji w robotyce.

dr inż. Janusz Kobaka janusz.kobaka@uwm.edu.pl

ORCID: 0000-0002-3596-3187

Od 07/2021 post-doc w projekcie NCN „Wydobycie regolitu na powierzchni Księżyca w warunkach obniżonej grawitacji”. 03 .2021–05.2021 adiunkt na Uniwersytecie Warmińsko-Mazurskim w Olsztynie. 10 .2018–02.2021 adiunkt na Politechnice Koszalińskiej. 10.2007–09.2018 kierownik Laboratorium Techniki Budowlanej Politechniki Koszalińskiej. 03.2004–09.2007 specjalista inżynieryjno-techniczny w Laboratorium Techniki Budowlanej PK..

Wideband AC Voltage Standards

Krzysztof Kubiczek, Marian Kampik, Michał Grzenik, Krzysztof Musioł, Anna Piaskowy Politechnika Śląska, Wydział Elektryczny, Katedra Metrologii, Elektroniki i Automatyki, ul. Akademicka 10, 44-100 Gliwice

Abstract: This article presents a critical review and comparison of constructions and metrological properties of contemporary wideband standards for AC voltage. It focuses on selected thermal voltage converters (TVCs) used in alternating current-direct current (AC-DC) transfer voltage standards and for the most precise measurements of AC voltages up to approximately 100 MHz. These devices serve as primary AC voltage standards at National Measurement Institutes (NMIs).

Keywords: calorimetric thermal voltage converter, thermal voltage standards, quantum voltage standards, precision metrology, ac-dc transfer difference

1. Introduction

Alternating (AC) voltage or, more precisely, its root mean squared (RMS) value is one of the most frequently measured electrical quantities. Instruments used for measurement or synthesis of AC voltage must be calibrated periodically, and appropriate standards must be used for this purpose. Currently, the leading National Measurement Institutes (NMI) of highly developed countries use four basic types of AC voltage standards: −Josephson voltage standard (JVS), standards using single-junction thermal converter (SJTC), standards using planar multi-junction thermal converter (PMJTC), standards using calorimetric thermal voltage converters (CTVC).

The frequency range of operation of these devices is shown in Figure 1.

In this article, we provide a comprehensive description of AC-DC transfer and thermal voltage converters used to reproduce standard AC voltage in a very wide frequency range. We also give a short description of the principle of operation of the quantum voltage standards. Finally, we present some possibilities to improve the thermal voltage converters, which are viable due to technological progress in recent years.

1. Frequency bands in which standards of AC voltage are used

Rys. 1. Przedział częstotliwości stosowania wybranych wzorców napięcia przemiennego

Autor korespondujący:

Krzysztof Kubiczek, krzysztof.kubiczek@polsl.pl

Artykuł recenzowany nadesłany 11.12.2023 r., przyjęty do druku 29.01.2024 r.

2. Quantum AC voltage standards

The principle of operation of quantum Josephson voltage standards (JVS) is based on the quantum Josephson phenomenon. This phenomenon occurs in the so-called Josephson junctions. A typical Josephson superconductor-isolator-superconductor (SIS) junction consists of two superconductors, separated by a thin layer of insulator [1]. The Josephson alternating current effect occurs when a junction is polarized with direct current in a weak magnetic field. Then, in addition to direct current, an alternating current begins to flow through the junction with a frequency f associated with a DC voltage that polarizes the junction U [2] based on the following equation:

2 , e fU h = (1)

where e and h are the charge of the electron and the Planck constant, respectively.

In fact, the current-voltage (I-U) characteristics of the Josephson junction take the shape of steps (the so-called Shapiro steps) [3]. Very high accuracy for the microwave frequency generated by modern generators, and adoption of phy-

sical constants as exact numbers in the new SI system, resulted in the design of quantum DC and AC voltage standards able to generate voltages of very low uncertainty [4]. Because the voltage obtained from a single Josephson junction is relatively low (in the order of 0.1 mV), the generation of voltages of the order of volts requires the use of matrices made of several to tens of thousands of Josephson junctions connected in series [5]. The junctions are irradiated with an alternating elec-

Fig.

Wideband AC Voltage Standards

tromagnetic field generated by a microwave frequency source reaching several tens of GHz. The uncertainty of this frequency is 10–10 or less [6].

As given in equation (1), the quantum voltage level can be adjusted by the frequency f or the number of Josephson’s junctions. Because the typical frequency required to realize a quantum voltage is at a very high level of about 60–80 GHz, and the frequency must be known with atomic-clock accuracy, frequency manipulation is very difficult [7]. Instead, researchers prefer to tweak the number of active junctions by switching the bias constant current on and off. This principle of operation is applied to the programmable Josephson voltage standard (PJVS). This standard contains binary-divided Josephson junction arrays, whose sections can be activated/ deactivated by switching the constant bi-as current [8]. This standard is used for the generation of quantum DC voltage or, by sequential bias current adjustment, for generating stepwise approximated AC voltage up to a few kHz [9]. Unfortunately, due to residual parameters of the junction arrays, the switching frequency is limited. Moreover, the voltage during the transient from one volt-age step to the next one is not quantized. Thus, the uncertainty of the generated voltage in-creases above a few kHz. Furthermore, the stepwise approximation of the generated sinewave leads to the increase of harmonics in the output signal [10].

To bypass the need for a switching of the bias current, the design of the Josephson arbitrary waveform synthesizer (JAWS) was proposed [11]. The shape and the voltage of the quantum output signal are controlled by the pulse pattern generator. The generator is connected to the constant high-frequency reference signal (typically 15–20 GHz) and generates bipolar or ternary pulses according to the predefined pattern. The pulse pattern is obtained by the simple sigma-delta software conversion of the required shape and amplitude. This produces the required pulse-driven signal shape and amplitude with an extensively pure spectrum [12].

PJVS synthesized AC voltage is in the frequency range from a few Hz to several kHz. Hence, this rather limited frequency range does not qualify them as wideband AC voltage standards. Therefore, for the leading NMIs, intensive work has been underway to increase the frequency range to at least 100 kHz [13]. This includes developing and applying sub-sampling methods based on comparing high-frequency non-quantum, semiconductor-based generators with the low-frequency quantum voltage only in a specific and short space of time in many consecutive periods [7].

The quantum sources of AC voltages have been implemented as a primary standard by the National Institute of Standards and Technology (NIST) [11, 14] and Physikalisch-Technisch Bundesanstalt (PTB) [15, 16]. However, the application of quantum AC voltage standards continues to face difficulties, among other things, because of the high cost of their purchase, maintenance, and operation. This is because these standards require expensive and complex cryogenics, vacuum or liquid helium cryogenic systems, and GHz-frequency ultra-stable generators (sometimes modulated using fast deep-memory bit-pattern generators).

An interesting solution is the microwave quantum-defined source described in previous work [17]. It generates a sinusoidal voltage of approximately 17 mV at a single frequency equal to 1.005 GHz. It seems that a set of such devices, generating voltage at discrete frequencies, may be used as a source of standard high-frequency voltage. Unfortunately, its output voltage is too low to calibrate thermal voltage converters directly. More-over, the output current of the device must be sufficient to drive the heater of a TVC.

In recent years, the improvement of the JVS is focused on improving the operation of the cryocoolers, which enable signi-

ficant reduction of usage of expensive liquid helium [18, 19], increasing the amplitude of the generated voltage by up to 20 V by increasing the number of Josephson junctions in the arrays (even up to 300 000) [20] and reducing the harmonics in the output signal developed from the Josephson arbitrary voltage synthesizer (JAWS) [21].

3. Thermal AC-DC transfer

Currently, the most accurate way to determine wideband sinusoidal AC voltage in the frequency range from approximately 1 kHz to 100 MHz is the substitution method, which is called AC-DC voltage transfer or – in the case of radiofrequency (RF) voltage – RF-DC voltage transfer. In this method, thermal voltage converters (TVCs) are used.

The principle of operation of the TVC is based on the definition of the RMS of alternating voltage, which is defined as [22]:

where u(t) and T are the instantaneous value and the AC voltage period, respectively.

The above definition is based on the Joule-Lenz law, which defines the DC power, PDC, and AC power, PAC, dissipated in a resistance R for DC and AC voltages, respectively, as [23]:

The idea of AC-DC transfer is essentially based on the substitution of an unknown AC voltage with a known DC voltage of equivalent power. For the Joule-Lenz law, if the power dissipated by these two signals is equal (in a resistor of nominally the same resistance), the unknown RMS voltage of the AC signal is equal to the known DC voltage. A simplified schematic diagram of the thermal voltage converter is shown in Figure 2.

A typical TVC consists of a resistor with small residual impedance parameters, acting as a heater, and a thermometric sensor converting the temperature rise of the heater into a direct voltage. The simplified block diagram of a system realizing the AC to DC transfer is shown in Figure 3.

In the system shown in Figure 3, at first, the stable sinusoidal voltage of unknown RMS from an AC voltage source UACis applied to the TVC heater. After stabilization of the temperature of the heater, the output voltage EACof the TVC is measured, and then the known DC voltage from the DC

Fig. 2. Principle of operation of the thermal voltage converter

Krzysztof Kubiczek, Marian Kampik, Michał Grzenik, Krzysztof Musioł, Anna Piaskowy

sions and material constants of the TVC [29]. Converters with calculated δAC–DC are called calculable.

The value of the AC-DC transfer difference above approximately 1 MHz is dominated by wave phenomena (i.e., wave reflection, interference, and long-line effects) and skin effects. There is also a large influence on the residual parameters of the TVC heater. In this frequency range, the AC-DC transfer difference is determined from a mathematical model of the converter based on its geometrical dimensions and material constants or by comparison with a converter of a known δAC–DC [30].

voltage calibrator UDC is applied to the converter. This voltage is adjusted until the TVC output, EDC, has a voltage equal to the previously obtained voltage, EAC. If these two voltages are equal, then the RMS AC voltage is equal to the known DC voltage.

At frequencies above approximately 100 kHz, due to numerous phenomena such as skin effect, reflection associated with impedance mismatch, thermoelectric phenomena, etc., the same amount of thermal energy is released for the same resistance at different AC and DC voltage values. This difference is given by the following:

where δAC–DC is the AC-DC transfer difference.

The AC-DC transfer difference and its uncertainty are among the most important parameters describing the TVC. The AC-DC transfer difference can be calculated from an appropriate mathematical model of a TVC or by comparison with a TVC of known δAC–DC. The first method is used to determine the AC-DC transfer difference of the most accurate TVCs used as primary standards. The δAC–DC strongly depends on the frequency.

At frequencies below approximately 100 Hz, the main cause of the AC-DC transfer difference is a nonlinear thermal phenomenon and insufficient temperature averaging in the heater and thermocouples. To define δAC–DC at these frequencies, typically, the quantum AC voltage standard [24] may be used.

In the ultra-low frequency band (up to about 10 Hz), due to the thermal constant of the heater being comparable with the input signal period, the special AC-DC transfer systems are designed [25] aiming to become a special TVC such as a double-heater TVC (i.e., DHTVC) [26]. The principle of operation of this system is the use of the input signal provided to the first heater and the signal’s shifted twin (orthogonal signal) into the second heater to artificially average the dissipated power.

In the frequency band from about several Hz to about 10 kHz, the transfer difference is determined primarily by thermoelectric phenomena. In this frequency range, the methods for measuring the transfer difference using a rectangular voltage reference source shall be used, e.g., for fast reversed DC voltage or current method, FRDC [27] or a more expensive method using a quantum AC voltage standard [24].

In the frequency range from approximately 10 kHz to approximately 1 MHz, the influence of the skin effect dominates. The AC-DC transfer difference in this frequency range is determined by comparison with a converter of a known transfer difference [3, 28] or calculated based on a mathematical model of the converter, in which there are geometric dimen-

The precision of measurement results obtained with an AC-DC transfer system when comparing two TVCs strongly depends on the stability of the DC and AC voltage sources used in the system. The AC-DC transfer procedure is lengthy. Typically, it takes approximately 1 hour to perform an AC-DC transfer at one frequency and one voltage. Moreover, during this time, the DC voltage is adjusted to keep the EDC as close as possible to the EAC. Hence, it is the short-term stability of the voltages of both sources that is most critical from the point of view of precision of AC-DC transfer results. Usually, a DC voltage calibrator is used as the DC voltage source. The short-term stability of the voltage generated by such calibrators depends on the voltage size but typically is below 1 μV/V and has an almost insignificant influence on the standard deviations of the results of the AC-DC transfer. For the 10 Hz – 1 MHz frequency range, the role of the AC voltage source is played by the AC voltage calibrator (typically part of a multifunction calibrator). The short-term stability of the AC voltage generated by such calibrators is typically higher than that of the DC voltage calibrators and depends on the voltage and frequency. However, it still achieves an acceptable precision for the AC-DC transfer results.

The problem of short-term stability of the AC source is visible above 1 MHz. Some AC voltage calibrators have a built-in option that enables them to generate voltages up to 30 MHz or even 50 MHz. However, the short-term stability of the voltage is substantially lower. Moreover, the output impedance of the AC voltage calibrator at these frequencies rises to 50 W. Above 30–50 MHz, it is necessary to use commercial radio-frequency signal generators. Their short-term stability is usually even worse than the short-term stability of the voltage generated with high-frequency optional modules of AC voltage calibrators. The results of a comparison of selected AC voltage generators for high-frequency AC-DC transfer performed at SUT at Istituto Nazionale di Ricerca Metrologica (INRIM) in Turin, Italy [31]. The setup at SUT used for the AC-DC transfer at higher frequencies is presented in Figure 4.

Fig. 3. Simplified measurement setup used for the AC-DC transfer

Rys. 3. Uproszczone stanowisko pomiarowe do transferu AC-DC

Fig. 4. Setup at SUT used for the AC-DC transfer at higher frequencies

Rys. 4. Stanowisko do wysokoczęstotliwościowego transferu AC-DC na Wydziale Elektrycznym Politechniki Śląskiej

Wideband AC Voltage Standards

4. Thermal voltage converters

As previously described, despite spectacular achievements in the field of quantum methods of synthesis of standard alternating voltage, modern primary AC voltage standards used in the frequency band from 10 Hz to 100 MHz are still using TVC. Such a converter consists of a resistor with small residual parameters, acting as a heater, and a thermometric sensor, converting the temperature rise of the heater into a DC voltage (more strictly an electromotive force, EMF).

4.1. Single junction thermal voltage converters

The design of the single-junction thermal voltage converter (SJTC) is presented in Figure 5.

This device is equipped with a thermometric sensor in the form of a single thermocouple [32]. For this reason, a single-junction thermal converter is characterized by a relatively low sensitivity, defined as the increase in output voltage to the power dissipated in the heater. Its output EMF is low, in the order of a few mV, due to the dissipated power of up to several mW [33]. In addition, the use of a single thermocouple increases the DC reversal error caused by irreversible thermoelectric phenomena, which contributes to the increase of the AC-DC transfer difference component, which is independent of the current frequency [34]. The parameter characterizing this influence is the DC reversal error defined by:

not exceed 10 mV. To extend the low value of the input voltage of the SJTC (0.2–0.5 V), a resistor is connected in series with the heater, called a range resistor. In the case of primary standards, this resistor has a coaxial form, which simplifies the development of a mathematical model and calculation of the transfer difference of the range resistor-SJTC assembly in the higher frequency band (typically, 10 kHz – 1 MHz). The TVC composed of an SJTC integrated with a coaxial resistor, developed, and constructed at SUT, is presented in Figure 6. A set of coaxial resistors makes it possible to use the SJTC in AC voltage standards up to 1000 V.

Due to the wave phenomena occurring in a relatively long waveguide, SJTCs are mainly used as AC voltage standards in the frequency range of up to 1 MHz. However, thoroughly constructed coaxial designs can serve as calculable AC-voltage standards up to several dozens of MHz [37–39]. Comparisons performed in 2020 confirmed good accuracy of such standards in the 1–30 MHz frequency range [40].

4.2. Planar multi-junction thermal voltage converters

The design of the planar multijunction thermal voltage converter (PMJTC) is shown in Figure 7.

where UDC+ and UDC– are the DC input voltages of the same value but opposite polarity, applied sequentially to the TVC heater.

The DC reversal error of a commercially produced SJTC is in the range from about 0.005 % to 0.2 %, but selected and thoroughly manufactured devices can have a DC reversal error even below a few μV/V [35]. The advantage of the SJTC is its uncomplicated geometry, which facilitates the calculation of its transfer difference in the frequency range from approximately 10 kHz to approximately 1 MHz. Among the contemporary available SJTCs, the optimal metrological parameters possess devices of 90 Ω heater resistance and a nominal heater current of 5 mA [36]. The main advantage of the SJTC is its uncomplicated geometry, which facilitates the calculation of its transfer difference in the frequency range from approximately 10 kHz to approximately 1 MHz. The main drawback of the SJTC is its vulnerability to an overload followed by the destruction of the heater. Another disadvantage of the SJTC is its low sensitivity. At a nominal input voltage, the output EMF usually does

Fig. 5. Single junction thermal converter

Rys. 5. Jednozłączowy termiczny przetwornik wartości skutecznej napięcia

Fig. 6. Single junction thermal converter

Rys. 6. Jednozłączowy termiczny przetwornik wartości skutecznej napięcia

Fig. 7. Planar multijunction thermal converter

Rys. 7. Planarny, wielozłączowy termiczny przetwornik wartości skutecznej napięcia

Krzysztof Kubiczek, Marian Kampik, Michał Grzenik, Krzysztof Musioł, Anna Piaskowy

Due to the use of several dozen thermocouples connected in series, this converter is characterized by a higher sensitivity than the sensitivity of the SJTC [41]. Its output EMF is approximately one order greater than the output EMF of the SJTC and reaches a value from several dozen to several hundreds of mV. In addition, the use of many thermocouples distributed along the entire length of the bifilar heater reduces the detrimental impact of thermoelectric reversible phenomena, so that the PMJTC DC reversal error is significantly reduced, reaching values of 1 μV/V. Planar technology enables the construction of a heater with resistance in the range from several dozen ohms to about 1 kΩ, which allows us to bring to the PMJTC input a voltage with an effective value in the range from a fraction of a volt to several volts [42]. For this reason, primary standards using PMJTC generally do not require the use of range resistors for voltages in the range from 0.5 to approximately 5 V.

In the last decade, PMJTC has often been made on silicon substrate [43]. They have very good metrological properties in the frequency range from several dozen Hz to several hundred kHz. At frequencies higher than approximately 100 kHz, their AC-DC transfer difference increases, mainly due to the adverse influence of the membrane and silicon substrate. For this reason, PMJTCs on quartz substrate [36], fused silica, and fused quartz [44] were developed. Multi-junction hybrid converters were also developed, in which thermocouples were sputtered onto a kapton film stretched on an Al2O3 frame, and a chromium-nickel (Ni75Cr20Al2.5Cu2.5) radiator was deposited onto an aluminum nitride (AlN) substrate [45]. Converters of this type are usually used in the frequency range up to several MHz.

Comparison of the AC-DC transfer differences of the thermal voltage converters

Figure 8 shows the frequency dependence of the AC-DC voltage transfer differences of selected TVCs, which may be used in wideband AC-DC transfer systems: −CTVC developed at the NRC, JTC with a range resistor, developed at the Dutch National Metrology Institute (VSL) [3], SJTC with a range resistor, developed at the Institute of Measurement Science, Electronics and Control (IMEiA) at the Silesian University of Technology, Poland [46, 47], PMJTC with a fused silica substrate and radiator resistance of 472 Ω, developed at the National Institute of Standards and Technology, NIST, USA [45],

Fig. 8. Comparison of the AC-DC transfer differences for selected wideband thermal voltage converters in a frequency range 1–100 MHz

Rys. 8. Porównanie charakterystyk różnicy transferowej dla wybranych szerokopasmowych termicznych przetworników napięcia w przedziale częstotliwości od 1 do 100 MHz

PMJTC with a quartz substrate and radiator resistance of 1 kΩ, developed at the German National Metrology Institute, PTB [36], hybrid PMJTC with a radiator deposited on an aluminum nitride substrate, developed at the Japanese National Metrological Institute, AIST [48].

A comparison of the characteristics shown in Figure 8 reveals that – compared to other converters – CTVC is characterized by an extremely small transfer difference in the frequency range 1–100 MHz.

5. Conclusion and future work

Currently, several types of TVCs are used, differing in the design of circuits and the heater, and consequently in the transfer difference. The digest whose mathematical model is the most versatile and simpliest is the SJTC. However, its sensitivity due to just a single thermocouple is the lowest of the mentioned. It has also relatively high AC-DC transfer difference and its uncertainty. The second described design was PMJTC which despite very complex mathematical model, expensive thin-film structure is nowadays the most widely used in the calibration laboratories. The most promising mentioned TVC is CTVC which combines advantages of the SJTC and PMJTC. It is expected that due to the intensive development of the generation and measurement apparatus used in the industrial laboratories and assembly lines, further investigation on new voltage standards with wider frequency range will be required. The thermoelectric element, which measures the temperature rise of the converter resistor, has a different design, which significantly affects the sensitivity of the TVC. The lowest absolute value of the AC-DC transfer difference in the frequency band up to about 100 MHz is the CTVC. Unfortunately, due to the large DC reversal error and relatively low sensitivity, this converter is not widely used. The disadvantages of CTVC can be minimized by modifying its design. In the second part of the article, the authors will present the construction of the converter and the research on improvements. The further development of TVCs ought to be focused on continuation of miniaturization of its assembly parts. This may lead to an increase in their accuracy and expanding the operational frequency range in which they can be effectively utilized. Ongoing research should consider the application of nanotechnology to deposit ultra-thin layers of thermocouples and a heater, allowing more precision temperature measurement with higher sensitivity. Simultaneously, there is a growing interest in integrating TVCs with digital signal processing systems, enabling advanced control of calibration processes.

Acknowledgments

The research was carried out within project number 2022/47/B/ST7/00047 granted by Polish National Science Centre (NCN).

Bibliography

1. Alam S., Jahangir M.A., Aziz A., A Compact Model for Superconductor- Insulator-Superconductor (SIS) Josephson Junctions, “IEEE Electron Device Letters”, Vol. 41, No. 8, 2020, 1249–1252, DOI: 10.1109/LED.2020.3002448.

2. Josephson B.D., Possible New Effects in Superconductive Tunnelling, “Physics Letters”, Vol. 1, No. 7, 1962, 251–253, DOI: 10.1016/0031-9163(62)91369-0.

3. Van Mullem C., Janssen W.J.G.D., De Vreede J.P.M., Evaluation of the calculable high frequency AC-DC stan-

dard, “IEEE Transactions on Instrumentation and Measurement”, Vol. 46, No. 2, 1997, 361–364, DOI: 10.1109/19.571856.

4. Kohlmann J., Kieler O., Tian H., Wendisch R., Egeling B., Behr R., Development and Fabrication of Improved Josephson Series Arrays with NbSi Barrier for AC Voltage Standards, 2018 Conference on Precision Electromagnetic Measurements (CPEM 2018), Paris, France, DOI: 10.1109/CPEM.2018.8500887.

5. Overney F., Rufenacht A., Braun J.P., Jeanneret B., Wright P.S., Characterization of Metrological Grade Analog-to-Digital Converters Using a Programmable Josephson Voltage Standard, “IEEE Transactions on Instrumentation and Measurement”, Vol. 60, No. 7, 2011, 2172–2177, DOI: 10.1109/TIM.2011.2113950.

6. Kohlmann J., Behr R., Development of Josephson Voltage Standards. In Superconductivity – Theory and Applications, IntechOpen, 2011, DOI: 10.5772/17031.

7. Benz S.P., Hamilton C.A., Burroughs C.J., Harvey T.E., Christian L.A., Stable 1 Volt Programmable Voltage Standard. “Applied Physics Letters”, Vol. 71, No. 13, 1997, 1866–1868, DOI: 10.1063/1.120189.

8. Benz S.P., Superconductor-Normal-Superconductor Junctions for Programmable Voltage Standards. “Applied Physics Letters”, Vol. 67, No. 18, 1995, 2714–2716, DOI: 10.1063/1.114302.

9. Trinchera B., Serazio D., Durandetto P., Oberto L., Fasolo L., Development of a PJVS System for Quantum-Based Sampled Power Measurements. “Measurement” Vol. 219, 2023, DOI: 10.1016/j.measurement.2023.113275.

10. Burroughs C.J., Rufenacht A., Benz S.P., Dresselhaus P.D., Systematic error analysis of stepwise approximated AC waveforms generated by a Programmable Josephson Voltage Standard, 2008 Conference on Precision Electromagnetic Measurements Digest, Broomfield, CO, USA, 2008, 72–73, DOI: 10.1109/CPEM.2008.4574658.

11. Chevtchenko O.A. et al., Realization of a quantum standard for AC voltage: overview of a European research project, “IEEE Transactions on Instrumentation and Measurement”, Vol. 54, No. 2, 2005, 628-631, DOI: 10.1109/TIM.2004.843078.

12. Benz S.P., Waltman S.B., Fox A.E., One-Volt Josephson Arbitrary Waveform Synthesizer, “IEEE Transactions on Applied Superconductivity”, Vol. 25, No. 1, 2015, DOI: 10.1109/TASC.2014.2357760.

13. Behr R., Palafox L., An AC Quantum Voltmeter for Frequencies up to 100 kHz Using Sub-Sampling. “Metrologia”, Vol. 58, No. 2, DOI: 10.1088/1681-7575/abe453.

14. Flowers-Jacobs N.E., Rüfenacht A., Fox A.E., Dresselhaus P.D., Benz S.P., Calibration of an AC Voltage Source Using a Josephson Arbitrary Waveform Synthesizer at 4 V, 2020 Conference on Precision Electromagnetic Measurements (CPEM), Denver, CO, USA, 2020, DOI: 10.1109/CPEM49742.2020.9191787.

15. Kieler O.F., Iuzzolino R., Kohlmann J., Sub- μm SNS Josephson Junction Arrays for the Josephson Arbitrary Waveform Synthesizer. “IEEE Transactions on Applied Superconductivity”, Vol. 19, 2009, 230–233, DOI: 10.1109/TASC.2009.2019283.

16. Kohlmann J., Kieler O., Iuzzolino R., Egeling B., Palafox L., Muller F., SNS Josephson junction series arrays for the Josephson Arbitrary Waveform Synthesizer, 2008 Conference on Precision Electromagnetic Measurements Digest, Broomfield, CO, USA, 2008, 584–585, DOI: 10.1109/CPEM.2008.4574914.

17. Babenko A.A., Flowers-Jacobs N.E., Lasser G., Brevik J.A., Fox A.E., Dresselhaus P.D., Popovic Z., Benz S.P.,

A Microwave Quantum-Defined Millivolt Source, “IEEE Transactions on Microwave Theory and Techniques”, Vol. 69, No. 12, 2021, 5404–5416, DOI: 10.1109/TMTT.2021.3121425.

18. Durandetto P., Sosso A., Using a Josephson Junction as an Effective On-Chip Temperature Sensor. “Superconductor Science and Technology”, Vol. 34, No. 4, 2021, DOI: 10.1088/1361-6668/abdcc4.

19. Sosso A., Durandetto P., Determination of the Temperature vs Power Dynamic Behavior of a Cryocooler via Two Independent Methods in Time and Frequency Domain. “MethodsX”, Vol. 5, 2018, 841–847, DOI: 10.1016/j.mex.2018.06.013.

20. Bauer S., Behr R., Herick J., Kieler O., Kraus M., Tian H., Pimsut Y., Palafox L., Josephson Voltage Standards as Toolkit for Precision Metrological Applications at PTB. “Measurement Science and Technology”, Vol. 34, No. 3, 2023, DOI: 10.1088/1361-6501/aca5a5.

21. Flowers-Jacobs N.E., Fox A.E., Dresselhaus P.D., Schwall R.E., Benz S.P., Two-Volt Josephson Arbitrary Waveform Synthesizer Using Wilkinson Dividers, “IEEE Transactions on Applied Superconductivity”, Vol. 26, No. 6, 2016, DOI: 10.1109/TASC.2016.2532798.

22. Bakshi U.A., Bakshi U.V., Basic Electrical Engineering; Technical Publications Pune, 2009.

23. Zubov V., Shal’nov V., Worked Examples in Physics; Kent: Elsevier Science, 2013.

24. Kampik M., Measurement System for Investigation and Calibration of Digital Sources of Low-Frequency AC Voltage. “Przegląd Elektrotechniczny”, Vol. 89, No. 1a, 2013, 75–77.

25. Shi Z., Zhang J., Pan X., Jia Z., Song Y., Ma X., He Q., AC-DC Transfer System for Ultra-low Frequency Voltage, 2020 Conference on Precision Electromagnetic Measurements (CPEM), Denver, CO, USA, 2020, DOI: 10.1109/CPEM49742.2020.9191901.

26. Shi Z., Wang Z., Zhang J., Pan X., Wang L., Song Y., AC–DC Transfer and Verification of Ultra-Low Frequency Voltage From 0.1 to 10 Hz, “IEEE Transactions on Instrumentation and Measurement”, Vol. 72, 2023, DOI: 10.1109/TIM.2023.3249226.

27. Funck T., Kampik M., Kessler E., Klonz M., Laiz H., Lapuh R., Determination of the AC-DC voltage transfer difference of high-voltage transfer standards at low frequencies, “IEEE Transactions on Instrumentation and Measurement”, Vol. 54, No. 2, 2005, 807–809, DOI: 10.1109/TIM.2004.843415.

28. Kampik M., Grzenik M., Musioł K., Kubiczek K., Skórkowski A., Szutkowski J., Zawadzki P., Interlaboratory Comparison of Thermal AC Voltage Standards. „Measurement Science Review”, Vol. 19, No. 6, 2019, 279–282, DOI: 10.2478/msr-2019-0036.

29. Grzenik M., Kampik M., Toward Extending the Frequency of the AC–DC Voltage Transfer at Silesian University of Technology up to 10 MHz. “Measurement Automation Monitoring”, Vol. 62, No. 2, 2016, 46–48.

30. Shan Y., Meng Y.S., Filipski P.S., Evaluation of a Calorimetric Thermal Voltage Converter for RF–DC Difference up to 1 GHz, “IEEE Transactions on Instrumentation and Measurement”, Vol. 63, No. 2, 2014, 467–472, DOI: 10.1109/TIM.2013.2278597.

31. Grzenik M., Musiol K., Kampik M., Sosso A., Investigation of selected AC voltage generators for high-frequency AC-DC transfer, 2017 IEEE International Instrumentation and Measurement Technology Conference (I2MTC), Turin, Italy, 2017, DOI: 10.1109/I2MTC.2017.7969955.

32. Halawa M., Al-Rashid N., Performance of Single Junction Thermal Voltage Converter (SJTVC) at 1 MHz via Equiv-

Krzysztof Kubiczek, Marian Kampik, Michał Grzenik, Krzysztof Musioł, Anna Piaskowy

alent Electrical Circuit Simulation, 2010 12th International Conference on Computer Modelling and Simulation, Cambridge, UK, 2010, 631–636, DOI: 10.1109/UKSIM.2010.120.

33. Kgakatsi T.E., Golovins E., Venter J., ESD Stress Analysis and Suppression in a Single-Junction Thermal Converter “Advances in Electrical and Electronic Engineering”, Vol. 20, No. 1, 2022, 66–72, DOI: 10.15598/aeee.v20i1.4115.

34. Grzenik M., Kampik M., Calculable AC Voltage Standards for 10 KHz-1 MHz Frequency Range. “IEEE Transactions on Instrumentation and Measurement”, Vol. 66, No. 6, 2017, 1372–1378, DOI: 10.1109/TIM.2016.2613404.

35. Kubiczek K., Kampik M., Grzenik M., Analysis of DC Reversal Error of the Calorimetric Thermal Voltage Converter. “Measurement”, Vol. 168, 2021, DOI: 10.1016/j.measurement.2020.108439.

36. Scarioni L., Klonz M., Laiz H., Kampik M., High-frequency thin-film multijunction thermal converter on a quartz crystal chip, “IEEE Transactions on Instrumentation and Measurement”, Vol. 52, No. 2, 2003, 345–349, DOI: 10.1109/TIM.2003.810011.

37. Clark R.F., Filipski P.S., Paulusse D.C., Improvements in the NRC AC-DC transfer capabilities, “IEEE Transactions on Instrumentation and Measurement”, Vol. 46, No. 2, 1997, 365–368, DOI: 10.1109/19.571857.

38. Kinard J.R., Cai T.X., Determination of AC-DC difference in the 0.1-100 MHz frequency range, “IEEE Transactions on Instrumentation and Measurement”, Vol. 38, No. 2, 1989, 360–367, DOI: 10.1109/19.192307.

39. Nomair M., Harmans K.J.P.M., High accuracy calculable AC-DC transfer standards for the LF-30 MHz frequency range, “IEEE Transactions on Instrumentation and Measurement”, Vol. 38, No. 2, 1989, 342–345, DOI: 10.1109/19.192303.

40. Kampik M., Grzenik M., Lippert T., Rydler K.E., Tarasso V., Trinchera B., Comparison of a Thermal AC Voltage Standard in the 1–30-MHz Frequency Range, “IEEE Transactions on Instrumentation and Measurement”, Vol. 70, 2021, DOI: 10.1109/TIM.2020.3007296.

41. Amagai Y., Fujiki H., Shimizume K., Kishino K., Hidaka S., Improvements in the Low-Frequency Characteristic and Sensitivity of a Thin-Film Multijunction Thermal Converter in Vacuum, “IEEE Transactions on Instrumentation and Measurement”, Vol. 64, No. 6, 2015, 1570–1575, DOI: 10.1109/TIM.2014.2385133.

42. Souza R., Afonso R. Jr, Klonz M., Landim R., New Generation of AC-DC Current Transfer Standards at Inmetro “Acta IMEKO”, Vo. 1, No. 1, 2012, 65–69, DOI: 10.21014/acta_imeko.v1i1.24.

43. Laiz H., Klonz M., Kessler E., Kampik M., Lapuh R., Low-frequency AC-DC voltage transfer standards with new high-sensitivity and low-power-coefficient thin-film multijunction thermal converters, “IEEE Transactions on Instrumentation and Measurement”, Vol. 52, No. 2, 2003, 350–354, DOI: 10.1109/TIM.2003.810037.

44. Lipe T.E., Kinard J.R., Novotny D.B., Sims J.E., Advanced thermal sensors for precision AC voltage metrology, “SENSORS”, 2011 IEEE, Limerick, Ireland, 2011, 1716–1719, DOI: 10.1109/ICSENS.2011.6126916.

45. Lipe T.E., Kinard J.R., Novotny D.B., Sims J.E., Advanced Thermal Sensors for Broadband AC Voltage Metrology. “The Journal of Measurement Science”, Vol. 9, No. 2, 2014, 74–78, DOI: 10.1080/19315775.2014.11721687.

46. Grzenik M., Kampik M., Determination of AC-DC Transfer Difference of SUT Calculable Thermal Voltage Converters in 1 MHz - 30 MHz Frequency Range, 2018 Conference on Precision Electromagnetic Measurements (CPEM 2018), Paris, France, 2018, DOI: 10.1109/CPEM.2018.8500985.

47. Grzenik M., Kampik M., Determination of frequency-independent component of AC-DC transfer difference of SUT’s calculable AC voltage standards, 2018 IEEE International Instrumentation and Measurement Technology Conference (I2MTC), Houston, TX, USA, 2018, DOI: 10.1109/CPEM.2018.8500985.

48. Sasaki H., Kasai N., Fujiki H., Shimizume K., Hidaka S., Development of a Thermal Voltage Converter with Calculable High-Frequency Characteristics. “IEEJ Transactions on Electrical and Electronic Engineering”, Vol. 6, No. 4, 2011, 293–298, DOI: 10.1002/tee.20659.

Wzorce napięcia przemiennego o szerokim paśmie częstotliwości

Streszczenie: W artykule przedstawiono porównanie konstrukcji i właściwości metrologicznych współczesnych wzorców napięcia przemiennego pracujących w szerokim zakresie częstotliwości. Wzorce te stosowane są w transferze AC-DC, będącym obecnie najdokładniejszym sposobem wyznaczania wartości skutecznej napięcia przemiennego w paśmie częstotliwości od kilkudziesięciu kHz aż do ponad 100 MHz. Urządzenia te pełnią rolę pierwotnych wzorców napięcia przemiennego w Narodowych Instytutach Metrologicznych (NMIs) w paśmie wysokich częstotliwości.

Słowa kluczowe: termiczny przetwornik napięcia, kalorymetryczny przetwornik napięcia, krajowe instytuty metrologiczne, wartość skuteczna napięcia przemiennego, transfer AC-DC

Krzysztof Kubiczek, PhD Eng. krzysztof.kubiczek@polsl.pl

ORCID: 0000-0002-2178-6650

Graduate of the Faculty of Electrical Engineering at the Silesian University of Technology (2017). He obtained a PhD degree in Electrical Engineering in 2022. Since 2021, he has been a Research Assistant at the Department of Metrology, Electronics and Control at the Silesian University of Technology and Assistant Professor since 2023. The main areas of interest are broadband precision thermal voltage standards, precise broadband current shunts, quantum voltage standards and numerical methods in modeling of physical quantities. In 2021, he received a scholarship from the Foundation for Polish Science for 100 outstanding young scientists at the beginning of their scientific careers. Author of more than 40 scientific publications, completed 6 scientific internships, among others, at the Karlsruhe Institute of Technology, Institute for Technical Physics, Karlsruhe, Germany, Istituto Nazionale di Ricerca Metrologica, Turin, Italy and National Scientific and Technical Research Council, Santa Fe, Argentina. He actively cooperates with National Metrology Institutes, including the National Institute of Standards and Technology, NIST, USA.

Krzysztof Musioł, DSc PhD Eng.

krzysztof.musiol@polsl.pl

ORCID:0000-0001-5532-7463

Graduate of the Faculty of Electrical Engineering of the Silesian University of Technology (2002). He obtained a PhD degree in Electrical Engineering in 2007. Since 2024 Associate Professor (habilitation) at the Department of Metrology, Electronics and Automation of the Silesian University of Technology. The main areas of interest are precise systems for measuring impedance and alternating voltage. Leader of three research projects in the field of high-precision metrology, author of 97 scientific publications, including over 80 on electrical precision measurements. He actively cooperates with national metrology institutes in Europe, such as METAS, INRiM, CMI and GUM.

Anna Piaskowy, PhD Eng.

anna.piaskowy@polsl.pl

ORCID:0000-0001-7577-3946

She received her M.S. degree in Power Electronics from the Silesian University of Technology, Gliwice, Poland in 2006, and her Ph.D. degree in Electrical Engineering from the same university in 2012. Since 2012, she has been an Assistant Professor at the Department of Measurement Science, Electronics and Control, Silesian University of Technology. Her research interests primarily include precise measurement setups and calibration. She is the author of over 50 scientific publications about precise measurements.

Prof. Marian Kampik, DSc PhD Eng.

marian.kampik@polsl.pl

ORCID: 0000-0002-4928-3684

He received the M.Sc., Ph.D., and Habilitate Doctorate (D.Sc.) degrees, from the Silesian University of Technology, Gliwice, Poland, in 1988, 1996, and 2010, respectively, all in electrical engineering. He was a Professor with President of the Republic of Poland in 2017. He has been with the Department of Measurement Science, Electronics and Control, Faculty of Electrical Engineering, Silesian University of Technology since 1988, where he became a University Professor in 2010, the Director of the Institute in 2012 and the Dean of the Faculty of Electrical Engineering in 2020. His current research interests include ac voltage and current standards, thermal converters, digital signal synthesis and impedance measurements. He was the recipient of the Siemens Prize (team) in 2003, the Research Excellence Grant granted by the European Research Metrology Programme in 2013 and two scholarships granted by the German Academic Exchange Service in 1993–1995 and 1999. In 2020, he was the recipient of IEEE Gold Medal as most published author in the past 7 years from Poland and the top 70 most-published authors in the past 7 years.

Michał Grzenik, PhD Eng.

michał.grzenik@polsl.pl

ORCID: 0000-0002-7313-3985

Graduate of the Faculty of Automatic Control, Electronics and Computer Science at the Silesian University of Technology (2010). He received the M.S. and Ph.D. degrees from the Silesian University of Technology (SUT), Gliwice, Poland, in 2010 and 2015, respectively. Since 2015, he has been with the Department of Measurement Science, Electronics and Control, Silesian University of Technology. His current research interests include ac voltage standards and thermal voltage converters.

Metoda pomiaru temperatury ciała człowieka

za pomocą kamery termowizyjnej

Tomasz Sosnowski, Mariusz Kastek, Krzysztof Sawicki, Grzegorz Bieszczad, Sławomir Gogler, Tadeusz Piątkowski

Wojskowa Akademia Techniczna, Instytut Optoelektroniki, ul. gen. Sylwestra Kaliskiego 2, 00-908 Warszawa

Streszczenie: Pomiar i monitorowanie parametrów fizjologicznych człowieka odgrywają ważną rolę w wielu zastosowaniach takich jak opieka zdrowotna, trening sportowy oraz zapobieganie rozprzestrzenianiu chorób. Dynamiczne zmiany parametrów fizjologicznych mogą ujawnić nie tylko zmiany stanu fizjologicznego i funkcji pacjenta, a także posłużyć do oceny stanu aktywności człowieka, jego wydolności oraz zmęczenia. Do najważniejszych parametrów fizjologicznych człowieka służących do oceny jego podstawowych funkcji życiowych, obok częstości skurczów serca, ciśnienia tętniczego, częstotliwości oddychania, należy temperatura ciała. W praktyce medycznej stosuje się różne rodzaje przyrządów pomiarowych służących do pomiaru temperatury takich jak: termometr cieczowy, termometr elektroniczny, bezdotykowe termometry douszne, bezdotykowe termometry czołowe. Termometry cieczowe i elektroniczne wymagają podłączenia do człowieka odpowiednich czujników, co może być niepożądane lub niemożliwe jak np. u noworodków lub podczas treningu sportowego. Bezdotykowe termometry działają na niewielkie odległości i często wymuszają określoną pozycję człowieka w trakcie pomiaru. Ponadto powyższe techniki pomiaru temperatury ciała wymagają bezpośredniego nadzoru personelu medycznego, co często powoduje obniżenie skuteczności i wydajność przesiewowego pomiaru temperatury. W przesiewowych pomiarach temperatury dużej liczby ludzi, w szczególności przemieszczających się dobrze sprawdza się pomiarowa kamera termowizyjna. W artykule została przedstawiona metoda pomiaru temperatury człowieka za pomocą kamery termowizyjnej. Zaprezentowana metoda charakteryzuje się z dużą dokładnością pomiaru temperatury, która umożliwia medyczne wykorzystanie uzyskanych pomiarów. Metoda pomiaru została przetestowana na stanowisku pomiarowym oraz dla wybranej próby testowej ludzi. Przeprowadzone pomiary i testy potwierdziły możliwość uzyskania dokładności pomiaru temperatury o niepewności rozszerzonej poniżej 0,05 K przy rozdzielczości poniżej 0,1 K.

1. Wprowadzenie

Słowa kluczowe: kamera termowizyjna, zdalny pomiar temperatury, pomiar temperatury ciała człowieka temach alarmowych, systemach nadzoru produkcji. Jednym z częstych zastosowań medycznych kamery termowizyjnej jest pomiar temperatury ciała człowieka.

Rozwój technologiczny w dziedzinie podczerwieni i termowizji spowodował, że kamery termowizyjne znajdują zastosowanie w bardzo wielu dziedzinach w takich jak sprzęt wojskowy [1], policyjny, w medycynie, w badaniach naukowych, a także w bezzałogowych statkach powietrznych [2], motoryzacji, sys-

Autor korespondujący:

Tomasz Sosnowski, tomasz.sosnowski@wat.edu.pl

Artykuł recenzowany nadesłany 28.12.2023 r., przyjęty do druku 22.04.2024 r.

Zezwala się na korzystanie z artykułu na warunkach licencji Creative Commons Uznanie autorstwa 3.0

Pomiar i monitorowanie parametrów fizjologicznych człowieka odgrywa ważną rolę w wielu zastosowaniach takich jak opieka zdrowotna, badania psycho-fizjologiczne (np. poligraf), trening sportowy oraz badania nad skutecznością terapii i nad rozprzestrzenianiem chorób. Dynamiczne zmiany parametrów fizjologicznych mogą ujawnić zmiany stanu fizjologicznego i funkcji pacjenta. Oprócz stanu zdrowotnego mogą posłużyć do oceny stanu aktywności człowieka, jego wydolności oraz zmęczenia. Do najważniejszych parametrów fizjologicznych człowieka służących do oceny jego podstawowych funkcji życiowych, obok częstości skurczów serca, ciśnienia tętniczego i częstotliwości oddychania, należy temperatura ciała. W związku z tym, że ciepło jest wydzielane i pochłaniane przez wszystkie tkanki i organy ciała człowieka to war-

tość temperatury wewnętrznej ciała ludzkiego cechuje się niejednorodnym rozkładem przestrzennym. Generalnie za wewnętrzną temperaturę ciała uznaje się temperaturę organów odpowiedzialnych za dystrybucję krwi w mózgu, klatce piersiowej i jamie brzusznej. Dokładny pomiar temperatury wewnętrznej jest możliwy tylko z wykorzystaniem inwazyjnych metod, poprzez umieszczenie elementu pomiarowego w organach wewnętrznych takich jak: przełyk, tętnica płucna, pęcherz moczowy. Jednak przeprowadzenie pomiaru temperatury w organach wewnętrznych jest trudne i niepraktyczne. Ponadto wysoka dokładność pomiaru temperatury wewnętrznej jest niezbędna jedynie w przypadku krytycznie chorych pacjentów. W wielu przypadkach pomiar temperatury można przeprowadzić nieinwazyjnie, w łatwiej dostępnych miejscach, których temperatura najlepiej zbliżona do temperatury wewnętrzną. Do takich miejsc należą: odbyt, jama ustna, dół pachowy, tętnica skroniowa (na czole lub skroni), zewnętrzny kanał słuchowy. W praktyce medycznej stosuje się różne rodzaje przyrządów pomiarowych służących do pomiaru temperatury takich jak: termometr cieczowy, termometr elektroniczny, bezdotykowe termometry douszne, bezdotykowe termometry czołowe. Termometry cieczowe i elektroniczne wymagają podłączenia do człowieka odpowiednich czujników. Jednak przymocowanie czujników do człowieka może być niepożądane lub niemożliwe, jak np. u noworodków, podczas treningu sportowego lub badań dużej liczby poruszających się osób. Bezdotykowe termometry działają na niewielkie odległości i często wymuszają określoną pozycję człowieka w trakcie pomiaru. Zwiększenie odległości powoduje trudności z utrzymaniem punktu pomiarowego w wymaganym miejscu jak czoło, skroń czy ucho. Ponadto powyższe techniki pomiaru temperatury ciała wymagają bezpośredniego nadzoru personelu medycznego, co często skutkuje obniżeniem skuteczności i wydajności pomiaru temperatury. Powoduje to, że za pomocą powyższych metod praktycznie niemożliwy jest przesiewowy pomiar temperatury wielu ludzi, szczególnie w trakcie ruchu. W pomiarach temperatury obiektów poruszających się dobrze sprawdza się pomiarowa kamera termowizyjna.

2. Metoda pomiaru temperatury

2.1. Pomiar za pomocą kamery termowizyjnej

W pomiarach temperatury obiektów poruszających się, dobrze sprawdza się pomiarowa kamera termowizyjna. Pomiarowa kamera termowizyjna rejestruje rozkład promieniowania podczerwonego pochodzącego od obserwowanych obiektów i na tej podstawie oblicza rozkład temperatury. Kamery termowizyjne z natury mierzą natężenie napromienienia, a nie temperaturę. Oprogramowanie kamery oblicza temperaturę na podstawie znanej emisyjności obiektu docelowego. W rzeczywistości pomiar temperatury za pomocą kamery termowizyjnej wymaga uwzględnia wielu, często nieoczywistych parametrów mierzonej sytuacji i jest przez to procesem złożonym i trudnym. Mimo że konstrukcja i oprogramowanie współczesnych pomiarowych kamer termowizyjnych spowodowały znaczne ułatwienie posługiwania się nimi to, aby uzyskać dokładne, rzetelne wyniki użytkownik musi znać i rozumieć podstawy termografii, propagacji promieniowania podczerwonego, układów optycznych i metody kalibracji. Często także musi mieć znaczne doświadczenie w pomiarach termowizyjnych. Ponadto kamery termowizyjne mierzą bezwzględną temperaturę z dokładnością rzędu ±2 °C. Powyższe uwarunkowania pomiarów termowizyjnych powodują, że pomiar temperatury ciała ludzkiego jest trudny oraz obarczony jest dużym błędem pomiarowym.

Na pomiar temperatury skóry człowieka TS wpływ ma bardzo wiele czynników. Do najważniejszych czynników należy zaliczyć: − emisyjność skóry ε s,

−temp eraturę otoczenia T o, −transmisję atmosfery τ a, −temp eraturę atmosfery T a .

Już przy tak niewielkiej liczbie parametrów i założeniu, że obiekty sceny termalnej mają egzytancję M(T) ciała doskonale czarnego o temperaturze T, to uproszczony wzór określający wartość natężenie promieniowania docierającego do kamery ma postać:

Praktyczne zastosowanie uproszczonego modelu sytuacji pomiarowej nie umożliwia uzyskania wymaganej dokładności pomiaru temperatury i jednocześnie ujawnia złożoność problemu pomiarowego. W celu zapewnienia dokładności pomiaru temperatury poruszających się osób za pomocą kamery termowizyjnej na poziomie pozwalającym na zastosowania medyczne, wymagane jest opracowanie nowego modelu pomiarowego i nowej metody pomiarowej uwzględniającej złożoność zjawisk zachodzących w sytuacji pomiarowej.

2.2. Radiacyjny model kamery pomiarowej

Do kamery termowizyjnej dociera promieniowanie z wielu źródeł i uwzględnienie ich wszystkich (źródeł zakłócających) w algorytmie wyznaczania temperatury jest niemożliwe i często niecelowe. W urządzeniach termograficznych najczęściej przyjmuje się, że do kamery dociera promieniowanie podczerwone ze źródeł przedstawionych na rys. 1.

Obiekt

Atmosfera T, a a� ��oao M �oo M T, o o�

Mr (1-) �or M (1-) �aa M

Otoczenie

T, r r� � 1

(1-)��oar M

Kamera termowizyjna

Rys. 1. Źródła promieniowania podczerwonego w pomiarach termograficznych przyjmowane w algorytmie wyznaczenia temperatury

Fig. 1. Infrared radiation sources in thermographic measurements adopted in the temperature determination algorithm

Zgodnie z oznaczeniami na rys. 1 są trzy składniki mocy promieniowania docierające do obiektywu kamery: −promieniowanie obiektu, −promieniowanie otoczenia odbite od obiektu, −promieniowanie atmosfery.

Podstawowym parametrem mającym bardzo duży wpływ na pracę kamery, w szczególności z niechłodzoną matrycą detektorów, jest temperatura wewnętrzna kamery, jej elementów „widzianych” przez detektor. We wnętrzu kamery termowizyjnej pomiędzy detektorem i wszystkimi powierzchniami otaczającymi detektor następuje wymiana energii – przenoszenie strumienia energii zgodnie z podstawowym prawem radiometrii (ang. fundamental law of radiometry) [3–10].

W celu zdalnego pomiaru temperatury obiektu za pomocą kamery termowizyjnej został opracowany model kamery termowizyjnej uwzględniający zasadnicze parametry mające wpływ na dokładność pomiaru. W opracowanym modelu kamery termowizyjnej przyjęto, że zawiera ona obiektyw L, powierzchnię obu-

Tomasz Sosnowski, Mariusz Kastek, Krzysztof Sawicki, Grzegorz Bieszczad, Sławomir Gogler, Tadeusz Piątkowski

dowy kamery H i matrycę detektorów podczerwieni D. Model pozwala na oszacowanie wielkości mocy promieniowania emitowanego przez ww. powierzchnie i padającego na każdy z detektorów matrycy. Wyznaczenie mocy promieniowania padającego na detektor jest możliwe poprzez określenie radiacyjnej wymiany ciepła między powierzchnią detektora a powierzchniami okna wejściowego i przesłony.

W modelu wpływ elementów „widzianych” przez detektor uwzględniono za pomocą współczynnika konfiguracji (ang. view factor, configuration factor) dla każdego przypadku. W związku z tym, całkowita moc promieniowania (strumień energetyczny) tot λ Φ docierająca do detektora w analizowanym modelu jest opisana wzorem (2) uwzględniającym promieniowanie padające na detektor, które pochodzi z obserwowanej sceny i innych elementów kamery:

DdDLLW oar

DdDLLWa a DdDHH

gdzie: FdD−L – współczynnik konfiguracji określający wymianę energii między powierzchnią detektora dD a obiektywem L, FdD−H – współczynnik konfiguracji określający wymianę energii między powierzchnią detektora dD a obudową kamery H, AD – pole powierzchni detektora matrycy, ε o – emisyjność obiektu, τ a – współczynnik przepuszczalności atmosfery, T o – temperatura obiektu, T a – temperatura atmosfery, TH – temperatura obudowy. Temperatura źródeł w otoczeniu obiektu wynosi T r, przy czym całe otoczenie traktujemy jako ciało doskonale czarne o temperaturze T r

Matrycowy detektor podczerwieni odbiera promieniowanie w paśmie 12 , λλλ ∈ i charakteryzuje się czułością napięciową () v R λ określoną wzorem: , s v e V R λ λ = Φ (3)

gdzie V s jest sygnałem napięciowym wywołanym strumieniem promieniowania () . e λ Φ Sygnał napięcia detektora w zależności od wymuszenia można zapisać za pomocą wzoru:

W związku z tym, w celu określenia wartości napięcia detektora D U ∗ w funkcji temperatury T obserwowanych obiektów dla zakresu widmowego zastosowano funkcję aproksymującą opartą na prawie Plancka [17]:

, D B T R UTO eF ∗ =+ (6)

gdzie R, B, F, O są stałymi wyznaczanymi na etapie kalibracji kamery. Dla powyższych założeń wzór (5) można napisać w postaci:

DdDHH B T R UAF O eF R AF O eF R AF O eF R AF O eF τε τε

DdDLLo B T

DdDLLa B T

1 1 o r a H totDdDLLo B T

W celu wyznaczenia temperatury obserwowanego obiektu należy przekształcić wzór (7) do postaci: 1 ln o totZ

DdDLLo

gdzie:

UTAFRMTd AFUT λ λλ λ λ ∗ = = ∫

2 1 D DdDXv DdDXD

Wówczas wzór (2) przyjmuje postać:

totDdDLLoDo

DdDLLoDr

DdDLaDa

DdDHHDH

Ze wzoru (4) wynika, że wartość napięcia detektora D U ∗ jest wyznaczana przez całkowanie iloczynu czułości widmowej detektora oraz egzytancji widmowej. Na podstawie tego wzoru jest bardzo trudne jest wyznaczenie temperatury T, na podstawie znanego napięcia D U ∗ W związku z tym w modelach stosuje się aproksymację napięcia detektora. W literaturze stosuje się wiele funkcji do aproksymacji [11], z których najczęściej stosowane są aproksymacja metodą Sakuma-Hattori [12], metodą RBF [13–16] oraz metodą RBFO [17].

W prezentowanych badaniach zastosowano metodę RBFO [17], którą uznano za najlepszą w tym zastosowaniu.

B T

1 r a H ZDdDLLo B T

W czasie pomiaru temperatury obiektu zgodnie ze wzorem (8) wyznacza się wartość napięcia dla bolometru za pomocą funkcji aproksymującej (7). Skorzystanie z funkcji aproksymującej wymaga wartości jej parametrów R, B, F i O. W celu wyznaczenia wartości tych parametrów należy przeprowadzić tzw. kalibrację radiometryczną [18]. Kalibracja radiometryczna polega na zmierzeniu wartości napięcia Utot detektora dla różnych wartości temperatury obiektu T o, temperatury obudowy TH. Mierzony obiekt powinien być ciałem doskonale czarnym o wysokiej emisyjności, zaś kamera powinna być umieszczona w komorze klimatycznej umożliwiającej kontrolowane ustawianie temperatury TH. W czasie pomiarów uzyskujemy K punktów pomiarowych złożonych z wartości napięcia Uk i odpowiadającym im temperaturom Tok, THk W tym przypadku najbardziej interesujące jest zachowanie ogólnego charakteru krzywej (funkcji aproksymującej), która najlepiej przybliża zmierzone punktu pomiarowe. Do tego zada-

nia wykorzystywana jest optymalizacja metodą najmniejszych kwadratów. Obliczenia niezbędne do wyznaczenia parametrów R, B, F i O metodą najmniejszych kwadratów zostały wykonane za pomocą cyfrowych metod przetwarzania danych. Pomiar temperatury obiektu za pomocą kamery termowizyjnej zależy od bardzo wielu czynników i parametrów. Większość tych czynników zmienia się w czasie i jest trudna lub niemożliwa do kontrolowania. Do takich czynników i parametrów należą emisyjność obiektu, temperatura otoczenia, temperatura wnętrza kamery, temperatura układu optycznego, transmisja atmosfery, intensywność oświetlenia (promieniowania) padającego na badany obiekt (np. promieniowanie słoneczne).

Jednym ze sposobów poprawienia dokładności pomiaru temperatury jest korekcja nieznanej, mierzonej wartości temperatury obiektu za pomocą rejestracji promieniowania z ciał czarnych o znanej temperaturze. W związku z tym, w opracowanym systemie zastosowano zestaw wzorców temperatury złożony z dwóch ciał doskonale czarnych (numerowanych jako 1 i 2), dla których ustawiono wartość temperatury odpowiednio 1TBB i 2TBB Ciała czarne i obiekt są widoczne na tym samym obrazie termowizyjnym.

Pierwszą czynnością korekcji wartości temperatury To jest wyznaczenie (zmierzenie) przez kamerę wartości temperatury dla ciała czarnego nr 1 i 2, odpowiednio 1 Tbb i 2 Tbb Temperatura ciała czarnego jest wyznaczana jako średnia arytmetyczna z wartości temperatury wszystkich pikseli obrazu na których jest widoczne to ciało ( 1ij Tbb i 2ij Tbb ) zgodnie ze wzorem:

1 , XXXX ij XX nNmM bbX bbX injm XX TT NM ++ = ∑∑ (10)

gdzie: bbXij T – wartość temperatury ciała czarnego nr X w piksela o współrzędnych (i, j) obliczone za pomocą wzoru (8), TbbX – wyznaczona wartość temperatury dla ciała czarnego nr X, (mX, nX) – współrzędne narożnika obrazu termowizyjnego ciała czarnego, MX, NX – wymiary obrazu w pikselach.

Zasadniczo moc promieniowania emitowanego przez ciało jest zależna od jego temperatury podniesionej do czwartej potęgi. Jednak w przypadku niewielkiej różnicy rozpatrywanych wartości temperatury można teoretyczne zależności przybliżyć funkcją liniową. Wówczas wyznaczenie skorygowanej temperatury można wyznaczyć za pomocą wzoru:

3. Budowa systemu pomiarowego

Zdalny pomiar temperatury za pomocą kamery termowizyjnej jest realizowany na podstawie rejestracji rozkładu promieniowania podczerwonego pochodzącego od skóry obserwowanych ludzi. Na pomiar temperatury skóry człowieka wpływ ma bardzo wiele czynników. Oprogramowanie w głowicy pomiarowej oblicza rozkład temperatur skóry obserwowanych ludzi na podstawie znanej emisyjności skóry człowieka, temperatury otoczenia, po uwzględnieniu danych kalibracyjnych oraz takich parametrów jak transmisja i temperatura układu optycznego, temperatura zewnętrzna, temperatura kamery i detektora z uwzględnieniem samonagrzewania. W celu podwyższenia dokładności pomiaru temperatury na podstawie analizy danych termograficznych w zespole został zastosowany zestaw wzorców temperatury, który jest umieszczony w polu widzenia kamery termowizyjnej. Wynika z tego, że w celu skutecznego, zdalnego pomiaru temperatury skóry człowieka z zastosowaniem kamery

termowizyjnej system pomiarowy musi składać się z takich podstawowych elementów jak: −kamera termowizyjna, −mo duł shutter’a, −kamera VIS (działa jąca w zakresie światła widzialnego), −mo dułu sterowania i przetwarzania danych, −zestaw wzorców temperatury.

Na rys. 2 został przedstawiony ogólny schemat blokowy zespołu do zdalnego pomiaru temperatury skóry człowieka z zastosowaniem kamery termowizyjnej.

Głowica pomiarowa

Moduł shutter’a

Zestaw wzorców

Kamera VIS Kamera termowizyjna Wzorzec temperatury

Moduł sterowania i przetwarzania danych

Wzorzec temperatury

System sterowania i rejestracji danych

Rys. 2. Schemat blokowy zespołu zdalnego pomiaru temperatury z zastosowaniem kamery termowizyjnej

Fig. 2. Block diagram of the remote temperature measurement unit using a thermal imaging camera

Kamera termowizyjna przesyłała obraz termowizyjny w postaci ciągu danych zawierających temperaturę obserwowanych obiektów. W celu wyznaczenia wartości temperatury moduł sterowania i przetwarzania danych wykonuje obliczenia na podstawie danych dotyczących odpowiedniego piksela oraz współczynników temperaturowych. Współczynniki niezbędne do obliczenia temperatury piksela są przesyłane do modułu sterowania i przetwarzania danych w metadanych związanych z ramką obrazu.

Jedną z najważniejszych czynności realizowaną w zespole zdalnego pomiaru temperatury z jest autokalibracja, która umożliwia ustalenie parametrów przetwarzania danych dla bieżącego stanu kamery. W tym celu zamykana jest przesłona i moduł kamery rejestruje obraz, odczytuje dane z czujników (np. temperatury wewnętrznej) i wartości parametrów.

Na podstawie zebranych danych kamera termowizyjna wyznacza dla każdego detektora matrycy wartości radiometryczne w zależności do padającego promieniowania i gromadzi je w tablicy danych. Ponadto kamera wyznacza zbiór współczynników i parametrów niezbędnych do obliczenia temperatury na podstawie danych radiometrycznych odczytanych z detektora.

Po wykonaniu wymienionych czynności kamera termowizyjna wysyła do modułu sterowania i przetwarzania danych obraz termowizyjny zawierający zebrane dane radiometryczne i zbiór współczynników.

3.1. Kamera VIS

W systemie została zastosowana kamera VIS działająca w zakresie światła widzialnego. Pełni ona w systemie dwie funkcje. Pierwszą funkcją jest rejestracja obrazu człowieka, któremu mierzona jest temperatura w celu umożliwienia identyfikacji pomiaru. Drugą funkcją kamery VIS jest podwyższenie wiarygodności pomiaru temperatury człowieka. W pierwszej kolejności za pomocą kamery VIS są precyzyjnie wyznaczane rejony wiarygodnego pomiaru temperatury: na czole oraz w kącikach oczu [19, 20]. W drugiej kolejności system określa, czy wyznaczone obszary pomiarowe nie są zasło-

nięte np. przez włosy lub przez okulary. W ten sposób system w sposób automatyczny ocenia jakość realizowanego pomiaru. Dzięki temu może znacząco zostać zwiększona wydajność i skuteczność przesiewowego pomiaru temperatury ludzi.

3.2. Kamera termowizyjna

Najważniejszym elementem systemu pomiarowego jest moduł kamery termowizyjnej. Jego podstawowym zadaniem jest rejestracja promieniowania podczerwonego oraz innych parametrów otoczenia kamery w celu wyznaczenia temperatury skóry człowieka z jak największą dokładnością. W związku z tym moduł kamery termowizyjnej współpracuje ze wszystkimi elementami systemu. W celu zapewnienia precyzyjnego pomiaru temperatury moduł kamery termowizyjnej spełnia następujące podstawowe wymagania i parametry: −rozdzielczość: 640 × 480, −wielkość pojedynczego detektora: 17 µm, −liczba obrazów (ang. frame rate): 25 Hz, −zakres p omiaru temperatury: 28–42 °C, −rozdzielczość p omiaru temperatury: ⩽ 0,08 °C.

Na jakość działania kamery oraz dokładność pomiaru temperatury ma wpływ bardzo wiele parametrów kamery i zastosowanego detektora, a od jej budowy w znacznej mierze zależy funkcjonalność i dokładność systemu pomiarowego [8–10, 18, 20–25]. W związku z tym podczas wyznaczania temperatury na podstawie pomiaru promieniowania za pomocą kamery termowizyjnej należy uwzględnić dużą liczbę zjawisk fizycznych takich jak szum źródeł zasilania, szum układów detekcyjnych, temperatura detektorów, temperatura otoczenia, szybkość i sposób przetwarzania danych cyfrowych, parametry przetwarzania analogowo-cyfrowego (np. szum kwantyzacji).

Kamera termowizyjna wysyła ramki obrazowe zawierające informację o zmierzonej temperaturze obiektu (dane radiacyjne). Z tablicą danych obrazowych (radiacyjnych) są przesyłane metadane w szczególności dotyczące parametrów (współczynników) umożliwiających obliczenie temperatury dla każdego piksela (detektora).

3.3. Obiektyw

Bardzo ważnym elementem pomiarowej kamery termowizyjnej jest obiektyw dla zakresu dalekiej podczerwieni (LWIR). Od parametrów zastosowanego obiektywu zależy kąt pola widzenia kamery FOV oraz elementarny kąt pola widzenia IFOV. Od tych parametrów zależy liczba pikseli obrazu termowizyjnego składającego się na obraz twarzy z danej odległości. Parametr ten jest bardzo istotny w kontekście pomiaru temperatury ciała człowieka. Odpowiednia liczba pikseli obrazowych pozwala na skuteczniejsze wykrycie twarzy człowieka [19, 20]. Ponadto pomiar temperatury ciała na podstawie temperatury skóry w niektórych obszarach twarzy jest bardziej wiarygodny. Zwiększenie kąta pola widzenia lub zwiększenie odległości do mierzonego człowieka powoduje zmniejszenie liczby pikseli zobrazowania twarzy co w konsekwencji powoduje zmniejszenie dokładności pomiaru temperatury. Z tego powodu należy stosować obiektyw dostosowany do danej sytuacji pomiarowej. W celu zapewnienia warunków optyczno-mechanicznych spełniających założenia pracy systemu do pomiaru temperatury skóry człowieka zastosowano obiektyw o ogniskowej 19 mm. Podstawowe parametry obiektywu zostały zamieszczone w tabeli 1.

3.4. Zestaw wzorców temperatury

W celu podwyższenia dokładności pomiaru temperatury na podstawie analizy danych termograficznych w systemie został zastosowany zestaw wzorców promieniowania. Zestaw wzorców promieniowania jest złożony z dwóch ciał czarnych o kontrolowanej temperaturze i ustalonej emisyjności. Zestaw wzorców został skonstruowany na bazie opracowanych i wykonanych

Tab. 1. Parametry obiektywu zastosowanego w module kamery termowizyjnej

Tab. 1. Parameters of the lens used in the thermal camera module Nazwa parametru Wartość

Zakres widmowy 8–14 µm

Ogniskowa 19 mm

Pole widzenia dla 640×480@17 µm 32° × 24°

F – number (liczba otworowa) F/1.0

Transmisja > 94 %

Zakres temperatury pracy -40 °C do 80 °C

w IOE WAT wysokostabilnych ciał doskonale czarnych wyposażonych w układy stabilizacji temperatury oraz interfejsy komunikacyjny i sterowania.

3.5. Moduł shutter’a

Moduł shutter’a służy do kalibracji modułu kamery termowizyjnej. W tym celu moduł przesłania pole widzenia kamery termowizyjnej za pomocą wzorcowej powierzchni o kontrolowanej temperaturze i wysokiej emisyjności. Na podstawie zarejestrowanych przez kamerę danych dla wzorcowej powierzchni dokonywana jest kalibracja i korekcja parametrów modułu kamery. W związku z pełnionymi zadaniami moduł shutter’a cechuje się równomiernym rozkładem temperatury powierzchni wzorcowej oraz umożliwia ustawianie i monitorowanie temperatury powierzchni wzorcowej.

4. Stanowisko badawcze

W celu sprawdzenia dokładności zdalnych pomiarów temperatury za pomocą kamery termowizyjnej z zaimplementowaną metodą wyznaczania temperatury przeprowadzono badania kamery w kontrolowanych warunkach. Do przeprowadzenia badań, testowania i obiektywnej oceny dokładności kamery termowizyjnych wykorzystano bazę laboratoryjną i badawczą istniejącą w Instytucie Optoelektroniki WAT. Pozwoliło to na pomiar i kontrolę parametrów oraz wyznaczanie i analizę ich charakterystyk i zależności. W związku z tym zastosowano stanowisko pomiarowe do wyznaczenia parametrów oraz kalibracji badanej kamery termowizyjnej składające się z takich podstawowych elementów jak: zestaw ciał doskonale czarnych o ustawianych temperaturach, −komora klimatyczna, −oprogramowanie przechwytujące dane, −oprogramowanie do analizy i przetwarzania danych, −komputer z oprogramowaniem sterującym.

Sytuację, w której testowano system do pomiaru do zdalnego pomiaru temperatury ciała przedstawiono schematycznie na rys. 3.

Rys. 3. Schemat przykładowej sytuacji pomiarowej

Fig. 3. Schematic of an example measurement situation

Tomasz Sosnowski, Mariusz Kastek, Krzysztof Sawicki, Grzegorz Bieszczad, Sławomir Gogler, Tadeusz Piątkowski

Zasadniczym składnikiem stanowiska do pomiaru parametrów kamer termowizyjnych jest oprogramowanie sterujące. Dane termograficzne z kamery termowizyjnej są rejestrowane z zastosowaniem interfejsu Ethernet oraz stosu sieciowego IP. Zastosowanie tego interfejsu umożliwia przesyłanie danych do komputera bez konieczności użycia dodatkowego sprzętu. Dodatkowo za pomocą komputera jest realizowane ustawianie parametrów ciał czarnych oraz sterowanie komorą klimatyczną.

Jednym z najważniejszych czynników wpływających na działanie kamery termowizyjnej jest temperatura otoczenia. W celu przeprowadzenia analizy mierzonych i wyznaczanych parametrów kamery termowizyjnej w funkcji temperatury otoczenia stanowisko pomiarowe wyposażono w komorę klimatyczną SH-661 firmy ESPEC. Podstawowe parametry komory zostały zamieszczone w tabeli 2.

Niezbędnym elementem składowym stanowiska do testowania dokładności pomiaru temperatury za pomocą kamery termowizyjnej są powierzchniowe techniczne ciała doskonale czarne. Zadaniem ciał czarnych jest generowanie stabilnego i równomiernego promieniowania podczerwonego przy zadanej temperaturze promiennika. Zastosowane ciała doskonale czarne cechują się wysokim współczynnikiem emisyjności

Tab. 2. Podstawowe parametry komory klimatycznej SH-661 firmy ESPEC

Tab. 2. Basic parameters of the SH-661 climate chamber made by ESPEC

Zakres temperatury -60 °C do +150 °C

Kontrola wilgotności 30–95 % rh

Wymiary wewnętrzne 400 × 400 × 400 mm

Interfejs komunikacyjny RS-485

Tab. 3. Podstawowe parametry technicznych ciała doskonale czarnego opracowanych i wykonanych w IOE WAT

Tab. 3. Basic parameters of a technical blackbody developed and made at the IOE MUT

Parametr Wartość

Wymiary powierzchni ciała doskonale czarnego 62 × 62 mm

Średnia emisyjność kierunkowa0,985 pod kątem 20°

Średnia emisyjność kierunkowa0,973 pod kątem 60°

Dokładność ustawienia temperatury 0,01 °C

(ε ⩾ 0,96) i bardzo dobrą stabilnością zadanej temperatury. Na stanowisku zastosowano zestaw czterech ciał doskonale czarnych, opracowanych i wykonanych w Instytucie Optoelektroniki WAT, każde o ustawionej innej temperaturze. W tabeli 3 zostały umieszczone wybrane parametry ciał doskonale czarnych zastosowanych w systemie.

5. Wyniki pomiaru

Opracowana pomiarowa kamera termowizyjna z zaimplementowanym algorytmem wyznaczania temperatury z uwzględnieniem zmian temperatury otoczenia oraz korygowania pomiaru na bazie ciał czarnych został przetestowany na podstawie testowej sesji pomiarowej. W czasie testów przeprowadzono rejestrację sceny z ludźmi, których temperaturę zmierzono w obecności ciał czarnych stanowiących referencyjne źródła odniesienia. Sytuacja pomiarowa została przedstawiona na rysunkach 4 i 5. W czasie sesji testów przetestowano osiem osób.

Temperaturę człowieka mierzono w trzech punktach pomiarowych. Miejsca pomiarowe, w których mierzono temperaturę człowieka, zostały zaznaczone prostokątami w kolorach zielonym, fioletowym i pomarańczowym. Pierwszy pomiar został przeprowadzony dla obszaru na czole, oznaczonego na rys. 5 oznaczony kolorem zielonym. Dwa kolejne punkty pomiaru to kącik oka lewego i prawego oznaczone na rys. 5 odpowiednio kolorem pomarańczowym i fioletowym. Na rysunku 5 kolorami czerwonym i niebieskim zaznaczono miejsca stanowiące referencyjne źródła odniesienia o temperaturze ustawianej przez kamerę. W wyniku realizacji testowej sesji pomiarów została wyznaczona niepewność pomiaru temperatury za pomocą opracowanej kamery termowizyjnej [26]. Jako „rzeczywistą” wartość temperatury człowieka przyjęto wartość temperatury zmierzoną za pomocą pomiaru termometrem medycznego. Wówczas błąd bezwzględny pomiaru został określony za pomocą wzoru [26, 27]: , TTTDSS∆=− (12)

gdzie: TD – wartość temperatury zmierzona za pomocą kamery termowizyjnej, TSS – wartość „rzeczywista” temperatury człowieka zmierzona za pomocą termometru medycznego.

W takim przypadku niepewność pomiaru temperatury człowieka za pomocą kamery termowizyjnej jest efektem:

− statystycznego rozrzutu wyników pomiarów (uT) – niepewność typu A,

− niepewności granicznej pomiaru temperatury ciała człowieka (uSS) – niepewność typu B.

człowieka z zaznaczonymi obszarami pomiarowymi

Thermal image of a person with marked areas of temperature measurements

Rys. 4. Widok sytuacji pomiarowej podczas pomiaru temperatury człowieka

Fig. 4. View of the measurement situation during human body temperature measurement

Rys. 5. Obraz termowizyjny

Fig. 5.

Tomasz Sosnowski, Mariusz Kastek, Krzysztof Sawicki, Grzegorz Bieszczad, Sławomir Gogler, Tadeusz Piątkowski

Rys. 6. Wykres temperatury ludzi zmierzonej na czole

Fig. 6. Forehead temperature graph

Rys. 7. Wykresy temperatury człowieka zmierzonej w kąciku lewego oka

Fig. 7. Graph of temperature measured in the corner of the left eye

Budżet niepewności pomiaru (niepewność standardowa) [26] został obliczony za pomocą wzoru:

22 uuuTSS =+ (13)

Metoda typu A wyznaczania niepewności pomiaru [26] polega na wyznaczaniu niepewności na podstawie analizy statystycznej serii N pomiarów bezpośrednich ∆T1, ∆T2, ..., ∆TN Warunki eksperymentu zapewniają taką samą dokładność niezależnych pomiarów, więc za wynik pomiaru przyjęto średnią arytmetyczną N wyników pomiarów:

1 1 N i i TT N = = ∑ (14)

W takim przypadku wartość niepewności standardowej wyniku pomiaru wielkości można wyznaczyć ze wzoru:

2 1 1 , 1 N Ti i u TT NN = = ∑ (15)

Niep ewność pomiaru typu B [26] jest związana z niepewnością graniczną pomiaru temperatury ciała za pomocą wzor-

Rys. 8. Wykresy temperatury człowieka zmierzonej w kąciku prawego oka

Fig. 8. Graph of temperature measured in the corner of the right eye

Rys. 9. Niepewność rozszerzona o poziomie ufności 95 % dla pomiaru temperatury człowieka na czole

Fig. 9. Expanded uncertainty with a confidence level of 95 % for the forehead temperature measurement

cowego termometru medycznego. Jeżeli wartość niepewności wzorcowania zastosowanego termometru medycznego wynosi ∆TSS to przy założeniu, że rozkład gęstości prawdopodobieństwa tej wielkości jest rozkładem jednostajnym (prostokątnym), niepewność standardowa jest obliczana za pomocą wzoru [26]:

3 SS SS T u ∆ = (16)

Na podstawie powyższych założeń oraz niepewności standardowej u obliczonej za pomocą wzoru (13) wyznaczono niepewność rozszerzoną. W przypadku pomiaru temperatury za pomocą kamery termowizyjnej przyjęto, że niepewność rozszerzoną będzie wyznaczana zgodnie ze wzorem [26]:

, Uku =⋅ (17)

gdzie k to współczynnik rozszerzenia. W przyjętej procedurze oceny niepewności założono, że wartość współczynnika rozszerzenia wynosi k = 2, co oznacza uzyskanie poziomu ufności równego 95 %. Uzyskane wyniki temperatury człowieka zmierzone na czole i kącikach oczu zostały przedstawione na rys. 6, 7 i 8. Dla każdego pomiaru temperatury wykonanego w obszarze oraz dla każdej badanej osoby wyznaczono niepewność rozszerzoną na poziomie ufności 95 % (rys. 9, 10 i 11).

Rys. 10. Niepewność rozszerzona o poziomie ufności 95 % dla pomiaru temperatury człowieka w kąciku lewego oka

Fig. 10. Expanded uncertainty with a confidence level of 95 % for the temperature measurement in the corner of the left eye

dziej dokładny niż pomiar na czole. Tak niewielka różnica jest spowodowana faktem, że głównym czynnikiem wpływającym na wartość niepewności była dokładność użytego termometru wzorcowego. Możliwe, że zastosowanie dokładniejszego termometru wzorcowego może uwidocznić większe różnice w pomiarach. Jednak zastosowanie większej dokładności termometru wzorcowego wymaga w zasadzie pomiaru w warunkach klinicznych. Uzyskane wyniki pozwalają stwierdzić, że opracowany i wykonany system termowizyjny może zostać zastosowany w przesiewowym pomiarze temperatury. Było to możliwe przez uwzględnienie w radiacyjnym modelu kamery szeregu czynników mających znaczący wpływ na dokładność pomiaru temperatury. Jednym ze znaczących czynników jest rozkład wartości współczynników konfiguracji. Na rys. 12 został przedstawiony przykładowy rozkład wartości współczynnika FdD−H dla obudowy zastosowanej kamery.

Podziękowania

Badania współfinansowane przez Narodowe Centrum Badań i Rozwoju w ramach programu Unii Europejskiej Inteligentny Rozwój 2014-2020 5/1.1.1/2020 Szybka Ścieżka 5 2020 ”KORONAWIRUSY” w ramach projektu pt. „FACE-COV™ − systemowe rozwiązanie do automatycznego monitorowania miejsc publicznych metodą termowizyjną i detekcji markerów zakażenia SARS-COV2 z użyciem sztucznej inteligencji wraz z opcją identyfikacji biometrycznej (tagowanie cyfrowe) spełniające standardy wyrobu medycznego” umowa nr POIR.01.01.01-000662/20-00. Praca została dofinansowana przez Wojskową Akademię Techniczną w ramach projektu nr UGB 724/2022.

Bibliografia

1. Sosnowski T., Madura H., Bieszczad G., Kastek M., Chmielewski K., Construction, parameters, and research results of thermal weapon sight, [in:] Proceedings of SPIE – The International Society for Optical Engineering, 2011, DOI: 10.1117/12.900867.

Rys. 11. Niepewność rozszerzona o poziomie ufności 95 % dla pomiaru temperatury człowieka w kąciku prawego oka

Fig. 11. Expanded uncertainty with a confidence level of 95 % for the temperature measurement in the corner of the right eye

6. Podsumowanie

Uzyskane wynik potwierdziły wysoką dokładność pomiaru temperatury za pomocą opracowanej kamery termowizyjnej. W wyniku pomiarów uzyskano pomiar temperatury z błędem bezwzględnym poniżej 0,3 K, zaś maksymalna wartość niepewności rozszerzonej o poziomie ufności 95 % dla wszystkich badanych osób wyniosła poniżej 0,061 K. Zauważono, że pomiar temperatury człowieka w kącikach oczu jest nieznacznie bar-

2. Bieszczad G., Krupiński M., Madura H., Sosnowski T., Thermal camera for autonomous mobile platforms, [in:] Nawrat A., Kuś Z. (eds.), Vision Based Systems for UAV Applications, 2013, 95–114, Springer International Publishing, DOI: 10.1007/978-3-319-00369-6_6.

3. Willers C.J., Electro-Optical System Analysis and Design: A Radiometry Perspective, 2013, SPIE, DOI: 10.1117/3.1001964.

4. Wolfe W.L., Introduction to radiometry. SPIE Press, 1998, DOI: 10.1117/3.287476.

5. Vollmer M., Möllmann K.P., Infrared thermal imaging: Fundamentals, research and applications. Wiley Blackwell, 2017, DOI: 10.1002/9783527693306.

6. Więcek B., De Mey G., Termowizja w podczerwieni. Podstawy i zastosowania. Wydawnictwo PAK, 2011.

7. Howell J.R., Mengüc M.P., Siegel R., Thermal Radiation Heat Transfer. CRC Press, 6th edition, 2015.

8. Budzier H., Gerlach G., Thermal Infrared Sensors: Theory, Optimisation and Practice. John Wiley and Sons, 2011.

9. Rogalski A., Bielecki Z., Detection of Optical Signals. Optics and Optoelectronics, CRC Press, Boca Raton, 2022.

10. Rogalski A., Infrared and Terahertz Detectors, Third Edition. CRC Press, Boca Raton, 3rd edition, 2019.

11. Ragheb H., Hamid M., An approximation of Planck’s formula for the inverse black body radiation problem, ”IEEE Transactions on Antennas and Propagation”, Vol. 35, No. 6, 1987, 739–742, DOI: 10.1109/TAP.1987.1144165.

Rys. 12. Wartości współczynników konfiguracji dla obudowy kamery

Fig. 12. Configuration factor values for the camera housing

12. Sakuma F., Hattori S., Study for Establishing a Practical Temperature Standard by Using Silicon Narrow-Band Radiation Thermometer, ”Transactions of the Society of Instrument and Control Engineers”, Vol. 18, No. 5, 1982, 482–488, DOI: 10.9746/sicetr1965.18.482.

Tomasz Sosnowski, Mariusz Kastek, Krzysztof Sawicki, Grzegorz Bieszczad, Sławomir Gogler, Tadeusz Piątkowski

13. Martiny M., Schiele R., Gritsch M., Schulz A., Wittig S., In Situ Calibration for Quantitative Infrared Thermography, [in:] Proceedings of the 1996 International Conference on Quantitative InfraRed Thermography, QIRT Council, 1996, DOI: 10.21611/QIRT.1996.001.

14. Pron H., Menanteau W., Bissieux C., Beaudoin J., Characterization of a focal plane array (FPA) infrared camera, [in:] Proceedings of the 2000 International Conference on Quantitative InfraRed Thermography, QIRT Council, 2000.

15. Minkina W., Pomiary termowizyjne: przyrządy i metody Wydawnictwa Politechniki Częstochowskiej, 2004.

16. Minkina W., Dudzik S., Infrared Thermography: Errors and Uncertainties. Wiley, Chichester, West Sussex, U.K.; Hoboken, NJ, 2009.

17. Horny N., FPA camera standardisation, ”Infrared Physics and Technology”, Vol. 44, No. 2, 2003, 109–119, DOI: 10.1016/S1350-4495(02)00183-4.

18. Budzier H., Gerlach G., Calibration of uncooled thermal infrared cameras, ”Journal of Sensors and Sensor Systems”, Vol. 4, No. 1, 2015, 187–197, DOI: 10.5194/jsss-4-187-2015.

19. IEC 80601-2-59, Medical Electrical Equipment-Part 2–59: Particular Requirements for the Basic Safety and Essential Performance of Screening Thermographs for Human Febrile Temperature Screening, 2017.

20. Ghassemi P., Pfefer T.J., Casamento J.P., Simpson R., Wang Q., Best practices for standardized performance testing of infrared thermographs intended for fever screening, ”PLOS ONE”, 2018, DOI: 10.1371/journal.pone.0203302.

21. Perry D.L., Dereniak E.L., Linear theory of nonuniformity correction in infrared staring sensors, ”Optical Engineering”, Vol. 32, No. 8, 1993, 1854–1859, DOI: 10.1117/12.145601.

22. Sosnowski T., Bieszczad G., Kastek M., Madura H., Digital image processing in high resolution infrared camera with use of programmable logic device, [in:] Proceedings of SPIE – The International Society for Optical Engineering, 2010, DOI: 10.1117/12.865026.

23. Sosnowski T., Bieszczad G., Madura H., Image Processing in Thermal Cameras, [in:] Nawrat A., Bereska D., Jędrasiak K. (eds.), Advanced Technologies in Practical Applications for National Security, 2018, 35–57, Springer International Publishing, Cham.

24. Bieszczad G., Gogler S., Sosnowski T., Madura H., Kucharz J., Zarzycka A., Determining the responsivity of microbolometer FPA using variable optical aperture stop, [in:] Proceedings of SPIE – The International Society for Optical Engineering, 2012, DOI: 10.1117/12.976032.

25. Felczak M., Sosnowski T., Strąkowski R., Bieszczad G., Gogler S., Stępień J., Więcek B., Electrothermal analysis of a TEC-less IR microbolometer detector including self-heating and thermal drift, ”Quantitative InfraRed Thermography Journal”, 2023, DOI: 10.1080/17686733.2023.2179280.

26. JCGM 100:2008 – Ewaluacja danych pomiarowych – Przewodnik wyrażania niepewności pomiaru, 2008.

27. Abramowitz M., Stegun I. (eds.) Handbook of Mathematical Functions with Formulas, Graphs, and Mathematical Tables. National Bureau of Standards., 1972.

The Method of Measuring Human Body Temperature Using a Thermal Imaging Camera

Abstract: Measurement and monitoring of human physiological parameters play an important role in many applications such as health care, sports training and prevention of disease spread. Dynamic changes in physiological parameters can reveal not only changes in a patient’s physiological state and function, but also be used to assess a person’s activity status, fitness and fatigue. Body temperature is among the most important human physiological parameters for assessing basic vital functions, apart from heart rate, blood pressure and respiratory rate. In medical practice, various types of measuring instruments are used to measure temperature, such as liquid thermometers, electronic thermometers, non-contact ear thermometers, non-contact forehead thermometers. Liquid and electronic thermometers require the appropriate sensors to be connected to a person, which may be undesirable or impossible as, for example, in newborns or during sports training. Non-contact thermometers operate over short distances and often force a specific position of the person during the measurement. In addition, the above body temperature measurement techniques require direct supervision by medical personnel, which often reduces the effectiveness and efficiency of screening temperature measurement. In screening temperature measurements of a large number of people, especially those on the move, a measuring thermal imaging camera works well. The article presents a method for measuring human body temperature using a thermal imaging camera. The presented method is characterized by high accuracy of temperature measurement, which allows medical use of the obtained measurements. The measurement method has been tested on a test stand and for a selected test sample of people. The measurements and tests carried out confirmed the possibility of obtaining temperature measurement accuracy with an expanded uncertainty of less than 0.05 K with a resolution of less than 0.1 K.

Keywords: NETD, MRTD, depth of field, depth of focus, spatial resolution, thermal resolution, medical imaging, allergic reaction thermal imaging

dr inż. Tomasz Sosnowski tomasz.sosnowski@wat.edu.pl

ORCID: 0000-0003-4082-8366

Absolwent Wydziału Elektroniki Wojskowej Akademii Technicznej (1993). Tytuł doktora nauk technicznych uzyskał w 2003 r. Zajmuje się problematyką związaną z projektowaniem i programowaniem systemów cyfrowych, cyfrową analizą sygnału, analizą obrazu termograficznego, a także zastosowaniem układów mikroprocesorowych i programowalnych w technice podczerwieni.

dr inż. Mariusz Kastek mariusz.kastek@wat.edu.pl

ORCID: 0000-0001-7184-5228

Absolwent Wydziału Elektroniki Wojskowej Akademii Technicznej (1993). Od 1997 r. pracuje w Instytucie Optoelektroniki Wojskowej Akademii Technicznej. Tytuł doktora nauk technicznych uzyskał w 2002 r. Zajmuje się problematyką związaną z detekcją obiektów w systemach podczerwieni, a także analizą sygnałów i algorytmami detekcji implementowanymi w urządzeniach podczerwieni. Autor lub współautor ponad 70 publikacji.

dr inż. Krzysztof Sawicki krzysztof.sawicki@wat.edu.pl

ORCID: 0000-0002-1368-3854

Ukończył studia na Wydziale Elektroniki Wojskowej Akademii Technicznej w 2009 r. Rozprawa doktorska z tematyki steganografii w sieciach bezprzewodowych obroniona w WAT w 2019 r. Jego zainteresowania skupiają się na sieciach bezprzewodowych, bezpieczeństwie teleinformatycznym, steganografii i systemach wbudowanych oraz ich zastosowaniu w technice podczerwieni i termowizjih.

dr inż. Grzegorz Bieszczad grzegorz.bieszczad@wat.edu.pl

ORCID: 0000-0001-8048-2609

Ukończył w 2008 r. Wojskową Akademię Techniczną na Wydziale Elektroniki. Stopień doktora otrzymał w 2012 r. Obecnie zajmuje się zagadnieniami związanymi z projektowaniem systemów cyfrowych, programowaniem mikroprocesorów i układów FPGA związanych z cyfrowym przetwarzaniem obrazu, w tym obrazów termicznych.

dr inż. Sławomir Gogler slawomir.gogler@wat.edu.pl

ORCID: 0000-0002-3002-6362

Ukończył Politechnikę Warszawską w 2011 r. na Wydziale Mechatroniki. W 2020 r. uzyskał tytuł doktora nauk technicznych w Wojskowej Akademii Technicznej. Zajmuje się zagadnieniami konstrukcji układów optycznych oraz modelowaniem matematyczno-fizycznym.

dr inż. Tadeusz Piątkowski

tadeusz.piatkowski@wat.edu.pl

ORCID: 0000-0002-8383-9201

Ukończył studia na Wydziale Mechaniki Precyzyjnej (1981) i Wydziale Elektroniki Politechniki Warszawskiej (1984). Od 1995 r. pracuje w Instytucie Optoelektroniki WAT. Stopień naukowy doktora nauk technicznych uzyskał w 2003 r. Zajmuje się zdalnymi pomiarami temperatury, projektowaniem układów optycznych i elektronicznych oraz systemów mikroprocesorowych. Jest autorem i współautorem ponad 30 publikacji.

Metoda pomiaru minimalnej rozróżnialnej różnicy

temperatury w funkcji powiększenia i rozogniskowania kamery termowizyjnej

Sławomir Gogler, Krzysztof Sawicki, Andrzej Ligienza, Mariusz Mścichowski Wojskowa Akademia Techniczna, ul. gen. Sylwestra Kaliskiego 2, 00-908 Warszawa

Streszczenie: Pomiar temperatury odczynów alergicznych wymaga zapewnienia określonej rozdzielczości temperaturowej między obszarami o niewielkich wymiarach liniowych. Zwykle stosowanym kryterium rozdzielczości temperaturowej jest NETD. Parametr ten nie uwzględnia jednak przestrzennej zdolności rozdzielczej układu optycznego oraz detektora. W pracy zostanie zaprezentowany model umożliwiający określenie parametrów kamery na podstawie wymaganej przestrzennej rozdzielczości temperaturowej oraz wielkości obrazowanego obiektu. Zaimplementowana metoda została porównana z wynikami uzyskanymi w komercyjnym oprogramowaniu oraz została zastosowana do wyznaczania rozdzielczości temperaturowej prototypowego obiektywu pracującego w zakresie LWIR.

Słowa kluczowe: NETD, MRTD, głębia ostrości, rozdzielczość temperaturowa, rozdzielczość przestrzenna, termografia odczynów alergicznych, obrazowanie medyczne

1. Wprowadzenie

Parametr NETD (ang. Noise Equivalent Temperature Difference) jest miarą rozdzielczości temperaturowej i jednocześnie powszechnie stosowaną przez producentów matryc i kamer termowizyjnych miarą jakości wytwarzanego przez nich urządzenia. W przypadku kamer termowizyjnych wartość parametru NETD może być mylnie interpretowana jako bezwzględna wartość rozdzielczości temperaturowej kamery. Standardowa procedura pomiaru parametru NETD polega na zarejestrowaniu promieniowania emitowanego z technicznego ciała czarnego dla dwóch różnych wartości temperatury (bądź częściej dwóch ciał czarnych o różnych wartościach temperatury promiennika).

Parametr NETD najczęściej dotyczy średniej wartości wszystkich detektorów matrycy i wyznaczany jest wg zależności [1]: , ij FPA ij FPA

gdzie σij jest wartością skuteczną szumu pojedynczego detektora, Rij jest jego czułością napięciową.

Autor korespondujący:

Sławomir Gogler, slawomir.gogler@wat.edu.pl

Artykuł recenzowany nadesłany 20.10.2023 r., przyjęty do druku 26.01.2024 r.

się

Procedura pomiarowa polega na rejestracji obrazu jednorodnej powierzchni i w związku z tym parametr ten nie zawiera informacji o przestrzennym rozkładzie pola temperaturowego w obrazie. Oznacza to, że parametr NETD odnosi się do czasowej rozdzielczości temperaturowej, gdy obrazowany przedmiot wypełnia całe pole widzenia, a jego temperatura zmienia się w czasie o pewną wartość. W rzeczywistości kamera służy do rejestrowania pola temperaturowego o pewnym poziomie szczegółowości i w związku z tym jej zdolność do rozróżnienia obszarów o niewielkich różnicach temperatury zależy od przestrzennej zdolności rozdzielczej kamery. Przestrzenna zdolność rozdzielcza opisywana jest najczęściej za pomocą tzw. zdolności do przenoszenia modulacji. W przypadku urządzenia termowizyjnego modulacja dotyczy wartości napromienienia w płaszczyźnie detektora, której odpowiada pewna różnica wartości temperatury w przestrzeni przedmiotowej układu. Zdolność urządzenia do przenoszenia kontrastu opisuje MTF (ang. Modulation Transfer Function). Jest to szczególnie istotne, w przypadku gdy istnieje konieczność zapewnienia odpowiedniej rozdzielczości temperaturowej pomiędzy niewielkimi szczegółami w obrazie. W przypadku wojskowych kamer obserwacyjnych powszechnie stosowanym parametrem, który uwzględnia ograniczoną zdolność rozdzielczą kamery jest MRTD (ang. Minimum Resolvable Temperature Difference). Jest on stosowany m.in. do wyznaczania tzw. zasięgów DRI (ang. Detection, Recognition, Identification), gdy obserwowany przedmiot znajduje się „w nieskończoności”. W takim przypadku MRTD dotyczy tzw. standardowego celu NATO o wymiarach 2,3 m × 2,3 m i wyrażony jest w funkcji odległości od obserwatora, zgodnie z normą STANAG 4347 [2]. MRTD jest zatem miarą przestrzennej rozdzielczości temperaturowej.

Podczas obrazowania odczynów alergicznych, przedmiot (skóra pacjenta wraz z odczynami) znajduje się w stałej, skończonej

odległości. Oznacza to, że przedmiot obrazowany jest z pewnym powiększeniem poprzecznym. W takim przypadku rozdzielczość temperaturowa urządzenia jest funkcją tego powiększenia, jednak wraz ze wzrostem powiększenia maleje głębia ostrości układu, co oznacza zwiększone wymagania co do dokładności położenia przedmiotu. Standardowe miary stosowane do definiowania głębi ostrości (np. kryterium Rayleigha lub Abbego) trudno jest odnieść do utraty przestrzennej rozdzielczości temperaturowej. W przypadku położenia przedmiotu poza płaszczyzną przedmiotową (rozogniskowania) następuje spadek wartości MTF, a w związku z tym spadek przestrzennej rozdzielczości temperaturowej.

2. Metoda pomiaru MRTD

OPD (u, v) (ang. Optical Path Difference) jest funkcją opisującą aberracje układu optycznego w źrenicy wyjściowej układu (odchyleniem rzeczywistego frontu falowego od sferycznego frontu falowego) [5]. Rozkład napromienienia w przybliżeniu skalarnym dany jest wyrażeniem [3]:

2 ,,,,.PSFxyUxyλλ ∝ (7)

Powyższa zależność obowiązuje dla promieniowania monochromatycznego. W przypadku promieniowania szerokopasmowego, polichromatyczną PSF otrzymuje się przez całkowanie monochromatycznych PSF ważonych widmem mocy promieniowania [4]. Ponieważ w omawianym przypadku liczba widm jest skończona, to polichromatyczna PSF dana jest w tym przypadku wyrażeniem:

() () ,, ,,,ii i PSFxycPSFxy∆=λλ ∑ (8)

 =  (2)

Funkcja przenoszenia kontrastu zdefiniowana jest jako moduł optycznej funkcji przenoszenia OTF (ang. Optical Transfer Function) [3, 4], tzn.: ()()() O , ,exp,, xy xy xy

gdzie (v x, v y) są częstościami przestrzennymi w kierunkach (x, y), natomiast OTF zdefiniowana jest jako transformata Fouriera rozkładu napromienienia obrazu źródła punktowego:

() () ,, ,,, xy OTFvvPSFxyλλ =   (3)

gdzie λ jest długością fali promieniowania.

W dalekim polu dyfrakcyjnym, zaburzenie optyczne U może być w przybliżeniu opisane przez transformatę Fouriera zespolonej funkcji źrenicy. Zgodnie z przybliżeniem Fraunhofera, dane jest ono zależnością:

() 1 ,, , ,, UxyPuvλλ λ 

gdzie P(u, v) jest zespoloną funkcją źrenicy wyjściowej układu:

gdzie ci jest względnym udziałem długości fali promieniowania λi. Oznacza to, że dla promieniowania szerokopasmowego konieczna jest znajomość charakterystyki widma transmisji układu oraz widma promieniowania źródła.

W przypadku detektora jego MTF dana jest za pomocą zależności [6]:

(9)

gdzie v’ 0d jest częstością przestrzenną odcięcia detektora równą: 0 1 , d v d ′ = ′ (10)

gdzie d´ jest wymiarem pojedynczego detektora (piksela matrycy). Wielkości z indeksem górnym „prim” odnosić się będą do wielkości w przestrzeni obrazowej układu, wielkości bez tego symbolu należy rozumieć jako odnoszące się do przestrzeni przedmiotowej.

MTF kamery jest iloczynem składowych MTF [6], jednak tylko MTF układu optycznego i detektora będzie dalej uwzględniana:

W przypadku braku apodyzacji (jednorodny rozkład amplitudy pola w źrenicy), dla źrenicy kołowej, moduł funkcji źrenicy ma postać:

Funkcja MRTD natomiast dana jest za pomocą równania:

Rys. 1. Układy współrzędnych źrenicy wyjściowej (u, v) oraz płaszczyzny obrazowej (x, y) w opisie dyfrakcji na aperturze kołowej

Fig. 1. Exit pupil coordinates (u, v) and image plane coordinates (x, y) used in the description of diffraction at a circular aperture

Stosując powyższe zależności można przeprowadzić analizę wpływu aberracji układu optycznego na przestrzenną rozdzielczość temperaturową układu. W tej pracy analizowana będzie wyłącznie aberracja spowodowana rozogniskowaniem układu. Korzystając ze schematu przedstawionego na rys. 2, można pokazać, że dla niewielkich wartości rozogniskowania, aberracja falowa rozogniskowania może być przybliżona zależnością [7]:

() () { } ,1cos,, z OPDuv uv δγ ′ =−  (13)

gdzie z δ′ jest wielkością rozogniskowania po stronie obrazowej układu. Wielkość rozogniskowania po stronie obrazowej, powstała na skutek rozogniskowania po stronie przedmiotowej, w ogólnym przypadku może zostać wyznaczona ze wzoru Kartezjusza: 00 00 , z z z ss f sfsf δ δ δ  + ′ =−

gdzie f jest ogniskową układu. Odległość do przedmiotu s0 można obliczyć korzystając z powiększenia poprzecznego układu m: 0 1 1. sf m  =−  (15)

Powyższe zależności pozwalają na powiązanie rozogniskowania po stronie przedmiotowej układu ze spadkiem wartości MTF, a w związku z tym, spadkiem rozdzielczości temperaturowej MRTD kamery.

MTF, zgodnie z zależnością (3), jest funkcją częstości przestrzennej po stronie obrazowej układu optycznego. Ponieważ zdolność rozdzielcza kamery jest funkcją zdolności rozdzielczej zarówno detektora, jak i układu optycznego, w niniejszej pracy

Rys. 2. Rysunek pomocniczy do wyznaczenia aberracji falowej rozogniskowania

Fig. 2. Schematic for derivation of defocus wave aberration

Rys. 3. Ilustracja powiększenia zdefiniowanego jako liczba pikseli na mm obrazowanego obszaru

Fig. 3. An illustration of lateral magnification defined as a number of pixels over an imaged area

wprowadzono pojęcie „powiększenia detektora”, zdefiniowanego jako liczba pikseli o pewnym wymiarze pokrywających odcinek 1 mm, zgodnie ze wzorem:

00 , px dd m mmvv d ′ === (16)

Tak zdefiniowana jednostka ma kilka zalet: w przeciwieństwie do częstości przestrzennej jest niezależna od strony układu, która jest rozpatrywana (tzn. jest jednakowa po przedmiotowej i obrazowej stronie układu), uwzględnia zdolność rozdzielczą detektora oraz jest łatwa do interpretacji i wizualizacji.

Na rysunku 3 przedstawiono schemat pomiaru dwóch obszarów o różnych temperaturach przy pomocy układu realizującego powiększenie 6 px/mm MRTD w takiej sytuacji pomiarowej jest funkcją wymiaru Δx

Na rysunku 4 przedstawiono symulację przebiegów funkcji MRTD dla dwóch wartości aberracji rozogniskowania oraz dla trzech wartości powiększenia w funkcji wielkości obszaru Δx takiego, że:

v xm jest częstością przestrzenną, która odpowiada obiektowi o wymiarze Δx. Wielkość w na rys. 4 oraz 6 należy rozumieć jako max(OPD(u, v)).

Wyrażenie (17) opisuje zamianę częstości przestrzennej na powiększenie detektora. W symulacji oszacowano wagi ci jako iloczyn funkcji Plancka dla temperatury T = 35 °C i pewnej modelowej względnej transmisji widmowej urządzenia (widma transmisji germanu oraz selenku cynku). Przykładowy przebieg takiej charakterystyki przedstawiono na rys. 5.

Z wykresu przedstawionego na rys. 4 wynika, że temperaturowa przestrzenna zdolność rozdzielcza asymptotycznie dąży do NETD (zgodnie z definicją MRTD), gdy Δx → ∞ oraz asymptotycznie dąży do nieskończoności, gdy Δx → 1/m px Zapewnienie określonej temperaturowej zdolności rozdzielczej wymaga zastosowania układu, który zapewni odpowiednie próbkowanie przestrzeni przedmiotowej. Temperaturowa zdolność rozdzielcza jest jednak szybko tracona na skutek aberracji układu optycznego.

Na rys. 6. przedstawiono tę samą funkcję MRTD, jednak w funkcji powiększenia m px, gdzie parametrami są wymiary piksela d oraz wielkość aberracji falowej rozogniskowania w Zgodnie ze wzorem (16) asymptotą pionową dla układu bezaberracyjnego zawsze jest m px = 1 (częstość przestrzenna odcięcia detektora w przestrzeni przedmiotowej), niezależnie od wielkości detektora.

W przypadku szacowania głębi ostrości układu optycznego często stosowane jest kryterium Rayleigha, według którego aberracja o wartości λ/4 nie powoduje istotnej utraty zdolności rozdzielczej. Na tej podstawie wyznacza się głębię ostrości układu, czyli akceptowalne odstępstwo położenia detektora od położenia ostrego obrazu (obrazu gaussowskiego). Stosując

Rys. 4. Wykres funkcji MRTD w funkcji wielkości mierzonego obszaru dla różnych wartości powiększenia oraz wartości rozogniskowania równego 0 oraz λ0/2: a) dla wymiaru detektora 12 µm, b) dla wymiaru detektora 17 µm. Poziomą przerywaną linią oznaczono wartość NETD

Fig. 4. MRTD as a function of object size for several magnification values and for defocus values equal to 0 and λ0/2: a) for 12 µm detector size, b) for 17 µm detector size. The horizontal line marks NETD value

Rys. 5. Wagi długości fali promieniowania przyjęte do obliczeń polichromatycznej PSF

Fig. 5. Weights of wavelengths for polychromatic PSF calculation

Rys. 6. Wykres funkcji MRTD w funkcji powiększenia układu dla różnych wielkości piksela oraz wartości rozogniskowania równego 0 oraz λ0/2. Poziomą przerywaną linią oznaczono wartość NETD

Fig. 6. MRTD as a function of pixel magnification for different pixel sizes and defocus value equal to 0 and λ0/2. The horizontal line marks NETD value

Rys. 7. Wykres MRTD w funkcji rozogniskowania obiektywu dla kilku wartości powiększenia układu: a) dla wymiaru detektora 12 µm, b) dla wymiaru detektora 17 µm. Kropkami zaznaczono wartość rozogniskowania powodującą OPD = λ0/4, poziomą przerywaną linią oznaczono wartość NETD

Fig. 7. MRTD as a function of defocus for several values of pixel magnification: a) for 12 µm detector size, b) for 17 µm detector size. The dots mark defocus values that result in OPD = λ0/4, the horizontal line marks NETD

Sławomir Gogler, Krzysztof Sawicki, Andrzej Ligienza, Mariusz Mścichowski

równanie (13), można pokazać, że głębia ostrości po stronie obrazowej układu wynosi [8]:

2 # 2. zRayleigh Fδλ ′ =± (18)

Za pomocą przedstawionego modelu oceniono wartości MRTD na krańcu głębi ostrości danej kryterium Rayleigha. Przyjęto λ = 8 μm.

Na rysunku 7 przedstawiono przebiegi MRTD w funkcji rozogniskowania układu (po stronie przedmiotowej), kropkami zaznaczono wartości rozogniskowania wynikające z kryterium Rayleigha. Kropki nie pokrywają się dokładnie z liniami, ponieważ linie zostały wyznaczone dla promieniowania polichromatycznego, wartości dla kryterium Rayleigha muszą zostać obliczone dla konkretnej długości fali. Na rysunku 8 przedstawiono wartość głębi ostrości układu (w przestrzeni przedmiotowej) w funkcji powiększenia detektora, dla dwóch wymiarów detektora. Głębia ostrości jest większa dla mniejszego detektora, ponieważ powiększenie poprzeczne, dla którego wyznaczana jest głębia ostrości jest proporcjonalne do wielkości detektora, głębia ostrości zaś jest odwrotnie proporcjonalna do powiększenia poprzecznego układu. Pomiar MTF z zastosowaniem definicji (3) jest niepraktyczny, ze względu na niedostateczne próbkowanie obrazu punktowego przez detektory matrycowe. Aby ominąć to ograniczenie, powszechnie stosuje się metodę pochylonej krawędzi [9–11]. W metodzie tej uzyskuje się syntetyczną krawędź z subpikselową dokładnością przez zrzutowanie kilku krawędzi (o słabym próbkowaniu) na wspólną oś, następnie obliczana jest jednowymiarowa OTF według zależności [4]:

Rys. 8. Wykres głębi ostrości po stronie przedmiotowej układu zgodnie z kryterium Rayleigha w funkcji powiększenia detektora dla dwóch wielkości detektora

Rys. 8. Depth of field according to Rayleigh criterion as a function of pixel magnification for two different pixel sizes

() () , OTFvLSF ζ

(19)

gdzie LSF oznacza funkcję rozmycia linii (ang. Line Spread Function), jest osią prostopadłą do krawędzi. LSF obliczana jest na podstawie obrazu krawędzi zgodnie z zależnością:

() () , d LSFESF d ζζ ζ  =  (20)

gdzie ESF jest funkcją rozmycia krawędzi (ang. Edge Spread Function).

Istotę metody uzyskiwania obrazu krawędzi z subpikselową dokładnością przedstawiono na rys. 9, U jest wartością sygnału z matrycy detektorów. Algorytm obliczenia MTF metodą pochylonej krawędzi składa się, w jednej z kilku implementacji tego algorytmu, z następujących kroków: zarejestrowanie obrazu krawędzi oraz odczyt sygnału z matrycy w funkcji współrzędnej x matrycy dla n y wierszy, tzn. U(x, y) aproksymacja każdej krawędzi wybraną parametryczną funkcją sigmoidalną, gdzie punkt przegięcia x0 jest jednym z parametrów, −obliczenie kąta pochylenia krawędzi z aproksymacji liniowej: x0 = tg(α) y + b, zrzutowanie wszystkich punktów U(x, y) na oś i uzyskanie funkcji U( ):

()()() 0 , cos xyxxy ζα =− 

−p onowne próbkowanie U( ) z równomiernym krokiem, −filtracja krawędzi U( ), −różniczkowanie U( ), −transformacja Fouriera zróżniczkowanej krawędzi.

3. Pomiar MRTD w funkcji rozogniskowania układu

W celu weryfikacji modelu wykonano pomiary MRTD w funkcji rozogniskowania układu dla kilku wartości powiększenia m px . Pomiary wykonano dla prototypowego obiektywu zaprojektowanego na potrzeby projektu „Fotonica”. Zdjęcie stanowiska pomiarowego przedstawiono na rys. 10. W kamerze zastosowano detektor bolometryczny Pico 640 firmy Lynred o wielkości piksela 17 µm. MTF została wyznaczona dobrze opisaną metodą pochylonej krawędzi, której szczegóły implementacji można znaleźć m.in. w opracowaniu [9].

Zrzutowaną krawędź interpolowano z krokiem 1/16 px, następnie poddano filtracji filtrem Savitzkiego-Golaya. Przed

Rys. 9. Schemat ideowy wyznaczenia obrazu krawędzi z subpikselową dokładnością Fig. 9. Construction of an edge-spread function with sub-pixel accuracy

wykonaniem pomiarów MRTD wyznaczono wartość NETD dla badanej kamery, która dla ciała o temperaturze 25 °C wynosi 34 mK. Ponieważ parametr NETD jest niezależny od pomiaru MRTD, można przyjąć dowolną jego wartość. Pomiary MRTD wykonano dla krawędzi pionowej i poziomej przy pomocy odpowiedniego testu o wysokiej emisyjności.

Na rys 11. przedstawiono obszary analizy krawędzi pionowej i poziomej dla jednego z testów.

Pomiary wykonano na zautomatyzowanym stanowisku. Ciało czarne wraz z testem ustawiono na stoliku przesuwnym napędzanym silnikiem krokowym. W połowie zakresu ruchu stolika ustawiono ciało wraz z testem i w takim położeniu ostro odwzorowano test na matrycy oraz wykonano pomiar powiększenia m px. Pomiary wykonano dla czterech

Rys. 10. Badana kamera termowizyjna na stanowisku pomiarowym

Fig. 10. Tested infrared camera on a measurement stand

wartości m px. Dla każdego powiększenia zarejestrowano 61 pomiarów co 0,5 mm, dzięki czemu uzyskano wartości rozogniskowania w przedziale ±15 mm. Dla każdego położenia testu wyznaczono przebiegi MTF w płaszczyźnie pionowej i poziomej, następnie wyznaczono przebiegi MRTD zgodnie z zależnością:

Rys. 11. Obszary analizy krawędzi a) pionowej i b) poziomej zastosowane do wyznaczenia MTF

Fig. 11. Regions of interest containing a) vertical and b) horizontal edges for MTF evaluation

12. Przebiegi zmierzonych funkcji MRTD wraz z funkcjami modelowymi dla powiększenia m px układu: a) 5,00 px/mm, b) 6,83 px/mm, c) 7,50 px/mm, d) 8,40 px/mm

Fig. 12. Measured MRTD values and model MRTD function for system pixel magnification values: a) 5.00 px/mm, b) 6.83 px/mm, c) 7.50 px/mm, d) 8.40 px/mm

Rys.

(21)

Na rysunku 12 przedstawiono wyniki pomiaru funkcji MRTD wraz z przebiegiem modelowym dla bezaberracyjnego układu i zmierzonymi wartościami m px . Uzyskane krzywe sprowadzono do teoretycznego środka. Konieczność ta wynikła z braku ruchów justerskich umożliwiających zapewnienie prostopadłości osi optycznej obiektywu do detektora, co skutkowało przesunięciem krzywych. Należy zaznaczyć, że modelowe krzywe zostały wyznaczone dla idealnej cienkiej soczewki. W rzeczywistości obiektyw zawsze ma pewne nieskorygowane aberracje już na etapie projektu układu. Błędy montażu oraz niedoskonałość wykonania elementów optycznych dodatkowo wpływają na pogorszenie przebiegu MTF. Badany obiektyw miał charakter prototypowy, a jego tubus został wykonany w technologii druku 3D, co skutkowało ograniczoną dokładnością montażu elementów optycznych. Co więcej, układ idealny tworzy idealny obraz bez względu na powiększenie. W rzeczywistości jakość odwzorowania może ulegać znacznemu pogorszeniu w szczególności dla większych wartości powiększenia. Pomiary MRTD wykonano możliwie blisko środka pola widzenia, jednak test krawędziowy zawsze obejmuje pozaosiową część pola, gdzie MTF zwykle odbiega od idealnego przebiegu. Z wymienionych wyżej powodów liczbowe porównanie wyniku modelowego z pomiarem teoretycznym jest bezcelowe, tzn. nie umożliwia oceny poprawności modelu. Poprawność obliczeń zweryfikowano, porównując je z danymi otrzymanymi w wyniku analizy „Through Focus MTF” przeprowadzonej w programie Zemax [12]. Modelowy układ symulowany był jako soczewka przyosiowa („Paraxial lens”). Błąd modelu w odniesieniu do danych referencyjnych został obliczony jako:

Rys. 13. Względny błąd modelu w odniesieniu do obliczeń w programie Zemax

Fig. 13. Relative model error referenced to calculations in Zemax

Tab. 1. Błąd modelu w odniesieniu do danych programu Zemax

Tab. 1. Model error with respect to Zemax data

Na rys. 13. przedstawiono względny błąd modelu obliczony jako:

MRTDMRTD MRTD ε = (23)

model Zemax r Zemax

Wyniki zaimplementowanego modelu są zgodne z analizą uzyskaną w programie Zemax w przedziale rozogniskowania ±10 mm dla analizowanych wartości powiększeń, poza powiększeniem 8,4 px/mm. Dla tego powiększenia MRTD ma asymptotę pionową w tym przedziale. Jedynie dla powiększenia 5 px/mm MRTD nie ma asymptoty pionowej w całym analizowanym zakresie i dla tej wrtości powiększenia błędy są ograniczone. Różnice między uzyskanymi wynikami mogą być skutkiem m.in. różnic w implementacji algorytmu obliczającego polichromatyczną PSF, gdzie wymagana jest interpolacja poszczególnych PSF. Nawet niewielkie różnice w otrzymanych przebiegach MTF będą skutkowały dużymi błędami w wyznaczeniu MRTD w pobliżu wartości, gdzie jedna z MTF osiąga wartość bliską 0.

4. Wnioski

Stosowana zwykle miara rozdzielczości temperaturowej NETD, nie stanowi dobrej miary przestrzennej temperaturowej zdolności rozdzielczej w przypadku obrazowania obszarów o niewielkich wymiarach. W pracy zaprezentowano model umożliwiający wyznaczenie teoretycznej przestrzennej rozdzielczości temperaturowej kamery termowizyjnej w funkcji jej powiększenia oraz rozogniskowania. Model został w całości zaimplementowany w języku Python i w dużej mierze jest zgodny z wynikami otrzymanymi z komercyjnego oprogamowania przeznaczonego do projektowania układów optycznych. Jego główną zaletą jest możliwość określenia wymaganych parametrów kamery, które pozwolą na uzyskanie wymaganej rozdzielczości temperaturowej, w zależności od wielkości obrazowenego obiektu.

Stosowane zwykle do określenia głębi ostrości układu kryterium Rayleigha uwzględnia tylko optyczną składową zdolności rozdzielczej. Z przedstawionej analizy wynika, że pominięcie charkterystyki MTF detektora skutkuje znacznymi różnicami w przestrzennej temperaturowej zdolności rozdzielczej kamery wewnątrz zakresu głębi ostrości.

Podziękowania

Badania współfinansowane przez Narodowe Centrum Badań i Rozwoju w ramach programu Ścieżka dla Mazowsza w projekcie „FOTONICA (Fully-automated Optoelectronic System for Noninvasive Imaging in Clinical Applications) – Sztuczna Inteligencja wspomagająca zaawansowane rozwiązania fotoniczne w automatycznych diagnostycznych systemach medycznych”, umowa nr MAZOWSZE/0167/19-00. Praca została dofinansowana przez Wojskową Akademię Techniczną w ramach projektu nr UGB 724/2022.

Bibliografia

1. Tissot J.L., Uncooled infrared detectors: state of the art. VII Krajowa Konferencja Termografia i Termometria w Podczerwieni TTP 2006, Ustroń-Jaszowiec, 16–18 listopada, 2006, 9–23.

2. Military Agency for Standardization, Standardization egreement, Definition of nominal static range performance for thermal imaging systems, 1995.

3. Born M., Wolf E., Principles of Optics, Londyn, Nowy Jork, Paryż, Los Angeles: Pergamon Press, 1959.

4. Singer W., Totzek M., Gross H., Handbook of Optical Systems: Vol. 2: Physical Image Formation, H. Gross, Red., Weinheim: Wiley-VCH, 2005.

5. Fischer R.E., Tadic-Galeb B., Yoder P.R., Optical Systems Design, 2nd edition red., McGraw Hill, 2008.

6. Holst G.C., Electro-Optical Imaging System Performance, 5th ed. red., Winter Park, FL: JCD Publishing, 2008.

7. Mack C.A., Field Guide to Optical Lithography, Bellingham, WA: SPIE Press, 2006.

8. Wyant J.C., Creath K., Applied optics and optical engineering, tom XI, Tuscon: Academic Press, 1992.

9. Viallefont-Robinet F., Helder D., Fraisse R., Newbury A., van den Bergh F., Lee D., Saunier S., Comparison of MTF measurements using edge method: towards reference data set, “Optics Express”, Vol. 26, No. 26, 2018 33625–33648, DOI: 10.1364/OE.26.033625.

10. Hwang H., Choi Y.-W., Kwak S., Kim M., Park W., MTF assessment of high resolution satellite images using ISO 12233 slanted-edge method, Proceedings of SPIE 7109, Image and Signal Processing for Remote Sensing XIV, 2008, DOI: 10.1117/12.800055.

11. Crespi M., Vendictis L.D., A Procedure for High Resolution Satellite Imagery Quality Assessment, “Sensors”, Vol. 9, No. 5, 2009, 3289–3313, DOI: 1424-8220/9/5/3289.

12. Zemax LLC, Zemax 13 Release 2 SP2, 2014.

A Method of Measurement of Minimum Resolvable Temperature Difference as a Function of Magnification and Defocusing of a Thermal Camera

Abstract: Temperature measurement of allergic skin reactions requires meeting certain criteria regarding temperature resolution between small areas. The usual criterion of temperature resolution is NETD. However, this metric does not take into account the limitations of the spatial resolution of the optical system or the detector. In this paper, a model is presented that allows for selection of camera parameters based on the required spatial thermal resolution and size of the object being imaged. The method has been implemented and compared to results obtained in commercial software and has been applied to evaluate spatial thermal resolution of a prototype objective designed for the LWIR band.

Keywords: NETD, MRTD, depth of field, depth of focus, spatial resolution, thermal resolution, medical imaging, allergic reaction thermal imaging

dr inż. Sławomir Gogler slawomir.gogler@wat.edu.pl

ORCID: 0000-0002-3002-6362

Ukończył Politechnikę Warszawską w 2011 r. na Wydziale Mechatroniki. W 2020 r. uzyskał tytuł doktora nauk technicznych w Wojskowej Akademii Technicznej. Zajmuje się zagadnieniami konstrukcji układów optycznych oraz modelowaniem matematyczno-fizycznym.

mgr inż. Andrzej Ligienza andrzej.ligienza@wat.edu.pl

ORCID: 0000-0002-5789-8531

Tytuł inżyniera otrzymał w 2014 r. po ukończeniu kierunku mechatronika ze specjalizacją inżynierii systemów mechatronicznych. Tytuł magistra otrzymał w 2016 r. po ukończeniu kierunku optoelektronika ze specjalizacją inżynieria systemów optoelektronicznych. W 2018 r. objął stanowisko starszego inżyniera w Zakładzie Techniki Podczerwieni i Termowizji Instytutu Optoelektroniki WAT.

dr inż. Krzysztof Sawicki krzysztof.sawicki@wat.edu.pl

ORCID: 0000-0002-1368-3854

Ukończył Wydział Elektroniki Wojskowej Akademii Technicznej w 2009 r.; rozprawa doktorska z tematyki steganografii w sieciach bezprzewodowych obroniona w WAT w 2019 r.; jego zainteresowania skupiają się na sieciach bezprzewodowych, bezpieczeństwie teleinformatycznym, steganografii i systemach wbudowanych.

Mariusz Mścichowski mariusz.mscichowski@student.wat.edu.pl

ORCID: 0000-0002-0079-1960

Student Wydziału Elektroniki Wojskowej Akademii Technicznej. Jego zawodowe zainteresowania skupiają się na cyfrowych pomiarowych układach elektronicznych oraz szybkim prototypowaniu FDM.

Nieselektywne powierzchnie referencyjne

w teledetekcji hiperspektralnej w zakresie dalekiej podczerwieni

Andrzej Ligienza, Mariusz Kastek, Tomasz Sosnowski, Krzysztof Firmanty

Wojskowa Akademia Techniczna, Instytut Optoelektroniki, ul. gen. Sylwestra Kaliskiego 2, 00-908 Warszawa

Streszczenie: W niniejszym artykule skoncentrowano się na konstrukcji powierzchni referencyjnych o pożądanej charakterystyce promieniowania zbliżonej do ciała szarego. Używając drewnianej sklejki o chropowatej powierzchni oraz pokryć o różnych wartościach emisyjności, wykonane zostały powierzchnie o nieselektywnych właściwościach spektralnych. Potwierdzona została zgodność wyników pomiarów laboratoryjnych spektrometrem odbiciowym z danymi uzyskanymi za pomocą kamery hiperspektralnej. Przy użyciu kilku powierzchni referencyjnych o dokładnie znanych charakterystykach emisyjnych, możliwe będzie precyzyjne wyznaczanie składników promieniowania z otoczenia mierzonej sceny. Chociaż technologia tych powierzchni wymaga jeszcze udoskonalenia, ich użyteczność w pomiarach teledetekcyjnych jest niezaprzeczalna. Dodatkowo różnice w reakcji na promieniowanie słoneczne między różnymi powierzchniami referencyjnymi stanowią istotną informację, która może być wykorzystana w teledetekcji i identyfikacji materiałów. Uwzględnienie dynamiki nagrzewania się powierzchni badanych obiektów jest kluczowe w modelowaniu pomiarowym.

Słowa kluczowe: powierzchnie referencyjne, nieselektywne właściwości spektralne, ciało szare, emisyjność, kamera hiperspektralna, pomiar teledetekcyjny, identyfikacja materiałów, LWIR

1. Wprowadzenie

Pomiar i analiza danych teledetekcyjnych odgrywają kluczową rolę we współczesnych badaniach naukowych i aplikacjach przemysłowych. Dane zbierane przez satelity, samoloty i inne platformy teledetekcyjne dostarczają nieocenionych informacji na temat atmosfery, powierzchni Ziemi, klimatu i wielu innych zjawisk[1]. Teledetekcja hiperspektralna łączy spektrometrię z obrazowaniem, umożliwiając ekstrakcję informacji materiałowych z obiektów zdalnie obserwowanych w scenie. Takie możliwości mają szerokie zastosowanie w dziedzinach od geologii i nauk o Ziemi po obronę i pomoc w przypadku katastrof. Podstawową różnicą między teledetekcją hiperspektralną a tradycyjną spektroskopią jest możliwość obserwowania właściwości spektralnych zdalnie i bez kontrolowanego źródła. Ważnym aspektem pomiarów teledetekcyjnych jest wiedza o propagacji promieniowania elektromagnetycznego z różnych źródeł do sensora, obejmująca interakcje z obiektami, ich oto-

Autor korespondujący:

Andrzej Ligienza, andrzej.ligienza@wat.edu.pl

Artykuł recenzowany nadesłany 28.12.2023 r., przyjęty do druku 10.04.2024 r.

się na korzystanie z artykułu na warunkach

czeniem oraz atmosferą [2]. Opisuje ona fizyczny związek między zmierzoną charakterystyką spektralną, zwykle w postaci pomiaru spektralnej luminancji energetycznej w płaszczyźnie sensora, a widoczną charakterystyką materiału. Podstawowe właściwości spektralne materiałów często są opisywane jako zmierzony rozkład spektralnej egzytancji energetycznej lub temperatury radiacyjnej w funkcji długości fali, dla danej temperatury powierzchni. Ścisłe zależności luminancji energetycznej od kątów oświetlenia i obserwacji względem powierzchni materiału są powszechnie pomijane w teledetekcji hiperspektralnej, która opiera się na założeniu dyfuzyjnego rozpraszania. Dwa główne źródła promieniowania brane pod uwagę w pasywnych systemach teledetekcji w zakresie podczerwieni to odbite światło słoneczne i emisja termiczna obiektów znajdujących się w scenie. W kontekście obrazowania hiperspektralnego, widmo elektromagnetyczne można podzielić na pięć podstawowych zakresów: widzialny (VIS) 0,4–0,7 µm, bliską podczerwieni (NIR) 0,7–1,1 µm, krótkofalową podczerwień (SWIR) 1,1–3,0 µm, średniofalową podczerwień (MWIR) 3–5 µm oraz długofalową podczerwień (LWIR) 5–14 µm. Odbite światło słoneczne dominuje w zakresach VIS, NIR i SWIR, natomiast emisja termiczna dominuje w zakresie LWIR. W zakresie MWIR i LWIR informacja dostarczana przez obraz wynika z różnicy temperatury i emisyjności obiektów. W obu przypadkach informacje wyodrębnione z analizy obrazu szerokopasmowego mają głównie charakter przestrzenny, to znaczy że rejestrowane cechy obiektów i zjawiska mają fizycznie mierzalne wymiary i odległości między sobą, dostarczające informacji o lokalizacji, geometrii

i wartości luminancji energetycznej mierzonych obiektów. Pasma różnią się między sobą wartościami luminancji energetycznej. Różnice między pasmami dostarczają dodatkowych informacji, które zależą od tego, jak bardzo reflektancja i emisyjność materiałów zmieniają się w zależności od długości fali. Rejestracja hiperspektralna umożliwia nie tylko dokładniejsze zobrazowanie sceny, ale także analizę ilościową opartą na cechach spektralnych obiektów. Na przykład, obrazowanie hiperspektralne może wspomagać klasyfikację obrazów lub mapowanie na podstawie treści spektralnej (materiałowej), lub wykrywanie obiektów na podstawie ich podstawowych cech spektralnych. Dzięki postępom w produkcji detektorów, urządzenia służące do obrazowania hiperspektralnego są w stanie jednocześnie rejestrować, z coraz większą rozdzielczością, zarówno treść przestrzenną jak i spektralną sceny.

Jednym z kluczowych elementów pomiarów hiperspektralnych jest kalibracja i weryfikacja sprzętu pomiarowego, co wymaga obecności w rejestrowanej scenie obiektów referencyjnych o znanych właściwościach. W technice podczerwieni i termowizji stosuje się różnego rodzaju ciała czarne. Najczęściej używane ciała czarne to ciała wnękowe oraz ciała powierzchniowe. Ciało wnękowe jest często stosowane jako wysokotemperaturowe ciało czarne, charakteryzujące się dużą stabilnością temperatury, jednorodnością promieniowania oraz względnie niewielką powierzchnią promieniującą. Jednak zastosowanie tego typu promienników w pomiarach teledetekcyjnych jest często niepraktyczne ze względu na duże odległości pomiarowe. Wraz ze wzrostem odległości rejestracji, rozmiar kątowy danego promiennika maleje, co zmniejsza jego użyteczność w kontekście sceny. Oczywiście istnieje możliwość skonstruowania większych technicznych ciał czarnych, ale jest to niepraktyczne z dwóch powodów. Po pierwsze, aby zapewnić stabilność termiczną i jednorodność temperatury powierzchni promiennika, stosuje się płyty wykonane z miedzi, które są pokrywane materiałem o pożądanej charakterystyce spektralnej. Te płyty są zaprojektowane z odpowiednią grubością, która ma na celu zwiększenie inercji termicznej. Jednak zwiększanie powierzchni znacząco podnosi koszt produkcji tego typu urządzeń [3]. Po drugie, biorąc pod uwagę, że pomiary mogą być wykonywane w warunkach terenowych, gdzie często wymagane jest przenoszenie urządzenia, takie promienniki są niepraktyczne ze względu na swoją masę i, tym samym, ograniczoną mobilność. Prowadzone badania mają na celu poznanie możliwości zastosowania systemów hiperspektralnych do wykrywania obiektów o charakterze wojskowym. Istnieją standaryzowane wymiary dla klasyfikowanych obiektów zgodne z normami NATO, które są używane do badań dotyczących zasięgów detekcji urządzeń obserwacyjnych. Wśród tych obiektów znajdują się obiekty odpowiadające człowiekowi (o wymiarach 1,8 m × 0,6 m), samochodowi (o wymiarach 2,3 m × 2,3 m) oraz samochodowi ciężarowemu (o wymiarach 4,0 m × 2,5 m) [4]. Ze względu na te wymiary, stosowanie typowych konstrukcji ciał czarnych jest niepraktyczne.

Dodatkowo większość technicznych ciał czarnych jest optymalizowana w celu uzyskania jak najwierniejszych charakterystyk teoretycznego ciała doskonale czarnego. Jednak obiekty, które mają być wykrywane, nie są konstruowane z myślą o ich własnościach promieniujących. Na przykład, odzież noszona przez człowieka, metale i tworzywa sztuczne stosowane w budowie coraz powszechniejszych platform autonomicznych, wprowadzają selektywne cechy emisji. Z tego powodu, do weryfikacji algorytmów detekcyjnych konieczne są obiekty referencyjne. Takie obiekty powinny być łatwe do przenoszenia, umożliwiać skalowanie powierzchni emisyjnej w zależności od scenariusza pomiarowego oraz posiadać charakterystykę spektralną zbliżoną do ciała szarego o pożądanej wartości emisyjności. Ponadto istotne jest, aby konstrukcja tych obiektów była powtarzalna, a emisja promieniowania miała charakter dyfuzyjny.

2. Teoria

W typowym scenariuszu obrazowania, materiał jest oświetlany przez Słońce. Ze względu na występowanie atmosfery, oświetlenie faktycznie składa się z dwóch składników: bezpośredniego oświetlenia słonecznego, które jest zmniejszone przez absorpcję atmosferyczną, oraz pośredniego oświetlenia słonecznego, wynikającego z energii rozproszonej przez składniki atmosferyczne, takie jak aerozole, chmury i otaczające obiekty.

W porównaniu do bezpośredniego składnika oświetlenia, który pada na obiekt z jednego konkretnego kierunku, składnik pośredni jest niezależny od kąta padania ze względu na dyfuzyjny charakter źródła tego promieniowania. Widmowa luminancja energetyczna w płaszczyźnie obiektywu jest strumieniem promieniowania na jednostkę powierzchni, kąt bryłowy i długość fali [5]. Strumień ten może być zmierzony dla określonej powierzchni w scenie. Rozkład spektralnej luminancji energetycznej emitowanej termicznie jest określony dla teoretycznej, idealnej powierzchni promieniującej opisanej przez Maksa Plancka wynikającej z kwantowej emisji ciała doskonale czarnego [6]. Emitowana spektralna luminancja energetyczna dla obiektu rzeczywistego jest iloczynem rozkładu luminancji energetycznej ciała doskonale czarnego dla temperatury materiału i emisyjności spektralnej. Spektralna luminancja energetyczna emitowana przez obiekt rzeczywisty w porównaniu do ciała doskonale czarnego jest właściwością materiału, znaną jako emisyjność spektralna, i definiowaną jako:

Wynika z tego, że spektralna luminancja energetyczna emitowana przez powierzchnię o emisyjności spektralnej ελ() wynosi:

1

gdzie: T – temperatura, λ – długość fali, h – stała Plancka, c – prędkość światła w próżni, k – stała Boltzmanna.

Emisyjność jest powiązana z absorpcją materiału. Współczynnik emisyjności jest równy współczynnikowi absorpcji zgodnie z prawem Kirchhoffa tylko w ściśle określonych warunkach równowagi termodynamicznej [7]. Gdy materiał jest w równowadze termicznej, związek między współczynnikiem emisyjności ε, a współczynnikiem absorpcji α jest określony przez:

()() ελαλ = (3)

Chociaż warunek równowagi termicznej rzadko jest spełniony ściśle, przybliżenie to jest powszechnie stosowane w teledetekcji. Dla obiektów nieprzezroczystych (współczynnik transmisji spektralnej () 0 τλ = ), można przyjąć, że emisyjność spektralna jest jednoznacznie określona poprzez współczynnik reflektancji widmowej () : ρλ

()() 1 ελρλ =− (4)

Podstawowym celem teledetekcji hiperspektralnej jest wydobycie informacji związanych z właściwościami widmowymi obiektów obrazowanych zdalnie. W środowisku laboratoryjnym, gdzie warunki pomiarowe mogą być starannie kontrolowane, możliwe jest precyzyjne zmierzenie widma absorpcyjno-odbiciowego, za pomocą którego można identyfikować materiały. Jednak w kontekście teledetekcji zdalnej sytuacja może być bardziej złożona ze względu na niekontrolowany charakter źródeł oświetlenia, wła-

Andrzej Ligienza, Mariusz Kastek, Tomasz Sosnowski, Krzysztof Firmanty

ściwości atmosferycznych i innych zmiennych środowiskowych. Aby poradzić sobie z tymi problemami, ważne jest zrozumienie wpływu tych zmiennych na rejestrowaną spektralną luminancję energetyczną i ostatecznie skompensowanie ich w celu korekcji wyników pomiarów. Transport promieniowania to zjawisko fizyczne, w którym promieniowanie z różnych źródeł oddziałuje z obiektami zainteresowania, atmosferą i ich lokalnym otoczeniem, w rezultacie docierając do płaszczyzny detektora jako wypadkowa spektralna luminancja energetyczna.

W zakresie dalekiej podczerwieni dominuje emisja termiczna. Jednak nie dotyczy to tylko bezpośredniej emisji z obiektu zainteresowania, ale obejmuje również emitowane promieniowanie z atmosfery i sąsiadujących obiektów, w tym powierzchni gruntu, które dociera bezpośrednio lub pośrednio do urządzenia pomiarowego.

Dla zakresu LWIR wyróżnia się cztery podstawowe składowe spektralnej luminancji energetycznej, które ostatecznie są odbierane przez sensor:

1. bezpośrednia emisja termiczna obiektu, która przechodzi przez atmosferę do sensora;

2. emisja termiczna atmosfery odbita od obiektu i przechodząca przez atmosferę do sensora;

3. emisja termiczna z gruntu i miejscowych obiektów odbita od obiektu i przechodząca przez atmosferę do sensora; 4. emisja termiczna atmosfery docierająca bezpośrednio do sensora.

Mając do dyspozycji powierzchnie referencyjne o charakterze nieselektywnym i z różnymi, dokładnie zmierzonymi charakterystykami emisyjności spektralnej, możliwe będzie zastosowanie technik kompensacji pomiaru z użyciem kontekstu rejestrowanej sceny.

3. Praktyka

Podczas projektowania powierzchni referencyjnych, skoncentrowano się na wyborze materiału, który cechuje się lekkością, łatwością obróbki i przygotowania. Aby powierzchnie zachowywały się jak ciała szare o różnych wartościach emisyjności, ich charakter emisji promieniowania zarówno własnego jak i odbitego muszą być możliwie zbliżone do lambertowskiego (wartość luminancji energetycznej niezależna od kąta obserwacji).

Ostatecznie jako materiał podstawy powierzchni została wybrana drewniana, nieszlifowana sklejka, ze względu na swoją chropowatość powierzchni. Ta chropowatość, przy użyciu pokryć o różnej wartości emisyjności, nadaje powierzchni właściwości rozpraszające promieniowanie. Ponadto materiał ten ma małą gęstość i jest dostępny w postaci wielkowymiarowych płyt, z których można wykonać łatwe do przenoszenia i łączenia powierzchnie do pozoracji celów o ustandaryzowanych wymiarach. Pomiary wykonywane są na dużych odległościach, dlatego w celu zapewnienia możliwie dużej jednorodności powierzchni, skorzystano ze zjawiska emisyjności wnękowej. Biorąc pod uwagę naturalną chropowatość materiału oraz dostępność siatek o małej strukturze, wybrana została siatka z regularną strukturą otworów i przekrojem kwadratów o boku 1 mm × 1 mm [8], którą nałożono na drewniane płyty. Tak przygotowane obiekty pokryto natryskowo farbami o różnych współczynnikach emisyjności. Do zmierzenia współczynników reflektancji spektralnej użyto sprektroskopu odbiciowego Bruker FTIR ALPHA II. Na bazie zależności (4) wyznaczone zostały współczynniki emisyjności badanych obiektów. Wizualizując charakterystyki spektralne wybranych obiektów na wykresie, można zaobserwować ich nieselektywny charakter w wybranym zakresie (rys. 1).

Zakres pomiarowy został zawężony do pasma pomiarowego kamery hiperspektralnej, której użyto do pomiarów – TELOPS Hyper-Cam LW, której zakres rejestracji wynosi 7,7–11,8 µm.

Rys. 1. Emisyjność spektralna dwóch obiektów; 1 – pokryta srebrną farbą o małej wartości współczynnika emisyjności; 2 – pokryta czarną farbą o dużej wartości współczynnika emisyjności

Fig. 1. Spectral emissivity of two objects; 1 – coated with silver paint with a low emissivity coefficient; 2 – coated with black paint with a high emissivity coefficient

Hyper-Cam LW

Fig. 2. Photograph of the measurement setup with the TELOPS HyperCam LW camera

Pomiary przeprowadzono w warunkach terenowych, w celu zapewnienia odpowiedniego kontrastu termicznego jak i sprawdzenia wpływu różnorodnego promieniowania otoczenia na selektywny charakter promieniowania powierzchni. Stanowisko z kamerą pomiarową zostało osłonięte przed promieniowaniem słonecznym bezpośrednio trafiającym do obiektywu kamery. Rejestrowana scena została umiejscowiona w odległości 15 m od płaszczyzny obiektywu. Stanowisko pomiarowe z kamerą przedstawiono na rys. 2.

Na rejestrowanej scenie głównymi obiektami zainteresowania były cztery powierzchnie:

1. srebrna powierzchnia o średniej wartości współczynnika emisyjności (obiekt 1, którego współczynnik emisyjności spektralnej przedstawiono na rys. 1);

2. czarnej p owierzchni o dużej wartości współczynnika emisyjności (obiekt 2, którego współczynnik emisyjności spektralnej przedstawiono na rys. 1);

3. płyty ze sklejki pokrytej folią aluminiową o nieregularnej powierzchni;

4. płyty z niebieskiego, karbowanego tworzywa sztucznego.

Rys. 2. Zdjęcie stanowiska pomiarowego z kamerą TELOPS

Rys. 3. Widok na rejestrowaną scenę z mierzonymi powierzchniami

Rys. 4. Obraz szerokopasmowy zarejestrowanej sceny po ekspozycji na bezpośrednie promieniowanie słoneczne. 1 – obiekt pokryty farbą srebrną o średniej wartości emisyjności; 2 – obiekt z tworzywa sztucznego; 3 – obiekt pokryty czarną farbą o dużej wartości współczynnika emisyjności; 4 – obiekt pokryty folią aluminiową o niskiej wartości współczynnika emisyjności

Fig. 4. Broadband image of the recorded scene after exposure to direct solar radiation. 1 – object coated with silver paint with a medium emissivity value; 2 – plastic object; 3 – object coated with black paint with a high emissivity coefficient; 4 – object covered with aluminum foil with a low emissivity coefficient

Folia aluminiowa służyła jako powierzchnia referencyjna o bardzo niskiej wartości współczynnika emisyjności spektralnej (0,03–0,05), często stosowanej przy pomiarach emisyjności z użyciem szerokopasmowych kamer termowizyjnych [9]. Tworzywo sztuczne, którego charakterystyka spektralna nie była zmierzona laboratoryjnie, służyło jako selektywna powierzchnia do porównania właściwości przygotowanych powierzchni szarych. Widok rejestrowanej sceny w zakresie widzialnym pokazano na rys. 3.

Rys. 5. Wykres zmierzonego spektralnego rozkładu luminancji energetycznej powierzchni przed (linia ciągła) i zaraz po ekspozycji na bezpośrednie promieniowanie słoneczne (linia przerywana). 1 – obiekt pokryty farbą srebrną o średniej wartości emisyjności; 2 – obiekt z tworzywa sztucznego; 3 – obiekt pokryty czarną farbą o dużej wartości współczynnika emisyjności; 4 – obiekt pokryty folią aluminiową o niskiej wartości współczynnika emisyjności

Fig. 5. Graph of the measured spectral distribution of surface radiance before (solid line) and immediately after exposure to direct solar radiation (dashed line). 1 – object coated with silver paint with a medium emissivity value; 2 – plastic object; 3 – object coated with black paint with a high emissivity coefficient; 4 – object covered with aluminum foil with a low emissivity coefficient

Serie pomiarów przeprowadzono w warunkach względnie dużego zachmurzenia nieba, tak by możliwe było zarejestrowanie sceny przy warunkach zmiennego oświetlenia słonecznego. W badaniu wykonano dwie serie pomiarowe. Pierwsza rejestracja odbyła się przy Słońcu całkowicie zasłoniętym przez chmury, a druga nieco później, po ekspozycji na bezpośrednie promieniowanie słoneczne. Temperatura otoczenia wynosiła 21 °C, a wilgotność powietrza 47,5 %. Obraz szerokopasmowy zarejestrowanej sceny wraz z zaznaczonymi obszarami zainteresowania został przedstawiony na rys. 4.

Wykresy zmierzonych rozkładów spektralnej luminancji energetycznej promieniowania dla obu sytuacji pomiarowych, zostały przedstawione na rys. 5.

Na podstawie otrzymanych wyników można zaobserwować kilka rzeczy. Mierzona luminancja energetyczna z powierzchni aluminiowej zmienia się nieznacznie po ekspozycji na promieniowanie słoneczne, jednak powyżej progu detekcyjnego, co może okazać się nieobojętne przy detekcji obiektów o małej i średniej wartości współczynników emisyjności. Jak wiadomo z prawa przesunięć Wiena i efektywnej temperatury Słońca wynoszącej ok. 5778 K, maksimum rozkładu gęstości widmowej egzytancji promieniowania słonecznego przypada długości fali około 500 nm. Dlatego w użytym zakresie detekcyjnym 7,7–11,8 µm główną składową będzie promieniowanie własne obiektów oraz promieniowanie otocznia odbite od obiektów. Wpływ słońca ewidentnie nie jest obojętny jednak w zakresie LWIR i MWIR będzie się przede wszystkim przejawiał jako emisja własna powierzchni ogrzanej przez zaabsorbowaną energie promieniowania słonecznego. Większość promieniowania słonecznego docierającego do powierzchni ziemi, którą bierze się pod uwagę przy konstrukcjach wyeksponowanych na promieniowanie słoneczne jest z zakresu 335–2500 nm. Dlatego zjawisko nagrzewania się obiektów i składowa emisji własnej promieniowania dominuje nad składową odbiciową luminancji energetycznej rejestrowanej przez urządzenie pomiarowe.

Fig. 3. View of the recorded scene with the measured surfaces

Andrzej Ligienza, Mariusz Kastek, Tomasz Sosnowski, Krzysztof Firmanty

Wnioski

Wyniki pomiarów laboratoryjnych z użyciem spektroskopu odbiciowego są zbieżne z oczekiwaną charakterystyką promieniowania zarejestrowaną za pomocą kamery hiperspektralnej. Właściwości spektralne przygotowanych powierzchni referencyjnych są zbliżone do pożądanej, nieselektywnej charakterystyki. Jednoczesne użycie kilku takich powierzchni, których emisyjność spektralna jest dokładnie znana, umożliwi wyznaczenie składowych promieniowania pochodzącego z otoczenia mierzonej sceny z większą dokładnością. Skonstruowane powierzchnie nie są ciałami szarymi dla zakresu dalekiej podczerwieni, a ich technologia wytwarzania wymaga dopracowania pod kątem powtarzalności. Mimo to ich użyteczność w pomiarach teledetekcyjnych jest niezaprzeczalna. Wyraźnie można zaobserwować różnicę w odpowiedzi na bezpośrednie promieniowanie słoneczne między powierzchnią wykonaną z tworzywa sztucznego a innymi powierzchniami referencyjnymi. Jest to wynik zarówno selektywnej emisyjności spektralnej tej powierzchni, jak i innych właściwości termicznych, które zależą od gęstości i struktury materiału.

Konieczne będzie uwzględnienie dynamiki nagrzewania się powierzchni badanego obiektu w modelu pomiarowym. Może być to kolejna cecha, która będzie użyteczna w teledetekcji i identyfikacji danego typu materiałów. Z użyciem obiektów o znanych właściwościach termicznych i emisyjnych, będzie możliwe wyznaczenie charakterystycznego pasma, w których te różnice są największe i skonstruowanie kamery do detekcji konkretnych obiektów na podstawie zarówno ich cech przestrzennych, jak i spektralnych.

Bibliografia

1. Roundy J.K., Santanello J.A., Utility of Satellite Remote Sensing for Land–Atmosphere Coupling and Drought Metrics, “Journal of Hydrometeorology”, Vol. 18, No. 3, 2017, 863–877, DOI: 10.1175/JHM-D-16-0171.1.

2. Howell J., Menguc M., Siegel R., Thermal Radiation Heat Transfer. CRC Press, 2016.

3. Ligienza A., Bieszczad G., Sosnowski T., Bartosewicz B., Firmanty K., Nowatorskie pokrycia powierzchni ciał czarnych dla zakresu dalekiej podczerwieni, „Pomiary Automatyka Robotyka”, Vol. 25, No. 4, 2021, 77–82, DOI: 10.14313/PAR_242/77.

4. Ligienza A., Sosnowski T., Bieszczad G., Bareła J., Optoelectronic sensor system for recognition of objects and incidents, Radioelectronic Systems Conference, Vol. 11442, SPIE, 2020, DOI: 10.1117/12.2565165.

5. Driggers R., Friedman M., Nichols J., Introduction to Infrared and Electro-Optical Systems. Artech House, 2012.

6. Planck M., The theory of heat radiation, “Entropie”, Vol. 144, No. 190, 1900.

7. Kirchhoff G., Über den Zusammenhang zwischen Emission und Absorption von Licht und Wärme, Monatsberichte der Akademie der Wissenschaften zu Berlin, 1859, 783–787.

8. Więcek B., Pacholski K., Olbrycht R., Strąkowski R., Kałuża M., Borecki M., Wittchen W., Termografia i spektrometria w podczerwieni. Zastosowania przemysłowe Wydawnictwo Naukowe PWN, 2017.

9. Polakowski H., Madura H., Firmanty K., Bareła J., Kamera termowizyjna w pomiarach emisyjności powierzchni metali, „Pomiary, Automatyka, Komputery w Gospodarce i Ochronie Środowiska”, Vol. 2, No. 5, 2008, 21–23.

Non-selective Reference Surfaces for Hyperspectral Remote Sensing in the Long-Wave Infrared Range

Abstract: This article focuses on the construction of reference surfaces with the desired spectral characteristics similar to a gray body. Using wooden plywood with a rough surface and coatings of various emissivity values, surfaces with non-selecti vespectral properties were created. The consistency of laboratory measurement results using a reflectance spectrometer with data obtained from a hyperspectral camera was confirmed. By utilizing multiple reference surfaces with precisely known emissivity characteristics, it will be possible to accurately determine the radiation components of the measured scene’s surroundings. Although the technology of these surfaces still requires improvement, their usefulness in remote sensing measurements is undeniable. Additionally, differences in response to solar radiation between various reference surfaces provide significant information that can be used in remote sensing and material identification. Incorporating the heating dynamics of the studied objects’ surfaces is crucial for accurate measurement modeling.

Keywords: reference surfaces, non-selective spectral properties, gray body, emissivity, hyperspectral camera, remote sensing measurement, material identification, LWIR

mgr inż. Andrzej Ligienza

andrzej.ligienza@wat.edu.pl

ORCID: 0000-0002-5789-8531

Tytuł inżyniera otrzymał w 2014 r. po ukończeniu kierunku mechatronika ze specjalizacją inżynierii systemów mechatronicznych. Tytuł magistra otrzymał w 2016 r. po ukończeniu kierunku optoelektronika ze specjalizacją inżynieria systemów optoelektronicznych. W 2018 r. objął stanowisko starszego inżyniera w Zakładzie Techniki Podczerwieni i Termowizji Instytutu Optoelektroniki WAT.

dr inż. Mariusz Kastek

mariusz.kastek@wat.edu.pl

ORCID: 0000-0001-7184-5228

Absolwent Wydziału Elektroniki Wojskowej Akademii Technicznej (1993). Od 1997 r. jest pracownikiem Wojskowej Akademii Technicznej. Tytuł doktora nauk technicznych uzyskał w 2002 r. Zajmuje się problematyką detekcji obiektów w s ystemach podczerwieni, a także analizą sygnałów i algorytmami detekcji realizowanymi w urządzeniach podczerwieni. Autor i współautor ponad 70 publikacji. Pracuje na stanowisku adiunkta w Instytucie Optoelektroniki Wojskowej Akademii Technicznej.

dr inż. Tomasz Sosnowski tsosnowski@wat.edu.pl

ORCID: 0000-0003-4082-8366

Absolwent Wydziału Elektroniki Wojskowej Akademii Technicznej (1993). Tytuł doktora nauk technicznych uzyskał w 2003 r. Zajmuje się problematyką związaną z projektowaniem i programowaniem systemów cyfrowych, cyfrową analizą sygnału, analizą obrazu termograficznego, a także zastosowaniem układów mikroprocesorowych i programowalnych w technice podczerwieni.

dr inż. Krzysztof Firmanty

krzysztof.firmanty@wat.edu.pl

ORCID: 0000-0002-9124-6561

Absolwent Wydziału Elektroniki Wojskowej Akademii Technicznej (1993). Od 1993 r. pracownik Wojskowej Akademii Technicznej. Tytuł doktora nauk technicznych uzyskał w 2003 r. Zajmuje się problematyką detekcji obiektów w systemach podczerwieni oraz analizą sygnałów i algorytmami detekcji zaimplementowanymi w urządzeniach podczerwieni. Autor i współautor ponad 60 publikacji. Pracuje jako adiunkt w Instytucie Optoelektroniki Wojskowej Akademii Technicznej.

Generacja terenu przestrzennego za pomocą edytora Hermes

Mateusz Tecław

Zachodniopomorski Uniwersytet Technologiczny w Szczecinie, Wydział Elektryczny, al. Piastów 17, 70-310 Szczecin

Maciej Szłapczyński

Autocomp Management Sp. z o.o., ul. 1 Maja 36, 71-627 Szczecin

Streszczenie: W artykule zaprezentowano edytor tras Hermes w kontekście automatyzacji procesu wytwarzania trójwymiarowego terenu. Opisano klasyczne podejście do tego zagadnienia, zdefiniowano problemy obecne w tym procesie, a następnie zaproponowano obszary nadające się do automatyzacji. W dalszej części przedstawiono kroki niezbędne do pozyskania danych źródłowych od zewnętrznych, ogólnodostępnych dostawców, a także narzędzia pozwalające na ich przetworzenie w celu wygenerowania i przetworzenia półproduktów (kafli danych). W artykule omówiono szereg problemów spotykanych w procesie automatycznej generacji trójwymiarowych modeli budynków i terenów, a także zaproponowano i wdrożono działające rozwiązania programowe. Finalnie omówiono sposoby syntezy wygenerowanych i przetworzonych danych w jeden spójny model terenu wraz z elementami infrastruktury i zabudowaniami.

1. Wprowadzenie

Tworzenie otwartych światów przestrzennych jest ściśle związane z potrzebą wytworzenia trójwymiarowych modeli. Niezbędne jest wytworzenie takich elementów jak: ukształtowanie terenu, roślinność, drogi, elementy infrastruktury oraz wszelkiego rodzaju zabudowania.

Klasycznie, zagadnieniami tego typu zajmuje się zespół grafików. Każdy model, niezależnie czy jest to model drzewa, lampy drogowej, czy budynku, przygotowywany jest indywidualnie. Następnym etapem w takim procesie jest ręczne rozplanowanie wszystkich modeli na wspólnym trójwymiarowym podkładzie, który również musi zostać wcześniej ręcznie ukształtowany oraz oteksturowany.

Podejście to sprawdza się dla relatywnie małych powierzchni miejskich lub otwartych, pozamiejskich lokalizacji charakteryzujących się niskim poziomem szczegółowości. Chcąc wytworzyć teren obejmujący całe miasto lub teren pozamiejski posiadający duże zróżnicowanie ukształtowania terenu, pojawiają się dwa związane ze sobą problemy, a mianowicie ogromny nakład czasu potrzebnego na wytworzenie trójwy-

Słowa kluczowe: cyfrowa mapa 2D, model miasta 3D, OpenSteetMap, Geoportal, dane geoprzestrzenne, numeryczny model terenu miarowych modeli oraz ukształtowania terenu, a co za tym idzie wzrost kosztów wytworzenia przestrzennego terenu 3D. Rozwiązaniem problemu może być edytor tras Hermes (rys. 1) – oprogramowanie wykonane przez Autocomp Management Sp. z o.o. w ramach Regionalnego Programu Operacyjnego. Narzędzie powstało w celu kompleksowego tworzenia wirtualnych światów przeznaczonych dla symulatorów cywilnych oraz wojskowych, a jedną z kluczowych funkcjonalności oprogramowania jest automatyzacja wytwarzania otwartych przestrzeni 3D. Nie jest to program zastępujący zespół grafików, a jedynie usprawniający i przyspieszający pracę w miejscach, gdzie ręka ludzka nie jest niezbędna. Inspiracją do rozwiązań wdrożonych w oprogramowaniu są publikacje naukowe omawiające tematykę generowania modeli 3D z ogólnodostępnych danych geoprzestrzennych [1–4], a także dostępne na rynku narzędzia GIS, jak ArcGIS oraz QGIS [5]. Proces wytwarzania trójwymiarowego terenu można podzielić na cztery główne etapy: −Akwizycja danych wejściowych, −Generacja o dpowiednich produktów pośrednich, −Post-processing wygenerowanych danych, −Synteza danych w trójwymiarowy model terenu.

Autor korespondujący:

Mateusz Tecław, mateusz.teclaw@zut.edu.pl

Artykuł recenzowany nadesłany 25.05.2024 r., przyjęty do druku 11.06.2024 r.

2. Akwizycja danych wejściowych

Pomimo faktu iż oprogramowanie pozwala użytkownikowi na dowolne tworzenie obiektów infrastruktury, czy też przyrody, to tryb wykorzystania danych od zewnętrznych dostawców jest tym elementem systemu, który pozwala zaoszczędzić najwięcej czasu.

Edytor umożliwia użytkownikowi akwizycję danych rastrowych, wektorowych, a także numerycznego modelu terenu, za pomocą ogólnodostępnych dostawców danych geoprzestrzennych jak OpenStreetMap [6] czy Geoportal [7].

2.1. Baza danych geoprzestrzennych

Większość z dostawców oferuje API, za pomocą którego można w wygodny sposób formułować odpowiednie zapytania o interesujące obszary geograficzne. Czynność ta, niestety, często wiąże się z wymianą dużej ilości informacji między edytorem oraz dostawcą, co dodatkowo może potęgować fakt pracy nad tym samym obszarem przez użytkowników na wielu stanowiskach jednocześnie. W takich sytuacjach dochodzić może do nieintencjonalnych wyłączeń usługi dla danego odbiorcy końcowego. Przykładem takiego rozwiązania jest OverPass API dostarczające wektorowych danych z serwisu OpenStreetMap. W celu uniknięcia nieoczekiwanego braku dostępu do danych źródłowych, zastosowano własną bazę danych geoprzestrzennych, budowaną jednorazowo i osadzoną w jednostce lokalnej lub lokalnych zasobach sieciowych. W ten sposób możliwe jest przygotowanie wszystkich danych wektorowych pochodzących z serwisu OpenSteetMap, danych o geometrii zabudowań oraz numerycznego modelu terenu z serwisu Geoportal bez potrzeby periodycznego pobierania dużej ilości tych samych danych.

2.2. Dane podkładowe

Edytor umożliwia dodanie tak zwanych warstw podkładowych. Okno edytora konfigurujące przykładową warstwę podkładową przedstawiono na rysunku 2. Warstwą podkładową mogą być zewnętrzne dane rastrowe pozyskiwane w locie za pośred-

Rys. 2. Tworzenie warstwy zawierającej dane od zewnętrznego dostawcy danych geoprzestrzennych

Fig. 2. Creating a layer containing data from a third-party geospatial data provider

nictwem protokołów WMS (ang. Web Map Service ), WCS (ang. Web Coverage Service) oraz WMTS (ang. Web Map Tile Service), jak również rastrowe kafle danych dostępne lokalnie na dysku użytkownika. Dane podkładowe mogą być wykorzystane w dwojaki sposób.

Pierwszym zastosowaniem jest korekta danych wektorowych poprzez analizę różnic między rastrową reprezentacją obszaru geograficznego widzianą z góry (tak zwaną ortofotomapą), a danymi wektorowymi pozyskanymi od dostawcy, który nie gwarantuje stuprocentowej zgodności dostarczanych danych z rzeczywistością. Dla przykładu, dane z serwisu

OpenStreetMap są tworzone przez otwartą społeczność użytkowników i zasadnym jest stosowanie zasady ograniczonego zaufania do zaimportowanych danych z takiego serwisu.

Drugim i zarazem najważniejszym zastosowaniem danych podkładowych w kontekście automatyzacji procesu wytwarzania przestrzennych terenów trójwymiarowych jest eksport zdefiniowanych warstw podkładowych do postaci kafli danych. Przykładem może być generacja kafli rastrowych na podstawie ortofotomapy jako przyszłej tekstury dla wygenerowanej siatki terenu.

3. Generacja dwuwymiarowych kafli danych

Oprogramowanie dostarcza obszerny wachlarz typów eksportu danych do postaci rastrowych kafli, gdzie każdy element odpowiada ograniczonemu, ówcześnie skonfigurowanemu obszarowi. Zabieg ten ma na celu poprawę szybkości renderowania sceny,

Fig. 3.

a także możliwość wprowadzania poprawek dla wybranych obszarów sceny bez konieczności regenerowania całego obszaru projektowego. Poniżej omówiono kluczowe dla generacji terenów 3D rodzaje eksportu.

Rys. 3. Okno konfiguracji eksportu kafli

Tile export configuration window

Rys. 1. Główne okno edytora Hermes prezentujące przygotowane warstwy niezbędne w procesie generacji terenu 3D

Fig. 1. The main window of the Hermes editor showing the prepared layers necessary in the 3D terrain generation process

3.1. Generacja tekstury terenu

Jak już wspomniano wcześniej, na potrzeby generacji tekstury terenu wykorzystywana jest przede wszystkim ortofotomapa, czyli ortogonalny rzut powierzchni terenu utworzony ze zdjęć lotniczych. Przykład ortofotomapy wyeksportowanej na potrzeby tekstury terenu przedstawiono na rys. 4a).

Narzędzie pozwala na skonfigurowanie szeregu parametrów przed procesem eksportu, jak format wynikowy, wzorzec nazewnictwa plików oraz rozmiar pojedynczego kafla (rys. 3). Należy tutaj zwrócić uwagę, że rozmiar jest podawany niezależnie w dwóch jednostkach – w metrach jako połać obszaru geograficznego reprezentowanego przez eksportowany kafel oraz w pikselach jako rozmiar cyfrowy, na który rzutowany będzie zdefiniowany obszar geograficzny.

3.2. Generacja numerycznego modelu terenu

Numeryczny model terenu generowany jest na podstawie danych z serwisu Geoportal i jest zapisywany w formacie GeoTIFF. Format ten pozwala na przechowywanie danych wysokościowych w postaci równomiernie rozłożonej siatki, z reguły co jeden metr. Można powiedzieć, że jest to format zbliżony do obrazu w skali szarości, który w każdym punkcie, zamiast dynamiki piksela, ma dane wysokościowe (w metrach nad poziomem morza) zapisane liczbą dziesiętną.

Eksport rzeźby terenu jest wymagany w celu naniesienia modyfikacji niezbędnych do prawidłowej ostatecznej reprezen-

tacji terenu w przestrzeni trójwymiarowej. W celach modyfikacji wykorzystano zewnętrzne narzędzie wchodzące w skład edytora tras Hermes.

3.3. Generacja maski akwenów wodnych

Za pojęciem maski akwenów wodnych kryje się monochromatyczna mapa bitowa o wymiarach zgodnych z innymi wyeksportowanymi kaflami danych (rys. 4b). Pozyskiwana jest z danych wektorowych OSM przez rasteryzację wieloboków przedstawiających wybrane zbiorniki wodne. Opisywany element jest wykorzystywany na etapie przetwarzania końcowego numerycznego modelu terenu, w celu identyfikacji obrysu obiektów przeznaczonych do „pogłębienia”.

4. Obróbka kafli NMT

Pomimo tego, że numeryczny model terenu gwarantuje dość dokładne odwzorowanie powierzchni, to nie znaczy, że jest bez wad. Jedną z dość poważnych niedoskonałości jest brak informacji o ukształtowaniu terenu zajmowanego przez różnego rodzaju akweny wodne. Jeżeli świat przestrzenny jest tworzony jedynie w celach prezentacyjnych, to taką wadę można zaakceptować i dalsza obróbka nie jest wymagana.

Sytuacja zmienia się w przypadku, gdy wygenerowany model terenu ma zostać wykorzystany do interakcji z użyt-

Rys. 5. Podgląd fragmentu numerycznego modelu terenu przed i po procesie syntetycznej generacji zbocza akwenu wodnego: a) przed modyfikacją; b) po modyfikacji

Fig. 5. Preview of a fragment of the digital elevation model before and after the process of synthetic generation of a water reservoir slope: a) before modification; b) after modification

Rys. 4. Przykładowe kafle danych wygenerowane na podstawie zaimportowanych warstw: a) tekstura terenu; b) maska akwenów wodnych

Fig. 4. Sample data tiles generated from imported layers: a) terrain texture; b) mask of water bodies

kownikiem. W tym przypadku, płaska rzeźba terenów wodnych jest zjawiskiem nienaturalnym powodującym efekt lewitowania obiektów, których przeznaczeniem było unosić się na powierzchni wody przy delikatnym zanurzeniu, jak na przykład statki. Aby rozwiązać ten problem, w ramach projektu edytora, powstało narzędzie potrafiące wygenerować syntetyczne zbocza oraz dno akwenów wodnych bezpośrednio w plikach zawierających numeryczny model terenu. Algorytm wytwarzania dna akwenów wodnych można zrealizować w następujących krokach:

− aplikacja przyjmuje kafel NMT oraz odpowiadającą mu maskę akwenów wodnych jako dane wejściowe,

− na podstawie maski wyznaczany jest kontur obiektów,

− każdy piksel należący do konturu jest modyfikowany o zadany spadek,

− poprzedni kontur jest odejmowany od maski, wyznaczany jest nowy kontur, podwajany jest zadany spadek, a następnie operacja nanoszenia spadku jest powtarzana,

− proces kończy się w momencie wyczerpania pikseli do obróbki z dostarczonej maski binarnej.

Przykładowy wynik działania powyższego algorytmu zaprezentowano na rys. 5.

5. Generacja modelu terenu

Tak przygotowany model terenu importowany jest do unikatowej warstwy projektowej odpowiadającej za dane wysokościowe tworzonego terenu. Możliwe jest też zaimportowanie zmodyfikowanego modelu wysokości do lokalnej bazy danych, aby nie powtarzać tego procesu w przyszłości.

Procedura generacji modelu terenu polega na wybraniu warstwy wysokości podczas konfigurowania generatora świata 3D oraz zdefiniowaniu dokładności siatki danych. Maksymalne dopuszczalne zagęszczenie punktów ustalone jest przez dostawcę od którego dane pozyskano, a najczęściej spotykanym zagęszczeniem siatki jest jeden punkt na metr kwadratowy powierzchni. W procesie generacji, model wysokościowy oparty o siatkę poddawany jest optymalizacji – redukuje się zagęszczenie punktów zgodnie z ustawieniami generacji oraz eliminuje nadmiarowe dane leżące na tej samej płaszczyźnie (posiadające zbliżoną wartość wysokości). Ostatnim krokiem jest wytworzenie siatki trójkątów (ang. mesh) w procesie triangulacji, wyliczenie wektorów normalnych w celu prawidłowego oteksturowania i ostatecznie zapis do wybranego formatu danych.

6. Generacja i pozycjonowanie obiektów

Ostatnim etapem automatyzującym proces wytwarzania terenu jest generacja i pozycjonowanie trójwymiarowych obiektów. Edytor umożliwia generowanie prostych brył budynków wraz z oteksturowaniem. W pozostałych przypadkach udostępnia opcję powiązania elementu projektowanej sceny z istniejącym modelem 3D (wytworzonym przez grafików lub pozyskanym z zewnątrz) w celu odpowiedniego pozycjonowania względem rzeźby terenu i układu odniesienia przyjętego w projekcie. Generacja budynków dostępna jest dla dwóch rodzajów źródeł danych. Pierwszym z nich jest informacja o zabudowaniach pobrana z serwisu OpenStreetMap. Dane OSM są o tyle kłopotliwe, że nie posiadają informacji o wyniesieniu podstaw obiektów nad poziomem morza. Powyższe dane pozbawione są także informacji o trzecim wymiarze – w tym kontekście reprezentują poziom szczegółowości CityGML LOD0 (ang. Level Of Detail).

Pierwszy problem rozwiązano poprzez odpowiednią interpretację metadanych zawierających między innymi typ budynku,

ilość poziomów (pięter), a także w niektórych przypadkach rodzaj zadaszenia. Na ich podstawie wyznaczana jest wysokość pojedynczej kondygnacji, a następnie mnożona przez ilość poziomów. Tak otrzymana wysokość nanoszona jest na każdy punkt obrysu podstawy w celu jej wyniesienia w trzecim wymiarze, a w konsekwencji uzyskania bryły trójwymiarowej posiadającej poziom szczegółowości LOD1 [8].

Problem prawidłowego wyniesienia modelu rozwiązano przez odpytanie bazy danych geoprzestrzennych o wartość wysokości dla każdego punktu należącego do obrysu podstawy, a następnie aktualizację składowej Z (położenie w trzecim wymiarze) dla każdego z nich.

Informacja o geometrii budynków pozyskana z serwisu Geoportal (źródło danych GUGiK) dostarcza pełny opis brył w formacie CityGML o poziomie szczegółowości LOD1 (a dla niektórych lokalizacji także LOD2). W tym przypadku dane importowane są do bazy danych bezpośrednio z formatu źródłowego, a następnie wykorzystane w procesie generacji brył budynków.

Edytor umożliwia zdefiniowanie indywidualnej tekstury dla każdej bryły lub wykorzystanie jednej z predefiniowanych, dostarczanych wraz z oprogramowaniem. Użycie dostarczonych tekstur jest zasadne dla obiektów należących do tak zwanego tła, leżących poza głównym obszarem projektowym, jak na przykład projektowana trasa przejazdu użytkownika.

Proces generacji sprowadza się do wyboru warstw zawierających wektorowe dane kompatybilne z zastosowanym generatorem, a następnie zdefiniowania wyjściowego formatu pliku dla modeli 3D, rozmiaru kafla danych oraz zdefiniowania początku układu współrzędnych. Przykładową konfigurację generatora przedstawiono na rys. 6.

Rys. 6. Konfiguracja generatora świata 3D

Fig. 6. Configuration of the 3D world generator

Wygenerowane obiekty mogą zostać dopracowane w zewnętrznym oprogramowaniu do modelowania 3D, jeżeli otrzymany rezultat okaże się niewystarczający. W przypadku obiektów charakterystycznych oraz pierwszoplanowych, projektant w dowolnym momencie może podmienić cały wygenerowany model na własny bez ingerencji w pozostałe, syntetycznie wytworzone modele.

7. Synteza wygenerowanych danych

Na tym etapie istnieją wszystkie elementy niezbędne do złożenia finalnego produktu. Liczba plików z modelami równa jest liczbie warstw wybranych do generacji 3D. Edytor nie daje możliwości łączenia plików wynikowych w jeden, zostawia ten krok dla projektanta świata 3D. Dla ułatwienia pozycjono-

wania wygenerowanych danych w niestandardowym oprogramowaniu do wizualizacji 3D, tworzony jest dokument XML opisujący rozmieszczenie każdego modelu na świecie wraz z innymi opcjonalnymi atrybutami.

8. Dane eksperymentalne

W celach demonstracyjnych utworzono projekt obejmujący 1 km2 północnej części miasta Szczecin, którego rzut zaprezentowano na rys. 1. Obszar ten został wybrany ze względu na jego złożoność, na którą składa się: ukształtowanie terenu – duża zmiana wysokości z południa na północ, ze spadkiem w centralnej części (w okolicy stawu), zróżnicowana geometria podstaw budynków – od standardowych kwadratów i prostokątów, przez kołowe, a skończywszy na skomplikowanych wielokątach, −ob ecność akwenu wodnego – Staw Brodowski, −sieć trakcji kolejowej wraz z wiaduktem, −złożona infrastruktura drogowa.

Powyższy teren poddano opisywanemu w artykule procesowi automatycznej generacji terenu przy pomocy edytora tras Hermes. Całość procesu, zaczynając od wybrania obszaru projektowego, poprzez dodanie odpowiednich warstw projektowych, a kończąc na generacji niezbędnych modeli 3D zajęła mniej niż jedną godzinę.

Efekt automatycznego tworzenia terenu przedstawiono na rys. 7. Można zauważyć dobrze zdefiniowane zróżnicowanie wysokości terenu, pokrywające się idealnie z teksturą. Sieć trakcyjna prawidłowo znajduje się na wzniesieniu, a staw w zagłębieniu terenu. Budynki charakteryzują się prawidłową geometrią, zgodną z projektowym rzutem pionowym, a także wstępnie zaaplikowaną automatyczną teksturą ścian oraz dachu.

9. Podsumowanie

W artykule przedstawiono proces automatycznego tworzenia wirtualnych światów przy pomocy edytora tras Hermes. Udowodniono zasadność wytworzenia i wykorzystania narzędzia w celu usprawnienia pracy projektanta modeli 3D. Przez zastosowanie odpowiednich rozwiązań programowych, wyeliminowano omówione problemy i umożliwiono automatyzację części zadań, które w przeciwnym wypadku należałyby do zespołu grafików.

Rys. 7. Rzut przestrzenny wynikowego terenu złożonego z modelu terenu, jego tekstury oraz modeli budynków Fig. 7. Spatial projection of the resulting terrain consisting of a terrain model, its texture and building models

Oprogramowanie posiada potencjał do dalszego rozwoju. W przyszłości można rozpatrzyć wykorzystanie wyspecjalizowanych algorytmów i modeli AI w procesach: teksturowania wygenerowanych modeli na podstawie dostępnych metadanych – poprawa wizualnej spójności z bryłą budynku, przetwarzania modeli budynków z poziomu szczegółowości LOD1 do LOD2 – w szczególności generowania lub dopasowania predefiniowanej geometrii zadaszenia na podstawie odpowiadającego wycinka z rzutu ortofotomapy, optymalizacji punktów siatki numerycznego modelu terenu bez utraty szczegółowości wynikowego modelu 3D, generacji syntetycznej rzeźby akwenów wodnych – w celu urozmaicenia, dodania losowości, a także ustalenia nachylenia zbocza w oparciu o położenie geograficzne oraz typ akwenu.

Podziękowania

Zaprezentowane w artykule oprogramowanie i rozwiązania stanowią rezultat projektu „Innowacyjna technologia tworzenia środowiska dla różnego typu symulatorów pojazdów lądowych i wodnych”, realizowanego przez Autocomp Management w ramach Regionalnego Programu Operacyjnego Województwa Zachodniopomorskiego 2014–2020, Oś Priorytetowa 1 Gospodarka, Innowacje, Nowoczesne Technologie, Działanie 1.1 Projekty badawczo-rozwojowe przedsiębiorstw Typ projektu 2 Projekty badawczo-rozwojowe przedsiębiorstw ukierunkowane na wdrożenie wyników prac B+R w działalności gospodarczej.

Bibliografia

1. Župan R., Vinković A., Nikçi R., Pinjatela B., Automatic 3D Building Model Generation from Airborne LiDAR Data and OpenStreetMap Using Procedural Modeling, “Information”, Vol. 14, No. 7, 2023, DOI: 10.3390/info14070394.

2. Khayyal H.K., Zeidan Z.M., Beshr A.A.A. Creation and Spatial Analysis of 3D City Modeling based on GIS Data, “Civil Engineering Journal”, Vol. 8, No. 1, 2022, 105–123. DOI: 10.28991/CEJ-2022-08-01-08.

3. Keil J., Edler D., Schmitt T., Dickmann F., Creating Immersive Virtual Environments Based on Open Geospatial Data and Game Engines, “KN – Journal of Cartography and Geographic Information”, Vol. 71, 2021, 53–65, DOI: 10.1007/s42489-020-00069-6.

4. Girindran R., Boyd D.S., Rosser J., Vijayan D., Long G., Robinson D., On the Reliable Generation of 3D City Models from Open Data, “Urban Science”, Vol. 4, No. 4, 2020, DOI: 10.3390/urbansci4040047.

5. Flenniken J.M., Stuglik S., Iannone B.V., Quantum GIS (QGIS): An introduction to a free alternative to more costly GIS platforms. “EDIS”, Vol. 2020, No. 2, DOI: 10.32473/edis-fr428-2020.

6. OpenStreetMap Foundation, OpenStreetMap service about page. https://www.openstreetmap.org/about.

7. Główny Urząd Geodezji i Kartografii. Strona domowa serwisu Geoportal. 2023. https://www.geoportal.gov.pl.

8. Trias Aditya i Dany Laksono. LOD 1: 3D CityModel for Implementing SmartCity Concept. Proceedings of the 2017 International Conference on Information Technology, ICIT ’17. Singap ore, 2017, 136–141, DOI: 10.1145/3176653.3176734.

Generation of Spatial Terrain Using the Hermes Editor

Abstract: The article presents the Hermes route editor in the context of automating the process of creating three-dimensional terrain. The classic approach to this issue was described, the problems present in this process were defined, and then areas suitable for automation were proposed. The following sections present the steps necessary to obtain source data from external, publicly available suppliers, as well as tools for processing them in order to generate and process semifinished products (data tiles). The article discusses a number of problems encountered in the process of automatic generation of three dimensional models of buildings and areas, and also proposes and implements working software solutions. Finally, ways of synthesizing the generated and processed data into one coherent terrain model along with infrastructure elements and buildings were discussed.

Keywords: 2D digital map, 3D city model, OpenSteetMap, Geoportal, Geospatial data, digital elevation model

mgr inż. Mateusz Tecław mateusz.teclaw@zut.edu.pl

ORCID: 0000-0003-2885-9901

Absolwent Wydziału Elektrycznego Zachodniopomorskiego Uniwersytetu Technologicznego w S zczecinie. W 2010 r. uzyskał tytuł magistra inżynieria w dyscyplinie elektronika i telekomunikacja. Od 2013 r. pracuje na stanowisku asystenta w Katedrze Przetwarzania Sygnałów i Inżynierii Multimedialnej na Wydziale Elektrycznym ZUT w Szczecinie. Jego działalność naukowa skoncentrowana jest wokół zagadnień analizy obrazów oraz przetwarzania danych przestrzennych.

mgr inż. Maciej Szłapczyński mszlapczynski@autocomp.com.pl

ORCID: 0009-0004-8037-3460

Absolwent Wydziału Elektrycznego Politechniki Szczecińskiej. W 2007 r. uzyskał tytuł magistra inżyniera. W 2009 r. rozpoczął prace nad projektami badawczo-rozwojowymi w Centrum Badawczo-Rozwojowym Autocomp Management Sp. z o.o. Od 2020 r. jest z-cą dyrektora ds. Badań i Rozwoju. Główne kierunki zainteresowań rozwojowych dotyczą zastosowania symulatorów do szkoleń w obszarach transportu i wojska.

Automatyczna generacja wirtualnych elementów infrastruktury kolejowej

Paweł Lisiecki, Maciej Szłapczyński

Autocomp Management Sp. z o.o., ul. 1 Maja 36, 71-627 Szczecin

Ewelina Chołodowicz

Szkoła Doktorska w Zachodniopomorskim Uniwersytecie Technologicznym w Szczecinie, al. Piastów 19, 70-310 Szczecin

Streszczenie: Niniejszy artykuł poświęcono zagadnieniom modelowania wirtualnego świata 3D na potrzeby symulatorów kolejowych oraz problematyce tworzenia mapy. Zaproponowano algorytm wykorzystujący metody sztucznej inteligencji do wykrywania, klasyfikacji i umieszczania obiektów infrastruktury kolejowej z nagrania wideo oraz danych GPS w wirtualnym świecie 3D. Proponowane rozwiązanie, wspierające automatyczną generację wirtualnych elementów infrastruktury kolejowej, stanowi istotną nowość w obszarze badań.

Słowa kluczowe: symulator ruchu drogowego, symulator kolejowy, konwolucyjna sieć neuronowa, detekcja obiektów, generacja świata 3D, GPS, GIS, OSM

1. Wprowadzenie. Problemy cząstkowe w literaturze problemu

W pracy [1] przedstawiono wybrane symulatory ruchu drogowego oraz zarysowano problemy związane z ich wykorzystaniem w praktyce. W pracach [2–6] przedstawiono w aplikacjach praktycznych aspekty wykorzystania danych GIS do generowania świata wirtualnego, nie tylko na potrzeby symulatorów. W pracach [4, 7] przedstawiono modele cyfrowe bazujące na GIS wraz z przepływami pracy nad tymi modelami. W artykule [8] zaproponowano algorytm automatycznego generowania świata 3D na podstawie danych GIS. W pracach [5, 9] źródłem danych do trójwymiarowego modelu jest również OSM (ang.  OpenStreetMap). Autorzy prac [10–12] sięgają po dane z OSM w celu generowania ścieżek ruchu autonomicznego. System przeszukiwania i korekty połączeń w wygenerowanych na podstawie OSM ścieżkach jest przedmiotem pracy [12]. Prezentacja danych zawartych w systemach GIS jest przedmiotem prac [13–16]. Z perspektywy wizualizacji są to duże lub bardzo duże zbiory danych i wymagają stosowania narzędzi znanych na co dzień z gier komputerowych [7]. Problem badawczy stanowiący przedmiot niniejszego artykułu to opracowane w ramach projektu narzędzia do wykrywania, klasyfikacji i umieszczania obiektów infrastruktury kolejowej z nagrania wideo w wirtualnym świecie 3D. Algorytm detekcji infrastruktury kolejowej został omówiony m.in. w pracy [17]. Praca przedstawia implementację hybrydowego algorytmu

Autor korespondujący:

Paweł Lisiecki, plisiecki@autocomp.com.pl

Artykuł recenzowany nadesłany 22.05.2024 r., przyjęty do druku 11.06.2024 r.

detekcji oraz rozpoznawania semaforów kolejowych na trasie przejazdu pociągu. W ramach badań przeprowadzono testy symulacyjne, w których szukano optymalnego rozwiązania dla zadania detekcji i klasyfikacji obiektów infrastruktury kolejowej. Wynikiem badań jest hybrydowy algorytm, który wykorzystuje konwolucyjną sieć neuronową YOLO do wykrywania semaforów na obrazach oraz klasyczne metody przetwarzania obrazu do klasyfikacji sygnalizacji na wykrytym semaforze. Problematykę oraz rozwiązania w zakresie detekcji obiektów infrastruktury kolejowej przedstawiono również w [18–20].

W kolejnej części zarysowano problemy, z jakimi należy się zmierzyć podejmując wyzwanie opracowania przepływu pracy oraz narzędzia informatycznego, wspierającego generację obiektów infrastruktury kolejowej na potrzeby symulatora.

2. Problemy tworzenia świata 3D o wysokim poziomie szczegółowości

Tworząc cyfrowe mapy na potrzeby symulatora kolejowego należy zwrócić uwagę na kilka kluczowych zagadnień. Dostępne rozwiązania zapewniające detekcję i klasyfikację obiektów nie osadzają obiektów w świecie wirtualnym – rozwiązują tylko problem detekcji i klasyfikacji [17–19]. Błędy oraz niedokładności w ogólnie dostępnych danych (np. OpenStreetMap) to kolejne wyzwanie podczas tworzenia map na potrzeby symulatorów [4, 12]. Rozwiązania przeznaczone do generowania wirtualnych światów 3D pozwalają na automatyczne generowanie świata na podstawie danych zewnętrznych (np. OpenStreetMap), jednakże generacja ma często charakter generyczny lub uproszczony, w związku z czym tak wygenerowane dane nie mogą zostać użyte jako reprezentacja wirtualnego świata dla symulatorów [6].

Modelowanie wirtualnego świata 3D na potrzeby symulatorów kolejowych jest bardzo czasochłonnym procesem. W pracy [10] w celu zwiększenia efektywności generowania świata 3D ograniczono jego szczegóły. Z tego powodu nie jest możliwe

wykorzystanie takiego rozwiązania do zastosowań symulatorów, które z reguły wymagają wysokiego poziomu immersyjności. Oprogramowanie, które jest dedykowane dla generowania świata 3D o wysokim stopniu odwzorowania ma zwykle problemy z generacją charakterystycznych budynków, które swoim kształtem odbiegają od standardowej zabudowy. Dodatkowo, eksportowane dane są zapisywane w formie warstw tylko do odczytu. Warstwy takie mogą być przetwarzane jedynie w dedykowanym oprogramowaniu [14], co znacznie utrudnia proces korekcji charakterystycznych budynków w modelowanym świecie.

3. Tworzenie wirtualnego świata 3D na potrzeby symulacji

Tworzenie wirtualnego świata 3D na potrzeby symulatora to złożony i czasochłonny proces, który składa się z wielu etapów. W artykule skupiono się przede wszystkim na problematyce tworzenia wirtualnego świata 3D dla symulatorów kolejowych. Proces tworzenia map dla symulatora rozpoczyna się od gromadzenia danych na temat modelowanej linii kolejowej. W tym celu przygotowywane są nagrania z kamery umieszczonej w kabinie maszynisty, która jest skierowana na przednią szybę pociągu. Kamera rejestruje przejazd pociągu na danej linii kolejowej z perspektywy maszynisty. Następnie w analogiczny sposób realizowany jest przejazd w przeciwnym kierunku. Zebrane nagrania stanowią podstawowe źródło danych dla projektantów wirtualnego świata 3D. W związku z tym, że kamera rejestruje obraz z perspektywy maszynisty, to na podstawie nagrania, projektant jest w stanie stwierdzić, które elementy infrastruktury kolejowej oraz otoczenia są istotne oraz w jakim stopniu należy je odwzorować (osoba korzystająca z symulatora musi mieć zapewnione takie same pole widzenia, jak maszynista w rzeczywistym pojeździe). Kolejnym etapem jest przygotowanie geograficznych danych referencyjnych, na podstawie których projektant będzie modelował przebieg linii kolejowej. W tym celu wykorzystywane są dane OpenStreetMap. Kolejnym etapem jest tworzenie wirtualnego świata 3D przy pomocy graficznego edytora. Projektant wykorzystuje dane z nagrania oraz dane geograficzne do modelowania świata 3D w edytorze map. Stworzona mapa jest następnie weryfikowana w środowisku testowym pod kątem zgodności z materiałem wideo. W przypadku błędów lub nieprawidłowości, mapa jest modyfikowana i ponownie testowana. Ostatnim etapem jest eksport mapy do formatu akceptowanego przez symulator kolejowy oraz integracja stworzonej mapy z systemem symulacji.

W całym procesie, najbardziej czasochłonnym etapem jest etap modelowania świata 3D. Wynika to głównie z powodu, że jest to proces manualny, który dodatkowo wymaga ciągłej weryfikacji modelowanego obszaru z danymi wideo oraz danymi geograficznymi. Na szybkość wykonywania świata 3D wpływa również jakość nagrania, ponieważ to ono jest głównym źródłem danych dla projektanta. Ogólnodostępne dane geograficzne nie zawierają informacji o rozmieszczeniu znaków kolejowych, czy semaforów.

W ramach realizacji projektu edytora stworzono moduł sprzętowo-programowy do automatycznego wykrywania, klasyfikacji oraz umieszczania w odpowiednim systemie referencyjnym koordynatów (CRS) elementów infrastruktury kolejowej. Przy pomocy konwolucyjnej sieci neuronowej, na podstawie danych wideo dokonywana jest detekcja i klasyfikacja elementów infrastruktury kolejowej. Każdy wykryty obiekt jest klasyfikowany a następnie śledzony, do czasu, gdy dany obiekt zniknie z pola widzenia (znajdzie się poza obszarem rejestrowanym prze kamerę), lub upły -

nie pewna ilość klatek w których obiekt nie był już wykrywany przez sieć neuronową. Dane o detekcjach są zestawione z danymi GPS we wspólnej bazie czasowej. Dzięki takiemu rozwiązaniu możliwe jest umieszczenie wykrytego obiektu

Rys. 1. Diagram przepływu dla algorytmu detekcji i śledzenia pojedynczego obiektu zarejestrowanego przez konwolucyjną sieć neuronową

Fig. 1. Flowchart of the algorithm for detecting and tracking a single object detected by a convolutional neural network

w odpowiednim miejscu w wirtualnym świecie. Takie rozwiązanie pozwala na automatyzację procesu wykrywania znaków infrastruktury kolejowej przez projektanta. W stworzonym oprogramowaniu Hermes [21] użytkownik ma możliwość podglądu nagrania wideo wraz z zaznaczonymi detekcjami obiektów oraz pozycji kamery na scenie 2D (rys. 3). Dodatkowo możliwy jest podgląd detekcji na osi czasu, dzięki czemu możliwa jest nawigacja po czasie w celu przejścia do danej detekcji obiektu. Dzięki temu, projektant może efektywniej wprowadzać elementy do wirtualnego świata, ponieważ nie musi oglądać całego nagrania, a jedynie nawigować między kolejnymi detekcjami.

4. Detekcja, klasyfikacja i lokalizacja obiektów infrastruktury kolejowej

Fig. 2. Results of the solution for object detection, classification and tracking

Proces detekcji i klasyfikacji obiektów przebiega w sposób standardowy dla konwolucyjnej sieci neuronowej. Proces uczenia sieci został opisany krok po kroku w pracy [17]. To, co wyróżnia prezentowane w artykule rozwiązanie od klasycznego procesu detekcji i klasyfikacji obiektu, to śledzenie znalezionego obiektu oraz jego lokalizacja według danych zarejestrowanych przez GPS o wysokiej rozdzielczości pomiaru. Konwolucyjna sieć neuronowa była uczona na zbiorze danym składającym się z ponad 25 000 zdjęć (pochodzących z nagrań z przejazdów) na których oznaczono obiekty należące do ponad 40 różnych klas obiektów infrastruktury kolejowej, do których należą: semafor, tabliczka kilometrażowa, pas świetlny, wskaźniki W1, W4, W5 i inne.

Proces śledzenia obiektu (rys. 1) przebiega w następujący sposób: dla każdej klatki nagrania (k) pobierane są dane o wszystkich obiektach, które w danej klatce zostały wykryte. Pojedynczy wpis o wykrytym obiekcie (DO) zawiera informacje o rozmiarze obszaru wykrytego obiektu na nagraniu (w pikselach), o klasie obiektu (C) oraz o prawdopodobieństwie (w procentach) przynależności wykrytego obiektu do danej klasy (C). Przykładowe wyniki detekcji zostały przedstawione na rys. 2. Dla każdego obiektu (DO) wykrytego w danej klatce (k) nagrania wykonywane są następujące czynności:

1. Wstępna selekcja detekcji na podstawie wymiarów wykrytego obiektu;

2. Sprawdzanie, czy obiekt o danej klasie (C) nie został wcześniej wykryty;

3. Jeżeli obiekt nie został wcześniej wykryty, to DO jest umieszczany w kolejce już wykrytych obiektów DOhistory i nadawany jest mu kolejny identyfikator dla danej klasy obiektu (id), a także zapisywana jest aktualna klatka k;

4. Jeżeli obiekt klasy C został wcześniej wykryty, to jest sprawdzane, czy którykolwiek z wcześniej wykrytych obiektów z DOhistory ma taką samą klasę jak DO;

5. Jeżeli taki obiekt zostanie znaleziony, to obliczane są wskaźniki jakościowe, które określają, czy dana detekcja DO jest kolejną detekcją wykrytego już wcześniej obiektu;

6. W pierwszej kolejności obliczany jest wskaźnik f (distance), gdzie distance to odległość między DO a danym obiektem (DOhistory[x]) z historii;

7. Następnie wyliczany jest wskaźnik g(V(k), DO), gdzie V(k) to estymowany wektor prędkości ruchu DOhistory[x] wyliczany na podstawie ostatnich dwóch detekcji. Wskaźnik f określa, czy nowa detekcja DO znajduje się w pobliżu poprzedniej detekcji, natomiast wskaźnik g określa, czy nowa detekcja DO znajduje się w pobliżu nowej (potencjalnej) pozycji DOhistory[x];

8. Następnie oba wskaźniki są sumowane. Jeżeli suma jest większa od pewnej przyjętej wartości parametru, to dana detekcja DO jest traktowana jako kolejna detekcja obiektu DOhistory[x] i do historii detekcji DOhistory[x] wpisywane jest wykryte położenie DO. Dodatkowo obliczany jest wektor prędkości (V(k)) DOhistory[x] na podstawie distance oraz różnicy między klatką k a klatką ostatniej detekcji DOhistory[x];

9. Dla wszystkich obiektów w DOhistory dla danej klatki k wykonywany jest następujący algorytm: (1) Obliczana jest różnica między klatką k a ostatnią klatką detekcji DOhistory[x]; (2) Obliczane jest estymowane położenie obiektu DOhistory[x]; Jeżeli z obliczeń wyniknie, że obiekt znajdzie się poza obszarem rejestrowanym przez kamerę, to dany obiekt DOhistory[x] jest przenoszony do listy wykrytych i zakończonych detekcji DOdetected

Może się jednak zdarzyć, że w historii detekcji danego obiektu będzie tylko jeden wpis, w związku z tym nie będzie obliczony wektor V(k) i nie będzie możliwa estymacja położenia, co spowoduje, że taki obiekt nigdy nie zostanie przeniesiony do listy już wykrytych obiektów. Aby uniknąć takiej

Rys. 2. Wyniki działania rozwiązania dla detekcji, klasyfikacji i śledzenia obiektów

Paweł Lisiecki, Maciej Szłapczyński, Ewelina Chołodowicz

sytuacji, przyjęto, że obiekt zawsze jest przenoszony do listy już wykrytych obiektów, kiedy od ostatniej jego detekcji minęło 100 klatek. Dzięki temu rozwiązaniu, wszystkie wykryte obiekty zostaną zapisane w docelowej liście wykrytych obiektów DOdetected. Każdy wpis z listy DOdetected zawiera informacje o całej historii detekcji, w tym o numerze klatki, w której dana detekcja wystąpiła, prawdopodobieństwie wykrycia oraz o obszarze detekcji. Zawiera również informacje o identyfikatorze obiektu, o jego klasie oraz o ostatniej ramce, w której był wykryty. Powyższe informacje są wykorzystywane do osadzenia danego elementu w wirtualnym świecie 3D. Dane o detekcjach są synchronizowane z danymi GPS, wynikiem czego są detekcje obiektów zlokalizowane według danych GPS.

Rys. 3. Podgląd wynikowych danych w oprogramowaniu

Hermes

Fig. 3. Preview the resulting data in Hermes software

W celu akwizycji danych GPS powstało urządzenie na bazie mikrokomputera Raspberry Pi oraz modułu GPS – SparkFun GPS-RTK2 Board – ZED-F9P, które może zostać zamontowane razem z kamerą w kabinie pociągu i zbierać dane o aktualnym położeniu pociągu. W związku z niską dokładnością pomiaru położenia przy użyciu standardowego modułu GPS (niedokładności mogą sięgać nawet kilku metrów) zastosowano korektę danych GPS w postaci danych RTK. Dzięki temu udało się osiągnąć dokładność pomiarową rzędu kilku centymetrów.

Tak przygotowane dane mogą zostać zaimportowane do oprogramowania Hermes w celu dalszej obróbki, czy do wykorzystania ich jako referencja dla modelowania docelowego świata 3D.

Implementacja zaprezentowanego rozwiązania pozwoliła usprawnić proces modelowania wirtualnego świata 3D na etapie przygotowania danych do modelowania oraz na samym etapie modelowania. W pierwotnym procesie (rys. 4), to dane z kamery były jedynym źródłem informacji o obiektach na trasie kolejowej. W aktualnym procesie modelowania świata 3D (rys. 5) dane zostały rozszerzone o dane detekcji oraz rozmieszczenia obiektów.

Zaproponowane rozwiązanie ma ograniczenia, które mogą zmniejszyć jego skuteczność w procesie wytwarzania wirtualnego świata 3D. Podstawowym problemem jest jakość nagrania wideo. Jeżeli nagranie nie ma odpowiedniej jakości lub jest nagrywane podczas złych warunków atmosferycznych to znaczna część obiektów może nie zostać wykryta lub zostanie nieprawidłowo wykryta. Ten problem występuje również w przypadku manualnego przetwarzania nagrania przez projektanta. Zła jakość obrazu negatywnie wpłynie na wykrywanie przez niego obiektów. Drugi problem jest związany z dokładnością detekcji przez sztuczną sieć neuronową. Podczas testów sieci udało się osiągnąć dokładność detekcji na poziomie 85 %. Wszystkie obiekty, które nie zostały wykryte lub zostały nieprawidłowo wykryte, muszą zostać znalezione ręcznie przez projektanta. Jeżeli dokładność będzie zbyt niska może się okazać, że korzyść jaka płynie z wykorzystywania rozwiązania automatycznej detekcji i klasyfikacji obiektów jest znikoma. Kolejny problem związany jest z bazą danych uczących. Podczas przygotowywania danych uczących, znaczna większość obiektów była oznaczana bardzo blisko czoła pociągu. W związku z powyższym, sieć neuronowa użyta do detekcji i klasyfikacji obiektów nie radzi sobie dobrze z wykrywaniem obiektów w oddali.

Rys. 4. Proces wytwarzania świata 3D bez modułu detekcji Fig. 4. 3D world manufacturing process without detection module

Rys. 5. Proces wytwarzania świata 3D z wykorzystaniem modułu detekcji

Fig. 5. The process of manufacturing a 3D world using a detection module

5. Podsumowanie

W artykule skupiono uwagę na problemy związane z generacją świata 3D dla symulatorów kolejowych. Przedstawiono i opisano proces tworzenia wirtualnego świata 3D. W ramach realizacji projektu „Innowacyjna technologia tworzenia środowiska dla różnego typu symulatorów pojazdów lądowych i wodnych” powstało rozwiązanie wspierające proces generowania wirtualnego świata 3D dla symulatorów kolejowych. Zaprezentowane rozwiązanie łączy metody detekcji i klasyfikacji (sieć neuronowa) oraz dokładne dane geolokalizacyjne (na podstawie danych GPS) w celu dokładnej identyfikacji i rozmieszczenia elementów w wirtualnym świecie 3D. Rozwiązanie to usprawnia proces tworzenia świata 3D zarówno na etapie przygotowania danych jak i na etapie samego modelowania.

Podziękowania

Zaprezentowane w artykule tezy oraz wyniki stanowią rezultat projektu „Innowacyjna technologia tworzenia środowiska dla różnego typu symulatorów pojazdów lądowych i wodnych”, realizowanego przez Autocomp Management w ramach Regionalnego Programu Operacyjnego Województwa Zachod-

niopomorskiego 2014–2020, Oś Priorytetowa 1 Gospodarka, Innowacje, Nowoczesne Technologie, Działanie 1.1 Projekty badawczo-rozwojowe przedsiębiorstw Typ projektu 2 Projekty badawczo-rozwojowe przedsiębiorstw ukierunkowane na wdrożenie wyników prac B+R w działalności gospodarczej.

Bibliografia

1. Nguyen J., Powers S.T., Urquhart N., Farrenkopf T., Guckert M., An overview of agent-based traffic simulators, “Transportation Research Interdisciplinary Perspectives”, Vol. 12, 2021, DOI: 10.1016/J.TRIP.2021.100486.

2. Amara Y., Amamra A., Khemis S., Raw GIS to 3D road modeling for real-time traffic simulation, “Visual Computer”, Vol. 38, 2022, 239–256, DOI: 10.1007/S00371-020-02013-1/TABLES/4.

3. Khayyal H.K., Zeidan Z.M., Beshr A.A.A., Creation and Spatial Analysis of 3D City Modeling based on GIS Data, “Civil Engineering Journal”, Vol. 8, No. 1, 2022, 105–123, DOI: 10.28991/CEJ-2022-08-01-08.

4. Salleh S., Ujang U., Azri S., Virtual 3D Campus for Universiti Teknologi Malaysia (UTM), “ISPRS International Journal of Geo-Information”, Vol. 10, No. 6, 2021, DOI: 10.3390/ijgi10060356.

5. Keil J., Edler D., Schmitt T., Dickmann F., Creating Immersive Virtual Environments Based on Open Geospatial Data and Game Engines, “KN – Journal of Cartography and Geographic Information”, Vol. 71, 2021, 53–65, DOI: 10.1007/s42489-020-00069-6.

6. Girindran R., Boyd D.S., Rosser J., Vijayan D., Long G., Robinson D., On the Reliable Generation of 3D City Models from Open Data, “Urban Science”, Vol. 4, No. 4, 2020, DOI: 10.3390/urbansci4040047.

7. Yang X., Delparte D., A Procedural Modeling Approach for Ecosystem Services and Geodesign Visualization in Old Town Pocatello, Idaho, “Land”, Vol. 11, No. 8, 2022, DOI: 10.3390/LAND11081228.

8. Wang H., Wu Y., Han X., Xu M., Chen W., Automatic generation of large-scale 3D road networks based on GIS data, “Computers & Graphics”, Vol. 96, 2021, 71–81, DOI: 10.1016/J.CAG.2021.02.004.

9. Župan R., Vinković A., Nikçi R., Pinjatela B., Automatic 3D Building Model Generation from Airborne LiDAR Data and OpenStreetMap Using Procedural Modeling, “Information”, Vol. 14, No. 7, 2023, DOI: 10.3390/info14070394.

10. Meng Z., Du X., Sottovia P., Foroni D., Axenie C., Wieder A., Eckhoff D., Bortoli S., Knoll A., Sommer C., Topology-Preserving Simplification of OpenStreetMap Network Data for Large-scale Simulation in SUMO, “SUMO Conference Proceedings”, Vol. 3, 2022, 181–197, DOI: 10.52825/scp.v3i.111.

11. Jafari A., Both A., Singh D., Gunn L., Giles-Corti B., Building the road network for city-scale active transport simulation models, “Simulation Modelling Practice and Theory”, Vol. 114, 2022, DOI: 10.1016/j.simpat.2021.102398.

12. Tabet F., Pentyala S., Patel B.H., Hendawi A., Cao P., Song A., Govind H., Ali M., OSMRunner : A System for Exploring and Fixing OSM Connectivity, 22nd IEEE International Conference on Mobile Data Management (MDM), IEEE, 2021, 193–200, DOI: 10.1109/MDM52706.2021.00039.

13. Kilsedar C.E., Brovelli M.A., Multidimensional Visualization and Processing of Big Open Urban Geospatial Data on the Web, “ISPRS International Journal of Geo-Information”, Vol. 9, No. 7, 2020, DOI: 10.3390/IJGI9070434.

14. Badwi I.M., Ellaithy H.M., Youssef H.E., 3D-GIS Parametric Modelling for Virtual Urban Simulation Using CityEngine , “Annals of GIS”, Vol. 28, No. 3, 2022, 325–341, DOI: 10.1080/19475683.2022.2037019.

15. Flenniken J.M., Stuglik S., Iannone B.V., Quantum GIS (QGIS): An introduction to a free alternative to more costly GIS platforms. “EDIS”, Vol. 2020, No. 2, DOI: 10.32473/edis-fr428-2020.

16. Smaczyński M., Horbiński T., Creating a 3D Model of the Existing Historical Topographic Object Based on Low-Level Aerial Imagery, “KN – Journal of Cartography and Geographic Information”, Vol. 71, 2021, 33–43, DOI: 10.1007/S42489-020-00061-0/FIGURES/8.

17. Chołodowicz E., Lisiecki P., Lech P., Hybrid Algorithm for the Detection and Recognition of Railway Signs, 2020, 337–347, DOI: 10.1007/978-3-030-19738-4_34.

18. Liu W., Wang Z., Zhou B., Yang S., Gong Z., Real-time Signal Light Detection based on Yolov5 for Railway, IOP Conference Series: Earth and Environmental Science”, Vol. 769, 2021, DOI: 10.1088/1755-1315/769/4/042069.

19. T. Ye, X. Zhang, Y. Zhang, i J. Liu, Railway Traffic Object Detection Using Differential Feature Fusion Convolution Neural Network, “IEEE Transactions on Intelligent Transportation Systems”, Vol. 22, No. 3, 2021, 1375–1387, DOI: 10.1109/TITS.2020.2969993.

20. Zhang J., Xie Z., Sun J., Zou X., Wang J., A Cascaded R-CNN with Multiscale Attention and Imbalanced Samples for Traffic Sign Detection, “IEEE Access”, Vol. 8, 2020, 29742–29754, DOI: 10.1109/ACCESS.2020.2972338.

21. Tecław M. Szłapczyński M., Generacja terenu przestrzennego za pomocą edytora Hermes, „Pomiary Automatyka Robotyka”, R. 28, Nr 2, 2024, 113–118, DOI: 10.14313/PAR_252/113

Automatic Generation of Virtual Railway Infrastructure

Elements

Abstract: This article is devoted to the issues of modeling a 3D virtual world for railroad simulators and the problems of creating a map for such a simulator. An algorithm using artificial intelligence methods for detection, classification, and place railway infrastructure objects from video recordings in a 3D virtual world, as well as GPS data has been proposed. The proposed solution, supporting automatic generation of virtual elements of railway infrastructure, is a significant innovation in the field of research.

Keywords: traffic simulator, railway simulator, Convolutional Neural Networks, object detection, 3D world generation, GPS, GIS, OSM, OpenStreetMap

mgr inż. Paweł Lisiecki plisiecki@autocomp.com.pl

ORCID: 0009-0002-0713-4434

Absolwent Wydziału Elektrycznego Zachodniopomorskiego Uniwersytetu Technologicznego w Szczecinie. W 2017 r. uzyskał tytuł inżyniera, a w 2019 r. tytuł magistra inżyniera. Jest doradcą ds. oprogramowania w Centrum Badawczo-Rozwojowym Autocomp Management Sp. z o.o. Jego zainteresowania naukowe obejmują metody sztucznej inteligencji w zastosowaniu do detekcji obiektów oraz metody analizy i przetwarzania danych biomedycznych.

mgr inż. Ewelina Chołodowicz cholodowicz.ewelina@gmail.com

ORCID: 0000-0001-8221-4309

Doktorantka na Wydziale Elektrycznym w Szkole Doktorskiej na Zachodniopomorskim Uniwersytecie Technologicznym. Uzyskała tytuł magistra inżyniera na kierunku Automatyka i Robotyka na Zachodniopomorskim Uniwersytecie Technologicznym w 2019 r. Zdobyła pierwszą nagrodę za pracę inżynierską w ogólnopolskim konkursie „Młodzi Innowacyjni” oraz wyróżnienie w kategorii „Młody Inżynier” przyznane w 26. edycji Plebiscytu Czytelników „Przeglądu Technicznego”. Jest autorką około 20 publikacji naukowych. Jej zainteresowania naukowe dotyczą modelowania i optymalizacji układów sterowania, w szczególności układów nieliniowych i niepewnych.

mgr inż. Maciej Szłapczyński mszlapczynski@autocomp.com.pl

ORCID: 0009-0004-8037-3460

Absolwent Wydziału Elektrycznego Politechniki Szczecińskiej. W 2007 r. uzyskał tytuł magistra inżyniera. W 2009 r. rozpoczął prace nad projektami badawczo-rozwojowymi w Centrum Badawczo-Rozwojowym Autocomp Management Sp. z o.o. Od 2020 r. jest z-cą dyrektora ds. Badań i Rozwoju. Główne kierunki zainteresowań rozwojowych dotyczą zastosowania symulatorów do szkoleń w obszarach transportu i wojska.

Informacje dla Autorów

Za artykuł naukowy – zgodnie z Komunikatem Ministra Nauki i Szkolnictwa Wyższego z dnia 29 maja 2013 r. w sprawie kryteriów i trybu oceny czasopism naukowych – należy rozumieć artykuł prezentujący wyniki oryginalnych badań o charakterze empirycznym, teoretycznym, technicznym lub analitycznym zawierający tytuł publikacji, nazwiska i imiona autorów wraz z ich afiliacją i przedstawiający obecny stan wiedzy, metodykę badań, przebieg procesu badawczego, jego wyniki oraz wnioski, z przytoczeniem cytowanej literatury (bibliografię). Do artykułów naukowych zalicza się także opublikowane w czasopismach naukowych opracowania o charakterze monograficznym, polemicznym lub przeglądowym, jak również glosy lub komentarze prawnicze.

Wskazówki dla Autorów przygotowujących artykuły naukowe do publikacji

Artykuły naukowe zgłoszone do publikacji w kwartalniku naukowotechnicznym Pomiary Automatyka Robotyka powinny spełniać następujące kryteria formalne: – t ytuł artykułu (nieprzekraczający 80 znaków) w języku polskim oraz angielskim,

– imię i nazwisko Autora/Autorów, adres e-mail, afiliacja (instytucja publiczna, uczelnia, zakład pracy, adres), – s treszczenie artykułu (o objętości 150–200 słów) w języku polskim oraz angielskim, – s łowa kluczowe (5–8 haseł) w języku polskim oraz w języku angielskim angielskim,

– z asadnicza część artykułu – w języku polskim (lub w j. angielskim), – podpisy pod rysunkami w języku polskim oraz w języku angielskim, – t ytuły tabel w języku polski oraz w języku angielskim, – ilustracje/grafika/zdjęcia jako osobne pliki w formacie .eps, .cdr, .jpg lub .tiff, w rozdzielczości min. 300 dpi, min. 1000 pikseli szerokości, opisane zgodnie z numeracją grafiki w tekście.

Artykuł powinien mieć objętość równą co najmniej 0,6 arkusza wydawniczego, nie powinien przekraczać objętości 1 arkusza wydawniczego (40 000 znaków ze spacjami lub 3000 cm2 ilustracji, wzorów), co daje ok. 8 stron złożonego tekstu. W przypadku artykułów przekraczających tę objętość sugerowany jest podział na części. Nie drukujemy komunikatów!

Do artykułu muszą być dołączone notki biograficzne wszystkich Autorów (w języku artykułu) o objętości

500–750 znaków oraz ich aktualne fotografie.

Redakcja zastrzega sobie prawo dokonywania skrótów, korekty językowej i stylistycznej oraz zmian terminologicznych.

Przed publikacją autorzy akceptują końcową postać artykułu.

System recenzencki PAR

Redakcja przyjmuje wyłącznie artykuły oryginalne, wcześniej niepublikowane w innych czasopismach, które przeszły etap weryfikacji redakcyjnej

Autorzy ponoszą całkowitą odpowiedzialność za treść artykułu. Autorzy materiałów nadesłanych do publikacji są odpowiedzialni za przestrzeganie prawa autorskiego. Zarówno treść pracy, jak i zawarte w niej ilustracje, zdjęcia i tabele muszą stanowić dorobek własny Autora, w przeciwnym razie muszą być opisane zgodnie z zasadami cytowania, z powołaniem się na źródło.

Oddaliśmy do dyspozycji Autorów i Recenzentów System Recenzencki, który gwarantuje realizację tzw. podwójnie ślepej recenzji. Przesyłając artykuł do recenzji należy usunąć wszelkie elementy wskazujące na pochodzenie artykułu – dane Autorów, ich afiliację, notki biograficzne.

Dopiero po recenzji i poprawkach sugerowanych przez Recenzentów artykuł jest formatowany zgodnie z przyjętymi zasadami. W przypadku zauważonych problemów, prosimy o kontakt z Redakcją.

Kwartalnik naukowotechniczny Pomiary Automatyka Robotyka jest indeksowany w bazach BAZTECH, Google Scholar oraz INDEX COPERNICUS (ICV 2022: 91,28), a także w bazie naukowych i branżowych polskich czasopism elektronicznych ARIANTA. Przyłączając się do realizacji idei Otwartej Nauki, udostępniamy bezpłatnie wszystkie artykuły naukowe publikowane w kwartalniku naukowo-technicznym Pomiary Automatyka Robotyka. Punktacja Ministerstwa Edukacji i Nauki za publikacje naukowe w kwartalniku Pomiary Automatyka Robotyka wynosi obecnie 70 pkt. (wykaz czasopism naukowych i recenzowanych materiałów z konferencji międzynarodowych z dnia 5 stycznia 2024 r., poz. 29984, Unikatowy Identyfikator Czasopisma 200205). Przypisane dyscypliny naukowe – automatyka, elektronika, elektrotechnika i technologie kosmiczne.

Oświadczenie dotyczące jawności informacji o podmiotach przyczyniających się do powstania publikacji

Redakcja kwartalnika naukowotechnicznego Pomiary Automatyka Robotyka , wdrażając politykę Ministra Nauki i Szkolnictwa Wyższego odnoszącą się do dokumentowania etycznego działania Autorów, wymaga od Autora/Autorów artykułów podpisania przed przyjęciem artykułu do druku druku w kwartalniku oświadczenia zawierającego:

1. i nformację o udziale merytorycznym każdego wymieniowego Autora w przygotowaniu publikacji –celem jest wykluczenie przypadków tzw. „guest authorship”, tj. dopisywania do listy Autorów publikacji nazwisk osób, których udział w powstaniu publikacji był znikomy albo w ogóle nie miał miejsca.

2. i nformację o uwzględnieniu w publikacji wszystkich osób, które miały istotny wpływ na jej powstanie – celem jest: – p otwierdzenie, że wszystkie osoby mające udział w powstaniu pracy zostały uwzględnione albo jako współautorzy albo jako osoby, którym autor/autorzy dziękują za pomoc przy opracowaniu publikacji, – p otwierdzenie, że nie występuje przypadek „ghostwriting”, tzn. nie występuje sytuacja, w której osoba wnosząca znaczny wkład w powstanie artykułu nie została wymieniona jako współautor ani nie wymieniono jej roli w podziękowaniach, natomiast przypisano autorstwo osobie, która nie wniosła istotnego wkładu w opracowanie publikacji;

3. informację o źródłach finansowania badań, których wyniki są przedmiotem publikacji – w przypadku finansowania publikacji przez instytucje naukowo-badawcze, stowarzyszenia lub inne podmioty, wymagane jest podanie informacji o źródle środków pieniężnych, tzw. „financial disclosure” – jest to informacja obligatoryjna, nie koliduje ze zwyczajowym zamieszczaniem na końcu publikacji informacji lub podziękowania za finansowanie badań.

Umowa o nieodpłatne przeniesienie praw majątkowych do utworów z zobowiązaniem do udzielania licencji CC-BY

Z chwilą przyjęcia artykułu do publikacji następuje przeniesienie majątkowych praw autorskich na wydawcę. Umowa jest podpisywana przed przekazaniem artykułu do recenzji. W przypadku negatywnych recenzji i odrzucenia artykułu umowa ulega rozwiązaniu.

Redakcja na mocy udzielonej licencji ma prawo do korzystania z utworu, rozporządzania nim i udostępniania dowolną techniką, w tym też elektroniczną oraz ma prawo do rozpowszechniania go dowolnymi kanałami dystrybucyjnymi.

Zapraszamy do współpracy

Poza artykułami naukowymi publikujemy również materiały informujące o aktualnych wydarzeniach, jak konferencje, obronione doktoraty, habilitacje, uzyskane profesury, a także o realizowanych projektach, konkursach – słowem, o wszystkim, co może interesować i integrować środowisko naukowe. Zapraszamy do recenzowania/ polecania ciekawych i wartościowych książek naukowych.

Redakcja kwartalnika Pomiary Automatyka Robotyka nauka@par.pl

Zasady cytowania

Podczas cytowania artykułów publikowanych w kwartalniku naukowo-technicznym

Pomiary Automatyka Robotyka prosimy o podawanie nazwisk wszystkich autorów, pełną nazwę czasopisma oraz numer DOI, np.:

Zbigniew Świder, Nastawy regulatora kursu dla autopilota statku, ISSN 1427-9126, R. 28, Nr 2/2024, 5–10, DOI: 10.14313/PAR_252/5.

www.par.pl

www.jamris.org www.automatykaonline.pl/automatyka

67

73

Piotr Golański, Marek Szczekala

Using the Digital-Twin Technology in the Mi-17 Mixed Reality Simulator

Ela Zawidzka, Jacek Szklarski, Janusz Kobaka, Machi Zawidzki

Przykłady Małej Architektury w oparciu o System Arm-Z 81

Krzysztof Kubiczek, Marian Kampik, Michał Grzenik, Krzysztof Musioł, Anna Piaskowy

Wideband AC Voltage Standards

Tomasz Sosnowski, Mariusz Kastek, Krzysztof Sawicki, Grzegorz Bieszczad, Sławomir Gogler, Tadeusz Piątkowski

89

99

107

Metoda pomiaru temperatury ciała człowieka za pomocą kamery termowizyjnej

Sławomir Gogler, Krzysztof Sawicki, Andrzej Ligienza, Mariusz Mścichowski

Metoda pomiaru minimalnej rozróżnialnej różnicy temperatury w funkcji powiększenia i rozogniskowania kamery termowizyjnej

Andrzej Ligienza, Mariusz Kastek, Tomasz Sosnowski, Krzysztof Firmanty

Nieselektywne powierzchnie referencyjne w teledetekcji hiperspektralnej w zakresie dalekiej podczerwieni

Mateusz Tecław, Maciej Szłapczyński

113

119

Generacja terenu przestrzennego za pomocą edytora Hermes

Paweł Lisiecki, Maciej Szłapczyński, Ewelina Chołodowicz

Automatyczna generacja wirtualnych elementów infrastruktury kolejowej