Misje poszukiwawczo ratownicze z użyciem drona z kamerą termowizyjną FLIR

Znalezienie wędrowca zagubionego w lesie jest trudną misją – jeśli osoba zgubi się na gęsto zalesionym terenie, światło słoneczne jest w dużej mierze blokowane przez drzewa i inną roślinność, a ziemia odbija bardzo mało światła. Z tego powodu obrazowanie termiczne jest często używane do wykrywania ciepłoty ciał ludzkich w środowisku leśnym. Ale nawet obrazowanie termiczne nie może widzieć przez drzewa, co sprawia, że misje ratownicze są trudnym zadaniem, nawet jeśli ratownicy są wspomagani przez drona lub helikopter z kamerą termowizyjną.

Na szczęście wkrótce możemy zobaczyć drony termowizyjne sterowane sztuczną inteligencją, które mogą „patrzeć” przez koronę lasu i wizualizować sygnatury cieplne na ziemi poniżej.

Przykładem tego może być poniższy film który pokazuje jak zaawansowany algorytm pozwala na lokalizację ludzi nawet w gęstym lesie.

Zespół naukowców z Uniwersytetu Johannesa Keplera w Austrii opublikował artykuł opublikowany w Nature Machine Intelligence, w którym opisano technikę zwaną powietrznym cięciem optycznym (AOS), która umożliwia aparatowi powietrznemu widzenie przez okluzje, takie jak baldachim lasu. Zespół kierowany przez profesora Olivera Bimbera osiągnął dokładną klasyfikację na poziomie ponad 90% przy użyciu drona wyposażonego w kamerę termowizyjną FLIR Vue Pro i algorytm uczenia maszynowego przeszkolony do identyfikacji ludzi poniżej.

Airborne Optical Sectioning – lokalizacja ludzi przez gęsty las

„Kluczową techniką, która to umożliwia, jest powietrzne cięcie optyczne” – wyjaśnia Bimber. „Jest to technika obrazowania z syntetyczną aparaturą, która zasadniczo rejestruje wiele obrazów na większym obszarze, które są obliczane w połączeniu w celu uzyskania integralnych obrazów, które pozwalają nam patrzeć przez las”. Syntetycznie skupiając się na ziemi poniżej i łącząc wiele obrazów w jeden integralny obraz, wszystko, co nie znajduje się w płaszczyźnie ogniskowej – jak drzewa – znika, a to, co pozostaje, jest połączeniem obrazów dna lasu.

Korzystając z cyfrowych modeli wysokości, które są dostępne online dla prawie każdego miejsca na ziemi, dron może latać nad głową i znać położenie gruntu poniżej. „Dla każdego punktu na ziemi po prostu obliczamy, gdzie specyfikacja rzutuje na widok wszystkich tych zarejestrowanych kamer i integrujemy je” – mówi Bimber.

Wyniki są imponujące – tam, gdzie dron z kamerą termowizyjną może wykryć fragmenty sygnatury cieplnej człowieka, AOS ujawnia cały ludzki kształt, który może zostać sklasyfikowany przez wyszkoloną sztuczną inteligencję.

Strzałki wskazują częściowe sygnały cieplne okluzji ludzi na ziemi. Wstawki, które uzyskuje się, gdy zintegrowanych jest wiele obrazów termicznych.

Szkolenie sztucznej inteligencji

Chociaż obrazowanie termiczne dosłownie ratuje życie podczas misji poszukiwawczo-ratowniczych, ma pewne ograniczenia, zwłaszcza jeśli operatorzy próbują wykorzystać możliwości wykrywania AI. „Technika głębokiego uczenia się – przy próbie sklasyfikowania, że ​​te rzeczy to ludzie – miałaby trudności” – mówi Bimber – „ponieważ otrzymujesz bardzo podobne sygnały cieplne tylko po rozgrzanych łatach na ziemi lub rozgrzanych gałęziach . ” Z integralnym obrazem pozbawionym okluzji, sztuczną inteligencję można łatwo wyszkolić do wykrywania postaci ludzkich.

FLIR dysponuje obszernym zestawem danych termicznych do szkolenia pojazdów autonomicznych, ale zespół Bimber odkrył, że musi stworzyć zestaw danych lotniczych, aby wyszkolić swoją sieć neuronową do identyfikacji ludzi z góry. „Spędziliśmy mniej więcej rok, rejestrując własne zestawy danych, które moglibyśmy wykorzystać do szkolenia” – mówi Bimber. Ich zestaw danych obejmował zdjęcia ludzi z góry w różnych pozach i uwzględniał wielkość ludzi w stosunku do typowej odległości lotu drona

Zespół spodziewał się, że będzie musiał rejestrować obrazy w różnych warunkach, w tym w różnych typach lasów i w różnych porach roku. Jednak okazało się, że jest to niepotrzebne. „Środek do usuwania okluzji działa tak dobrze, że okluzja staje się niezmienna. Więc naprawdę nie ma znaczenia, czy obliczysz te integralne obrazy z pojedynczych obrazów, które zarejestrowałeś w lesie czy na otwartym terenie ”- wyjaśnia Bimber. „Dzięki temu mogliśmy rejestrować zestaw danych szkoleniowych w warunkach kontrolnych na otwartym polu”.

Zastosowania – dzika przyroda, archeologia i nie tylko

Powietrzne cięcie optyczne ma zastosowanie nie tylko w poszukiwaniach i ratownictwie, ale ma również zastosowanie w takich dziedzinach, jak archeologia, obserwacja dzikiej przyrody i leśnictwo. Elastyczność tej technologii jest głównym czynnikiem wpływającym na jej wszechstronność, jak wyjaśnia Bimber, można ją zastosować do każdego rodzaju fal, nie tylko w podczerwieni, i do każdego rodzaju samolotu.

„To naprawdę niski koszt, ponieważ nie mamy do czynienia ze specjalnymi czujnikami” – dodaje. „Możesz po prostu użyć zwykłych aparatów”.

Na przykład w przypadku projektów archeologicznych zespół pracuje w RBG, aby usunąć przeszkody i uwidocznić konstrukcje architektoniczne, podczas gdy zastosowania rolnicze zwykle wykorzystują obrazowanie w bliskiej podczerwieni.

Obrazowanie termiczne i AOS przyniosą również korzyści obserwacji dzikiej przyrody, a zespół pomógł naukowcom śledzić populacje zwierząt. „Jest wiele osób zainteresowanych tym, jak duże są populacje oraz jak populacje przemieszczają się i zmieniają w czasie i pod względem wielkości” – wyjaśnia Bimber. W zeszłym roku zespół pracował nad projektem liczenia największej populacji czapli w Europie, która co roku gniazduje na terenach podmokłych na granicy Niemiec i Austrii.

Źródło: Airborne Optical Sectioning for Nesting Observation (www.youtube.com/watch?v=81l-Y6rVznI)

Przyszłość poszukiwań i ratownictwa

Na potrzeby przyszłych testów zespół zamierza ulepszyć do drona, który może latać przez dłuższy czas (do kilku godzin), oraz kamerę termowizyjną, taką jak FLIR Boson, która zawiera SDK do przetwarzania obrazów w czasie rzeczywistym. Ich celem jest posiadanie autonomicznego drona, który pobiera obrazy termiczne w czasie rzeczywistym, przetwarza obrazy, a następnie oblicza, gdzie dalej lecieć. Jeśli zauważy coś, co może być osobą, zbada dalej, znajdując zaginione osoby tak szybko i niezawodnie, jak to tylko możliwe. Będzie też mógł komunikować się z ekipą ratowniczą i przesyłać swoje wyniki na ich urządzenia mobilne.

Przeniesienie wszystkich wymaganych obliczeń z laboratorium na mobilny ładunek jest dodatkowym wyzwaniem, ale zespół jest przekonany, że wkrótce je osiągnie. Chociaż dla ludzkiego oka integralne obrazy tworzone w czasie rzeczywistym na dronie nie mają tak wyrazistości, jak te łączone później w laboratorium przez komputery wysokiej klasy, pokładowa sztuczna inteligencja nadal jest w stanie łatwo klasyfikować ludzkie formy.

„Mamy nadzieję, że uda nam się to zrobić w ciągu najbliższych pięciu lat” – mówi Bimber. „Technologia jest gotowa, wystarczy ją zintegrować”. Miejmy nadzieję, że dzięki nowej technologii wkrótce zobaczymy pieszych i zaginionych uratowanych w rekordowym czasie.

Bibliografia:

Schedl, D.C., Kurmi, I. & Bimber, O. Poszukiwanie i ratownictwo z powietrznym cięciem optycznym. Nat Mach Intell 2, 783–790 (2020). https://doi.org/10.1038/s42256-020-00261-3

https://www.flir.com/discover/cores-components/researchers-develop-search-and-rescue-technology-that-sees-through-forest-with-thermal-imaging/