Od wielu lat Politechnika Gdańska współpracuje z firmą INTEL, największym na świecie producentem układów scalonych i mikroprocesorowych. W ramach podpisanej umowy o współpracy prowadzonych jest szereg ciekawych badań w obszarach tematycznych związanych również z praktycznym zastosowaniem technologii informatycznych. Jednym z takich obszarów jest rozwój metod sztucznej inteligencji dla potrzeb zdalnej diagnostyki medycznej.
Współpraca przynosi efekty w postaci wyników badań dotyczących m.in. obrazowania termicznego twarzy.
Badania, które ze strony Politechniki Gdańskiej prowadzone są przez prof. Jacka Rumińskiego z Katedry Inżynierii Biomedycznej na Wydziale Elektroniki, Telekomunikacji i Informatyki, we współpracy z inżynierami firmy Intel w San Diego, USA (m.in. Alicją Kwaśniewską i Maciejem Szankinem), są próbą odpowiedzi na pytania, czy obrazy termiczne i sekwencje obrazów termicznych są wystarczająco szczegółowe, aby umożliwić rozpoznawanie cech twarzy, estymować parametry medyczne takie jak częstość oddychania, detekcję osób na jezdni przy słabej widoczności, itp. Wyniki wspólnych, wstępnych prac badawczych zostały już opublikowane w czasopismach i materiałach konferencyjnych. Ostatnio zaprezentowano ciekawe efekty współpracy w zakresie możliwości rozpoznawania twarzy na podstawie obrazów termicznych. Zaprezentowano je podczas 12 Międzynarodowej Konferencji na temat interakcji człowiek-komputer, organizowanej przez Institute of Electrical and Electronics Engineers.
Obrazy termiczne są coraz częściej wykorzystywane ze względu na postęp technologiczny powodujący większą dostępność kamer termowizyjnych. Umożliwiają one pomiar i wizualizację rozkładu temperatur wskazując na przykład stan izolacji termicznej budynków, wykrywanie osób nielegalnie przekraczających granice, podwyższoną temperaturę ciała, itp. W przypadku obrazowania obszaru twarzy, wysokiej jakości obrazy termograficzne pozwalają obrazować szczegóły, które mogą być charakterystyczne dla danej osoby. Oznacza to potencjalną możliwość rozpoznawania twarzy na podstawie obrazów zarejestrowanych przez kamerę termograficzną.
Współpracujące zespoły naukowców z PG oraz firmy Intel postanowiły sprawdzić w jakim zakresie można rozpoznawać twarz z różnych obrazów termograficznych. W tym celu przygotowano specjalne algorytmy sztucznej inteligencji wykorzystujące głębokie sieci neuronowe. W procesie uczenia i weryfikacji algorytmów zastosowano dwa różne zestawy danych. Pierwszy z nich zawierał zarejestrowane sekwencje obrazów termograficznych od 30 ochotników (IRIS Data), drugi składał się z sekwencji uzyskanych od 40 ochotników. Przeprowadzone eksperymenty na każdym z zestawów danych wykazały dużą dokładność rozpoznawania twarzy: odpowiednio 82,14% i 99,50%. Różnice dokładności związane były z dużo większą jakością obrazów z drugiego zestawu danych. Wstępne wyniki wskazują, że zastosowanie sztucznej inteligencji daje duże możliwości w zakresie rozpoznawania twarzy. Badania wymagają jednak kontynuacji w celu weryfikacji metod na większej liczbie obrazów, uzyskanych w różnych warunkach pomiarowych.
Innym aspektem analizy obrazów termograficznych jest detekcja twarzy w obrazie (bez rozpoznawania kto jest na obrazie), detekcje charakterystycznych obszarów twarzy, takich jak nos, usta, oczy, itp. Przykładowo, wykrywają nos czy usta w każdym obrazie sekwencji termograficznej (wideo) można zbadać, jak zmienia się lokalnie temperatura w wyniku oddychania. Prowadzi to do stosunkowo łatwej możliwości oceny częstości oddychania.
– Detekcja twarzy na obrazie z kamery i użycie sztucznej inteligencji do sprawdzania parametrów życiowych to bardzo szybki, bezdotykowy sposób na przesiewowe badanie dużej grupy osób jednocześnie – wyjaśnia użyteczność termicznych zdjęć prof. Jacek Rumiński – na przykład na lotniskach w przypadku zagrożenia epidemią, w szpitalach i ośrodkach medycznych. Jako badacze, będąc już po badaniach wstępnych z dwoma rodzajami kamer, stawiamy sobie dwa najważniejsze pytania. Po pierwsze, z jaką dokładnością można otrzymać pożądane informacje z odczytu obrazu termograficznego. A po drugie jak rozdzielczość kamery, którą robione są zdjęcia, wpływa na odczytywanie parametrów.
Rejestrując sekwencje obrazów termograficznych można zatem oszacować stan podwyższonej temperatury ciała, parametry oddychania i inne potencjalnie użyteczne informacje. Rozpoznawanie twarzy umożliwia potencjalne powiazanie uzyskanych parametrów z określoną osobą (automatyzacja), co jednak może również stwarzać problemy etyczne (m.in. związane z naruszaniem prywatności osób). Stanowi to również ważny aspekt prowadzonych badań, wskazujących potencjalne zagrożenia wynikające z niewłaściwego używania osiągnięć naukowych.
Zespół prof. Jacka Rumińskiego od wielu lat prowadzi także badania w zakresie możliwości estymacji pulsu (częstości pracy serca) na podstawie sekwencji obrazów uzyskiwanych z tradycyjnych kamer, np. umieszczanych w laptopach. Połączenie obydwu technik pomiarowych wraz z nowoczesnymi algorytmami sztucznej inteligencji daje bardzo duże możliwości w zakresie określenia parametrów życiowych obserwowanej osoby bez potrzeby podłączania jakichkolwiek dodatkowych urządzeń.
Zespół zamierza kontynuować badania, rozszerzając ich zakres na większą grupę populacji reprezentantów rożnych ras, w różnych warunkach otoczenia. Obecnie obrazowanie termiczne nie jest jeszcze powszechnie dostępne, jednak postęp technologiczny i bardzo szybki wzrost rozdzielczości obrazu wpływa na zmniejszenie kosztów takich kamer. Profesor Rumiński podkreśla, że obrazowanie termiczne będzie można w niedalekiej przyszłości używać powszechnie w różnych zastosowaniach w medycynie, epidemiologii czy wspomaganiu bezpieczeństwa w ruchu drogowym.