Jak urządzenia dźwiękowe pomagają w analizie stanu zdrowia dzięki przetwarzaniu odgłosów ciała?
Noszone przez ludzi na co dzień urządzenia ubieralne stanowią prawdziwy przełom w opiece zdrowotnej. Wszystko to dzięki zaawansowanym czujnikom stale monitorującym zdrowie ich użytkowników. Wraz ze spadkiem cen czujników nastąpi wzrost ich dostępności, co przełoży się na upowszechnienie możliwości gromadzenia danych dostępnych dotychczas wyłącznie operatorom drogich urządzeń medycznych. „Dostęp do szczegółowych danych w dłuższym ujęciu czasowym jest przełomem w dziedzinie obserwacji stanu zdrowia”, zauważa Cecilia Mascolo(odnośnik otworzy się w nowym oknie) z Uniwrsytetu w Cambridge(odnośnik otworzy się w nowym oknie), koordynatorka projektu EAR(odnośnik otworzy się w nowym oknie). Prace w ramach projektu EAR zostały sfinansowane przez Europejską Radę ds. Badań Naukowych(odnośnik otworzy się w nowym oknie). Naukowcy realizujący projekt EAR opracowali szereg mobilnych monitorów zdrowia opartych na sztucznej inteligencji (SI), w tym wkładki douszne zbierające informacje fizjologiczne, a także aplikację na telefon komórkowy, która monitoruje zdrowie układu oddechowego. Wykorzystując rozwiązania oparte na sztucznej inteligencji do analizy filmów i obrazów jako punkt odniesienia, rozwiązania do analizy materiału dźwiękowego są stosunkowo słabo rozwinięte, co oznacza, że zespół musiał opracować nowe metody. „Jesteśmy w czołówce, jeśli chodzi o wykorzystanie sztucznej inteligencji do interpretacji danych dźwiękowych w celu monitorowania stanu zdrowia, wykorzystując istniejące zbiory danych i uczenie transferowe do wstępnego trenowania naszych modeli lub istniejących wstępnie wytrenowanych modeli dostrojonych do naszych celów przy użyciu samonadzorowanego procesu uczenia się”, wyjaśnia Mascolo.
Obserwacja ogólnego stanu zdrowia fizjologicznego
Badając hipotezę, że kanał słuchowy może okazać się idealną lokalizacją dla urządzenia monitorującego stan zdrowia, zespół projektu EAR opracował algorytm zmieniający przeznaczenie mikrofonów zainstalowanych w słuchawkach w celu wykrywania dźwięków ciała związanych ze zdrowiem. Aby sprawdzić, jak dobrze słuchawki mogą monitorować chód użytkowników i inne aspekty ich fizjologii, takie jak oddychanie i tętno, ochotnicy uczestniczyli w różnych aktywnościach, w tym bieganiu i ćwiczeniach na maszynach do treningu wioślarskiego. W oparciu o duże zbiory danych i techniki uczenia maszynowego, badacze wytrenowali model sztucznej inteligencji do identyfikowania i interpretowania wskaźników zdrowotnych w dźwięku. „Udowodniliśmy, że urządzenia dźwiękowe sprawdzają się doskonale do gromadzenia dźwięków dotyczących zdrowia, a zebrane dane okazały się istotne z punktu widzenia analizy zdrowia fizjologicznego przy pomocy naszej nowatorskiej sztucznej inteligencji”, dodaje Mascolo.
Badanie stanu zdrowia układu oddechowego
W czasie pandemii COVID-19 zespół chciał sprawdzić, czy jest możliwe opracowanie aplikacji na telefony komórkowe pozwalającej na wykrywanie obecności koronawirusa, wykorzystując próbki audio zebrane przez mikrofon telefonu. W tym celu badacze wykorzystali jeden z największych zgromadzonych i dostępnych zbiorów danych multimodalnych i dźwięków pochodzących z jamy ustnej(odnośnik otworzy się w nowym oknie) (oddychania, kaszlu i mowy) w połączeniu z informacjami o statusie testu COVID-19, objawach i historii medycznej. Zbiór ten jest obecnie wykorzystywany w modelach uczenia maszynowego zaprojektowanych w celu przewidywania rokowań osoby zakażonej w oparciu o próbki audio przekazywane regularnie za pośrednictwem aplikacji. Korzystając z danych związanych z wirusem COVID-19, połączoncyh z innymi danymi dotyczącymi zdrowia publicznego, zespół zbudował również pierwszy dźwiękowy model układu oddechowego nazwany OPERA(odnośnik otworzy się w nowym oknie), umożliwiając badaczom prowadzenie prac, które były dotychczas niemożliwe ze względu na brak danych, w tym badanie przewlekłej obturacyjnej choroby płuc. „Gromadzone przez nas dane dotyczące COVID-19 są prawdziwym przełomem i stale cieszą się dużym zainteresowaniem, z kolei potencjał wykorzystania tej technologii do badania infekcji dróg oddechowych i chorób przewlekłych jest naprawdę ogromny”, mówi Mascolo.
Przekrojowe monitorowanie stanu zdrowia na szeroką skalę
Innowacyjne rozwiązania opracowane w ramach projektu EAR stanowią przystępny cenowo i skalowalny sposób monitorowania zdrowia poszczególnych osób i społeczności, znacząco przyczyniając się do realizacji ambicji Unii Europejskiej dotyczących popularyzacji medycyny spersonalizowanej i profilaktyki chorób. „Obecnie badamy, w jaki sposób dźwięk, zwłaszcza dźwięk z ucha, może dostarczać dodatkowych informacji zdrowotnych - zwłaszcza wskaźników, które nie zostały jeszcze wykryte lub których wykrycie wiąże się z wysokimi kosztami”, dodaje Mascolo. Jednocześnie badacze opracowali zgłoszenie patentowe dotyczące słuchawek monitorujących częstotliwość oddychania, a Mascolo dołączyła również do zespołu start-upu pracującego nad monitorowaniem fizjologii przy pomocy mikrofonu dousznego i sztucznej inteligencji.
