Poprawa dostępu do superkomputerów w celu usprawnienia analiz meteorologicznych, projektowania silników i ograniczania skutków katastrof
Obliczenia wielkiej skali (HPC) w Europie wkrótce osiągną prędkość eksaskalową(odnośnik otworzy się w nowym oknie), przewyższając łączną moc miliona najszybszych laptopów. Pozwoli to tworzyć szeroki wachlarz innowacji. Współczesne zadania wymagające dużej ilości danych, na przykład związane z prognozowaniem pogody, opierają się na intensywnych obliczeniowo przepływach pracy łączących modelowanie i symulacje oraz nowe analizy danych wraz z dużymi modelami językowymi sztucznej inteligencji (SI). Obecne przepływy pracy i powiązane narzędzia, zaprojektowane do użytku na mniej wydajnych superkomputerach, trzeba będzie prawdopodobnie dostosować do specyfiki tych nowych maszyn. „Modele programowania i narzędzia aplikacji, na których bazuje wiele obecnych przepływów pracy są różne, dlatego musimy uprościć sposób, w jaki ze sobą współpracują”, wyjaśnia Rosa Badia z Barcelona Supercomputing Center(odnośnik otworzy się w nowym oknie), pełniąca rolę koordynatorki projektu eFlows4HPC(odnośnik otworzy się w nowym oknie). Autorzy projektu nazwali swoje podejście „przepływem HPC jako usługą”, ponieważ opracowane przez nich oprogramowanie, hostowane na przyjaznej dla użytkownika platformie, płynnie integruje różne aplikacje. „Nasze podejście – które niedawna nie byłoby możliwe – uprościło dostęp do systemów HPC, otwierając je na użytkowników niebędących ekspertami, a tym samym przyczyniając się do upowszechnienia naukowego, społecznego i przemysłowego potencjału superkomputerów”, mówi Badia. Do tej pory dzięki temu podejściu powstało ponad 30 publikacji naukowych(odnośnik otworzy się w nowym oknie), a także biała księga(odnośnik otworzy się w nowym oknie) na temat zagrożeń naturalnych.
Nowatorskie komponenty
Zespół eFlows4HPC dodał nowe funkcje do istniejących narzędzi, obsługujące większe i bardziej złożone przepływy pracy HPC oraz najnowocześniejsze technologie, takie jak sztuczna inteligencja i duże zbiory danych. Sercem rozwiązania jest szereg komponentów oprogramowania, zwanych łącznie stosem, które w sposób kompleksowy implementują przepływy pracy oparte na HPC. Po pierwsze, różne aplikacje przepływów pracy – np. symulatory, przetwarzanie danych i przewidywanie uczenia maszynowego – są opracowywane przy użyciu środowiska programistycznego PyCOMPSs(odnośnik otworzy się w nowym oknie). Potoki danych są konfigurowane w taki sposób, aby umożliwić koordynowanie sposobu zarządzania danymi przepływu pracy, łącząc te aspekty obliczeniowe i zarządzania danymi przepływu pracy. Wszystko, co jest potrzebne do uruchomienia oprogramowania, zostaje zamknięte w pliku kontenera i zainstalowane w systemie HPC. Użytkownicy mogą uruchamiać swoje przepływy pracy za pomocą dedykowanego interfejsu.
Testowanie z udziałem różnorodnych społeczności użytkowników
Aby wykazać potencjał swojego podejścia, zespół przeprowadził trzy testy przypadków użycia z bardzo zróżnicowanymi społecznościami użytkowników. Pierwszym testem użytkowym jest cyfrowy bliźniak procesów produkcyjnych i zasobów(odnośnik otworzy się w nowym oknie), który pozwala w niedrogi sposób symulować eksperymenty z różnymi scenariuszami badawczo-rozwojowymi. Na przykład jeden z partnerów projektu, CIMNE(odnośnik otworzy się w nowym oknie), współpracował z firmą Siemens(odnośnik otworzy się w nowym oknie) w celu opracowania modelu silnika elektrycznego, który byłby w stanie uniknąć przegrzania. Jako że partnerstwo to przyniosło zachęcające wyniki, CIMNE zamierza teraz utworzyć spółkę spin-off, która pozwoli je wykorzystać. Drugi z testów skupiał się na modelowaniu systemu ziemskiego(odnośnik otworzy się w nowym oknie), wykorzystując dwa przepływy pracy oparte na SI w celu poprawy efektywności zarówno modeli systemu ziemskiego(odnośnik otworzy się w nowym oknie), jak i modeli predykcyjnych cyklonów tropikalnych występujących na północnym Pacyfiku. Symulacje te mogą ostatecznie przyczynić się do ulepszenia globalnych systemów wczesnego ostrzegania, adaptacji i łagodzenia skutków. Oba przepływy pracy przyniosły pozytywne wyniki, a ich rozbudowane wersje są obecnie wykorzystywane w ramach projektu interTwin i inicjatywy DestinE(odnośnik otworzy się w nowym oknie). Wreszcie, opracowano (prawdopodobnie po raz pierwszy w Europie) przepływy pracy mający na celu ustalenie priorytetów dostępu do zasobów superkomputerowych znanych jako „urgent computing”(odnośnik otworzy się w nowym oknie) w celu przewidywania wpływu zagrożeń naturalnych, w szczególności trzęsień ziemi i tsunami. „Dzięki dynamicznej elastyczności naszego rozwiązania rozszerzenia tych przepływów pracy są obecnie wykorzystywane w projekcie DT-GEO, w którym powstają cyfrowe bliźniaki systemów fizycznych mające na celu monitorowanie i przewidywanie zagrożeń naturalnych”, dodaje Badia.
Trampolina dla przepływów pracy nowej generacji
Projekt został zrealizowany przy wsparciu ze Wspólnego Przedsięwzięcia w dziedzinie Europejskich Obliczeń Wielkiej Skali (Wspólne Przedsięwzięcie EuroHPC)(odnośnik otworzy się w nowym oknie), inicjatywy utworzonej w celu stworzenia w Europie światowej klasy ekosystemu superkomputerów. Całe oprogramowanie open-source opracowane w ramach projektu, wraz z demonstracyjnymi przepływami pracy, zostało udostępnione wszystkim zainteresowanym(odnośnik otworzy się w nowym oknie). „Zachęcamy wszystkie społeczności użytkowników do korzystania z oprogramowania i wspólnego poszerzania jego możliwości”, mówi Jorge Ejarque, kierownik techniczny eFlows4HPC. Aby zadbać o transfer najlepszych praktyk i wyników będących owocem projektu, przeprowadzono szkolenia i warsztaty w Barcelonie, Monachium oraz Helsinkach. Zespół nadal rozszerza funkcje i możliwości wszystkich przepływów pracy, koncentrując się na systemach SI i cyfrowych bliźniakach.
