I ricercatori della scienza dei megadati avranno la loro fortuna nel cloud
Alcuni rami della scienza producono enormi quantità di dati. Ad esempio, la fisica delle particelle e i laboratori di genomica generano ogni giorno circa un petabyte (PB) di dati. Un petabyte corrisponde a mille terabyte (1 milione di gigabyte), ovvero circa un quarto di milione di DVD. I circa 10 miliardi di foto archiviate su Facebook ammontano a circa 1,8 PB. La maggior parte delle organizzazioni di ricerca scientifica non è in grado di accogliere tali quantità utilizzando le proprie strutture e il problema sta peggiorando. Un problema a parte con l’attuale archivio scientifico è che molti di questi dati non sono né pubblicati né disponibili al pubblico. Pertanto, il cloud europeo per la scienza aperta (EOSC, European Open Science Cloud) ha richiesto alla scienza aperta di essere operativa entro il 2020, in modo da rendere pubblici e condivisibili i risultati scientifici. Alcuni progetti finanziati dall’UE, tra cui EOSC-hub e EOSCpilot, hanno collaborato allo sviluppo e alla manutenzione del portale EOSC. Il progetto HNSciCloud, finanziato dall’UE, è un consorzio di fornitori di servizi cloud commerciali e organizzazioni di ricerca pubbliche incaricato di risolvere i problemi che affliggono la scienza ad alta intensità di dati. I ricercatori hanno identificato una lacuna nel mercato e gestito inviti a presentare offerte da parte dei fornitori per costruire una piattaforma cloud europea ad alte prestazioni per le organizzazioni scientifiche. L’idea è simile ai normali servizi cloud, ma su scala gigantesca e in grado di soddisfare esigenze scientifiche speciali, inclusa la conformità EOSC.
Gara e progettazione
Il lavoro del progetto è iniziato con una fase di gara, durante la quale il team si è consultato con fornitori e utenti per stabilire i requisiti. Ciò ha prodotto una selezione di quattro consorzi. Durante la successiva fase di progettazione, i consorzi selezionati hanno preparato e presentato le loro proposte e il comitato di valutazione HNSciCloud ne ha selezionate tre per procedere alle fasi prototipo e pilota. Durante queste ultime fasi, i ricercatori del progetto hanno testato la scalabilità e l’affidabilità della piattaforma utilizzando casi scientifici realistici. Il primo tra questi casi d’uso è stata la griglia di calcolo globale del Large Hadron Collider. Si tratta di una collaborazione globale, composta da 170 centri di calcolo in 42 paesi, che elabora i dati di fisica delle particelle del CERN. I test HNSciCloud hanno coinvolto anche molti altri gruppi di ricerca scientifica europei ad alta richiesta, tra cui PanCancer, per analizzare quotidianamente oltre 2 000 interi genomi di cancro e il telescopio a bassa frequenza di Square Kilometer Array.
Servizi specializzati
«Le fasi prototipo e pilota hanno dimostrato con successo i vantaggi del modello di cloud ibrido e hanno dimostrato che le organizzazioni potrebbero superare in modo conveniente i limiti delle loro infrastrutture di elaborazione adottando servizi cloud commerciali specializzati», afferma Bob Jones, direttore del progetto. Come osservato in un video del progetto, «combina i servizi a livello di infrastruttura come servizio per fornire un ambiente a supporto dell’intero ciclo di vita dei flussi di lavoro scientifico». I servizi includono elaborazione e archiviazione, accesso trasparente a set di dati di dimensioni petabyte, connettività di rete, gestione federata delle identità e modelli di pagamento innovativi. «Il risultato è una piattaforma cloud ibrida, ora disponibile per la comunità scientifica generale, in grado di soddisfare i requisiti TIC estremamente esigenti anche delle scienze ad alta intensità di dati», aggiunge Jones. HNSciCloud è certificato per essere conforme agli standard e alle normative europee in termini di sicurezza e protezione dei dati e all’EOSC. La piattaforma si basa su codice open source supportato commercialmente che non richiede licenze. Questi innovativi servizi cloud offrono una nuova capacità TIC che amplierà la capacità di ricerca dell’Europa.
Parole chiave
HNSciCloud, cloud, dati, scientifico, petabyte, scienza ad alta intensità di dati, piattaforma cloud, archiviazione cloud, dati scientifici, rete, infrastruttura come servizio, archiviazione dati
