wave

Transkontynentalny ultraszybki transfer danych
Rekordowy transfer danych Polska-Singapur przez transkontynentalne łącze CAE-1 o przepustowości do 100Gb/s

Transfer danych pomiędzy Polską, a Singapurem

W październiku 2018 r. ICM UW, A*STAR Computational Resource Center (A*CRC, Singapur) i Zettar Inc. (USA) po raz pierwszy wdrożyły nowe połączenie produkcyjne o wielkiej przepustowości danych na trasie światłowodu CAE-1 (Collaboration Asia Europe-1) o przepustowości 100 Gb/s, łącząc Warszawę z Singapurem.

CAE-1 zapewnia krótsze, szybsze i tańsze połączenie niż transfer przez Ocean Atlantycki, Amerykę Północną i Ocean Spokojny. Co więcej, znacznie upraszcza włączenie Bliskiego Wschodu w intensywne i rozproszone na całym świecie badania i prace naukowe na szlaku Europa – Azja i Pacyfik – Stany Zjednoczone.

Wyniki testu produkcyjnego i szczegóły nowego połączenia międzykontynentalnego zostały zaprezentowane przez ICM podczas czołowej światowej konferencji Supercomputing 2019 w Denver.

Przesyłanie danych na wielką skalę

Połączenie Warszawa-Singapur to pierwszy historyczny projekt w ramach zbudowanego międzykontynentalnego łącza CAE-1. Rozwiązanie oparte jest na zupełnie standardowym, acz dużej skali sprzęcie komputerowym składającym się z jednego serwera typu Data Transfer Node (DTN) oraz 40 macierzy pamięciowych z zainstalowanym wysokowydajnym systemem plików Lustre. Po stronie ICM w projekt zaangażowani byli tylko dwaj specjaliści – Marcin Semeniuk skonfigurował po polskiej stronie cały układ, a o ciągłość łącz pomiędzy Warszawą a Singapurem zadbał Jarosław Skomiał. Głównym pomysłodawcą i międzynarodowym koordynatorem projektu był ówczesny dyrektor ICM, dr Marek Michalewicz. 

Projekt uzgodniony w połowie października 2018, został zrealizowany w ciągu dwóch tygodni. Ustanowienie nowego połączenia było możliwe dzięki transkontynentalnej współpracy:

– ICM, czyli Interdyscyplinarnego Centrum Modelowania Matematycznego i Komputerowego Uniwersytetu Warszawskiego, uznanego ośrodka superkomputerowego w Europie Wschodniej;

A*CRC, znanego również jako A*STAR Computational Resource Center, specjalistycznego ośrodka HPC finansowanego przez rząd Singapuru;

Zettar Inc., startupu z siedzibą w Palo Alto, Kalifornia, USA, finansowanego z przychodów własnych oraz funduszu Departamentu Energii Stanów Zjednoczonych (DoE); Zettar dostarczył aplikację zx do szybkiego przesyłania danych wielkiej skali (od 2016 r. ustanawia w tym zakresie rekordy świata).

Ponadto w zakresie współpracy społecznej, badawczej i naukowej oraz inżynierskiej, projekt osiągnął wiele godnych uwagi rezultatów.

Specyfikacja

  • Skromny sprzęt może dawać najlepsze wyniki światowej klasy, jeśli zasoby są inteligentnie wykorzystywane.
  • Infrastruktura produkcyjna, a nie pokazowe „demo” – po stronie ICM zostały użyte dwa produkcyjne systemy plików Luster; oba utworzone z 20 serwerów do przechowywania danych (OST); każdy OST ma 4 dyski twarde 7200 obr./min. Nie stosuje się nawet jednego dysku SSD. Potrzebny jest tylko jeden serwer DTN na każdym końcu łącza.
  • Wynik został osiągnięty na najwyższym poziomie na świecie – transkontynentalne przesłanie danych ze średnią przepustowością ~ 60 Gb/s.
  • Używany jest standardowy protokół TCP – nie ma potrzeby używania żadnego prywatnego protokołu.
  • Ogromna odległość pomiędzy punktami końcowymi: 19 800 km (po długości światłowodu).
  • Bardzo krótki czas przygotowania i zbudowania tego rozwiązania: łącznie 2 tygodnie.
  • InfiniBand (IB), zwykle używany do połączeń w przestrzeni HPC, nie jest zdolny do łączenia interfejsów w przeciwieństwie do Ethernetu, ale dwa zasoby storagowe z interkonektami IB są agregowane w jedną całość przez oprogramowanie do przenoszenia danych Zettar zx.

Zespół Naukowy ICM UW

Zastosowaniem nowoczesnych rozwiązań sieciowych w obszarze transferu dużych danych zajmuje się zespół naukowy ICM w składzie: Jarosław Skomiał (ekspert technologii sieciowych i transferu danych), Marcin Semeniuk (ekspert technologii sieciowych i obliczeniowych) oraz Karol Niedzielewski (ekspert technologii sieciowych i zastosowań naukowych). Poprzednim kierownikiem zespołu był ówczesny dyrektor ICM Marek Michalewicz.

 

Oto kilka przykładów:

 

  • Połączenie dwóch centrów danych ICM (Ochota – Białołęka) w odległości ok. 20 km z przepustowością 1,2 Terabajtów/s przy użyciu najnowszego sprzętu demonstracyjnego CloudXpress-2 firmy Infinera (ICM jako pierwszy przetestował tę technologię w Europie, zaraz po testach Amazona, Facebooka i Google).
  • Węzły Transferu Danych (DTN) – połączone z transferem danych i obliczeniami w skali globalnej. Na konferencji Supercomputing 2019 w USA zademonstrowano połączenie ICM w Warszawie z Pawsey Center w Perth w Australii i uruchamianie programów skonteneryzowanych naprzemiennie na zasobach w Australii lub w Warszawie.
  • Utworzenie połączeń InfiniBand pomiędzy polskimi ośrodkami superkomputerowymi: ICM i TASK Gdańsk (ok. 900 km drogi świetlnej) oraz ICM i NCBJ, Świerk (ok. 40 km drogi świetlnej) oraz budowa wysoce rozproszonego współbieżnego systemu komputerowego.
  • Transfer danych między Warszawą a Singapurem na połączeniu 100GB/s CEA-1 (Collaboration Asia Europe 1) o przepustowości do 100GB/s we współpracy z amerykańską firmą Zettar.

 

Jarosław Skomiał

EMAIL arrow
wave

POLSKI PAWILON
NA EXPO 2020 W DUBAJU

Polski Pawilon
1 października 2021 – 31 marca 2022

KIEDY

Od 10:00 do 22:00

GDZIE

Sektor “Mobility” na Expo 2020 Dubai

Wirtualny spacer po Expo arrow
Skip to content