Transkontynentalny ultraszybki transfer danych Rekordowy transfer danych Polska-Singapur przez transkontynentalne łącze CAE-1 o przepustowości do 100Gb/s
Transfer danych pomiędzy Polską, a Singapurem
W październiku 2018 r. ICM UW, A*STAR Computational Resource Center (A*CRC, Singapur) i Zettar Inc. (USA) po raz pierwszy wdrożyły nowe połączenie produkcyjne o wielkiej przepustowości danych na trasie światłowodu CAE-1 (Collaboration Asia Europe-1) o przepustowości 100 Gb/s, łącząc Warszawę z Singapurem.
CAE-1 zapewnia krótsze, szybsze i tańsze połączenie niż transfer przez Ocean Atlantycki, Amerykę Północną i Ocean Spokojny. Co więcej, znacznie upraszcza włączenie Bliskiego Wschodu w intensywne i rozproszone na całym świecie badania i prace naukowe na szlaku Europa – Azja i Pacyfik – Stany Zjednoczone.
Wyniki testu produkcyjnego i szczegóły nowego połączenia międzykontynentalnego zostały zaprezentowane przez ICM podczas czołowej światowej konferencji Supercomputing 2019 w Denver.
Przesyłanie danych na wielką skalę
Połączenie Warszawa-Singapur to pierwszy historyczny projekt w ramach zbudowanego międzykontynentalnego łącza CAE-1. Rozwiązanie oparte jest na zupełnie standardowym, acz dużej skali sprzęcie komputerowym składającym się z jednego serwera typu Data Transfer Node (DTN) oraz 40 macierzy pamięciowych z zainstalowanym wysokowydajnym systemem plików Lustre. Po stronie ICM w projekt zaangażowani byli tylko dwaj specjaliści – Marcin Semeniuk skonfigurował po polskiej stronie cały układ, a o ciągłość łącz pomiędzy Warszawą a Singapurem zadbał Jarosław Skomiał. Głównym pomysłodawcą i międzynarodowym koordynatorem projektu był ówczesny dyrektor ICM, dr Marek Michalewicz.
Projekt uzgodniony w połowie października 2018, został zrealizowany w ciągu dwóch tygodni. Ustanowienie nowego połączenia było możliwe dzięki transkontynentalnej współpracy:
– ICM, czyli Interdyscyplinarnego Centrum Modelowania Matematycznego i Komputerowego Uniwersytetu Warszawskiego, uznanego ośrodka superkomputerowego w Europie Wschodniej;
– A*CRC, znanego również jako A*STAR Computational Resource Center, specjalistycznego ośrodka HPC finansowanego przez rząd Singapuru;
– Zettar Inc., startupu z siedzibą w Palo Alto, Kalifornia, USA, finansowanego z przychodów własnych oraz funduszu Departamentu Energii Stanów Zjednoczonych (DoE); Zettar dostarczył aplikację zx do szybkiego przesyłania danych wielkiej skali (od 2016 r. ustanawia w tym zakresie rekordy świata).
Ponadto w zakresie współpracy społecznej, badawczej i naukowej oraz inżynierskiej, projekt osiągnął wiele godnych uwagi rezultatów.
Specyfikacja
Skromny sprzęt może dawać najlepsze wyniki światowej klasy, jeśli zasoby są inteligentnie wykorzystywane.
Infrastruktura produkcyjna, a nie pokazowe „demo” – po stronie ICM zostały użyte dwa produkcyjne systemy plików Luster; oba utworzone z 20 serwerów do przechowywania danych (OST); każdy OST ma 4 dyski twarde 7200 obr./min. Nie stosuje się nawet jednego dysku SSD. Potrzebny jest tylko jeden serwer DTN na każdym końcu łącza.
Wynik został osiągnięty na najwyższym poziomie na świecie – transkontynentalne przesłanie danych ze średnią przepustowością ~ 60 Gb/s.
Używany jest standardowy protokół TCP – nie ma potrzeby używania żadnego prywatnego protokołu.
Ogromna odległość pomiędzy punktami końcowymi: 19 800 km (po długości światłowodu).
Bardzo krótki czas przygotowania i zbudowania tego rozwiązania: łącznie 2 tygodnie.
InfiniBand (IB), zwykle używany do połączeń w przestrzeni HPC, nie jest zdolny do łączenia interfejsów w przeciwieństwie do Ethernetu, ale dwa zasoby storagowe z interkonektami IB są agregowane w jedną całość przez oprogramowanie do przenoszenia danych Zettar zx.
Zespół Naukowy ICM UW
Zastosowaniem nowoczesnych rozwiązań sieciowych w obszarze transferu dużych danych zajmuje się zespół naukowy ICM w składzie: Jarosław Skomiał (ekspert technologii sieciowych i transferu danych), Marcin Semeniuk (ekspert technologii sieciowych i obliczeniowych) oraz Karol Niedzielewski (ekspert technologii sieciowych i zastosowań naukowych). Poprzednim kierownikiem zespołu był ówczesny dyrektor ICM Marek Michalewicz.
Oto kilka przykładów:
Połączenie dwóch centrów danych ICM (Ochota – Białołęka) w odległości ok. 20 km z przepustowością 1,2 Terabajtów/s przy użyciu najnowszego sprzętu demonstracyjnego CloudXpress-2 firmy Infinera (ICM jako pierwszy przetestował tę technologię w Europie, zaraz po testach Amazona, Facebooka i Google).
Węzły Transferu Danych (DTN) – połączone z transferem danych i obliczeniami w skali globalnej. Na konferencji Supercomputing 2019 w USA zademonstrowano połączenie ICM w Warszawie z Pawsey Center w Perth w Australii i uruchamianie programów skonteneryzowanych naprzemiennie na zasobach w Australii lub w Warszawie.
Utworzenie połączeń InfiniBand pomiędzy polskimi ośrodkami superkomputerowymi: ICM i TASK Gdańsk (ok. 900 km drogi świetlnej) oraz ICM i NCBJ, Świerk (ok. 40 km drogi świetlnej) oraz budowa wysoce rozproszonego współbieżnego systemu komputerowego.
Transfer danych między Warszawą a Singapurem na połączeniu 100GB/s CEA-1 (Collaboration Asia Europe 1) o przepustowości do 100GB/s we współpracy z amerykańską firmą Zettar.
Używamy plików cookie na naszej stronie internetowej, aby zapewnić Ci najbardziej odpowiednie wrażenia, zapamiętując Twoje preferencje i powtarzając wizyty. Klikając „Akceptuj wszystko”, wyrażasz zgodę na użycie WSZYSTKICH plików cookie. Możesz jednak odwiedzić „Ustawienia plików cookie”, aby wyrazić kontrolowaną zgodę.
Ta strona korzysta z plików cookie, aby poprawić wrażenia podczas poruszania się po witrynie. Spośród nich pliki cookie, które są sklasyfikowane jako niezbędne, są przechowywane w przeglądarce, ponieważ są niezbędne do działania podstawowych funkcji witryny. Używamy również plików cookie stron trzecich, które pomagają nam analizować i rozumieć, w jaki sposób korzystasz z tej witryny. Te pliki cookie będą przechowywane w Twojej przeglądarce tylko za Twoją zgodą. Masz również możliwość rezygnacji z tych plików cookie. Jednak rezygnacja z niektórych z tych plików cookie może wpłynąć na wygodę przeglądania.