Kontenery Google'a z maszynowym uczeniem w chmurze udostępnione do testów

Adam Golański , 15.07.2019 r.
Google Deep Learning Containers

Głębokie uczenie jest dziś chyba najgorętszym tematem w IT, nie zaskakują więc starania dostawców narzędzi pozwalających przyspieszyć pracę deweloperów w tej dziedzinie. Rok temu Microsoft zaprezentował Azure Machine Learning Workspaces, a kilka miesięcy temu w chmurze Amazonu pojawiły się AWS Deep Learning Containers. Rozwiązanie Microsoftu dalekie jest jednak od popularnych standardów, z kolei kontenery Amazonu wydają się być bardziej nastawione na uruchamianie gotowych już aplikacji. Zainteresowanych budowaniem rozwiązań od podstaw ucieszy więc najnowsza propozycja Google, o niemal identycznej co Amazonu nazwie – Deep Learning Containters.

We wpisie na korporacyjnym blogu Mike Cheng z Google ogłosił ostatnio dostępność Deep Learning Containers, rozwiązania pozwalającego klientom na szybsze uruchamianie projektów Machine Learning. W praktyce mamy do czynienia ze zoptymalizowanymi pod kątem wydajności kontenerami Dockera, które są dostarczane z preinstalowanymi narzędziami niezbędnymi do głębokiego uczenia.

Z wyjaśnień inżyniera Google’a wynika, że udostępnione obecnie do publicznych testów beta kontenery mają ułatwić pracę wszystkim tym deweloperom, którzy w swojej pracy łączą narzędzia lokalnego prototypowania z rozwiązaniami w chmurze. Deep Learning Containers dają gwarancję, że spełnione są wszystkie niezbędne zależności i że dostajemy spójne środowisko wykonawcze, zapewniające powtarzalność i poprawność wyników.

Te nowe kontenery głębokiego uczenia pozwalają na testowanie i wdrażanie aplikacji na chmurowej platformie Google’a, obejmującej takie usługi jak Google Kubernetes Engine czy Cloud AI Platform Notebooks. Zawierają też wersje biblioteki TensorFlow z akceleracją sprzętową na GPU Nvidii i CPU Intela.

Każdy kontener zawiera wstępnie skonfigurowane środowisko Jupytera, aby można było go od razu wykorzystać jako przestrzeń do prototypowania. W każdym znajdziemy też środowisko Pythona 3 z odpowiednim zestawem frameworków ML i przetwarzania danych (m.in. NumPy, SciPy, Sklearn, NLTK, Pillow i Pandas), bibliotekami Nvidii (CUDA, cuDNN, NCLL) i innymi pomocniczymi narzędziami.

W ramach wydania beta udostępniono kontenery dla TensorFlow 1.13, TensorFlow 2.0, PyTorcha oraz R. Wszystkie one integrują się z takimi usługami chmury Google’a jak BigQuery for analytics, Cloud DataProc for Apache Hadoop i Apache Spark oraz Cloud Dataflow do przetwarzania wsadowego i strumieniowania danych za pomocą Apache Beam.

Zacząć zabawę z google’owymi kontenerami można za darmo, w ramach Google Cloud Platform Free Tier. Potem już tylko należy zajrzeć do dokumentacji .

Najnowsze oferty pracy:

Polecane wpisy na blogu IT: