Zadania
NVIDIA Run.ai oferuje trzy typy zadań, które odpowiadają określonej fazie pracy badacza:
- Workspaces – Do eksperymentowania z danymi i modelami.
- Training – Do zadań intensywnie wykorzystujących zasoby, takich jak trenowanie modeli i przygotowanie danych.
- Inference – Do wdrażania i serwowania wytrenowanego modelu.
Tworzenie zadań w GUI
Tworzenie obciążeń możesz rozpocząć w sekcji Workload manager na platformie NVIDIA Run.ai. Możesz tam zobaczyć tabelę Workload z listą utworzonych obciążeń, gdzie możesz nimi również zarządzać.
Zasoby zadania
Zasoby zadania to wstępnie skonfigurowane komponenty, których będziesz potrzebować do swoich obciążeń.
Environments (Środowiska) – Zasób składający się z konfiguracji obrazu kontenera, narzędzi i połączeń.
https://run-ai-docs.nvidia.com/self-hosted/2.22/workloads-in-nvidia-run-ai/assets/environments
Data Sources (Źródła Danych) – Domyślnie podczas rezerwacji DGX w naszej chmurze jest konfigurowany hostpath odwołujący się do lokalnej pamięci masowej NVMe. Hostpath nie jest współdzielony między węzłami DGX. Dodatkowo możesz zarezerwować AI Storage w naszej chmurze, który jest systemem NFS over RDMA ze storage’u Pure Flash Blade podłączonym jako PVC do Run.ai.
Nie zezwalamy na tworzenie źródeł danych; aby dodać nowe źródło danych, musisz wysłać do nas zapytanie.
https://run-ai-docs.nvidia.com/self-hosted/2.22/workloads-in-nvidia-run-ai/assets/datasources
Compute Resources (Zasoby Obliczeniowe) – Zasób do konfigurowania zasobów obliczeniowych (CPU, Memory i GPU) dla obciążeń.
https://run-ai-docs.nvidia.com/self-hosted/2.22/workloads-in-nvidia-run-ai/assets/compute-resources
Tutaj możesz skonfigurować frakcje GPU – podzielić pamięć GPU/s na mniejsze części.
Credentials (Poświadczenia) – Zasób do przechowywania sekretów, takich jak hasła, tokeny i klucze dostępu, które są niezbędne do uzyskania dostępu do różnych zasobów.
https://run-ai-docs.nvidia.com/self-hosted/2.22/workloads-in-nvidia-run-ai/assets/credentials
Tworzenie zadań w Run.ai CLI
Nazywanie zadania:
runai workspace submit <nazwa_zadania> -p project1 -i alpine
Nazewnictwo zadania może zostać pominięte, a wtedy zostanie mu przypisana losowa nazwa.
Nazwa zadania może być losowa z określonym prefiksem:
runai workspace submit --prefix-name <nazwa_zadania> –p project1 –i alpine