Według materiałów opublikowanych przez NVIDIA, Cosmos 3 jest pierwszym na świecie całkowicie otwartym omnimodalnym modelem podstawowym fizycznej AI. Zbudowany na własnej architekturze hybrydowego Transformera NVIDIA, model ten integruje zarówno gałęzie rozumowania, jak i generowania, co umożliwia wnioskowanie wzrokowe, generowanie świata i prognozowanie działań w ramach jednego modelu. Potrafi dokładnie odwzorować zasady fizyczne ze świata rzeczywistego, takie jak grawitacja, kolizje i tarcie. W przeciwieństwie do ogólnych modeli multimodalnych zaprojektowanych głównie do generowania treści rozrywkowych, Cosmos 3 natywnie obsługuje wejście i generację pięciu modalności: tekstu, obrazów, wideo, dźwięku otoczenia oraz ruchu ludzi i robotów. Wstępnie wytrenowany na dużych zbiorach danych z adnotacjami fizycznymi, model ten potrafi autonomicznie generować realistyczne dane sceniczne i trajektorie ruchu, które podążają za rzeczywistymi prawami fizyki.
Oficjalne informacje pokazują, że Cosmos 3 jest planowany w różnych warstwach modelu. Wersja Super, z większą liczbą parametrów, jest zaprojektowana dla producentów samochodów i firm zajmujących się robotyką humanoidalną, aby umożliwić dużą skalę syntezy danych i rozwój zaawansowanych algorytmów. Wersja Base jest skierowana do małych i średnich zespołów badawczo-rozwojowych w różnych branżach, podczas gdy wersja Tiny jest zoptymalizowana do lokalnego wdrażania na sprzęcie brzegowym i wbudowanym. NVIDIA całkowicie otworzyła wagi modelu, kod źródłowy oraz wspierające zbiory danych do oceny, a powiązane zasoby są udostępniane na otwartych platformach, takich jak Hugging Face i GitHub. Globalni deweloperzy mogą uzyskać dostęp do tych zasobów bezpłatnie i dostosować je według potrzeb. Pod względem efektywności wdrażania, NVIDIA twierdzi, że model ten może skompresować tradycyjne cykle symulacji i debugowania w projektach dotyczących robotyki, autonomicznego prowadzenia i przemysłowych cyfrowych bliźniaków z kilku miesięcy do zaledwie kilku dni, co pomaga obniżyć koszty zbierania danych i testowania w rozwoju fizycznej AI.
Obok ogłoszenia produktu, NVIDIA ujawnia swoją strategię ekosystemu, tworząc NVIDIA Cosmos Coalition, globalny sojusz współpracy. Wśród członków założycieli znajdują się wiodące laboratoria AI i firmy robotyczne, takie jak Agile Robots, Black Forest Labs, Runway, LTX i Skild AI. W ramach ram współpracy koalicji, organizacje członkowskie mogą dzielić się pełnym stosem technologii Cosmos 3, uzyskiwać dostęp do zasobów obliczeniowych NVIDIA DGX Cloud w razie potrzeby oraz wymieniać algorytmy, benchmarki i dane z testów branżowych w rzeczywistym świecie. Sojusz ma na celu wspólny rozwój wspólnych standardów dla otwartych modeli światowych oraz przyspieszenie iteracji i komercjalizacji technologii fizycznej AI następnej generacji.
Publicznie dostępne informacje wskazują, że kilku producentów samochodów i producentów sprzętu automatyzacyjnego już rozpoczęło wewnętrzne testy projektów opartych na Cosmos 3. Potencjalne scenariusze wdrożenia obejmują rozwój robotów humanoidalnych, symulację prowadzenia autonomicznego, wizualną inspekcję przemysłową i tworzenie realistycznych treści cyfrowych.