Prawo Moore’a, sformułowane w 1965 roku przez współzałożyciela Intela, Gordona Moore’a, przewidywało, że liczba tranzystorów na chipach komputerowych będzie się podwajać co dwa lata. Prowadziło to do szybkiego wzrostu wydajności i spadku kosztów. Choć ta zasada przez dekady wyznaczała tempo postępu technologicznego, jej dynamika w ostatnich latach znacznie spowolniła. Jednakże Jensen Huang, dyrektor generalny Nvidia, twierdzi, że rozwój chipów AI jego firmy znacznie przewyższa to tempo.
Nvidia: rozwój szybszy niż przewiduje Prawo Moore’a
– Nasze systemy rozwijają się znacznie szybciej niż Prawo Moore’a – powiedział Huang w wywiadzie dla TechCrunch. Podczas swojego wystąpienia na CES w Las Vegas Huang podkreślał, że najnowsze chipy Nvidia są ponad 30 razy szybsze w obsłudze obciążeń AI niż ich poprzednie generacje.
W czym tkwi tajemnica sukcesu Nvidii?
Huang wyjaśnił, że przewaga Nvidia wynika z podejścia obejmującego wszystkie aspekty technologiczne: architekturę, chipy, systemy, biblioteki i algorytmy. Taka integracja umożliwia rozwój, który wyprzedza ograniczenia wynikające z tradycyjnego podejścia hardware’owego. – Jeśli jesteśmy w stanie wprowadzać innowacje na wszystkich poziomach technologii jednocześnie możemy rozwijać nasze systemy szybciej niż przewiduje Prawo Moore’a – zaznaczył Huang.
Trzy prawa skalowania AI
Huang odrzuca tezy o spowolnieniu rozwoju AI. Zamiast tego wskazuje na trzy aktywne prawa skalowania:
- Pretraining: Faza początkowego trenowania, podczas której modele uczą się wzorców z dużych zbiorów danych.
- Posttraining: Dostosowywanie modelu za pomocą metod takich jak opinie ludzi.
- Test-time compute: Procesy obliczeniowe podczas fazy inferencji, dające modelowi więcej czasu na „myślenie”.
Przyszłość modeli AI i koszty inferencji
W obliczu rosnących wymagań obliczeniowych modele AI, takie jak OpenAI o3, mogą być drogie w eksploatacji. Przykładowo, koszty jednej sesji z użyciem tego modelu wynosiły blisko 20 dolarów. Jednakże Huang podkreśla, że najnowsze superchipy Nvidia, takie jak GB200 NVL72, pozwalają znacznie obniżyć te koszty, oferując wydajność 30-40 razy większą niż ich poprzednicy.
Huang przewiduje, że postępy w technologii chipów będą nadal obniżały koszty modeli AI. W ostatnich latach ceny modeli AI spadły w dużej mierze dzięki przełomom technologicznym firm takich jak Nvidia. – Im większa wydajność chipów, tym niższe ceny w długim okresie – zauważył Huang.
Nvidia wyznacza nowe standardy wydajności
Na przestrzeni dekady wydajność chipów Nvidia wzrosła o 1000x. Huang podkreśla, że jest to znacznie szybsze tempo niż to określone przez Prawo Moore’a. W opinii Huanga, rozwój AI, napędzany przez przełomy w dziedzinie hardware’u, nie tylko nie zwalnia, ale wręcz przyspiesza.
Źródło: TechCrunch
Zdjęcie: Nvidia
