Sztuczna inteligencja nie zwalnia tempa – zwłaszcza w obszarze tak zwanych “reasoning AI”, czyli modeli, które potrafią efektywnie uzasadniać swoje odpowiedzi i weryfikować je na bieżąco. Powstaje coraz więcej projektów open source, a ich twórcy prześcigają się w obniżaniu kosztów treningu i zwiększaniu możliwości obliczeniowych. Najnowszym przykładem takiego podejścia jest Sky-T1-32B-Preview, stworzony przez zespół NovaSky w laboratorium Sky Computing Lab na UC Berkeley.
Sky-T1 i wyzwanie za mniej niż 450 dolarów
W ostatnich latach trenowanie modeli dużych języków potrafiło kosztować miliony dolarów – zarówno ze względu na ogromne zbiory danych, jak i koszty infrastruktury. Zespół NovaSky udowadnia jednak, że da się znacząco obniżyć próg wejścia w świat zaawansowanych algorytmów. – Co szczególnie godne uwagi, Sky-T1-32B-Preview został wytrenowany za mniej niż 450 dolarów – podkreślają badacze.
Pokazuje to, że replikacja zaawansowanych zdolności reasoning wcale nie musi wiązać się z gigantycznymi nakładami finansowymi. Warto jednak spojrzeć na to z perspektywy niedawnej historii – jeszcze do niedawna koszt wyszkolenia modelu o podobnej jakości sięgał milionów dolarów. Gwałtowny spadek kosztów stał się możliwy między innymi dzięki wykorzystaniu danych syntetycznych generowanych przez inne modele, co znacząco zmniejszyło próg opłacalności całego przedsięwzięcia.
Elon Musk: wyczerpaliśmy już dane do trenowania sztucznej inteligencji
Czym jest reasoning AI?
Zwykłe modele generatywne (np. popularne chatboty) potrafią świetnie tworzyć odpowiedzi na niemal każdy temat, ale często nie weryfikują przy tym swoich wypowiedzi pod kątem zgodności z faktami. Z kolei reasoning AI to modele, które dodatkowo prowadzą proces wnioskowania – starając się uwzględnić różne kroki w rozumowaniu i sprawdzać poprawność każdego etapu.
Z tego powodu często działają one nieco wolniej, bo potrzebują kilku sekund (a nawet minut) na dopracowanie odpowiedzi. Ich zaletą jest jednak znacznie większa wiarygodność i przydatność w specjalistycznych dziedzinach, takich jak fizyka, matematyka czy biologia. W tym kontekście Sky-T1 wpisuje się w trend zwiększania transparentności i dokładności systemów AI.
Kluczowe elementy treningu Sky-T1
Wykorzystanie danych syntetycznych
NovaSky posłużyło się modelem Alibaba’s QwQ-32B-Preview do wygenerowania surowych danych, a następnie wykorzystało OpenAI’s GPT-4o-mini do ich przetworzenia na bardziej przejrzysty format. To tzw. “curation” pozwala na stworzenie wysokiej jakości zbioru treningowego przy minimalnym nakładzie czasu i pieniędzy.
Skalowalna infrastruktura
Trenowanie 32-miliardowego modelu (Sky-T1) przebiegło w około 19 godzin na klastrze zawierającym 8 kart graficznych Nvidia H100. Dla porównania, wcześniejsze modele z podobnymi parametrami wymagały znacznie bardziej rozbudowanych zasobów i dużych nakładów finansowych.
Publikacja kodu i danych
W przeciwieństwie do wielu zamkniętych inicjatyw, NovaSky udostępniło zarówno kod treningowy, jak i zbiór danych – daje to społeczności możliwość pełnej weryfikacji i swobodnego rozwijania projektu. Właśnie dlatego Sky-T1 bywa określany jako “pierwszy prawdziwie open source reasoning model”.
Wyniki: jak Sky-T1 radzi sobie w testach?
Według zespołu NovaSky, Sky-T1 pokonał wczesną wersję modelu OpenAI o1 w kilku kluczowych testach, m.in. MATH500 (zbiorze zadań z matematyki na poziomie konkursowym) oraz w ramach LiveCodeBench (ocena trudniejszych zadań z programowania). Z drugiej strony, w teście GPQA-Diamond, który obejmuje zagadnienia z fizyki, biologii i chemii na poziomie doktoranckim, Sky-T1 nie dorównuje jeszcze modelowi o1 w wersji preview.
Kontekst konkurencji: OpenAI i dalszy rozwój
Warto pamiętać, że wersja GA modelu o1 (czyli finalna odsłona) jest silniejsza niż jego wcześniejsze wydanie, a firma OpenAI zapowiada kolejne udoskonalenia w postaci modelu o3. Nie zmienia to jednak faktu, że Sky-T1-32B-Preview to dopiero pierwszy krok w kierunku bardziej zaawansowanych i równie przystępnych cenowo modeli reasoning AI.
– Patrząc w przyszłość, zamierzamy skupić się na opracowywaniu bardziej wydajnych modeli zachowujących wysoką skuteczność wnioskowania oraz na eksplorowaniu zaawansowanych technik, które dodatkowo poprawią efektywność i dokładność modeli podczas testów – piszą twórcy na swoim blogu
Możemy więc spodziewać się kolejnych odsłon projektu Sky-T1, w których jeszcze bardziej zoptymalizuje się proces trenowania i równocześnie podniesie poziom dokładności modeli wnioskowania.
Dlaczego to przełom i co dalej?
Dla entuzjastów AI i deweloperów o ograniczonym budżecie ważną informacją jest to, że tworzenie wysokiej jakości modeli reasoning AI staje się coraz bardziej osiągalne. Skoro NovaSky zdołało skurczyć koszty do kilkuset dolarów przy jednoczesnym zachowaniu konkurencyjnych wyników, niewykluczone, że w niedalekiej przyszłości takie podejście stanie się rynkowym standardem.
Kluczowe znaczenie mają tu dwie tendencje:
- Upowszechnianie się danych syntetycznych w procesie trenowania.
- Dalszy rozwój metod optymalizacji i zwiększania wydajności sprzętu (np. nowe generacje GPU).
Obie te ścieżki, połączone z rosnącą otwartością projektów badawczych, tworzą warunki do dynamicznego rozwoju kolejnych modeli o zaawansowanych zdolnościach reasoning przy relatywnie niskim koszcie.
Podsumowanie
Sky-T1-32B-Preview dowodzi, że tworzenie modeli reasoning AI przestaje być domeną wielkich korporacji z nieograniczonymi zasobami. Zespół NovaSky wytycza nowy szlak, łącząc niski koszt i otwartość kodu z wynikami na poziomie porównywalnym do znanych modeli komercyjnych. Choć Sky-T1 nie wygrywa jeszcze we wszystkich kategoriach testów, to stanowi solidną bazę do dalszych prac i pokazuje, że przyszłość open source reasoning AI wygląda obiecująco.
Z punktu widzenia społeczności deweloperów oraz badaczy, ta inicjatywa otwiera drzwi do kolejnych innowacji i tworzenia jeszcze bardziej dopracowanych, transparentnych i przystępnych finansowo modeli sztucznej inteligencji. W świecie, gdzie konkurencja w obszarze AI rośnie z każdym dniem, Sky-T1 podkreśla, że nawet przy skromnym budżecie można osiągnąć znaczące wyniki – trzeba tylko wiedzieć, jak skutecznie zorganizować proces treningu i gdzie szukać przewagi.
Źródło: TechCrunch | NovaSky
Photo by Mika Baumeister on Unsplash
