Andrej Karpathy to jeden z najbardziej cenionych ekspertów w dziedzinie sztucznej inteligencji, znany z pracy w OpenAI oraz roli szefa działu AI w Tesli. Jego podejście do rozwoju technologii oraz krytyczne spojrzenie na funkcjonowanie modeli językowych zmienia sposób, w jaki postrzegamy współczesną AI. W swoich analizach Karpathy obala mit „wszechwiedzącej sztucznej inteligencji”, wyjaśniając, że to, co uznajemy za inteligencję, jest wynikiem pracy ludzi – labelerów danych.
W tym artykule przyjrzymy się, jak Karpathy opisuje proces tworzenia „osobowości” modeli językowych, ich ograniczenia oraz znaczenie w świecie zaawansowanych technologii. Jeśli kiedykolwiek zastanawiałeś się, dlaczego odpowiedzi AI brzmią tak przekonująco, to jest miejsce, w którym znajdziesz odpowiedzi.
Jak modele językowe AI tworzą swoje odpowiedzi?
Karpathy wyjaśnia, że gdy zadajemy pytania modelowi językowemu, takiemu jak ChatGPT, w rzeczywistości nie pytamy o zdanie „inteligentnego” systemu. Zamiast tego, AI generuje odpowiedzi na podstawie ogromnych ilości danych, które wcześniej zostały oznaczone przez ludzi – tzw. labelerów danych.
„Nie pytasz AI, pytasz jakiegoś zlepek średniego ducha jego labelera danych” – podkreśla Karpathy.
Na przykład, jeśli zapytasz model o „top 10 atrakcji w Amsterdamie”, odpowiedź będzie odzwierciedleniem tego, jak ludzie wcześniej odpowiadali na podobne pytania. Jeśli pytanie nie istnieje w danych treningowych, model generuje odpowiedź na podstawie statystycznych wzorców, które symulują ludzki sposób myślenia.
Co się dzieje, gdy pytanie jest bardziej skomplikowane?
Modele językowe radzą sobie dobrze z pytaniami opartymi na danych, które były dostępne podczas ich trenowania, ale nie zawsze dają odpowiedzi na temat skomplikowanych zagadnień, takich jak kwestie polityczne czy optymalne systemy rządzenia.
„Pytając LLM, jak zarządzać rządem, równie dobrze możesz zapytać Mary z Ohio, dając jej 30 minut i 10 dolarów na research” – zauważa Karpathy.
To porównanie pokazuje, że odpowiedzi AI często zależą od ludzkiej wiedzy i interpretacji problemów. W praktyce oznacza to, że AI nie jest autonomicznym ekspertem, ale raczej narzędziem, które odzwierciedla decyzje i instrukcje ludzi.
Skąd bierze się „osobowość” AI?
Proces tworzenia „osobowości” modeli językowych odbywa się w dwóch etapach:
- Trenowanie na dużych zbiorach danych: Modele uczą się z ogromnych ilości treści z internetu oraz innych źródeł.
- Fine-tuning (dopasowanie): Podczas tego procesu modele uczą się, jak odpowiadać na pytania w określony sposób. Ludzie-annotatorzy definiują, jak AI powinno reagować, tworząc scenariusze rozmów pomiędzy „człowiekiem” a „asystentem”.
Karpathy zwraca uwagę, że wiele odpowiedzi, które wydają się neutralne, takich jak „to zależy” czy „to kwestia dyskusyjna”, są efektem zaleceń dla labelerów, aby unikać jednoznacznych stanowisk. Dzięki temu AI zachowuje neutralność i unika kontrowersji, co buduje zaufanie użytkowników.
„Proces fine-tuningu nauczył modele językowe udawać pomocnego asystenta, co sprawia, że użytkownicy czują, jakby rozmawiali z prawdziwym, empatycznym bytem, a nie zaawansowanym systemem autouzupełniania” – zauważa Karpathy.
Czy AI posiada wiedzę ekspercką?
W przypadku bardziej skomplikowanych tematów, takich jak medycyna czy matematyka, odpowiedzi generowane przez modele językowe mogą być bardziej precyzyjne, ponieważ firmy szkolą je na danych od prawdziwych ekspertów. Na przykład, odpowiedzi na pytania medyczne mogą być oparte na wiedzy lekarzy, a problemy matematyczne – na analizach specjalistów, takich jak Terence Tao, wybitny matematyk.
Jednak Karpathy ostrzega, że takie podejście nie gwarantuje najwyższej jakości odpowiedzi w każdej sytuacji. AI symuluje odpowiedzi ekspertów na podstawie danych, ale nie rozumie ich w pełni ani nie posiada rzeczywistej wiedzy czy umiejętności myślenia krytycznego.
„Systemy AI często przewyższają przeciętnych użytkowników internetu, ale nie są niezawodne, jeśli chodzi o pełną ekspertyzę” – dodaje Karpathy.
Przyszłość modeli językowych
Karpathy krytykuje obecne podejście do trenowania modeli, znane jako reinforcement learning from human feedback (RLHF). Jego zdaniem brakuje w nim obiektywnych kryteriów sukcesu, co czyni je jedynie rozwiązaniem tymczasowym. W przeciwieństwie do systemów takich jak AlphaGo, które mają jasno określone cele, modele językowe muszą polegać na subiektywnych ocenach ludzi.
Karpathy, który niedawno opuścił OpenAI, założył firmę edukacyjną zajmującą się sztuczną inteligencją. Jego celem jest rozwój technologii AI, która będzie bardziej autonomiczna i mniej uzależniona od ludzkich ograniczeń.
Źródło: The-decoder
Photo by Gabriella Clare Marino on Unsplash
