Nowy ekosystem AI łączący modele podstawowe z milionami interfejsów API do wykonywania zadań.
Mimo że ostatnie osiągnięcia w dziedzinie sztucznej inteligencji są imponujące, wciąż pozostaje daleka droga do przejścia zanim ludzkość osiągnie sztuczną inteligencję ogólną (AGI).
Niezaprzeczalnie, modele językowe takie jak GPT-4 świetnie radzą sobie z przetwarzaniem dużych ilości nieoznaczonych danych. Jednakże, mogą mieć problemy z niszowymi zadaniami, takimi jak obliczenia matematyczne.
To (słusznie) skłoniło niektórych do stwierdzenia, że konieczne może być dalsze opracowywanie specjalistycznych narzędzi. To chyba jedyna droga, aby modele mogły przydawać się coraz bardziej w codziennym życiu.
Microsoft przedstawili TaskMatrix – koncepcja polega na integracji modeli z milionami istniejących modeli i interfejsów API, co skutkuje powstaniem “super-AI”, które może wykonywać różne zadania cyfrowe i fizyczne.
Obecnie modele i systemy AI są projektowane do skutecznego radzenia sobie z konkretnymi dziedzinami. W skutek tego, różnorodność w ich implementacjach i mechanizmach działania może utrudniać dostęp do nich dla modeli podstawowych.
Nowy ekosystem ma na celu przezwyciężenie tych przeszkód, dostarczając jednolitego frameworku dla łączenia tych modeli i systemów AI.
Zespół badawczy Microsoft zarysowuje korzyści płynące z TaskMatrix, w tym zdolność do wykonywania zadań cyfrowych i fizycznych.
Aby to osiągnąć, model podstawowy działa jako centralny system, który rozumie różne dane wejściowe (tekst, obraz, wideo, dźwięk, kod) i generuje kod wywołujący interfejsy API do zakończenia zadania.
Ponadto platforma posiada obszerny zbiór API z jednolitą dokumentacją, co ułatwia deweloperom dodawanie nowych interfejsów API. TaskMatrix może także kontynuować uczenie się i rozwijać swoje możliwości, dodając nowe interfejsy o określonych funkcjach do swojej platformy API. Wreszcie, system ma na celu lepsze zrozumienie swoich odpowiedzi poprzez ułatwienie zrozumienia logiki rozwiązania problemu oraz wyników uzyskanych z interfejsów API.
Jak to działa?
TaskMatrix opiera się na czterech głównych komponentach, które współpracują, aby umożliwić systemowi zrozumienie celów użytkownika i wykonywanie kodów wykonywalnych opartych na API dla konkretnych zadań.
Multimodalny konwersacyjny model podstawowy (MCFM) służy jako główny interfejs komunikacji z użytkownikiem i może rozumieć kontekst multimodalny.
Platforma API zapewnia jednolitą dokumentację schematu API i miejsce do przechowywania milionów interfejsów API.
Selektor API, korzystając z zrozumienia celów użytkownika przez MCFM, poleca powiązane interfejsy API.
Na koniec, wykonawca API wykonuje kody akcji generowane przez odpowiednie interfejsy API i zwraca wyniki.
Ponadto zespół zastosował techniki uczenia ze wzmocnieniem z informacją zwrotną od ludzi (RLHF) do szkolenia modelu nagród, który może optymalizować TaskMatrixa, korzystając z wglądów uzyskanych z interakcji z ludźmi. To podejście może pomóc MCFM i selektorowi API znaleźć optymalne strategie i poprawić wydajność w rozwiązywaniu złożonych zadań.
Zespół przeprowadził badanie empiryczne, mające na celu sprawdzenie zdolności TaskMatrix do generowania slajdów PowerPoint dla różnych firm, wykorzystując ChatGPT jako podstawę.
System wygenerował wiele slajdów dla każdej firmy, dzieląc zadanie na 25 wywołań interfejsów API. Badanie wykazało, że TaskMatrix rozumie instrukcje użytkownika oraz treść prezentacji PowerPoint!
Pozwala mu to generować strony i wstawiać odpowiednie logo na podstawie listy firm.
Badania pokazują, że TaskMatrix może poprawić wydajność w różnych zadaniach, łącząc modele podstawowe z istniejącymi interfejsami API. Microsoft uważa, że TaskMatrix, w połączeniu z dalszym rozwojem modeli, chmury, robotyki i IOT, ma praktycznie nieograniczony potencjał.
Do czego przyda się TaskMatrix?
TaskMatrix może odgrywać kluczową rolę w różnych dziedzinach, zwłaszcza w kontekście tworzenia aplikacji internetowych.
Przykładowo, może wspierać deweloperów w automatyzacji generowania treści na stronach. Przy czym będą one dostosowane do potrzeb użytkowników i bieżacych zachowań rynkowych.
Ponadto, TaskMatrix może pomóc w opracowywaniu inteligentnych systemów rekomendacji. Poprzez analizę danych użytkowników, oferowałby im spersonalizowane treści, produkty czy usługi.
W e-commerce na myśl przychodzi nam automatyczne wyszukiwanie produktów czy porównywanie cen.
Dużo korzyści mogą wnieść także inteligentne chatboty. Wyobraźcie sobie automatyczne, szczegółowe odpowiedzi na podstawie bazy danych produktów!
TaskMatrix może również wspomóc tworzenie platform e-learningowych.
System dostosuje materiały edukacyjne do indywidualnych potrzeb uczniów, analizując ich postępy, umiejętności czy zainteresowania. Skorzystać z tego może także Project Management. Nie musząc analizować danych zespołów i optymalizować zadań, PM mogliby być bardziej kreatywni.
TaskMatrix może także wspierać postęp w bezpieczeństwie cyfrowym. Inteligentne modele będą w stanie rozpoznawać i przeciwdziałać atakom DDoS czy phishingowi w czasie rzeczywistym. Współpraca z istniejącymi interfejsami API pozwoli na szybszą adaptację i synergię pomiędzy technologiami.
