W świecie sztucznej inteligencji i uczenia maszynowego coraz częściej mówi się o dedykowanych modelach językowych, które są o wiele bardziej przydatne dla konkretnych branż niż ogólnodostępne modele. Bloomberg, wiodąca firma na rynku finansowym, postanowiła opracować swój własny model językowy, dedykowany właśnie tej dziedzinie – znany pod nazwą BloombergGPT.
Przedsiębiostwo ma duży atut. Dzięki wykorzystaniu swoich bogatych zasoby danych oraz materiałów tekstowych z sieci, Bloomberg udowadnia, że specjalistyczne modele językowe to ważny kierunek rozwoju.
Od ogromnej ilości danych do rewolucyjnego modelu AI dla finansów
Pierwszym krokiem w procesie tworzenia modelu było zebranie odpowiedniego zbioru danych. Zespół Bloomberg wykorzystał 363 miliardy rekordów związanych z finansami z własnych zasobów. Bazę uzupełniło także 345 miliardów ogólnodostępnych tokenów pochodzących z zestawów danych The Pile, C4 i Wikipedii. W oparciu o te dane stworzono specjalistyczny model – BloombergGPT. Posiada on 50 miliardów parametrów i jest zoptymalizowany dla potrzeb rynku finansowego. Sam model opiera się na architekturze Bloom language model.
Co ciekawem BloombergGPT osiąga lepsze wyniki od popularnych modeli językowych, takich jak GPT-NeoX, OPT i Bloom. Rozwiązanie stworzone przez firmę z rynku finansowego notuje lepsze wyniki zarówno w zadaniach charakterystycznych dla rynków finansowych, jak i ogólnych zastosowań. W niektórych przypadkach różnice są znaczne, a BloombergGPT zbliża się do wyników GPT-3. Najważniejszą pzewagą BloombegGPT ma być wielkość i szczegółowośc danych użytych w procesie nauki.
Jakie są praktyczne zastosowania BloombergGPT
BloombergGPT może być wykorzystany do analizy sentymentu w artykułach dotyczących poszczególnych firm, automatycznego rozpoznawania podmiotów czy odpowiadania na pytania finansowe. Dział wiadomości Bloomberg może używać modelu m.in. do generowania nagłówków newsletterów.
Model wymaga tylko kilku przykładów, aby sformułować zapytania w języku BQL Bloomberg, aby wydobyć dane z bazy danych. Można użyć języka naturalnego, aby powiedzieć modelowi, jakich danych potrzebujemy, a on wygeneruje odpowiednie zapytanie BQL. BloombergGPT szybko nauczył się obsługiwać język bazy danych BQL dzięki tylko kilku przykładom.
Dla wszystkich powodów, dla których generatywne LLM są atrakcyjne – uczenie z niewielką ilością przykładów, generowanie tekstu, systemy konwersacyjne itp. – widzimy ogromną wartość w stworzeniu pierwszego LLM skoncentrowanego na domenie finansowej,
Shawn Edwards, główny dyrektor technologiczny Bloomberg
Domenowy model językowy pozwala firmie na rozwijanie wielu nowych rodzajów aplikacji i osiąganie znacznie wyższej wydajności w swojej branży.
Podsumowanie
BloombergGPT to fascynujący przykład tego, jak dedykowane modele językowe mogą przyczynić się do rozwoju i innowacji w określonych sektorach. W świecie finansów BloombergGPT przewyższa ogólnodostępne modele, oferując nie tylko wydajność, ale także nowe możliwości zastosowań, co może zrewolucjonizować sposób, w jaki korzystamy z AI w biznesie.
Źródło: the-decoder.com

1 Comment
Pingback: Tydzień w AI #1 - Ile tego jest?! - beAIware.pl