Chińczycy z DeepSeek zastosowali wiele małych usprawnień budując model R1, nie było jednego dużego przełomu. Takim przełomem jest natomiast darmowe udostępnienie modelu wszystkim. Wagę tego przełomu tłumaczy w podcaście «Cybe(r)ewolucja» Michał Pióro.
Bolesław Breczko: Czym są modele myślące sztucznej inteligencji? Czym różnią się do tych zwykłych?
Maciej Pióro, IDEAS NCBR, Instytut Podstawowych Problemów Techniki PAN: — To nowa klasa sztucznej inteligencji. Są to modele, które nie odpowiadają od razu na pytania, tak jak wcześniejsze, tylko są w stanie rozbić problem na mniejsze części i po pewnym czasie dać kompletną odpowiedź, np. na skomplikowane zadanie matematyczne.
Z tego co rozumiem, w modelach myślących, jak OpenAI o1 czy DeepSeek R1, mamy do czynienia z taką ciekawostką, że one w końcu widzą, co same wyprodukowały. Słyszą własne myśli?
— Tak. Można powiedzieć, że jest to pewien przełom w sztucznej inteligencji. Żeby lepiej go zrozumieć, warto najpierw wytłumaczyć, czym są modele bazowe.
Czym są?
— To modele, sieci neuronowe, w które wtłoczyliśmy internet i którym kazaliśmy jak najlepiej przewidywać następne słowo w zdaniu. To po prostu gigantyczny generator tekstów, który działa na zasadzie prawdopodobieństwa. Na przykład jeśli damy mu zdanie: «Bitwa pod Grunwaldem odbyła się w roku…», to największe prawdopodobieństwo ma ciąg cyfr oznaczający 1410.
Taki model może z dużą skutecznością przewidywać słowa i dodając je do siebie generować całe fragmenty tekstów. Ale, co ciekawe, nigdy nie widzi tych tekstów, nie widzi nic więcej poza jednym słowem w danym momencie.
Chociaż takie modele same w sobie okazały się bardzo skuteczne, od lat trwały próby wydobycia z nich więcej. Pojawiły się metody promptowania, czyli zadawania pytań, które poprawiają ich skuteczność. Okazało się, że jeśli zada się modelowi pytanie i dopisze, żeby myślał krok po kroku, odpowiada lepiej.
Ciekawe w tych modelach o1 i R1 jest, że one same nauczyły się techniki myślenia krok po kroku i rozbijania problemów na mniejsze.
Dochodzi im też umiejętność weryfikowania własnych odpowiedzi?
— Tak, ponieważ zanim dadzą odpowiedź, same sobie piszą różne sposoby dojścia do niej, mogą nawet je skrytykować, dojść do wniosku, że są błędne i wybrać inne.
A na czym polega osiągnięcie Chińczyków z DeepSeek? Pierwszym modelem myślącym był o1 od OpenAI. Opracowanie DeepSeek R1 podobno okazało się dużo tańsze.
— Niestety nie możemy porównywać wprost modeli OpenAI o1 i DeepSeek R1. o1 Ten pierwszy jest modelem zamkniętym, nie wiemy, jak powstał i jak działa. R1 to model otwarty i możemy go porównywać tylko z innymi tego typu, jak np. Llama Faceboka. Niestety nie ma na razie innego myślącego modelu, który byłby otwarty.
Nie ma też tutaj jakiegoś jednego naukowego przełomu technologicznego, raczej wiele małych udoskonaleń, które łącznie przyczyniły się do powstania DeepSeek R1.
Jakie to udoskonalenia?
— Pierwsza sprawa to zastosowanie techniki mixture of experts, która znana była już wcześniej, ale nie zastosowano jej na taką skalę.
Na czym polega?
— Architektura klasycznego modelu nazywa się transformerem. Taki transformer w największych modelach językowych ma miliardy parametrów i zajmuje gigabajty pamięci. Wydaje się, że nie jest optymalne, aby za każdym razem, przy każdym pytaniu przetwarzać wszystkie te dane. Prawdopodobnie istnieją w transformerze obszary, które są istotniejsze z punktu widzenia danego pytania. Mixture of experts polega na tym, że jednocześnie uruchamia się tylko te właśnie obszary, zamiast całego zbioru. DeepSeek ma 700 mld parametrów, ale może na raz używać tylko 40 mld.
Czyli to tak jakbyśmy w bibliotece poszli do konkretnego działu, zamiast czytać za każdym razem szukać książek z całego zbioru?
— Tak, tylko w bibliotece mamy ten komfort, że książki są opisane na okładkach. W modelach językowych te obszary są opisane w sposób niezrozumiały dla ludzi. Jeszcze nie mamy wytłumaczenia, dlaczego modele wybierają dane obszary danych. Ale robią to efektywnie i dlatego są lepsze niż modele dense, które używają wszystkich parametrów.
Dlaczego nie robiło się tego wcześniej?
— Bo wiąże się z tym dużo problemów natury technicznej, wykorzystania mocy obliczeniowych, zbalansowania działania ekspertów itp. Wydaje się, że inżynierom z DeepSeek udało się obejść wiele z tych problemów. Trzeba jeszcze dodać, że nie wiadomo, czy OpenAI nie korzysta z takiego modelu, ale na pewno nie było zastosowania w świecie open-source na taką skalę.
Co jeszcze?
— Inną innowacją jest uczenie modelu przewidywania nie pojedynczego słowa, a kilku jednocześnie. Po raz pierwszy zastosowała to i opisała Meta. Co ciekawe ,to działa dopiero przy pewnej skali, bo jeśli weźmiemy dwa małe modele, jeden będziemy uczyć przewidywać tylko jedno słowo, a drugi dwa, lepszy będzie ten pierwszy. Metoda działa dopiero przy bardzo dużym modelu i dużej liczbie danych.
Widzimy też zmiany w warstwie atencji.
Co to jest? Czy ma to odniesienie do przełomowej pracy «Attention is all you need», która zapoczątkowała erę obecnych modeli językowych?
— Tak, od 2017 roku, czyli od daty opublikowania tej pracy naukowej, cały czas polegamy na technice atencji w trenowaniu modeli. Najważniejsze w niej, że pozwala optymalnie wykorzystać moce obliczeniowe. I ta metoda jest ciągle usprawniana. Firma DeepSeek poszła też o krok dalej, co pozwoliło im jeszcze lepiej wykorzystać ograniczone moce obliczeniowe.
Kolejną ciekawostką jest wykorzystanie danych niskiej precyzji.
Co to znaczy?
— Dane, które dostarczamy modelowi do treningu, są zamieniane w nim na liczby. I teraz możemy zdecydować, ile miejsc po przecinku mają mieć te liczby. W większości stosuje się precyzję 32- lub 16-bitową, a DeepSeek użyło precyzji 8-bitowej i okazało się, ze rezultaty są tak samo dobre.
Tylko że stawia to nowe problemy, bo okazuje się, że sieci neuronowe czasem potrzebują niższej, a czasem wyższej precyzji, w zależności od problemu. Ten proces treningowy nie jest jeszcze do końca zrozumiany przez badaczy. Chińczykom się udało i jest to duże osiągnięcie.
I to wszystko pozwoliło im znacznie ograniczyć koszty trenowania modelu?
— Na pewno, ale nie wiemy, ile tak naprawdę to kosztowało. Trzeba też dodać, że inżynierowie z DeepSeek wspięli się na wyżyny swoich możliwości. Może to też wynikać z ograniczeń, jakie na Chiny nałożyły Stany Zjednoczone, przez które nie mieli dostępu do najnowszych procesorów do AI.
Jak im się to udało?
— Potrzeba matką wynalazków. Starsze procesory wykorzystali tak, aby działały jak najlepiej. W kartach graficznych Nvidii, bo to na nich trenowane są modele AI, programiści korzystają do ich programowania z systemu, który nazywa się CUDA. To tzw. system lub język wysokopoziomowy, czyli któryś kolejny z poziomów interfejsu. Plusem takich języków jest, że są łatwe w obsłudze i mają dużo udogodnień. Mogą korzystać z nich nawet początkujący programiści. Minusem jest za to, że nie dają pełnej kontroli nad sprzętem. Im na niższy poziom zejdziemy, tym większą mamy kontrolę, jednak języki niskopoziomowe są bardzo skomplikowane i zaledwie ułamek programistów umie się nimi posługiwać.
Czyli to tak, jakbym w jednym przypadku kupił krzesło z Ikei i złożył je jednym śrubokrętem, albo poszedł do lasu, ściął drzewo, wyciął deski, oheblował je, przyciął na wymiar i sam skleił i skręcił?
— W dużym uproszczeniu można tak powiedzieć.
Z tego co rozumiem, większym przełomem może być, że DeepSeek udostępniło R1 w modelu open-source. Czyli że każdy może go sobie pobrać i uruchomić.
— Przy czym to bardziej model open-weights niż open-source, czyli nie jest tak całkiem otwarty, ale i tak dużo bardziej niż inne modele. Oprócz tego firma DeepSeek opublikowała raport, z którego można w dużym stopniu dowiedzieć się, jak przebiegało tworzenie modelu. Do tej pory nie wydarzyło się nic podobnego w przypadku modelu myślącego.
Jaki wpływ będzie to miało na rozwój branży AI?
— Branża ta dzieli się na dwa główne obozy: closed i open source. Modele zamknięte to takie jak GPT, Gemini czy Claude. Firmy, które je tworzą, strzegą swoich sekretów i nie pokazują, jak działają ich modele. Obóz open-source, w którym ja działam, zawsze jest z tyłu. Pytanie, jak daleko z tyłu. Do tej pory byliśmy o rok za OpenAI i resztą, dzięki DeepSeek ta przewaga zmniejszyła się do pół roku.
Wywiad jest fragmentem rozmowy w podcaście o sztucznej inteligencji Wyborczej.biz «Cybe(r)ewolucja».