Umelá inteligencia: AI prichádza na scénu – kvalita, či kvantita?

Umelá inteligencia, časť 1: Prísľub technologickej revolúcie - internet, bitcoin a umelá inteligencia – OBSAH

1. Začiatok umelej inteligencie a symbolová umelá inteligencia
2. Prvý model umelého neurónu - perceptrón
3. Turingov test
4. Druhá a tretia vlna umelej inteligencie
5. Open-source inovácie prichádzajú na scénu

Začiatok umelej inteligencie a symbolová umelá inteligencia

Umelá inteligencia k nám prišla vo vlnách – prvá vlna začala v 50. rokoch 20. storočia, keď prví priekopníci umelej inteligencie, ako napríklad Alan Turing a Marvin Minsky, začali rozvíjať základné koncepty výskumu umelej inteligencie. Prevládajúcim prístupom v tomto období bol symbolický prístup alebo prístup založený na pravidlách, ktorý sa zameriaval na používanie symbolov a logických pravidiel na reprezentáciu znalostí a vykonávanie uvažovania. Príkladom tohto prístupu boli expertné systémy založené na inferencii poznatkov z faktov a pravidiel. Napríklad: “ak Alice a Bob splodili malého Charlieho, Charlie je chlapec, Charlie sa narodil živý => Alice má syna Charlieho a Bob má syna Charlieho”.

Reprezentácia podľa pravidiel, ktoré definujú vzťahy naráža na limity vypočítateľnosti a možnosti reprezentácie všetkých vzťahov vo svete. Komplexný svet je ťažké popísať dokonca aj veľkým množstvom pravidiel – dokonca tak ťažké, že si momentálne myslíme, že je to nemožné. To je mimochodom aj jeden z dôvodov, prečo nefunguje centrálne plánovanie.

O „nemožné“ sa však snažilo niekoľko projektov, napríklad projekt Cyc a jeho otvorená verzia OpenCyc, ktorá už však nie je vyvíjaná. Zo súčasných projektov, ktoré pracujú na báze symbolovej umelej inteligencie spomeňme projekt WolframAlpha, ktorý dokáže odpovedať na pomerne sofistikované otázky pomocou symbolických výpočtov.

Druhým dôvodom nefunkčnosti centrálneho plánovania aj symbolovej umelej inteligencie v komplexnom svete je to, že nie je možné získať informácie o svete, najmä preto, že väčšina informácií existuje až v čase rozhodnutia, teda v čase inferencie, kedy čas pokročí. Môžem povedať, že mám chuť na pomaranč, ale podstatné je keď si ho kúpim (alebo vypestujem), otvorím a zjem – táto informácia teda vznikne až vtedy, keď nie je až tak užitočná na inferenciu, teda na zistenie toho, či má niekto vypestovať pomaranč.

Symbolová umelá inteligencia má však jednu základnú výhodu oproti konekcionistickým modelom – a to dokáže vysvetliť prečo dospela k danému záveru. Jednoduchým vymenovaním aplikovaných pravidiel. To je niečo, čo momentálne modely umelej inteligencie nedokážu.

Prvý model umelého neurónu – perceptrón

Prvý model perceptrónu – ktorý je základnou jednotkou neurónovej siete â vymyslel Frank Rosenblatt v roku 1957 v paperi „The Perceptron: A Perceiving and Recognizing Automaton“.

Rosenblatt potom v roku 1962 publikoval knihu „Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms“, ktorá rozšírila a rozpracovala jeho pôvodné myšlienky a teórie o perceptrónoch.

Perceptrón si môžeme predstaviť ako jednoduchú jednotku, ktorá spracúva informácie. Skladá sa zo vstupov, váh a súčtu vážených vstupov a aktivačnej funkcie. Keďže ide o veľmi jednoduchý model, poďme si ho predstaviť:

Vstupy: Perceptrón má viacero vstupov, podobne ako neuróny v našom mozgu. Každý vstup je spojený s určitou hodnotou a váhou, ktorá určuje, ako je daný vstup dôležitý. Môžeme to chápať tak, že niektoré informácie sú pre určitú úlohu dôležitejšie ako iné. Napríklad, ak by sme chceli určiť, či bude o hodinu pekný letný deň, teplota je dôležitejšia informácia než napríklad farba oblohy.

Súčet vážených vstupov: Váhy sú potom násobené ich príslušnými vstupmi a výsledky sú sčítané do jedného čísla. Toto je ako keby ste urobili zoznam pre a proti pri rozhodovaní, kde každý bod pre aj proti má určitý význam alebo váhu.

Aktivačná funkcia: Výsledok sa potom porovná s nejakým prahom (threshold) pomocou aktivačnej funkcie. Ak je výsledok nad týmto prahom, perceptrón vyprodukuje jednu hodnotu (napríklad 1), v opačnom prípade vyprodukuje inú hodnotu (napríklad 0). Je to ako rozhodnutie, ktoré urobíte na základe zoznamu vážených pre a proti.

Dôležitým pojmom v umelej inteligencii je „učenie“ – perceptrón sa učí tak, že hľadá váhy, ktoré najlepšie vyriešia problém. Napríklad, ak pre nejaké vstupy poznáme správne výstupy (máme príklady), môžeme vyskúšať výpočet a zistiť, či perceptrón dal správny výsledok. Ak sa pomýlil, tak prebieha učenie pomocou tzv. spätného šírenia chyby. Pozrieme sa o koľko sa pomýlil a ktoré váhy na tom majú akú zásluhu. Algoritmus spätného šírenia chyby alebo backpropagation je jedným z najčastejšie používaných algoritmov učenia.

Na obrázku máme na začiatku jedného psa a jednu mačku. Keďže popisuje lineárnu funkciu, hľadá v skutočnosti čiaru, ktorá oddeľuje dva typy príkladov. Ak má iba dva príklady, môže napríklad nájsť čiaru na prvej časti obrázku, ktorá funguje. Pridaním ďalšieho psa do trénovacej množiny musí čiaru upraviť, pretože pôvodná čiara by psa označila za mačku. Ako pridávame ďalšie príklady do učiacej množiny, čiara sa upravuje. Môže sa však stať, že čiara nám neumožní oddeliť príklady a je potrebné zložitejšia funkcia, ktorá umožní popísať nelineárnu hranicu medzi príkladmi.

Toto obmedzenie popísali Marvin Minsky a Seymour Papert vo svojej knihe „Perceptrons: an introduction to computational geometry“. Perceptrón dokáže riešiť len tie úlohy, ktoré sú lineárne separovateľné, to znamená, že existuje rovina (alebo priamo čiara), ktorá dokáže oddeliť dáta do rôznych kategórií. Asi najjednoduchší príklad, ktorý nie je možné lineárne separovať je booleovská funkcia XOR.

To je jeden z dôvodov, prečo sa dnes používajú sofistikovanejšie neurónové siete, ktoré dokážu riešiť aj zložitejšie, nie lineárne úlohy.

Turingov test

Alan Turing zadefinoval test inteligencie pomocou „imitačnej hry“ v chatovacom rozhraní (dnes ho poznáme ako Turingov test). Test bol predstavený v článku „Computing Machinery and Intelligence“ z roku 1950. Ak nie sme schopní spoľahlivo odlíšiť v chatovacom rozhraní človeka od stroja, prešiel stroj testom inteligencie a hovoríme, že stroj má istú formu umelej inteligencie „na úrovni človeka“. Kritici hovoria, že inteligencia v chatovacom okienku nie je komplexným prejavom inteligencie človeka – schopnosť úspešne napodobniť ľudské správanie nie je podľa nich rovnaká ako skutočné pochopenie alebo vedomie. Niekedy po čítaní flamevérov na sociálnych sieťach tomu začínam veriť.

Minského a Papertova práca na perceptrónoch, jednoduchých neurónových sieťach a následné obmedzenia, na ktoré upozornil, viedli k skepse voči potenciálu neurónových sietí až do začiatku druhej vlny umelej inteligencie v 80-tych a 90-tych rokoch.

Druhá a tretia vlna umelej inteligencie

Druhá vlna sa niesla v znamení zamerania pozornosti na konekcionistické modely a neurónové siete, ktoré boli inšpirované biologickými neurónovými sieťami. Výskum smeroval k lepším algoritmom učenia, znovuobjaveniu algoritmu spätného šírenia chyby (backpropagation), ktorá umožnila neurónovým sieťam učiť sa z dát. Výskum bol však obmedzený možnosťami výpočtovej sily a dostupnosti trénovacích dát.

Tretia vlna začala v 2010-tych rokoch a trvá dodnes. Nastala vďaka konvergencii zvýšeného množstva dát (často označených), výpočtovej kapacity a nových architektúr neurónových sietí (konvolučné neurónové siete, rekurentné neurónové siete a transformery). Vďaka zvýšenej výpočtovej a pamäťovej kapacite je možné natrénovať neurónové siete s veľkým množstvom vrstiev a neurónov (takéto siete označujeme ako „deep“, teda hlboké, čo odkazuje na množstvo vrstiev). Dáta poskytol Internet – robotmi prehľadávané a indexované webové stránky, ale aj označené datasety ako napríklad ImageNet, kde ľudia popisovali obrázky („mačička na stole“, „tancujúci bobor“, …). Konvergencia týchto udalostí a množstva času ľudí spustila revolúciu. ImageNet mal 12 miliónov obrázkov, ktoré boli popísané na základe ontológie WordNet. Ak by mal dáta anotovať jeden človek rýchlosťou jeden obrázok za minútu a nerobil by nič iné (vrátane spánku alebo jedla), trvalo by mu to 22 rokov a 10 mesiacov.

Výsledok kombinácie týchto inovácií a technologického pokroku boli obrázkové modely ako Stable Diffusion (a DALL-E, či MidJourney), ktoré umožňujú vytvorenie obrázkov z textového popisu, chatovacie rozhrania veľkých jazykových modelov ako napríklad ChatGPT, Bing či Bard.

Open-source inovácie prichádzajú na scénu

Asi najzaujímavejšia časť je však open-source inovácia. To si uvedomili aj v Google, aspoň ak je pravý tento uniknutý dokument. Stable Diffusion je open-source model na generovanie obrázkov, ktorý spustil obrovskú sadu inovácií. Ľudia začali trénovať a zverejňovať tzv. „fine-tuned“ modely – s použitím základného modelu vylepšili neurónovú sieť za jedno poobedie tak, že generuje napríklad lepšie portréty, manga postavičky alebo moje obľúbené synthwave obrázky. Tieto programy môžete bežať na vlastnom počítači – buď s dostatočne silnou grafickou kartou alebo na modernom hardvéri s akceleráciou na neurónové siete, napríklad na zariadeniach Apple s novými Apple Silicon procesormi (pritom je jedno, či ide o iPhone alebo MacBook Pro).

Podobná inovácia nastala aj pri jazykových modeloch. Aj napriek tomu, že existovalo pomerne veľké množstvo voľne dostupných jazykových modelov ako napríklad Bloom, FLAN, Pytia, či množstvo iných, revolúciu priniesol model LLaMA od Meta (bývalý Facebook). Tento model prichádza vo viacerých variantoch, od najmenšieho so 7 miliardami parametrov až po 65 miliardový model. Číslo uvádza počet trénovateľných parametrov a zároveň určuje aký silný hardvér potrebujete na jeho beh. V 8-bitovej presnosti potrebujete na 7 miliardový model cca 7 GB RAM, čo sa zmestí do RAM väčšiny grafických kariet a dokonca aj mobilných zariadení. 13 miliardový model už má zmysel porovnávať s ChatGPT. Vysoká kvalita aj napriek malému množstvu parametrov bola jedna z inovácií tohto modelu.

Zaujímavé však bolo, že na rozdiel od mnohých iných modelov tento model nebol uvoľnený pod open-source licenciou. Paper, kód na trénovanie bol síce zverejnený, ale natrénované váhy (teda to, čo je výsledkom drahého trénovacieho procesu) bol sprístupnený len vybraným výskumníkom a len na nekomerčné účely. Čoskoro sa však na githube projektu objavila medzi „issues“ magnet link na torrent, ktorý obsahoval všetky váhy, s informáciou, že predsa nie je dobré zaťažovať takým dátovým tokom servery Facebooku. Neskôr sa model objavil aj na portáli Hugging Face, čo je taký „github pre AI modely a datasety“. Meta proti tomuto zverejneniu nezakročila, ale stále sa tvári, že model je iba na nekomerčné použitie.

Čo sa stalo potom je však úžasné a ukazuje to silu open-source komunity. A o tom je aj leaknutý dokument z Google. Tento model spustil šialenú vlnu inovácií.

Pôvodná verzia LLaMA bola natrénovaná iba na textovom datasete. Vedela „pokračovať v texte“, nevedela teda nasledovať inštrukcie alebo byť priamo súčasťou nejakého rozhovoru. Cca na takejto úrovni bol model GPT-3 od OpenAI (so 165 miliardami parametrov). Iba o dva týždne neskôr vznikla z LLaMA-13B Alpaca-13B, ktorá vedela už nasledovať inštrukcie. Dotrénovanie pomocou technológie LoRA (Low Rank Adaptation) stálo autorov zo Stanfordskej univerzity 600 USD vo výpočtovej kapacite. Uvoľnený trénovací dataset, ktorý vznikol pomocou interakcií s ChatGPT cez API použili ďalší ľudia na dotrénovanie a uvoľnenie váh. O týždeň neskôr vznikol dataset Vicuna-13B, ktorý už má zmysel porovnávať s ChatGPT. Má klasický konverzačný interface, aký poznáte z ChatGPT. Ale hlavný rozdiel je, že je vytvorený dotrénovaním mimo obrovské korporátne štruktúry (aj keď samozrejme gro nákladov zaplatila Meta trénovaním hlavného modelu). A dokážete ho bežať na vlastnom zariadení, bez toho, aby ste niekomu museli niečo posielať.

Postupne začali vznikať ďalšie modely a datasety – Dolly, Baize, StableLM, OpenAssistant, atď. Dnes sme v stave, kedy si každý môže lokálne dotrénovať vlastný model. Máte právnickú kanceláriu a chceli by ste pomoc s písaním zmlúv? Alebo potrebujete rozriešiť prípad na základe predchádzajúcich súdnych rozhodnutí? Ste lekár a potrebujete rozhranie, ktoré vám ukáže niečo, čo ste možno zanedbali overiť? Postupne začínajú vznikať aj tzv. multimodálne modely, ktoré dokážu prepájať obraz, zvuk a text. Pomôžu vám s programovaním.

Aj keď nie je také ľahké vytvoriť model podobný ChatGPT pre obrovské počiatočné náklady, budúcnosť možno bude v dolaďovaní dostupných modelov. Dolaďovania sa dajú kombinovať a možno budeme skôr „doúčať“ existujúce modely. To neznamená, že inovácia v základných modeloch zastane. Stability AI trénuje ich nové StabilityLM modely, mnohé ďalšie organizácie pracujú na nových open-source jazykových modeloch. Taktiež vznikajú nové verzie Stable Diffusion. Jedným z hlavných dôvodov je problém s nejasnou licenciou modelu LLaMA.

Jednou z nezpočetného množstva výhod týchto otvorených modelov je, že môžu bežať na koncových zariadeniach. V prostredí kedy nie je bezpečné uploadovať citlivé údaje do cloudu alebo nie je dostupná dostatočná internetová konektivita.

A v tomto svete sa nachádzame. Rozvoj je tak rýchly, že od času, kedy píšem tieto riadky po čas, kedy je článok zverejnený a dostal sa k vám pravdepodobne prebehol šialený vývoj. A to je dobre.

Prvá a druhá vlna predstavovali larválne štádium umelej inteligencie a naznačovali budúcu metamorfózu. Teraz sa táto digitálna kukla otvorila a vynoril sa z nej nádherný motýľ s neobmedzeným potenciálom. Toto nie je koniec, ale krásny úsvit najtransformačnejšej a najzaujímavejšej éry umelej inteligencie. A na ňu sa pozrieme v ďalších dieloch seriálu.

Juraj Bednár

Som cypherpunker, mám rád slobodu, súkromie, peer to peer technológie a terminálové okná. Skúmam chaotický svet, volatilitu a neistotu, bojujem proti entropii - zakladám firmy, neziskové projekty, robím kurzy a píšem knihy. Som spoluzakladateľ Paralelnej Polis, hackerspace Progressbar, či bug bounty platformy Hacktrophy. Vyštudoval som odbor umelá inteligencia a umelá inteligencia sa vrátila - tak ako som ju nikdy nepoznal. O všetkých týchto skúsenostiach píšem blog.