Od dat k modelu: co se vlastně učí
Generativní umělá inteligence, zejména jazykové modely typu GPT, Llama nebo Claude, je postavená na principu predikce. Jejím úkolem není „rozumět“ textu jako člověk, ale odhadnout, jaká jednotka má následovat po předchozích jednotkách. Tou jednotkou není vždy slovo, často jde o token, tedy kus slova, celé slovo, interpunkci nebo třeba číslo. V praxi tak model pracuje s textem rozděleným na desítky tisíc různých tokenů.
Trénink probíhá na obrovských korpusech dat. U velkých modelů jde o směs veřejně dostupných webových stránek, knih, článků, kódu i dalších textových zdrojů. Přesná datová sada bývá u komerčních modelů neveřejná, ale obecně platí, že čím širší a kvalitnější data, tím lepší výsledky. V posledních letech se velikost modelů i dat výrazně zvětšila: běžné moderní modely mají stovky milionů až stovky miliard parametrů, tedy čísel, která určují, jak silně se jednotlivé „spojky“ v síti ovlivňují.
Pro představu: model s 7 miliardami parametrů je už schopný poměrně kvalitního dialogu, ale špičkové systémy pracují s mnohonásobně větší kapacitou. Parametry nejsou databází faktů v klasickém smyslu. Jde o váhy, které vzniknou během učení a které modelu umožňují rozpoznávat vzory v jazyce, stylu, gramatice i věcných souvislostech.
Neuronová síť v kódu: vrstvy, váhy a matice
Z technického hlediska jsou generativní modely postavené jako hluboké neuronové sítě. Nejčastěji jde o architekturu transformer, která se prosadila po roce 2017 a změnila celý obor. Transformer pracuje s vektory a maticemi, tedy se soubory čísel, které počítač umí rychle násobit a přepočítávat. Každý token je nejprve převeden na číselnou reprezentaci zvanou embedding.
Embedding zachycuje významové vztahy. Slova „král“, „královna“ a „monarcha“ mohou mít v číselném prostoru podobnou polohu, zatímco „automobil“ bude dál. Není to slovník, ale geometrický prostor vztahů. Právě díky tomu model umí pracovat s analogiemi a kontextem.
V jádru transformeru jsou vrstvy, které obsahují mechanismus zvaný self-attention. Ten rozhoduje, na které části vstupu se má model při zpracování soustředit. Když například čte větu „Pes, který běžel za autem, byl unavený“, musí si propojit slovo „byl“ s „pes“, ne s „autem“. Attention mechanismus tyto vazby počítá pomocí vah, které určují důležitost jednotlivých tokenů v kontextu.
U jednoduchého příkladu lze říct, že model při každém kroku přepočítává pravděpodobnost následujícího tokenu. Pokud zadáte větu „Praha je hlavní město“, model nevybírá odpověď z pevného seznamu. Vypočítá rozdělení pravděpodobností nad celým slovníkem a vybere token s nejvyšší pravděpodobností nebo jeden z nejpravděpodobnějších tokenů podle nastavené strategie generování.
Jak probíhá trénink: od chyby k přesnějším vahám
Trénink generativního modelu je v zásadě opakovaný cyklus pokusů a oprav. Model dostane část textu, pokusí se odhadnout další token a následně se jeho odpověď porovná s realitou. Rozdíl mezi očekávanou a skutečnou odpovědí se označuje jako ztrátová funkce neboli loss. Čím vyšší chyba, tím větší úprava vah.
Nejčastěji se používá metoda zvaná gradient descent a její varianty. Zjednodušeně řečeno, systém hledá směr, kterým má upravit miliardy parametrů, aby příště udělal menší chybu. Tento proces se opakuje miliardkrát. Trénink velkých modelů běží na specializovaném hardwaru, hlavně na GPU nebo TPU, protože práce s maticemi je extrémně výpočetně náročná.
V praxi se model netrénuje jen jednou. Po základním předtrénování často následuje další ladění, například fine-tuning na konkrétní úlohy nebo RLHF – učení s lidskou zpětnou vazbou. To znamená, že lidé hodnotí odpovědi modelu a systém se pak optimalizuje tak, aby dával užitečnější, bezpečnější a srozumitelnější výstupy. Tento krok je důležitý zejména u chatbotů, protože čistě statistický model by bez něj často odpovídal příliš doslovně nebo nepřehledně.
Podle odborných odhadů trénink špičkových modelů spotřebuje obrovské množství energie a výpočetního času. U největších systémů může jít o týdny až měsíce běhu na tisících čipů. Právě proto je vývoj generativní AI nákladný a soustředěný v rukou několika málo firem a laboratoří.
Co se děje při zadání promptu
V okamžiku, kdy uživatel napíše prompt, model nespouští „pátrání na internetu“, pokud k tomu není přímo napojený. Nejprve se text rozdělí na tokeny, ty se převedou na embeddingy a následně projdou jednotlivými vrstvami sítě. Model pak postupně generuje odpověď token po tokenu. Každý nový token ovlivňuje další krok, takže výsledek vzniká sekvenčně.
To vysvětluje i rozdíl mezi různými režimy generování. Při nižší teplotě je model opatrnější a vybírá pravděpodobnější tokeny, takže odpovědi bývají konzistentnější. Při vyšší teplotě je naopak kreativnější, ale také méně předvídatelný. U textu to může znamenat pestřejší formulace, u faktických odpovědí vyšší riziko chyby.
Model navíc pracuje s omezeným kontextovým oknem, tedy množstvím textu, které si „pamatuje“ v rámci jedné interakce. U moderních systémů už nejde o pár tisíc znaků, ale často o desítky tisíc tokenů. Přesto je kontext konečný. Jakmile se vejde do okna více informací, starší část může vypadnout a model ji přestane zohledňovat. I to je důvod, proč si dlouhé konverzace někdy protiřečí nebo ztrácejí nit.
V kódu to funguje jako opakovaná smyčka: vstup se zpracuje, vypočítá se pravděpodobnost dalšího tokenu, token se vybere, přidá do výstupu a celý proces se opakuje, dokud model nedojde k ukončovacímu znaku nebo ke stanovenému limitu délky.
Proč model někdy chybují a „halucinují“
Jedna z nejčastějších otázek kolem generativní AI zní, proč si modely někdy vymýšlejí. Odpověď je přímo v jejich konstrukci: model je optimalizovaný na pravděpodobný text, ne na ověřování faktů. Když mu chybí spolehlivá informace, může vyprodukovat větu, která vypadá jazykově správně, ale fakticky není pravdivá. Tomu se říká halucinace.
Nejde o poruchu ve smyslu „zaseknutého programu“. Je to důsledek statistického generování. Model hledá nejpravděpodobnější pokračování podle vzorů, které viděl při tréninku. Pokud se v datech vyskytovaly podobné formulace, může vytvořit odpověď, která zní přesvědčivě, i když se neopírá o ověřený zdroj. Proto se u důležitých použití propojuje s vyhledáváním, databázemi nebo nástroji pro kontrolu faktů.
Stejný princip vysvětluje i silné stránky modelů. Dokážou rychle shrnout dlouhý text, přepsat styl, navrhnout kód nebo pomoci s překladem, protože rozpoznávají vzory, které lidé běžně používají. U programování například model vidí, že po importu knihovny často následuje definice funkce, po podmínce zase blok s odsazením. Neznamená to, že „rozumí“ programu jako vývojář, ale že velmi dobře odhaduje strukturu.
Kde se generativní AI používá dnes
Generativní modely se dnes uplatňují v zákaznické podpoře, marketingu, analytice, programování i ve vzdělávání. Firmy je nasazují na tvorbu návrhů textů, automatické shrnování dokumentů, třídění e-mailů nebo asistenci při psaní kódu. V medicíně a právu se používají opatrněji, protože tam má chyba vysoké náklady a je nutná kontrola odborníka.
V praxi se stále častěji kombinuje několik komponent: jazykový model, vyhledávání v interních dokumentech, databáze a pravidla bezpečnosti. Tento přístup se označuje jako RAG – retrieval augmented generation. Model si nejprve dohledá relevantní informace a teprve potom z nich tvoří odpověď. Tím se snižuje riziko halucinací a zvyšuje přesnost na konkrétní firemní nebo odborné data.
Vývoj ale pokračuje i směrem k multimodálním modelům, které zvládají nejen text, ale i obrázky, zvuk nebo video. Princip zůstává podobný: převést vstup na čísla, zpracovat je neuronovou sítí a vygenerovat další smysluplnou část výstupu. Rozdíl je v tom, že místo samotných tokenů se model učí vztahy napříč více typy dat, což posouvá možnosti použití dál než u klasických chatbotů.
Generativní umělá inteligence tak zůstává především stroj na předpovídání dalšího tokenu, jen v obrovském měřítku a s mimořádně sofistikovanou matematikou. To, co na uživatele působí jako plynulá konverzace nebo hotový článek, je ve skutečnosti řetězec výpočtů nad maticemi, vahami a pravděpodobnostmi, který se opakuje znovu a znovu s každým dalším znakem.
