Multimodální model je model umělé inteligence, který v jednom zadání zpracuje více druhů dat, například text, obrázky, zvuk nebo video, a propojí je. Umí třeba přečíst přiložený graf a vysvětlit ho podle vaší textové otázky.
Jak funguje multimodální model?
Multimodální model převádí každý druh vstupu do společné vnitřní podoby, se kterou pak pracuje jako s jedním celkem. Obrázek rozdělí na malé části, zvuk na krátké úseky a text na tokeny; všechno se pak zpracovává společně. Proto může odpovědět na otázku, která se týká obrázku i textu zároveň, například „sedí čísla v tabulce na fotce s tím, co píšu v e-mailu?“. Každý druh dat se nazývá modalita (modality).
Čím se multimodální model liší od generátoru obrázků?
Rozlišujte, co model umí přijmout a co umí vytvořit. Mnoho multimodálních modelů obrázkům rozumí, ale odpovídá jen textem. Generátor obrázků naopak z textu obrázek vytvoří, ale nemusí umět fotku rozebrat. Některé nástroje obojí spojují, často tak, že jazykový model předá zadání samostatnému generátoru. Obojí spadá pod generativní AI, ale jde o různé schopnosti.
Jaký je nejčastější omyl o multimodálním modelu?
Omyl zní: když model vidí obrázek, vidí ho přesně jako člověk. Model ve skutečnosti může přehlédnout drobné písmo, splést čísla v tabulce nebo si domyslet detail, který na snímku není. Text z fotky je proto vždy potřeba porovnat s originálem.
K čemu se multimodální model hodí v práci?
- Učitel odborného výcviku: přiloží fotku poškozených listů s popisem zálivky a stanoviště a nechá si navrhnout možné příčiny, které pak ověří.
- Asistentka: vyfotí tabuli z porady a nechá si poznámky přepsat do strukturovaného zápisu.
- Správce IT: pošle snímek obrazovky s chybovou hláškou a ptá se, co znamená.
- Marketér: nechá zkontrolovat, zda leták odpovídá textovému zadání klienta.
Příklad zadání
Ekonomka školy má jen fotku papírové faktury a potřebuje údaje přepsat do tabulky.
Na fotce je faktura. Vypiš do tabulky: dodavatel, IČO, datum vystavení, datum splatnosti, částka celkem. Když některý údaj nejde přečíst, napiš "nečitelné", nehádej.
Model vrátí tabulku. Každé číslo, hlavně IČO a částku, porovnejte s fotkou, protože čísla se při čtení z obrázku pletou nejsnáz.
Na co si u multimodálního modelu dát pozor?
- Fotky dokumentů s osobními údaji (vysvědčení, posudky, doklady) nenahrávejte bez ověřených pravidel služby; údaje předem zakryjte, viz anonymizace údajů.
- Na snímku obrazovky zkontrolujte, zda nejsou vidět jména, e-maily nebo otevřené karty, které tam nepatří.
- Výstup z fotky berte jako návrh: čísla, jména a data ověřte v originále.
- Když model špatně čte, pošlete ostřejší snímek nebo výřez jen potřebné části.
Časté otázky
Je ChatGPT multimodální model?
Současné verze ChatGPT, Gemini i Claude přijímají kromě textu také obrázky a soubory, takže jsou multimodální. Které druhy vstupu a výstupu nabízejí, se liší podle verze a předplatného.
Co znamená multimodální AI?
Multimodální AI je obecné označení pro systémy, které pracují s více druhy dat najednou. Multimodální model je konkrétní model, který to umí.