Otevřený model je jazykový nebo jiný AI model, jehož váhy (naučené hodnoty, ze kterých model skládá odpovědi) výrobce zveřejní ke stažení, takže ho můžete provozovat na vlastním počítači nebo serveru. Podle toho, co ještě výrobce zveřejní a jakou licenci zvolí, se rozlišují modely s otevřenými vahami a plně otevřené modely, u kterých je k dispozici i popis trénovacích dat a kód.
Jak funguje otevřený model?
Otevřený model se stáhne jako soubor nebo sada souborů s vahami a spustí se v programu, který umí model načíst a posílat mu text. Model pak běží na vašem hardwaru: na výkonném notebooku, na serveru organizace nebo v cloudu, který si sami zvolíte. U uzavřeného modelu naopak váhy zůstávají u výrobce a vy k němu přistupujete jen přes jeho aplikaci nebo API. Menší otevřené modely zvládne i běžný počítač, větší potřebují silnou grafickou kartu.
Jaký je rozdíl mezi otevřeným modelem a open source?
Model s otevřenými vahami ještě nemusí být open source. Open Source Initiative ve své definici otevřené AI požaduje, aby byly k dispozici váhy, kód a dostatečně podrobné informace o trénovacích datech, a to s licencí, která dovoluje model používat, zkoumat, upravovat a sdílet. Řada známých modelů zveřejňuje jen váhy a jejich licence omezuje třeba komerční použití.
Jaký je nejčastější omyl o otevřeném modelu?
Častý omyl je, že otevřený model automaticky znamená soukromí. Data zůstanou u vás jen tehdy, když model opravdu běží na vašem zařízení nebo serveru a program kolem něj nic neodesílá. Pokud otevřený model používáte přes cizí webovou službu, platí pro vaše data pravidla té služby. Druhý omyl: otevřený model nehalucinuje méně. Halucinace se týkají všech jazykových modelů.
K čemu se otevřený model hodí v práci?
- Správce IT: nasadí otevřený model na interní server, aby kolegové mohli shrnovat smlouvy, které nesmějí opustit síť organizace.
- Úředník: s modelem spuštěným lokálně třídí podání podle témat bez odesílání textu do zahraniční služby.
- Výzkumnice: model dotrénuje na odborných textech svého oboru, což u uzavřeného modelu nejde.
- Učitel informatiky: spustí malý model offline a ukazuje kolegům, jak model generuje text po tokenech.
Příklad zadání
Asistentka ředitele používá lokálně spuštěný otevřený model k přípravě podkladů z interních zápisů.
Z následujících zápisů z porad vypiš všechny úkoly pro sekretariát. U každého uveď odpovědnou osobu a termín, pokud jsou v textu. Když údaj chybí, napiš "neuvedeno". Nic nedoplňuj z vlastních znalostí. [vložený text zápisů]
Model vrátí seznam úkolů. Menší lokální modely častěji vynechávají údaje, proto seznam porovnejte se zápisy.
Na co si u otevřeného modelu dát pozor?
- Přečtěte si licenci. Než model nasadíte v organizaci, ověřte, zda licence dovoluje vaše použití, například komerční.
- Stahujte jen z ověřených zdrojů. Model berte z oficiální stránky výrobce nebo jeho účtu na Hugging Face, ne z neznámých kopií.
- Ověřte, kudy data tečou. Zkontrolujte, zda program, ve kterém model spouštíte, neodesílá data ven, a pro osobní údaje se řiďte GDPR.
- Počítejte s údržbou. Lokální model se sám neaktualizuje, o opravy a novější verze se musíte postarat sami.
Časté otázky
Je otevřený model zdarma?
Stažení vah bývá zdarma, ale platíte za hardware nebo cloud, na kterém model běží. Podmínky použití určuje licence konkrétního modelu.
Kde se otevřené modely stahují?
Nejčastěji z platformy Hugging Face (tak se šíří třeba modely Llama), kde výrobci zveřejňují váhy spolu s popisem modelu a licencí. Některé modely nabízejí i přímo na svých stránkách.
Jsou otevřené modely horší než uzavřené?
Nejvýkonnější modely bývají uzavřené, ale otevřené modely na mnoho běžných úloh stačí. Srovnání se rychle mění, proto výkon vyzkoušejte na vlastních úlohách.