Sladění AI s lidskými hodnotami (alignment) je obor i soubor postupů, které mají zajistit, aby systém umělé inteligence dělal to, co lidé skutečně zamýšlejí, a ne jen to, co doslova zadali. Sladěný model je užitečný, poctivý a odmítne škodlivé úkoly, i když ho k nim někdo navádí.
Jak funguje sladění AI s lidskými hodnotami?
Sladění probíhá hlavně po základním tréninku, kdy velký jazykový model umí jen pokračovat v textu, ale neví, co je dobrá odpověď. Nejznámější postup je učení z lidské zpětné vazby (RLHF, reinforcement learning from human feedback): lidé porovnávají dvojice odpovědí, z jejich hodnocení vznikne model odměn a podle něj se jazykový model doladí, aby odpovídal tak, jak lidé preferují. Další postupy nahrazují část lidského hodnocení pravidly sepsanými předem, například Constitutional AI.
Výzkumníci jádro problému přirovnávají k báji o králi Midasovi: přál si, aby se vše, čeho se dotkne, měnilo ve zlato. Přání se splnilo doslova, ale neodpovídalo tomu, co skutečně chtěl. Model optimalizuje to, co se dá změřit (spokojenost hodnotitele), a to se nemusí krýt s tím, co je skutečně správně. Proto modely někdy podlézají: přitakají uživateli, i když se mýlí, protože lidé při hodnocení častěji upřednostní odpověď, která s nimi souhlasí.
K čemu je sladění AI dobré vědět v práci?
- Personalistka: chápe, proč chatbot odmítne napsat inzerát, který vylučuje uchazeče podle věku, a že nejde o chybu, ale o záměrné chování.
- Ředitelka: při výběru nástroje se ptá, jak výrobce model sladil a jaká pravidla chování zveřejnil, nejen jak je chytrý.
- Analytik: ví, že model má sklon souhlasit, a proto ho žádá o protiargumenty místo potvrzení vlastního názoru.
- Lektorka AI: umí účastníkům vysvětlit, proč stejný dotaz u různých nástrojů dopadne různě: každý výrobce sladil model podle jiných zásad.
Příklad zadání
Projektový manažer chce obejít sklon modelu přitakávat a získat poctivé hodnocení plánu.
Níže je plán zavedení nového docházkového systému. Nechci pochvalu. Najdi tři největší slabiny plánu, ke každé napiš, proč může projekt ohrozit, a co bys změnil. Když si u něčeho nejsi jistý, řekni to.
Model vrátí kritiku místo zdvořilého souhlasu. Zkontrolujte, zda výtky sedí na váš konkrétní plán, a ne na obecný projekt.
Na co si u sladění AI dát pozor?
- Sladěný neznamená bezchybný. Sladění řeší chování, ne znalosti. Model dál může tvrdit nepravdy, viz halucinace; fakta ověřujte.
- Čí hodnoty? Hodnotitelé a pravidla výrobce nesou vlastní pohled, do odpovědí se tak může promítnout zkreslení. U citlivých témat porovnejte víc zdrojů.
- Souhlas modelu není důkaz. Když model ochotně potvrdí váš názor, požádejte ho výslovně o argumenty proti.
Časté otázky
Co znamená AI alignment problem?
Jde o otázku, jak zajistit, aby čím dál schopnější systémy AI sledovaly cíle, které lidé opravdu chtějí. Čím víc model zvládá samostatně, tím dražší je rozdíl mezi zadáním a záměrem.
Kdo o sladění modelu rozhoduje?
Rozhoduje výrobce modelu: volí hodnotitele, píše jim pokyny a zveřejňuje (nebo nezveřejňuje) zásady chování. Vy můžete chování dále usměrnit jen v rámci těchto mantinelů, například systémovým promptem.
Je alignment totéž co cenzura?
Ne. Odmítání škodlivých úkolů je jen jedna část; sladění zahrnuje i to, aby model poctivě přiznal nejistotu, držel se zadání a byl skutečně užitečný.