Hodnocení s pomocí AI je postup, při kterém jazykový model porovná odevzdanou práci s kritérii, která předem stanovil člověk, a připraví k ní návrh komentáře nebo bodování. Výsledek je podklad: hodnotitel ho zkontroluje, opraví a konečné rozhodnutí podepisuje sám.
Jak funguje hodnocení s pomocí AI?
Hodnocení s pomocí AI stojí na tom, co do modelu vložíte. Model práci „nečte jako odborník“, ale hledá v textu znaky, které odpovídají popisu v zadání. Proto potřebuje tři vstupy:
- Kritéria: nejlépe rubrika s popisem úrovní, ne jen „ohodnoť esej“.
- Zadání úkolu: co přesně měl autor udělat, jinak model hodnotí podle vlastní představy.
- Samotnou práci bez jmen a osobních údajů.
Model pak ke každému kritériu vypíše, co v práci našel, a navrhne úroveň. Čím konkrétnější kritéria, tím lépe se jeho návrh dá ověřit, protože u každého tvrzení můžete dohledat místo v textu.
Čím se hodnocení s pomocí AI liší od zpětné vazby od AI?
Hodnocení s pomocí AI slouží hodnotiteli, zpětná vazba od AI slouží autorovi práce. U hodnocení vzniká podklad pro známku, body nebo rozhodnutí, který vidí jen vyučující nebo komise. Zpětná vazba míří k člověku, který se učí, a říká mu, co zlepšit. Obojí může vzniknout ze stejné rubriky, ale hodnocení nese důsledky, a proto vyžaduje přísnější kontrolu.
Jaký je nejčastější omyl o hodnocení s pomocí AI?
Omyl je, že AI hodnotí objektivněji než člověk. Model je sice neúnavný, ale má vlastní sklony: oceňuje uhlazený a dlouhý text víc než věcně správný, přehlédne faktickou chybu podanou sebejistě a při opakovaném dotazu může stejnou práci ohodnotit jinak. Ve zprávě společnosti Anthropic o tom, jak AI používají vyučující na vysokých školách, vyšlo, že téměř polovina konverzací o hodnocení měla podobu přenechání práce modelu, přestože dotázaní vyučující považovali hodnocení za nejméně účinné použití AI.
K čemu se hodnocení s pomocí AI hodí v práci?
- Učitel na střední škole: nechá si u třiceti slohových prací vypsat, které nesplňují povinné prvky zadání, a ty pak čte nejpozorněji.
- Vyučující na VŠ: porovná seminární práce s rubrikou a dostane ke každé návrh komentáře s citací místa, kterého se týká.
- Personalistka: vyhodnocuje závěrečné úkoly z interního školení podle stejných kritérií pro všechny pobočky.
- Hodnoticí komise grantu: nechá si projekty zkontrolovat na formální náležitosti výzvy, věcné posouzení dělají hodnotitelé sami.
Příklad zadání
Lektorka kurzu projektového řízení chce rychle projít závěrečné projekty účastníků.
Jsi pomocník hodnotitele. Níže je zadání úkolu, rubrika se třemi kritérii a anonymizovaný projekt účastníka. 1. Ke každému kritériu napiš, kterou úroveň práce podle tebe splňuje. 2. Každé své tvrzení dolož doslovnou citací z projektu. 3. Když kritérium nejde posoudit, napiš „nelze posoudit“ a proč. 4. Nenavrhuj celkovou známku, tu určím sama. ZADÁNÍ: ... RUBRIKA: ... PROJEKT: ...
Zkontrolujte, jestli citace v projektu opravdu jsou, a dvě až tři práce ohodnoťte nejdřív sami, ať vidíte, kde se s modelem rozcházíte.
Na co si u hodnocení s pomocí AI dát pozor?
- Vkládejte jen anonymizované práce. Jména, rodná čísla a údaje o zdraví nebo poruchách učení odstraňte, viz anonymizace údajů.
- Výsledek nepřebírejte bez čtení. Každou navrženou úroveň porovnejte s textem, zvlášť u hraničních prací.
- Řekněte předem, jakou roli AI má. Hodnocení lidé respektují, když vědí, podle čeho a kým vzniklo.
- Hlídejte pravidla. AI Act řadí systémy určené k hodnocení výsledků učení ve vzdělávacích institucích mezi vysoce rizikové. Řiďte se pravidly své organizace pro používané nástroje.
Časté otázky
Je hodnocení s pomocí AI zdarma?
Postup sám zvládnete v bezplatné verzi běžného chatbota, pokud vám stačí hodnotit práce po jedné. Pro hromadné hodnocení a práci s osobními údaji je vhodnější nástroj, který má vaše organizace schválený a smluvně ošetřený.
Pozná AI, že práci napsala jiná AI?
Spolehlivě ne. Hodnocení kvality a odhalování původu textu jsou dva různé úkoly a ani specializované detektory AI textu nejsou dost přesné na to, aby se o ně dalo opřít obvinění.