Wat is Evaluatiesuite (evals)?

Een geautomatiseerde testset die meet of een AI-systeem nog acceptabele uitvoer levert, gescoord tegen een samengestelde "golden dataset" van bekende gevallen. Evals maken modelkwaliteit van een mening een getal, maken regressies zichtbaar bij een model- of promptwijziging, en vormen de basis voor een terugkerend nauwkeurigheidsrapport. De meeste AI-implementaties gaan zonder live.