Pilotní projekt je ve firmách standardní způsob, jak vyzkoušet AI s omezeným rizikem. Má ale vestavěnou vadu: skoro vždy vypadá úspěšně a skoro nikdy nedokáže návratnost. Kdo na základě úspěšného pilotu očekává, že se přínos lineárně přenese do plného provozu, obvykle se zklame. Problém není v modelu, ale v tom, co a kdy se vlastně měří.
Proč pilot vždy vypadá dobře
Pilot běží v ideálních podmínkách. Účastní se ho lidé, kteří chtějí, aby fungoval, na pečlivě vybraných případech, s nadprůměrnou pozorností a často s tichou ochotou ručně dohnat to, co systém nezvládne. Tyto podmínky v plném provozu nenastanou. Měřit přínos v prostředí, které je svou povahou výjimečné, znamená měřit strop, ne realitu.
K tomu se přidává výběr případů. Pilot se obvykle dělá na úloze, kde se úspěch očekává. To je rozumné pro ověření proveditelnosti, ale zavádějící pro odhad návratnosti, protože reálný provoz obsahuje i případy, na které se pilot vyhnul. Úspěšnost na vybraném vzorku se proto nedá přepočítat na celek.
Co pilot může a nemůže dokázat
Pilot je dobrý nástroj k zodpovězení jedné otázky: je tato úloha pro AI vůbec proveditelná a kde selhává. Není nástrojem k prokázání návratnosti, protože ta se ukáže až v plném objemu, s běžnými lidmi, na běžných případech a po odeznění počátečního nadšení. Zaměňovat tyto dvě otázky je nejčastější příčina toho, proč firmy schválí plné nasazení, které pak nepřinese očekávané číslo.
Užitečnější než otázka funguje to je otázka co se pokazí, když to poběží naostro. Dobře vedený pilot proto cíleně hledá selhání: nezvyklé vstupy, nejednoznačná zadání, případy, kde je cena chyby vysoká. Pilot, který sbírá jen úspěchy, připraví firmu o informaci, kterou nejvíc potřebuje.
Jak měřit přínos věrohodně
Věrohodné měření vyžaduje srovnatelnou základnu před nasazením. Bez znalosti, jak dlouho a s jakou chybovostí se úloha dělala ručně, není s čím porovnávat a jakékoli zlepšení je jen dojem. Tuto základnu je třeba zachytit dřív, než se systém zapne, ne dopočítávat zpětně.
Druhým požadavkem je měřit přínos po odeznění novosti, ne během ní. Krátce po zavedení lidé pracují jinak, protože je systém nový a sledovaný. Skutečný přínos se ukáže až v běžném provozu po několika měsících, kdy se chování ustálí. Číslo z prvního měsíce je obvykle příliš optimistické a vede k chybnému rozhodnutí o škálování.
Co to znamená
Pro management to znamená používat pilot k tomu, k čemu je dobrý, tedy k ověření proveditelnosti a hledání selhání, a netvářit se, že dokázal návratnost. ROI se prokazuje v plném provozu proti změřené základně a po odeznění nadšení, ne na vybraném vzorku v ideálních podmínkách.
Proč na tom záleží: nejdražší AI projekty nejsou ty, které selžou v pilotu. Jsou to ty, které pilotem projdou skvěle a v plném provozu nesplní očekávání, do něhož firma mezitím investovala. Firma, která ví, co pilot může a nemůže dokázat, se vyhne nejen špatnému nasazení, ale i špatnému rozhodnutí o jeho rozšíření.
Proč je to důležité
Adopce AI v českém prostředí už není otázkou prestiže, ale konkurenceschopnosti. Firmy, které začnou letos, získají zásadní časovou výhodu.
Pondělní redakční briefing
Pravidelný přehled o AI v českém byznysu přímo do vaší schránky. Bez spamu, jen data.