Jak sprawdzić, czy wdrożenie AI działa? Plan pilota.

Ustal, co ma rozstrzygnąć próba

Załóżmy, że system ma czytać zapytania od klientów i przygotowywać je do obsługi w CRM. Podczas prezentacji poprawnie rozpoznaje wiadomość i tworzy podsumowanie. To dobry początek. Do decyzji o wdrożeniu potrzebujesz jeszcze informacji, jak poradzi sobie z innymi sprawami i co po jego pracy będzie musiał zrobić człowiek.

Zapisz jedno pytanie, na które ma odpowiedzieć pilot. Na przykład: czy system potrafi przygotować komplet danych z zapytania, wskazać braki i przekazać sprawę do właściwej osoby? Tak określony cel pozwala ustalić, co należy zbudować i sprawdzić.

Przykład w tym tekście jest scenariuszem projektowym. Nie opisuje wyniku wdrożenia u klienta ani gotowego produktu 01agency.

Opisz wynik, który można sprawdzić

Ustal, co ma istnieć po zakończeniu zadania. Może to być komplet wymaganych pól, podsumowanie zgodne z wiadomością i zapis we właściwym miejscu. Dopisz, czego systemowi nie wolno zrobić: choćby wysłać odpowiedzi bez zatwierdzenia albo dopowiedzieć informacji, których nie podał klient.

Anthropic w przewodniku po ocenie agentów rozróżnia przebieg pracy systemu od końcowego stanu środowiska. W praktyce warto więc sprawdzić zapis w systemie docelowym, zamiast polegać wyłącznie na komunikacie „zadanie wykonane”.

Wyznacz osobę, która rozstrzygnie, czy wynik jest poprawny. Przy interpretacji wiadomości mogą pojawić się sytuacje, dla których istnieje więcej niż jedna sensowna odpowiedź. Ustal, jakie różnice są dopuszczalne, a jakie zmieniają znaczenie sprawy.

Zbierz zwykłe sprawy i wyjątki

Przygotuj zestaw odpowiadający temu, z czym zespół ma do czynienia. Dane testowe mogą być syntetyczne, jeśli odtwarzają potrzebne sytuacje. Przy korzystaniu z materiałów rzeczywistych trzeba osobno ustalić zasady dostępu i ich użycia.

• Zwykła sprawa: wiadomość zawiera wszystkie informacje potrzebne do dalszej pracy.
• Brak danych: klient nie podał informacji wymaganej do wykonania zadania.
• Niejednoznaczność: wiadomość dotyczy kilku tematów lub ma sprzeczne fragmenty.
• Duplikat: ta sama sprawa trafia do systemu ponownie.
• Awaria: połączony system nie odpowiada lub odrzuca zapis.
• Przekroczenie zakresu: wiadomość wymaga decyzji, której automat nie może podjąć.

Zachowaj również osobny zestaw do końcowej oceny, którego nie używasz do bieżącego poprawiania rozwiązania. Pozwoli zobaczyć, jak system zachowuje się wobec innych przykładów. Mała próba nadal nie daje pewności, że pokrywa wszystkie sytuacje.

Zapisz kryteria przed testem

Wybierz miary wynikające z celu. Przy obsłudze zapytań mogą to być poprawność wymaganych danych, czas pracy człowieka, liczba poprawek i prawidłowe przekazanie trudnej sprawy. Zapisz osobno błędy, które wykluczają przejście dalej.

Nie wystarczy jedna wspólna ocena wszystkich odpowiedzi. Błędna kategoria sprawy może wymagać krótkiej poprawki, a wysłanie niezatwierdzonej wiadomości może mieć znacznie poważniejsze skutki. Takie zdarzenia powinny być widoczne w raporcie osobno.

Progi odbioru ustal z osobami odpowiedzialnymi za proces. Ich wysokość zależy od zadania i skutków błędu. W tym planie celowo nie ma uniwersalnego procentu poprawności, który miałby pasować do każdej firmy.

Policz pracę, która została po stronie zespołu

Porównaj obsługę sprawy przed próbą i z rozwiązaniem testowym. W obu wariantach uwzględnij sprawdzanie, poprawki oraz czas potrzebny na wznowienie przerwanego zadania. Zapisz także koszty użytych usług.

Oddziel czas oczekiwania na odpowiedź systemu od aktywnej pracy człowieka. Automat może wykonywać zadanie dłużej, ale wymagać mniej uwagi pracownika. Może też szybko tworzyć wynik, którego kontrola zajmuje więcej czasu niż wcześniejsze wykonanie czynności. Porównanie powinno pokazać obie sytuacje.

Wypełnij kartę odbioru pilota

Przed uruchomieniem próby przygotuj krótki dokument. Po teście dopisz wyniki i decyzję. Zachowaj również przypadki, na których rozwiązanie zawiodło.

• Pytanie pilota: jaką niewiadomą sprawdzamy?
• Zakres: jakie dane, czynności i systemy obejmuje próba?
• Poprawny wynik: co oceniamy i kto podejmuje decyzję o odbiorze?
• Próba: jakie sytuacje zawiera zestaw i czego jeszcze nie obejmuje?
• Warunki przejścia dalej: jakie wyniki muszą zostać osiągnięte?
• Granice: jakie działania pozostają po stronie człowieka?
• Wynik: co zadziałało, co wymaga poprawy i jaki był koszt całej obsługi?
• Decyzja: wdrażamy, poprawiamy zakres, powtarzamy próbę albo kończymy projekt?

Zaplanuj ocenę po zmianach

Model, integracja lub baza informacji mogą się zmienić. Zachowaj przykłady i kryteria, żeby móc ponownie ocenić zachowanie rozwiązania. NIST w funkcji Measure wskazuje potrzebę testowania systemów AI przed wdrożeniem oraz w czasie ich działania.

Do pierwszej rozmowy o pilocie wystarczy opis zadania, kilka typowych i trudniejszych sytuacji oraz oczekiwany wynik. To materiał, na którym można oprzeć zakres próby i sposób jej odbioru.