PraktykaAI i automatyzacja4 min czytania

Pilot AI. Sprawdź jeden proces, zanim zmienisz cały dział.

Szybciej wykonane zadanie może oznaczać więcej czasu na sprawdzanie wyniku. Dlatego w pilocie porównujemy całą pracę: wykonanie, kontrolę, poprawki i utrzymanie. Obok zapisujemy jakość oraz koszty narzędzi i wdrożenia. Dopiero wtedy decydujemy, czy warto iść dalej.

Ostatnia redakcja:
Dwie karty tego samego procesu przygotowane do porównania przed i po próbie AI.

„Działa” powinno znaczyć coś więcej niż udaną prezentację. W pilocie chcemy rozstrzygnąć, czy określony sposób użycia AI pomaga wykonać zadanie w rzeczywistych warunkach — i ile pracy zostawia zespołowi.

Nie potrzebujemy od razu odpowiedzi dla całego działu. Wybierzmy jeden proces, ustalmy granice i sprawdźmy, co naprawdę dzieje się od otrzymania danych do zaakceptowania wyniku.

Zapisz pytanie oraz poprawny rezultat

Załóżmy, że system ma przygotować zapytanie klienta do obsługi w CRM. To przykład projektowy, nie relacja z wdrożenia. Pytanie pilota może brzmieć: czy rozwiązanie zbiera potrzebne dane, wskazuje braki i przekazuje sprawę właściwej osobie bez dopowiadania informacji?

Sprawdzamy także stan w systemie docelowym. Komunikat „zapisano” nie zastępuje sprawdzenia, czy rekord rzeczywiście powstał. Ustalmy, kto odbiera rezultat i jakie działania wymagają zatwierdzenia człowieka.

Google w materiale o definiowaniu problemu ML odróżnia kryteria sukcesu biznesowego od metryk oceny modelu. Dobra odpowiedź modelu jest częścią oceny; nie dowodzi jeszcze sprawniejszej obsługi całej sprawy. Google — Framing an ML problem

Zwykłe sprawy, wyjątki i granice

Przygotujcie przykłady kompletne, z brakami i niejednoznaczne. Dodajcie duplikat, niedostępny system docelowy i prośbę wykraczającą poza uprawnienia automatu. Dla każdego przypadku opiszcie oczekiwane zachowanie.

Część materiału zachowajcie do końcowej oceny; nie używajcie go do poprawiania rozwiązania po każdej próbie. Materiał syntetyczny może pomóc odtworzyć sytuacje bez ujawniania rzeczywistych spraw. Jego wyniki nie są jednak dowodem pokrycia całej pracy firmy.

NIST w części Measure zaleca dokumentowanie zestawów testowych, miar i użytych narzędzi. Dzięki temu wiadomo, co oceniono i co trzeba sprawdzić ponownie po zmianie. NIST — Measure

Policz także sprawdzanie i poprawki

Zmierzcie aktywną pracę człowieka przed próbą i w wariancie testowym. W obu uwzględnijcie kontrolę, korekty i wznowienie zadania po błędzie. Czas oczekiwania na odpowiedź systemu zapisujcie oddzielnie.

Przykład czysto rachunkowy: wcześniej obsługa zajmowała 20 minut. Po zmianie przygotowanie trwa 6 minut, kontrola 7, a poprawki 3. Razem 16 minut, czyli różnica wynosi 4 minuty na sprawę. To jeszcze nie pełna oszczędność procesu. Trzeba uwzględnić dodatkowy czas utrzymania i obsługi awarii oraz koszty wdrożenia i narzędzi.

Te liczby są symulacją, nie wynikiem klienta ani prognozą. Odzyskany czas również nie staje się automatycznie przychodem. Ważne, czy można go rzeczywiście wykorzystać i czy jakość obsługi pozostała akceptowalna.

Karta odbioru pilota

Uzupełnijcie warunki przed testem, a wyniki po nim. Progi zależą od procesu i skutków błędu; nie proponujemy jednego procentu poprawności dla wszystkich firm.

Przed i po: wykonanie + kontrola + poprawki; obok jakość i koszty
Schemat do pracy z artykułem. Przykład koncepcyjny, nie wynik ani realizacja klienta.
Karta odbioru pilota
PoleUstalenie / wynik
Pytanie pilota i zakres…
Poprawny wynik i osoba odbierająca…
Przypadki zwykłe, wyjątki i luki próby…
Błędy blokujące przejście dalej…
Kryteria jakości i warunki odbioru…
Czas: wykonanie, kontrola, poprawki, oczekiwaniePrzed: … / po: …
Dodatkowa obsługa i utrzymanie…
Koszt wdrożenia, narzędzi i działania…
Czynności pozostające przy człowieku…
Decyzja i uzasadnienieWdrożyć / poprawić / powtórzyć / zakończyć: …

Nie chowajcie poważnego błędu w średniej z wszystkich odpowiedzi. Wysłanie niezatwierdzonej wiadomości może być ważniejsze od kilkunastu udanych streszczeń. Zachowajcie konkretne przypadki i zapiszcie, czego próba nadal nie rozstrzyga.

Odbiór to początek odpowiedzialności za działanie

Przed dalszym wdrożeniem ustalcie właściciela, sposób reagowania na awarię i warunki powrotu do poprzedniej obsługi. Po zmianie modelu, danych lub integracji wróćcie do odpowiednich testów. Zakres kolejnej próby powinien wynikać z tego, co się zmieniło.

Jeśli chcecie przygotować i sprawdzić rozwiązanie dla własnego procesu, porozmawiajmy o wdrożeniu AI. Jeśli najpierw potrzebujecie nauczyć zespół planowania takich prób, możemy zacząć od szkolenia. To dwa różne zakresy współpracy.

Źródła