Oceń dane względem planowanego zastosowania
Repozytorium dokumentów może wystarczyć do wyszukiwania instrukcji, a nie nadawać się do przewidywania opóźnień dostaw. Drugie zadanie wymaga innych informacji, m.in. wiarygodnej historii zdarzeń i momentu, w którym dane były dostępne.
Dlatego pytanie „czy mamy dobre dane?” warto zastąpić pytaniem „czy te dane pozwalają sprawdzić ten konkretny pomysł?”. NIST w obszarze Measure łączy ocenę systemu z kontekstem zastosowania i odpowiednimi metodami pomiaru.
W proponowanej przez Celor analizie najpierw opisujemy wejście, oczekiwany wynik i osobę, która potrafi ocenić jego poprawność. Dopiero potem oceniamy źródła.
Przygotuj kartę każdego potrzebnego źródła
Zamiast deklaracji „dane są w ERP” poproś o konkretny zakres, możliwość pobrania próbki i właściciela. Poniższa karta jest roboczą propozycją Celor; dopasuj ją do charakteru procesu.
| Pole | Co zapisać |
|---|---|
| Pochodzenie | System, tabela lub zbiór dokumentów oraz właściciel |
| Zakres | Okres, wolumen, oddziały, języki i typy spraw |
| Jakość | Braki, duplikaty, sprzeczności i znane błędy |
| Aktualizacja | Częstotliwość oraz sposób oznaczania wersji |
| Dostęp | Uprawnienia, sposób pobierania i ograniczenia użycia |
| Ocena wyniku | Wzorzec odpowiedzi lub dostępny ekspert procesu |
Odnotuj także koszt przygotowania oraz utrzymania źródła. Ręczny eksport wykonany na potrzeby demonstracji nie potwierdza, że dane będą dostępne codziennie w działającym procesie.
Sprawdź próbkę obejmującą zwykłe i trudne przypadki
Zbiór złożony wyłącznie z czytelnych, kompletnych dokumentów może ukryć problemy, które pojawią się podczas codziennej pracy. W próbie uwzględnij różne formaty, jakość skanów, języki, wyjątki i zmiany sezonowe istotne dla zadania. Zapisz, jak wybrano przykłady i czego w nich brakuje.
Google w materiałach o podziale danych wskazuje znaczenie odrębnego, reprezentatywnego zbioru testowego oraz usuwania nakładających się przykładów. Przy trenowaniu modeli oddziel dane treningowe, walidacyjne i testowe. Przy rozwiązaniu opartym na gotowym modelu zachowaj osobny zestaw końcowy, którego nie używasz do kolejnych poprawek konfiguracji.
Wielkość próby dobierz do różnorodności danych, miary jakości i konsekwencji błędu. Nie ma jednej liczby dokumentów wystarczającej dla każdego projektu.
Przykład: aktualność instrukcji może być ważniejsza niż wolumen
Hipotetyczna firma ma tysiące instrukcji i chce zbudować asystenta dla pracowników. W zbiorze są jednak różne wersje procedur, bez oznaczenia obowiązującej. System może odnaleźć fragment poprawny językowo, ale dotyczący starego procesu.
Przed testem warto wtedy ustalić właścicieli dokumentów, wersję obowiązującą i regułę wycofywania nieaktualnych treści. Do zestawu oceny dodaj pytania, na które źródła nie pozwalają odpowiedzieć, oraz takie, które dotyczą sprzecznych instrukcji. Zdefiniuj oczekiwane zachowanie w obu sytuacjach.
Nie trzeba od razu porządkować całego archiwum. Można ograniczyć zakres do jednego procesu, jeżeli taki zakres ma sens biznesowy i zostanie jasno opisany.
Zakończ ocenę listą warunków do spełnienia
Proponujemy trzy wyniki: dane wystarczają do ograniczonego testu, wymagają wskazanych poprawek albo obecnie nie pozwalają go przeprowadzić. Każda luka powinna mieć właściciela, przewidywany koszt i termin. Ocena dotyczy konkretnego zakresu; nie jest certyfikatem gotowości całej organizacji.
Po przygotowaniu próbki przejdź do planu PoC. Koszt uzupełnienia danych uwzględnij w modelu ROI. W AI Opportunity & Process Audit oceniamy dane i systemy pod kątem wyboru inicjatyw. Czyszczenie danych, budowa integracji i wdrożenie rozwiązania wymagają osobnego zakresu prac.
Częste pytania
Czy do każdego projektu AI potrzeba bardzo dużo danych?
Nie. Potrzebna ilość zależy od zadania i podejścia technicznego. Ważniejsze od samego wolumenu jest to, czy dane pokrywają planowane zastosowanie i pozwalają wiarygodnie ocenić wynik.
Czy dane syntetyczne mogą zastąpić prawdziwą próbkę?
Mogą pomóc sprawdzić wybrane scenariusze lub działanie integracji. Sam wynik na takich danych nie potwierdza jakości na rzeczywistych sprawach, których różnorodność i błędy mogą być inne.
Źródła i dalsza lektura
Źródła wspierają wskazane w tekście zasady. Listy kontrolne i przykłady to propozycje Celor do dopasowania do konkretnego projektu.