Zanim wytrenujesz model, sprawdź, czy jest się czego uczyć
Prześlij próbkę swoich zdarzeń: akcje graczy, transakcje, sesje. Zmierzymy na samej próbce, czy model mógłby się z niej nauczyć czegoś wartościowego. Nic nie trenujemy i nic nie przechowujemy. Dostajesz werdykt i podpisane poświadczenie dla dokładnie tej próbki, którą odczytaliśmy.
Co Signal Scan mierzy w Twojej próbce i jak czytać werdykt.
Przeglądarka parsuje wklejony JSON i wysyła tablicę na nasz serwer, który przyjmuje do 20 000 zdarzeń na jeden skan. Kod zostawia wiersze będące obiektami, a potem wybiera pola liczbowe (liczbowe wszędzie, gdzie występują, i obecne w co najmniej jednej dziesiątej wierszy) oraz kolumnę podmiotu o typowej nazwie, na przykład user_id, player, account albo session. Liczy zdarzenia przypadające na każdy podmiot i oznacza wartości odstające według reguły Tukeya, czyli leżące dalej niż 1,5 rozstępu międzykwartylowego od kwartyli. Jeśli podasz pole etykiety o dokładnie dwóch wartościach, dla każdego pola liczbowego wylicza też d Cohena między obiema klasami.
Przy etykiecie o dwóch wartościach werdykt brzmi Za mało danych, gdy którakolwiek klasa ma mniej niż 20 przykładów, Obiecujące, gdy obie klasy są wystarczająco liczne, ale żadne pole liczbowe nie osiąga efektu 0,5, oraz Da się nauczyć, gdy osiąga go przynajmniej jedno. Takie pola są wypisane razem z wartością d. Bez użytecznej etykiety mniej niż 200 zdarzeń daje Za mało danych, każdy podmiot odstający liczbą zdarzeń daje Da się nauczyć, a pola, które tylko się zmieniają, dają Obiecujące. Klasą pozytywną jest ta wartość etykiety, która wypada ostatnia w sortowaniu, więc sprawdź, czy odsetek pozytywnych opisuje właściwą grupę.
Żaden model nie jest trenowany, więc nie ma tu miary trafności, a wynik opisuje wyłącznie przesłane wiersze. Każde pole liczbowe jest badane osobno: wzorzec widoczny dopiero po połączeniu kilku pól się nie ujawni, a pola tekstowe i kategorie są pomijane. Serwer liczy skrót SHA-256 próbki i nie zapisuje zdarzeń w bazie danych. Jeśli zostanie wystawione podpisane poświadczenie, zawiera liczbę zdarzeń, wykonane sprawdzenia, werdykt, skrót i nazwę próbki. Adres e-mail, jeśli go podasz, jest zapisywany razem z werdyktem. Po werdykcie Za mało danych prześlij większą próbkę albo próbkę z etykietą.
- Ile danych potrzeba do wytrenowania modelu uczenia maszynowego?
- Nie ma jednej liczby. Zależy to od liczby klas, które model ma rozróżniać, od tego, jak mocno dane wejściowe wiążą się z wynikiem, i od poziomu szumu w rekordach. Najważniejsza jest liczba przykładów w najrzadszej klasie: zbiór o oszustwach z milionami wierszy i kilkunastoma potwierdzonymi przypadkami prawie niczego modelu nie nauczy. Ten skan przyjmuje 20 przykładów na klasę jako dolną granicę.
- Co to jest d Cohena i jaka wartość oznacza duży efekt?
- D Cohena to różnica średnich dwóch grup podzielona przez ich wspólne odchylenie standardowe, więc wyraża odległość w odchyleniach standardowych i nie zależy od jednostek. Umownie 0,2 uznaje się za efekt mały, 0,5 za średni, a 0,8 za duży. Miara mówi, jak daleko od siebie leżą dwie grupy na jednej zmiennej; nie mówi, jak trafny byłby klasyfikator.
- Czy da się wykrywać anomalie bez danych z etykietami?
- Tak. Metody nienadzorowane szukają rekordów odbiegających od reszty, na przykład wartości poza granicami wyznaczonymi rozstępem międzykwartylowym, punktów szybko izolowanych losowymi podziałami albo obiektów leżących daleko od każdego skupienia. Pokazują, co jest nietypowe, a nie co jest szkodliwe. Ktoś musi jeszcze przejrzeć oznaczone przypadki, a te potwierdzone stają się potem etykietami dla modelu nadzorowanego.
Kiedy jedno sprawdzenie to nie wszystko.
Warto na tym budować? Płatny audyt modelu na zamówienie obejmuje cały zbiór danych i określa, co zbudować.