Okiem projektantów: Klasyfikacja w Ustawce

Cześć! Tutaj Tian Ding – starszy analityk danych w zespole Hearthstone. Omówię dzisiaj metodologię klasyfikowania graczy w trybie Ustawka!

Gdy już się obkupicie w Karczmie, pieczołowicie poustawiacie stronników i zaczniecie łączyć stronników w kolejne trójki, pod koniec Ustawki, zależnie od zajętego miejsca, zauważycie spadek lub wzrost swojej klasyfikacji. Być może zaczniecie sobie zadawać pytanie, co tak naprawdę ona oznacza? I jak jest obliczana w odniesieniu do przeciwników?

Odpowiem na te oraz inne pytania, aby wyjaśnić wam zawiłości klasyfikacji graczy w Ustawce.

Co oznacza ta liczba?

Klasyfikacja w trybie Ustawka to nie jest zwykła liczba. Jej wartość odzwierciedla wasz poziom umiejętności gry w tym trybie. Im lepiej sobie radzicie, tym będzie wyższa. Pomaga nam też dobierać wam przeciwników na podobnym poziomie, a to przekłada się na równe szanse wszystkich uczestników meczu.

Klasyfikacja ma nam pomóc w identyfikacji poziomu umiejętności graczy w trybie Ustawka. Większość z nich znajduje się w granicach średnich wartości. Z matematycznego punktu widzenia ranking graczy zawiera się w krzywej rozkładu standardowego, która przypomina kształtem dzwon. Wprowadzony drugiego dnia otwartych beta-testów system klasyfikacji został zaprojektowany w taki sposób, że gracz z wynikiem 4200 będzie lepszy od ok. 77% rywali w Ustawkach. Gdyby jego klasyfikacja wynosiła 5000, byłby lepszy od 99% graczy.

Jak klasyfikacja gracza zmienia się po każdym meczu?

Jednym z najważniejszych zadań tego systemu jest szybkie rozpoznawanie bieżącego poziomu umiejętności gracza i dobieranie przeciwników tak, by gra stanowiła pewne wyzwanie, ale i dawała równe szanse. Wyjaśnię jeszcze jeden termin matematyczny: wariancję. 

Wariancja to liczba związana z waszą klasyfikacją, jednak niewidoczna dla graczy. Służy ona określeniu tego, jak pewni jesteśmy, że dany gracz jest właściwie sklasyfikowany. Jeśli ktoś dopiero zaczyna swoją przygodę z Ustawką, nie możemy określić jego poziomu umiejętności, bo rozegrał za mało meczów. Mamy za mało informacji na temat tego, jak w poszczególnych meczach zmienia się jego sposób gry, więc wskaźnik wariancji jest dość wysoki. Po rozegraniu kilku meczów na ogół spada, bo klasyfikacja jest wyliczana z większej próby. W skali jednego meczu wskaźnik wariancji może jednak wzrosnąć, jeśli zakończy się on nieoczekiwanym wynikiem. Na przykład, jeśli gracz sklasyfikowany bardzo wysoko przegra z kimś sklasyfikowanym dużo niżej, może to spowodować wzrost wariancji u obu uczestników meczu.

Gdy już poznamy klasyfikację i wariancję ośmiu przykładowych graczy, trzeba obliczyć ponownie szansę na zwycięstwo każdego z nich względem pozostałych siedmiu. Wynik uwzględnia wszystkie omówione powyżej składowe. Całość wymaga naprawdę sporej liczby działań – konkretnie: aż 56! 

Wróćmy do kwestii zmian klasyfikacji. Po każdym meczu przypisany do niej liczbowy wynik jest uaktualniany na podstawie dotychczasowej klasyfikacji danego gracza i jego przeciwników, zajętego w meczu miejsca, przewidywanej szansy na wygraną, wskaźnika wariancji i kilku innych składowych. Ogólnie rzecz ujmując, im wyższy wskaźnik wariancji, tym większa będzie zmiana klasyfikacji po meczu. Na początku gry w Ustawce nie będziemy mieli zbyt wielu danych na temat waszego poziomu umiejętności, więc pierwszym naszym celem będzie przypisanie was do właściwego zakresu klasyfikacji. Po każdym rozegranym meczu będziecie mogli zaobserwować coraz większe zmiany wskaźników wariancji i klasyfikacji. Gdy już rozegracie wystarczająco dużo meczów, a nasz system uzyska wystarczająco dużo danych, by poprawnie określić klasyfikację, jej wartość przestanie się zmieniać tak dynamicznie.

Niedawno wprowadziliśmy pewne zmiany w obliczaniu klasyfikacji na początku gry w trybie Ustawka. Zależało nam, aby zmniejszyć jej wahania i liczbę sytuacji, kiedy ktoś trafiał do niewłaściwej grupy klasyfikacyjnej. Chcieliśmy też, by gracze z każdym rozegranym meczem coraz bardziej zbliżali się do swojego właściwego wskaźnika MMR. Zwiększyliśmy więc zmienność klasyfikacji po jej początkowym ustaleniu, żeby wzrosty i spadki były bardziej zauważalne. 

Zakładając, że wszyscy wasi przeciwnicy będą sklasyfikowani tak samo jak wy, przy zastosowaniu poprzedniego algorytmu, w pierwszym meczu za zajęcie pierwszego miejsca otrzymywaliście ok. 240 pkt., a przy 150 meczu ok. 24 pkt. Po zmianach wprowadzonych 19 listopada będziecie otrzymywali ok. 195 pkt. za pierwsze miejsce w pierwszym meczu oraz 98 pkt. za pierwsze miejsce w 150 meczu i kolejnych. Chciałbym też zaznaczyć, że aktualizacja naszego algorytmu zależy od wielu aspektów, co widać w powyższym wyjaśnieniu. Podczas obliczania bieżącej klasyfikacji nie bierzemy pod uwagę tylko jednej składowej. Pamiętajcie, że po wprowadzeniu zmian wasza klasyfikacja nie musi wzrosnąć. Jeśli jesteście właściwie sklasyfikowani, widoczna liczba może się wahać, lecz po rozegraniu dostatecznej liczby gier zatrzyma się na podobnym poziomie.

Wprowadziliśmy też niewielką modyfikację w zmianach klasyfikacji po każdej grze. O ile wasza klasyfikacja nie przekracza 6500 pkt., zmiana po meczu zawsze będzie dodatnia. Będzie tym większa, im niżej jesteście sklasyfikowani. W teorii wystarczy rozegrać więcej gier w trybie Ustawka, aby wasza klasyfikacja zaczęła rosnąć nieco bardziej dynamicznie (jeśli wynosi mniej niż 6500). Pamiętajcie jednak, że zależy to głównie od tego, czy będziecie wygrywać, czy przegrywać. Możecie założyć, że klasyfikacja będzie rosła o pewną niewielką wartość po każdym meczu w trybie Ustawka.

Na koniec, z myślą o tych, którzy znają się na algorytmach dobierania graczy, chciałbym wyjaśnić, dlaczego powszechnie stosowane metody takie jak Elo czy Glicko nie są odpowiednie dla naszej gry. Przeprowadziliśmy wiele symulacji, których wyniki dowiodły, że nasz algorytm działa najszybciej (co gwarantuje najszybsze dobieranie przeciwników) i jest najbardziej precyzyjny (co zapewnia najlepsze wrażenia z gry). Systemy Elo i Glicko stworzono głównie z myślą o grach dwuosobowych, a nie ośmioosobowych.

Mamy nadzieję, że będziecie się dobrze bawić w trybie Ustawka w Hearthstone! Cały czas zapoznajemy się z waszymi opiniami, więc pamiętajcie, aby napisać w komentarzach, co sądzicie o systemie dobierania graczy i klasyfikacji. Do zobaczenia w Karczmie!