오버워치 2 PvP 베타 분석: 게임 밸런스에 영향을 끼친 데이터 및 커뮤니티 피드백

오버워치 2 PvP 베타 분석: 게임 밸런스에 영향을 끼친 데이터 및 커뮤니티 피드백

오버워치의 영웅 여러분, 데이터에 대한 이야기를 나누어 볼까요! 데이터는 게임 디자인에서 있어 중요한 자원입니다. 데이터, 플레이어 피드백, 유저 리서치, 내부 토론부터 개발진이 직접 게임을 플레이하는 것까지 모두 디자인을 결정하는 데 영향을 끼치죠. 데이터를 통해 시야를 넓힐 수 있고 작은 세부 사항도 자세히 살펴볼 수 있으며, 게임의 커다란 트렌드를 명확히 할 수 있습니다. 오늘은 첫 번째 오버워치 2 베타를 통해 배운 교훈과 데이터를 이용해 게임 내 디자인을 결정한 방식에 대해 이야기하려 합니다.

데이터와 디자인: 영웅 성능 관찰

첫 번째 베타가 시작되었을 때 디자인 팀이 주시하던 점이 몇 가지 있었습니다. 커뮤니티 여러분이 소전을 플레이하고 개편된 솜브라, 바스티온, 둠피스트, 오리사를 처음으로 체험하시는 모습을 봤죠. 저희는 베타에서 이러한 영웅들의 성능을 파악하고, 효율이 떨어지거나 지나치게 강력한 경우 빠르게 변경하여 대응하고자 했습니다.

영웅의 성능을 평가할 때에는 모든 경쟁전 등급과 숙련도 수준을 함께 고려하는 동시에 따로 고려해야 다양한 계층의 플레이어들이 게임의 현재 상태에 어떻게 반응하고 있는지 명확하게 파악할 수 있습니다. 가장 높은 등급을 차지하고 있는 플레이어들은 게임을 한계까지 시험하며, 일반 플레이어들보다 훨씬 빠르게 가장 강력한 기술과 전략을 찾아내는 경우가 많습니다. 그러나 등급이 낮은 플레이어들은 특정 영웅과 플레이스타일에 적응하는 데 고전하는 편이므로, 게임 밸런스에 대한 결정을 내릴 때 모든 플레이어를 염두에 두는 것이 중요하다고 생각합니다. 등급별 분석은 데이터 관리에서 아주 중요한 부분이지만, 이 블로그에서는 모든 숙련도 수준에서 추출한 데이터를 다룹니다.

관심의 정량화: 영웅의 인기를 측정하는 데 도움이 되는 지표

'성능'에 대한 문제는 다양한 측면이 있고, 여러 각도에서 성능을 세분화할 수 있는 다양한 지표가 있습니다. 첫 번째 지표는 사용률입니다. 즉, 경기에서 한 영웅이 얼마나 많이 사용되는지 측정하는 것이죠. 예를 들면 한 팀이 10분의 경기에서 5분 동안 소전을 플레이했다면, 소전의 사용률은 50%가 됩니다. 소전에 대해 더 이야기해 보자면, 소전의 사용률은 베타가 시작되고 몇 주 동안은 매우 높았으나 시간이 지나며 점차 감소했습니다.

베타 테스트 시간 경과에 따른 모든 영웅, 모든 등급의 일일 사용률. 소전, 아나, 오리사, 솜브라, 바스티온, 둠피스트가 강조 표시되어 있습니다.

소전 사용률의 최고점은 거의 80%에 달했고, 이는 공격 영웅으로서는 매우 높은 수치입니다. 아나도 대부분의 베타 기간 동안 매우 높은 사용률을 기록했으나, 이 점은 본 서버에서도 마찬가지입니다.  대규모 개편을 거친 돌격 영웅들인 오리사와 둠피스트도 베타에서 높은 사용률을 보였습니다.

사용률은 플레이어들의 눈에 보이는 대로 정확하게 게임을 파악할 수 있는 훌륭한 지표입니다. 베타가 처음으로 진행되었을 때 소전은 플레이어가 가장 많이 플레이한 영웅이었고, 당시에는 양 팀 모두 경기 시간의 절반이 넘는 시간 동안 소전을 플레이했습니다. 그러나 사용률을 살펴볼 때에는 고려해야 할 전후 상황이 더 있습니다.  많은 플레이어가 베타에서 소전을 플레이했는데, 소전 이외에도 선택할 수 있는 공격 영웅이 많다는 점을 고려하면 소전의 순수 사용률은 더욱 커다란 의미를 가집니다.

이러한 역할의 불균형을 인지하는 동시에 사용률을 살펴보기 위해 가중 사용률이라는 다른 지표를 도입했습니다. 가중 사용률은 플레이어가 영웅을 얼마나 자주 플레이하는지 측정하되, 해당 역할에 속한 영웅들의 수를 고려하여 측정합니다. 구체적으로 설명하자면, 각 영웅의 순수 사용률을 구한 다음 해당 역할의 균등 사용률로 나누는 것입니다. 여기서 균등 사용률이란 한 역할에 속한 모든 영웅의 플레이 시간이 동일한 사용률입니다. 그러므로 최종 측정치는 영웅의 사용률과 해당 균등 사용률의 비율이 됩니다. 소전 이야기로 돌아가서, 베타 초반에는 소전이 다른 모든 영웅의 가중 사용치를 엄청난 비율로 능가했다는 것을 확인할 수 있습니다.

베타 테스트 시간 경과에 따른 모든 등급의 가중 사용률. 소전, 아나, 오리사, 솜브라, 바스티온, 둠피스트가 강조 표시되어 있습니다.

가중 사용률을 이용하면 신규 영웅이나 오리사 및 둠피스트 등 개편된 영웅에 대한 상대적 관심을 아나 등의 평소에 인기가 많던 영웅과 비교하여 더욱 정확하게 나타낼 수 있습니다. 예를 들어 소전의 경우 가중 사용률의 최고점이 6배를 넘었는데, 이는 플레이어들이 소전을 공격 영웅의 균등 사용률보다 6배 많이 플레이했다는 의미입니다. 오리사와 둠피스트는 순수 사용률은 40% 중반에 그쳤으나, 가중 사용률을 이용하면 아나가 지원 플레이어들의 선호를 받듯이 돌격 플레이어들의 선호를 받는 영웅인 것을 확인할 수 있습니다.

영웅 밸런스: 데이터와 피드백을 통한 수정

PvP 베타에서의 중점적인 목표는 모든 영웅을 즐겁게 플레이할 수 있고, 상대하기에 불합리하지 않도록 만드는 것이었습니다. 사용률 분석 결과 전자는 성공적이기 때문에 게임 밸런스로 관심이 옮겨갔죠. 영웅의 밸런스 조절은 데이터 기반 출처나 기타 출처에서의 수많은 자료를 통해 이루어지며 명확한 목적이 있는 결정입니다. 예컨대 베타에서 지원 플레이어들이 생존력과 관련하여 보내 주신 지속적인 피드백은 5월 6일 밸런스 업데이트에서 이루어진 지원 영웅의 여러 변경 사항에 직접 영향을 끼쳤습니다.

플레이어 피드백은 밸런스 변경이 필요하다는 첫 번째 신호 중 하나인 경우가 많고, 데이터 또한 이러한 결정에 영향을 끼칩니다. 이렇게 영웅의 성능을 측정하는 방법 중 하나는 전장 승률을 살펴보는 것입니다. 하지만 영웅을 변경할 수 있는 오버워치의 특성 때문에 기본 전장의 승률은 영웅의 실제 성능을 나타내지 않습니다. 소전을 플레이하여 전장에서 1승을 거두었으나 전체 시간의 절반 동안만 플레이했다면, 이것을 소전의 1승으로 계산해야 할까요? 그렇지 않습니다!

걱정하지 마세요, 이런 시나리오는 승률을 추적하는 방법의 첫 단계일 뿐입니다. 더 정확한 지표를 구하기 위해 저희는 한 전장에서 플레이어가 특정 영웅을 얼마나 오래 플레이했는지 살펴보며 부분적인 방식으로 승률에 접근합니다. 위와 같은 시나리오에서, 전장 전투가 10분 동안 지속되었고 플레이어가 그 시간의 절반 동안 소전을 플레이했다고 가정합시다. 플레이어가 1승을 거둔 10분 중에 5분 동안 소전을 플레이했으므로 소전의 기록에는 0.5승의 "부분 승리"가 반영됩니다. 해당 전장에서 패배한 경우 소전의 기록에 0.5승의 "부분 패배"가 반영되겠죠.

이러한 부분값을 승률로 환산하기 위해서는 우선 소전이 등장했던 모든 전장에서 소전이 거둔 부분 승리를 모두 합해야 합니다. 그리고 부분 승리의 합계를 소전의 승리와 패배를 합친 부분값 합계로 나눕니다. 이 방법을 통해 영웅 변경을 고려하면서도 영웅의 성능을 더욱 잘 반영하는 승률을 구할 수 있습니다.

이 지표의 한 가지 약점은 영웅의 플레이 빈도가 잦을수록 승률이 50%에 수렴한다는 것입니다. 소전이 매우 강력하면서도 플레이 빈도가 잦았던 알파에서도 이와 똑같은 상황이 발생했습니다. 양 팀 모두 소전을 채택했기 때문에, 소전이 지나치게 강력했는데도 정규 승률은 간신히 50%를 맴돌았습니다. 양 팀 모두 소전을 플레이하는 경기에서는 결국 승리하는 팀과 패배하는 팀이 한 팀씩 나오게 되기 때문입니다.

저희는 부분 승리 계산과 동일한 계산을 한 팀만 특정 영웅을 채택 중인 기간에 적용하여 이 문제를 해결했습니다. 이런 기간을 "미러전 제외" 상태라고 부릅니다. 미러전 제외 승률을 살펴보면 소전처럼 미러전을 포함하는 승률이 50%를 넘는 영웅이 상대 팀에 소전이 없을 때 보여주는 성능을 확인할 수 있고, 승률을 50% 미만으로 떨어뜨릴 수 있습니다. 

승률 지표에 대한 설명은 여기까지입니다. 이제 시간 경과에 따른 미러전 제외 승률을 살펴보겠습니다.

 
베타 테스트 시간 경과에 따른 모든 등급의 미러전 제외 승률. 소전, 오리사, 솜브라, 둠피스트, 솔저: 76, 시메트라는 강조 표시되어 있습니다.

이 차트는 베타 기간 동안 영웅들의 미러전 제외 승률을 나타내며, 데이터가 영웅 밸런스 관련 결정을 내릴 때 사용되는 여러 자료 중 하나에 불과한 이유를 보여줍니다. 오리사의 승률이 매우 낮고, 시메트라의 승률이 매우 높은 것이 의외라고 생각하는 분들도 있을 겁니다. 이러한 지표를 궁극적으로 유용하게 만드는 분석 기법은 지표가 생성되는 시점의 전후 상황을 정확하게 이해하는 것입니다.

예를 들어 시메트라를 살펴봅시다. 시메트라는 베타와 본 게임에서 계속 높은 승률을 기록하는 영웅 중 하나인데, 이는 플레이어들이 (전장의 첫 거점을 수비하는 등) 이길 가능성이 높은 상황에서 시메트라를 플레이하는 경향이 있기 때문입니다. 시메트라를 활용하는 플레이어는 게임에 질 것 같다는 생각이 들면 빠르게 다른 영웅으로 교체하기 때문에 시메트라의 승률은 더욱 높아지죠.

이러한 논리를 소전과 오리사에게 뒤집어 적용하면, 이들의 승률이 예상보다 낮은 이유를 더욱 제대로 이해할 수 있습니다. 베타에서 플레이어들은 이런 영웅들을 플레이하는 데 흥미를 가졌으나, 새로운 영웅 기술과 플레이스타일에 익숙하지 않은 상태였습니다. 경기에 지고 있어서 영웅을 변경하는 것이 유리한 상황에서도 플레이어들의 선택을 받게 되었죠. 어쨌든 소전을 플레이한 시간이 몇 시간밖에 되지 않은 상태에서는 솔저: 76을 수백 시간 동안 플레이한 상대만큼 효율적이기가 힘듭니다.

이런 전후 상황과 데이터를 모두 고려하다 보면 밸런스 업데이트에서 어떤 영웅에 집중할지 결정하는 과정이 상당히 복잡해집니다. 소전을 조정하면서 알파 테스트에서 거듭 변경을 거친 사항 중 일부가 취소되었습니다. 당시 소전의 승률은 현재 50%를 하회하는 만큼이나 50%를 상회했습니다. 오리사의 경우 정말 성능이 나쁜지, 커뮤니티의 반응이 나쁜 것뿐인지 확실하지 않기 때문에 아직 변경되지 않았습니다. 저희의 의견은 후자로 기울고 있는데, 오리사의 새로운 능력을 활용해 베타에서 압도적인 활약을 펼친 친구를 모두가 하나쯤 알고 있는 것 같기 때문입니다. 그러나 오리사와 둠피스트의 차후 변경 방향은 현재도 탐색 중입니다. 솔저: 76은 커뮤니티 피드백과 데이터가 딱 맞는 수준으로 맞아떨어졌던 덕분에 업데이트를 마쳤고, 솜브라의 경우에도 이와 비슷하게 이동 속도를 조정했습니다. 두 영웅 모두 새로운 공격 영웅의 지속 능력으로 의도치 않은 시너지 효과가 발생했기 때문입니다. 5월 6일의 밸런스 패치로 영향을 받은 그 외의 영웅들도 비슷한 절차를 겪었습니다.

자극과 반응: 업데이트 결과 평가

이제 재미있는 부분이 시작됩니다. 저희가 베타를 시작하며 가졌던 목표처럼, 이러한 밸런스 변경으로 생긴 결과를 분석하려고 합니다. 여기에서 관찰되는 승률 변화는 경쟁전 이외의 모드를 플레이하는 한정된 베타 플레이어 풀로 인해 발생했다는 사실을 꼭 기억해야 하겠지만, 그래도 밸런스 변경이 눈에 띄는 효과를 가져왔는지 빠르게 평가하는 데에는 매우 유용합니다. 솔저: 76이 변경되면서 솔저: 76의 승률이 크게 내려갔을까요? 지원 영웅 변경으로 젠야타 등의 영웅이 겪는 어려움이 개선되었을까요? 며칠 동안의 승률 차트를 지원 영웅부터 확인해 봅시다.
 

베타 테스트 시간 경과에 따른 모든 등급의 미러전 제외 승률. 밸런스 변경을 거친 지원가는 강조 표시되어 있습니다.

메르시의 발키리 오류 수정 등 밸런스 조정을 거친 지원 영웅의 경우, 비교적 늦게 패치가 적용된 바티스트를 제외하고는 대부분 미러전 제외 승률에 바로 변화가 나타났습니다. 패치를 통해 대체로 의도했던 효과를 봤다는 뜻이죠! 하지만 대략 +5%의 승률 변화를 보인 젠야타만큼 크게 영향을 받은 영웅은 없었습니다. 영웅의 생명력이 변경되었을 때 승률에 가장 급격한 영향을 미치는 현상은 예전부터 관찰되었기 때문에, 완전히 예상하지 못했던 결과는 아니었습니다. 앞으로 젠야타의 새로운 힘(돌려차기 포함)을 주의 깊게 지켜볼 예정입니다. 다음은 돌격 영웅을 살펴봅시다.

 
베타 테스트 시간 경과에 따른 모든 등급의 미러전 제외 승률. 밸런스 변경을 거친 돌격 영웅은 강조 표시되어 있습니다.

로드호그를 포함한 돌격 영웅들은 비교적 적은 밸런스 조정을 거쳤습니다. 이들의 승률 변화(또는 미미한 변화)도 그런 사실을 반영하죠. 로드호그와 레킹볼이 새로운 5대5 환경에 더욱 잘 적응할 수 있도록 노력한 결과, 해당 영웅들의 승률은 1~2% 증가했습니다. 마지막으로 공격 영웅을 살펴보겠습니다.

베타 테스트 시간 경과에 따른 모든 등급의 미러전 제외 승률. 밸런스 변경을 거친 공격 영웅은 강조 표시되어 있습니다.

솔저: 76은 세 번의 패치를 통해 승률이 6% 넘게 하락했으며, 반갑지 않은 "폭풍 하향"을 당했습니다. 한편 소전은 42~43%의 낮은 승률에서 44~45%라는 나쁘지 않은 승률까지 올라왔죠. 솜브라의 조정 사항은 이동 속도 기술과 새로운 공격 지속 능력 사이의 상호작용 문제를 해결하기 위한 것으로, 승률에는 그다지 영향을 미치지 않았습니다.

게임플레이 철학: 데이터와 커뮤니티 협동을 통한 게임 제작

변화, 발견, 분석의 절차는 절대 끝나지 않는 밸런스 조정의 굴레입니다. 인기 전략이 변하면서 새로운 영웅이 제2의 솔저가 되어 다른 영웅보다 강력해질 수도 있죠. 새로운 영웅이 공개되거나 개편될 때마다 영웅들이 지나치게 강력하거나 약한 일이 없도록 변화를 이끌 준비를 해야 합니다. 저희는 패치를 진행할 때 이러한 변경이 효과적이었는지, 아니면 후속 패치가 필요한지 계속 평가합니다. 좋아하는 영웅에게 패치가 필요하다고 생각했지만 패치가 이루어지지 않았을 경우, 위에서 소개한 지표를 통해 오버워치의 밸런스 뒤에 있는 여러 자료를 이해하고 믿음을 가질 수 있기를 바랍니다. 게임의 밸런스 조정은 단거리 달리기가 아니라 마라톤과 같고, 앞으로도 많은 영웅 개편이 기다리고 있습니다. 다음 베타에서 만나요!