대전 상대 찾기 업데이트: 3시즌 회고 및 향후 계획

3시즌에는 경기의 역할 델타를 최소화하기 위해 수많은 수정이 적용되었습니다. 그간의 변화를 따라가면서 그 성과를 살펴보고자 합니다. 선임 소프트웨어 엔지니어 모건 매드렌과 수석 메타 디자이너 스콧 머서가 자세히 알려 드리겠습니다.

3시즌 역할 델타 성과

역할 델타는 이전에 대전 상대 찾기 블로그에서 이야기한 적이 있습니다. "역할 델타는 한 역할 내에서 최적으로 짝지어진 양 팀 플레이어 사이의 실력 격차를 가리킵니다." 모건의 설명입니다. "3시즌 초반에 이 격차를 최소화하는 수정을 적용했습니다."

그리하여 대전 상대 찾기 시스템의 작동 방식이 전반적으로 변화했고, 이를 다듬는 데 어느 정도 시간이 시간은 소요되었지만 그러나 업데이트 이후 몇 주 동안 양 팀 플레이어 사이의 실력 격차가 줄어드는 것이 관찰되었습니다. "수정 이후에 대전 상대 찾기 시스템의 복잡한 작동 방식에 관해 많은 걸 알게 되었죠." 모건이 자세히 설명합니다. "대전 상대 찾기 시스템이 경기와 그룹의 내부 구조를 세심하게 고려하기 시작한 것은 3시즌이 처음이었습니다. 상당히 재미있어요. 실제 세계에서 새로운 대전 상대 찾기 기술이 작동하는 걸 보고 나서, 개선 방안에 대한 아이디어가 정말 많이 생겼거든요.

Y축은 양 팀 돌격 유저 간의 등급 구간 MMR 격차를 나타냅니다.  2시즌에서 4시즌 사이에 경쟁전 내 양 팀 돌격 유저 간의 MMR 격차가 줄어들었음을 알 수 있습니다.

이렇게 조정한 이후 역할 델타뿐 아니라, 대전 상대 찾기 시스템의 다른 영역까지 연쇄 반응이 나타났습니다. "3시즌에 새로 구축한 시스템은 여러 모로 놀라웠어요." 모건이 말합니다. "경쟁전 모드의 경기 품질은 떨어지지 않으면서 대기 시간이 단축된 게 그 예죠."

3시즌에서 4시즌 사이 공격 역할의 경쟁전 대기 시간이 감소하는 양상.

모건이 계속 설명합니다. "MMR이 높은 경기의 품질이 떨어지고 그룹의 대기 시간이 길어지는 문제가 생기기도 했습니다. 수정하는 과정이 생각보다 험난했는데, 이후에는 이처럼 굵직한 문제가 발생하지 않도록 순차적으로 변경을 적용할 준비를 하고 있습니다. 대전 상대 찾기 시스템은 역동적인 성격을 지녔습니다. 실제로 적용하기 전에 변경 사항들을 광범위하게 시뮬레이션하는데도, 대대적인 변화를 적용하면 미처 예측할 수 없는 파급 효과가 발생하기도 하거든요."

MMR 폭 축소하기

"대전 상대 찾기 시스템 조정의 또 하나의 목표는 경기 MMR의 전체적인 폭을 축소하는 겁니다." 모건이 설명합니다. 이것이 어려운 이유는, 대기 시간을 증가시키지 않으면서 MMR 폭을 좁히려면 대전 상대 찾기 시스템이 모든 방면에서 더 예리해져야 하기 때문입니다. 일단 인원이 많은 그룹을 경기에 배치하는 방식을 조정해야 하는데, 비슷한 그룹을 짝짓느라 일부 그룹의 대기 시간이 약간 더 길어질 수 있습니다."

조정해야 하는 세부 요소도 많습니다. 이를테면 인원이 많은 그룹이 경기에 참가할 때 역할 조합이 우선시되도록 개선하는 일 같은 것 말입니다.

마지막으로, 향후 대기열이 어떤 상태일지를 정확히 예측하고, 예측을 바탕으로 경기를 생성할지, 아니면 경기 품질을 위해 일부 플레이어의 대기 시간을 늘리는 게 나을지를 판단해야 합니다.

신규 및 기존 플레이어에게 더 공정한 경기를

"경쟁전 등급에 관한 저희의 주요 목표는 더 빨리 실력을 측정하고, 시스템에 대한 전체적인 불확실성을 줄이는 겁니다." 모건이 말합니다. 여기서 불확실성이란, 내 MMR과 관련해 대전 상대 찾기 시스템을 신뢰할 수 있는 정도를 말합니다.

신규 플레이어들이 실력 등급이 빠르게 변동하거나, 등급을 훌쩍 건너뛰는 이유가 여기에 있죠. 모든 신규 플레이어의 MMR은 브론즈에서 출발하지만, 정말로 모두의 실력이 브론즈인 것은 아닙니다. 시스템이 실력을 파악하고 MMR을 결정하면서 플레이어의 등급이 빠르게 변할 수 있습니다.

"한 가지 난관은 각 플레이어를 지속적으로 파악하는 일입니다. 그러기 위해 신규 플레이어나 몇 달, 몇 년 만에 돌아와 다시 시작하는 플레이어의 실력을 빠르고 정확하게 측정할 방법을 연구하고 있습니다." 모건이 설명합니다. "또 플레이어의 현실적인 역할별 실력 차이가 어느 정도일지, 또 장기간에 걸쳐 얼마나 빨리 실력을 올릴 수 있을지도 고려하고요. 마지막으로, 그날그날 자연스러운 개인의 실력 변동 폭이 어느 정도인지, 또는 1인 플레이, 그룹 플레이와 같이 특정한 상황마다 얼마나 차이가 나는지도 고려합니다."

또 한 가지 어려운 일은 전체 플레이어 인구에서 나타나는 변화를 이해하는 겁니다. 전체 플레이어의 평균 실력 수준은 하루 중 특정 시점에 따라 얼마나 다르고, 또 하루 동안에는 얼마나 변할까? 새 시즌을 맞이해 오랫동안 게임을 하지 않은 플레이어가 한꺼번에 복귀하면 전체적으로 불확실성이 급등하는데, 이것을 어떻게 처리해야 할까? 이들은 저희가 해결하려 하는 문제의 일부입니다.

이를 위해 4시즌 중간 패치에서 MMR 감쇠 시스템에 중요한 변화를 줄 예정이며, 향후 패치에서 등급 시스템을 개선할 다른 방법을 계속 모색할 것입니다.

끝나지 않는 연구와 커뮤니티 협동

추가로 개선할 점이 저희 데이터에서 드러났습니다. 구체적으로 말하면 경기 내에 어느 한 팀이 상대 팀을 압살하는 사례를 검토하여 밸런스를 맞추는 일입니다.

목표는 한쪽에 치우친 경기가 나타나는 이유, 그리고 이를 대전 상대 찾기 시스템을 통해 완화하는 방법을 파악하는 것입니다. "이런 경기가 발생한다는 건 어딘가에서 플레이어의 실력이 잘못 측정되고 있다는 의미일 수 있습니다. 저희의 등급 시스템이 더욱 예리해져야 합니다." 모건이 말합니다.

"두 팀의 균형이 잘 맞더라도 한 팀이 다른 팀을 압살하는 일이 생긴다는 것이 문제입니다. 강력한 궁극기, 결정적인 영웅 픽, 아니면 운 좋게 맞힌 치명타 몇 방이 오버워치 경기에서는 큰 영향을 미치죠." 스콧이 말합니다.

현재 저희는 게임 내 실제 경기에서 수준이 얼마나 비슷한지, 아니면 어느 한쪽이 얼마나 우위를 지니는지를 나타내거나 측정할 수 있는 수단을 연구하고 있습니다. "이러한 측정 수단은 장기적인 개선에 중요합니다. 훨씬 더 정확한 지표를 제공해 주므로, 새로운 변화를 평가할 때 참고할 수 있기 때문이죠." 모건이 말합니다. 

이러한 경기와 이들을 유발하는 요소에 대해 연구하면서, 저희는 경기에 맞지 않는 중도 합류가 발생해 자연스럽게 불균형한 경기가 되었다는 점을 알아냈습니다. 이에 따라 4시즌에는 중도 합류 시에 소요 시간보다 품질을 우선시하는 변경을 적용했습니다. 이전에도 중도 합류할 때 대기 시간을 약간 늘리는 대신 로비 MMR과 더 잘 맞는 선수를 찾는 식으로 개선을 한 바 있습니다.  

위와 같은 변화는 내부에서 수집한 데이터와 통계를 바탕으로 하지만, 변화의 원동력은 플레이어 여러분입니다. 저희는 대전 상대 찾기와 관련해 여러분이 제기하시는 문제점들을 접하고 있습니다. 계속해서 저희의 개발 과정을 보여 드리겠습니다.