Нейромережа робить графіку GTA 5 не відрізнити від реального життя
12 травня 2021
Arsvoboda
Ентузіасти Stephan R. Richter, Hassan Abu AlHaija та Vladlen Koltun використали нейромережу, щоб покращити фотореалістичність графіки GTA 5.
В простих проектах і іграх минулого нейромережі раніше використовували для покращення зображення. Найчастіше це відбувалося шляхом апскейлу або методу дорисовування відсутніх пікселів. Проте з ААА-проектами метод працював некоректно. Візуалізація GTA 5 змінюється на краще завдяки доопрацьованій згортковій мережі. Тепер кадри гри виглядають так, ніби зняті на камеру.
Згорткова мережа — це спеціальна архітектура штучних нейронних мереж, яка розпізнає образи і здатна самостійно навчатися. В нейромережу завантажуються фото та відео, які будуть використані для навчання. Мережа на основі отриманих даних буде дорисовувати різницю між збільшеним пікселем і реальним зображенням. Таким чином, використовуючи зразки з життя, нейромережа робить графіку в грі більш фотореалістичною.
Автори модифікації запропонували нову стратегію вибірки ділянок зображення під час навчання. Командою також були введені архітектурні покращення в глибокі мережеві модулі, які використовуються для створення ефекту фотореалізму. Для покращення синтетичної графіки раніше вимагалося багато кропіткої "ручної" праці. Тепер нейромережа здатна самостійно покращити візуалізацію гри без великої кількості графічних багів.