No usar un motor gráfico hoy en día solo puede significar 2 cosas.
1. Estás loco
2. Tu juego es tan sencillo que no estás loco al hacerlo con tu propio motor

Hablando del mundo real. Usar un motor gráfico es totalmente comprensible hoy en día para hacer un videojuego. Personalmente me encanta unity por su gran comunidad y pocas trabas para poder usar su motor sin que te sablen. Digamos que es un muy buen motor para un estudio pequeño aunque su potencial no debe subestimarse, se pueden hacer grandísimas cosas con él.
En unity no dejas de programar en absoluto, quien te diga eso no ha programado un juego en su vida y si lo ha hecho en puro código sería un tamagochi en código o un tetris como mucho.

Otro punto importante. Te recomiendo encarecidamente C#, ni C ni C++, para programar un videojuego.
Unity funciona con C# y javascript.
Unreal está bien pero no tiene tanta comunidad como unity y te costará más encontrar info, aparte de que si quieres usar su última versión preparate para el sablazo.

Recomendación final: Unity + C#