Los punteros inteligentes son punteros. No se trata de evitar el gestionar la memoria sino de evitar cualquier tipo de fuente de errores. Un puntero inteligente no deja de ser un simple puntero pero mejorado para asegurar que la memoria va a ser liberada correctamente.

Ese es el problema: "Solo hay que recordar liberarla". Eso es "mentira" y lo pongo entre comillas porque si y no. Me explico: el problema de utilizar punteros no es solo el recordar liberar la memoria sino que si en una función creas un puntero y surge algún tipo de error que envie una excepción, y que el delete se encuentra en esa misma función, va a haber una fuga de memoria.
Es cierto que puedes atrapar la excepción con un try{}, catch{} y liberar la memoria pero pueden surgir una enorme cantidad de problemas e intentar predecirlos todos no es precisamente fácil

No es buena idea gestionar la memoria manualmente. En C++ deberías utilizar los punteros inteligentes: unique_ptr<> o shared_ptr<>

No entiendo muy bien cual es tu problema. Podrias explicarte mejor?