Podes usar pero esto tambien son archivos. O el registro, y llevarlos en un .reg, pero tambien son archivos.
Asi que la respuesta a tu pregunta es no.
Te recomiendo que uses el directorio para AppData de cada usuario para guardar parametros. Por un tema de permisos.

pero leete la documentacion del registro de windows

La configuracion inicial puede ir programada en el codigo de tu programa, luego en su primera ejecutsion puede revisar si existe si es su primera vez ejecutandose si no hay huellas de el en el registro de windows... si no las hay que cree sus entradas en el registro y la configuracion inicial y como vayan modificandola el usuario, el programa podra ir modificandola en el registro de windows...

Si se trata de algo global, como un programa que conserve valores aunque lo muevan de pc a pc, si estas tienen internet, puedes crearle un webservice al que consultar la configuracion y/o actualizarla desde ahi

Y si lo guardas en el mismo EXE ??? Pero eso si, hay que saber estructura de los archivos del CLR

Pero si hago un .ini ya voy encontra de la consigna porque estaria guardando informacion en un archivo. Esto era para una pregunta de un examen, ya habia contestado que no y estaba bien.