Poder, se puede casi todo con la API de Windows, incluso crear ventanas con formas irregulares. La cosa es que no hay, que yo sepa, ninguna función que te permita cambiar lo que quieres de manera simple. Hay que escribir una buena cantidad de código, y depende de la versión del SO. Anteriormente era sólo cuestión de, por ejemplo, manejar el mensaje WM_NCPAINT, dibujar y acomodar manualmente la barra de título a tu gusto, y manejar los eventos de los botones. Pero eso sólo funciona hasta Windows XP.

Lo anterior ya era un poco complicado, pero para versiones más modernas de Windows lo es aún más. Ahora es necesario usar la API DWM (Desktop Window Manager). No es que sea demasiado difícil pero vas a necesitar implementar un montón de cosas que normalmente Windows hace por ti. Y se necesita tener ya unos conocimientos muy sólidos de la API de Windows. Puedes buscar en Google la API que te menciono y darte una idea, pero sí implica bastante trabajo.

Sí, a partir de Windows Vista, es parte del sistema. Para programar es recomendable usar Visual C++, ya que aunque el compilador MinGW soporta las APIs de Windows, lo hace de forma limitada y te podría dar algún problema.

Nunca he hecho nada parecido a lo que quieres con DWM (he visto cómo se hace pero nunca lo he intentado), así que no te puedo ayudar mucho más. Con la forma antigua sí tengo experiencia, pero como te decía, tiene problemas con los Windows modernos.

No me gusta nada la manera en que Microsoft implementó esto con DWM. No es nada elegante ni me parece bien diseñado, y es más complejo de lo que debería, pero... nada que no se pueda superar con algo de paciencia