Si, puedes crear tus propios servidores de nombres con tu dominio, pero deberás usar un servidor Bind o similar para que funcione. Es posible y funciona
Es lo mismo un nameserver que un dns, la nomenclatura va variando. Normalmente el formato más utilizado es ns.dominio.tld y ns1 o ns2.dominio.tld pero podrías poner cualquier otro nombre loquesea.dominio.tld
Quizás tengas que añadir registro PTR del reverso de la IP en Bind o en el registrador de la IP de tu VPS (si es que lo permite en su panel de control). Ya que es una IP "ahora tuya" que tu no controlas el reverso.
Si usas CloudFlare, no puedes usar tus propios servidores DNS del dominio, ya que no funcionará. Tendrás que usar los que elllos te asignen. O funcionará durante un tiempo... o a medias. Técnicamente podrías ver la respuesta DNS usando CloudFlare y copiar esos datos (registros tipo A y AAAA) a tu servidor DNS propio, pero varian según región, país, continente, así que tu web-blog-foro o lo que sea quedaría seguramente en parte inaccesible.
CloudFlare plan gratuito es ilimitado a nivel de tráfico y consultas, sólo tienes que tener en cuenta no activar el Rate Limiting de pago, porque si tuvieras muchas consultaso un ataque te cobrarían tráfico "extra", pero no está activado por defecto.
Es totalmente transparente el servicio de CloudFlare, no tendrás limitaciones de tráfico. Su CDN es muy grande y funciona bien. Nosotros usamos el de pago sólo para poder personalizar algunas opciones, como páginas de error y tener más reglas del firewall, unas 20 activas en vez de 5 y coass así. Y además incluye WAF, con más reglas, pero siempre puedes configurarlas en el servidor de destino, es decir en el tuyo. El plan Pro son 20€ al mes que es el que usamos aquí.
CloudFlare en una versión de pago ya bastante más cara, si que permite también DNS (Name Servers) personalizados, pero es muy caro. Plan BUsiness son 200€ mensuales. Y plan Enterprise ya ni se sabe xD. Se llama "Custom NameServers"
Custom Nameservers
Custom nameservers allow you to create your own, unique nameservers in place of your assigned Cloudflare nameservers. To switch to using custom nameservers, first create them here, then add them as glue records at your registrar.
Help
What is a custom nameserver?
Cloudflare enables you to use nameservers which reflect your own domain (eg. ns.elhacker.net). You can use them in place of your Cloudflare assigned nameservers.
Custom nameservers have the following limitations:
You must have between two and five custom nameservers
The custom nameservers can only be created as subdomains of elhacker.net (e.g. ns1.elhacker.net and ns2.elhacker.net).
When custom nameservers are created, glue records need to be created at your registrar with the IP addresses of your custom nameservers. Failure to do so can cause all DNS lookups for your site to fail. Further
information can be found here: Can I get vanity or custom nameservers using Cloudflare?
Note: Your assigned Cloudflare nameservers will continue to work even after custom nameservers are enabled.
https://support.cloudflare.com/hc/es-es/articles/200169006