http://atxy2k.github.io/RestrictedTextField/#documentation
Según la documentación el método limita la escritura de una determinada cantidad de caracteres. Pero será al escribirlo, y posiblemente lo ignore al "pegar" o insertar una cadena.
Lo que puedes hacer es simplemente crear tú propia clase que herede de esa que usas, si quieres aprovechar sus métodos, y gestionar el KeyListener.
https://docs.oracle.com/javase/7/docs/api/java/awt/event/KeyListener.html
https://docs.oracle.com/javase/tutorial/uiswing/events/keylistener.html
suerte