yo creo que puede ser posible (como cualquier software en teoría), no se nada de runescape o esa version, peo es ya mas o menos viejo creo... también dependerá de la configuración del servidor y a que definas hackear...

eso no es ausnto de programas, es asunto de conocimiento

1- averiguar las vulnerabilidades que ya ha presentado en el pasado
2- averiguar las vulnerabilidades comunes en este tipo de juegos
3- investigar que tipo de servidor usan
4- el protocolo de comunicaciones cliene-servidor y como se establece

hasta aqui conocimiento que debes buscar en la red, luego la parte experimental

5- como superar el anticheat (eso lleva su propia investigacion)

6- es el cliente vulnerable de alguna manera a tu favor o todo es server based? (ya sabiendo el tipo de server y protocolo, te haces una idea)

7- el servidor es vulnerable a algún tipo de inyección de paquetes? (repetición, alteración, etc)
en este punto entra tu primera herramienta, wireshark para ver los paquetes, si vienen cifrados será  casi inútil y probablemente necesites hacer algún programa que inyecte el codigo del programa y tome los paquetes ,luego que el juego los descifre... en el peor de los casos puedes ir dando tumbos de ciego y probando...
ciones de memoria?

9- es el servidor vulnerable a intentos de penetración?

en este caso puede ser un scanner de puertos y como nmap, a ver si hay alguno el cual puedas explotar

ojo... obviamente desde 0 no es fácil y sin dar con las 4 informaciones iniciales, esto puede ser como un ciego tratando de robar un banco... con un bastón como arma...

esto usualmente puede llevar días o semanas según el caso, y sin un buen incentivo monetario, dudo que muchos estén dispuestos a tirarse a esas aguas...