Primero, decir árbol BST no tiene sentido (ya que BST es binary search tree y tree es árbol en si).

Luego para hacer lo que dices podrías hacer una clase que herede de JPanel y reescribir en ella el método paint para que te pinte los nodos convenientemente.

Luego añadirías a tu JFrame una instancia de esta clase (que debería tener una referencia al árbol evidentemente).

Un saludo.