S tienes que sacar el cuadrado de un número de entrada de 3 bits, eso significa que la salida debe ser de 2*3 = 6 bits.

Primero construye la tabla de la verdad. Te dejo las cuatro primeras combinaciones:

a b c  F5 F4 F3  F2 F1 F0
0 0 0  0   0   0   0   0   0  (0^2 = 0)
0 0 1  0   0   0   0   0   1  (1^2 = 1)
0 1 0  0   0   0   1   0   0  (2^2 = 4)
0 1 1  0   0   1   0   0   1  (3^2 = 9)

Luego tienes que simplificar cada una de las funciones de salida (F0, F1, etc) para usar el mínimo número de puertas lógicas. Al haber solo 3 variables de entrada, un método fácil y rápido es hacerlo por Karnaugh.

Y una vez tengas las funciones simplificadas ya solo te quedaría dibujar el circuito sustituyendo cada operador por su correspondiente puerta lógica.

Saludos.