Eso depende bastante.

Framework 4.X difiere del 3.X, no es lo mismo, el Core es muy distinto.

Pero por suerte el Framework 4.X tiene un soporte de compatibilidad para correr casi todas las aplicaciones basadas en Framework 3.X (y 2.0) sin necesidad de que el FW 3.X esté instalado, Como he dicho tiene soporte para correrlas casi todas, PERO!... no todas, así que si dicha aplicación usa algo que sólamente dependa del FW 3.5 entonces si que necesitarás que el FW 3.5 esté instalado en dicho PC.

Lo mejor que puedes hacer es instalarte una máquina virtual con Windows 8, y comprobarlo por ti mismo, Win8 lleva FW 4.5 instalado por defecto (Y no está instalado el FW 3.5, pero incluye soporte para instalarlo por separado), así que es el mejor SO donde puedes testear tu problema.

Si es una aplicación sencilla no debería haber ningún problema, sólo tienes que hacerte esta pregunta: ¿Porque Windows 8 sólamente lleva instalado FW 4.5?, pues porque generálmente funcionarán las aplicaciones desarolladas en las versiones inferiores de FW, así que no es necesario más.

EDITO: De todas formas Microsoft siempre intenta promover el uso del FW 4.X a los desarrolladores, y yo me imagino que la razón de esto debe ser porque en un futuro no muy lejano en próximas versiones del FW Microsoft dejará de lado la compatibilidad con el FW 2.X y 3.X (Como hace Microsoft con el Windows XP), así que deberías plantearte si reálmente usar FW 3.5 o actualizar tu aplicación al uso del FW 4.0 como mínimo.

Saludos!