
En pocas palabras, no deberías de tener ningún problema.
Si quieres usar OpenCV y CUDA, también puedes hacerlo solo es cuestión de enviar la información correcta a CUDA. Ahora bien OpenCV trae algunas funciones implementadas en CUDA por lo cual tendrías que compilar OpenCV con CUDA activado (la versión que viene ya compilada no tiene TBB ni CUDA).
Si usas CUDA también puedes checar las Nvidia Performance Primitives pues estás primitivas facilitan el uso del GPU en visión computacional.
Te recomiendo que cheques openFrameworks y Processing que son librerías que podrían ayudarte a lo que quieres realizar.