Si bajas los binarios de OpenCV no deberías de tener problemas por tu procesador ahora si quieres compilar OpenCV con Thread Building Blocks (de Intel) pues tampoco tendrías problemas .
En pocas palabras, no deberías de tener ningún problema.
Si quieres usar OpenCV y CUDA, también puedes hacerlo solo es cuestión de enviar la información correcta a CUDA. Ahora bien OpenCV trae algunas funciones implementadas en CUDA por lo cual tendrías que compilar OpenCV con CUDA activado (la versión que viene ya compilada no tiene TBB ni CUDA).
Si usas CUDA también puedes checar las Nvidia Performance Primitives pues estás primitivas facilitan el uso del GPU en visión computacional.
Te recomiendo que cheques openFrameworks y Processing que son librerías que podrían ayudarte a lo que quieres realizar.