Pues la verificación la está haciendo el mismo programa así que no te va a servir aumentar la SWAP, ya que el programa está verificando la memoria real. Como lo veo yo tendrías dos opciones:
- Engañar al programa para hacerle pensar que tienes más memoria de la que hay. Para ello han sugerido montar un /proc/meminfo falso: https://unix.stackexchange.com/questions/581058/how-can-i-fake-the-amount-of-installed-ram-for-a-specific-program-in-linux
- Si tienes el fuente del programa puedes ver en qué parte hace la comprobación de memoria y cambiarla