La imagen siempre será igual a la cantidad de Ram o incluso más si se incluyen los archivos de memoria virtual como el archivo de paginación y swap.

Dicho esto no tiene sentido sacar una imagen más pequeña porque no estaría completa. Si lo que quieres es hacer una "imagen" de la memoria que usa un determinado programa pues basta con abrir el Administrador de Tareas, en el apartado Detalles se muestran los procesos, ahí elijes el proceso del que quieras sacar la "imagen" de la Memoria que está usando y le das click derecho > Crear archivo de volcado, otra alternativa para hacer esto de una forma más automática es Magnet Process Capture.

https://www.magnetforensics.com/blog/magnet-process-capture/



Descarga directa: https://storage.googleapis.com/mfi-files/free_tools/MagnetProcessCapture/MagnetProcessCaptureV13.zip

Justamente se usan formatos RAW sin compresión para facilitar su análisis ya que si se usa un formato de compresión se tiene que descomprimir primero para analizarlo, y si se usan formatos de compresión o protección propietarios se tiene el problema de la compatibilidad.

Si tu intensión es comprimirlo para que sea más sencillo transportarlo, bien puedes comprimirlo en Zip, Rar o 7z, pero al final se tiene que descomprimir para analizarlo. Otra forma es didivirlo en partes, muchos programas permiten hacer la captura de la Ram en partes de por ejemplo 700MB para guardarlos en CD o 4.7GB para DVD, etc. Sino hacerlo con los propios compresores como WinRar o 7zip

Si tu intensión es capturar solo partes de la Ram para obtener imágenes más pequeñas pues depende de como clasifiques esas partes, ya mencioné arriba que se puede hacer por Procesos.