1) La aplicación no debe ser tan buena como crees si genera archivos de cero bytes (es decir, vacios).

Prueba a desempaquetar el archivo CHM usando la herramienta oficial 'HTML Help' (HH) de Microsoft, en la consola:

hh.exe -decompile "X:\Carpeta\" "Archivo de ayuda.chm"

Documentación:
http://msdn.microsoft.com/en-us/library/windows/desktop/ms670132%28v=vs.85%29.aspx

2) No se donde habrás leido eso pero un archivo CHM no está diseñado para protegerlo y/o protegerlo mediante contraseña, aun así no pondré la mano en el fuego afirmando que no se pueda lograr de alguna manera abstracta, pero tampoco he escuchado nunca un problema sobre un archivo CHM cifrado, y tras un par de búsquedas en Google no he logrado hallar herramientas relacionadas capaces de protegerlo así como mucho menos capaces de descifrar algo que se supone que no se puede proteger.

3) Lo que si puede estar protegido es el código fuente de los HTM/HTML del interior del archivo CHM, por ejemplo escapando caracteres mediante JS como hace este servicio online: http://www.iwebtool.com/html_encrypter

Si dices que ese programa que usas te descompila el contenido del CHM generando HTMLs vacios quizás sea posible que la aplicación esté intentando parsear/validar cada archivo antes de la extracción y falle al intentar validar el contenido del HTML cifrado o algo por el estilo ...que no tendría porque fallar, sigue siendo un HtML, pero quien sabe... yo no fuí quien desarrolló esa aplicación así que no se como actuará por dentro, esto es solo una teoría, pero prueba a cambiar de herramienta.

Saludos!