Un archivo CHM no es más que un contenedor para archivos HTML, lo que necesitas es un conversor PDF > HTML, y luego un CHM packager.

Puedes seguir probando ese tipo de aplicaciones 'todo en uno' que convierten directamente "X" a CHM, pero seguramene estarán bastante más enfocadas en poder realizar una conversión multiformato que en la calidad final del paquete CHM y/o en la edición de sus páginas, y dijiste que no querías algo simple.
De todas formas un conversor (de pago) que a simple vista me parece bastante completo es PDF2CHM el cual tambien proporciona un empaquetador CHM llamado PowerCHM (no he probado esos 2 productos).

Este tipo de aplicaciones son usadas mayormente por desarrolladores de Software, seguramente exista alguna alternativa gratis... no lo se, pero yo te sugiero WinCHM Pro es un producto profesional que he utilizado (de todas formas cualquier persona lo suficientemente inteligente sabría encontrar este tipo de productos de pago de forma pirata por la Red).

Saludos.