phpMailer no es lento, todo depende del número de e-mails que quieras enviar.
https://github.com/PHPMailer/PHPMailer¿Qué servidor de correo está usando? smtp interno, externo, gmail ¿?
La función mail() de phpMailer pues coge e servidor de correo que esté definido en el php.ini, creo recordar.
sendmail, postfix, dovecot, qmail, etc
[mail function]
; For Unix only. You may supply arguments as well (default: "sendmail -t -i").
; http://php.net/sendmail-path
sendmail_path = /usr/sbin/sendmail -t -i