No debes tener PHP asociado a APACHE.
Deberias checkear que tenes instalado PHP y configurado con Apache. Ejecuta esto:
sudo apt-get install libapache2-mod-php5 php5
Y luego
sudo nano /etc/apache2/mods-enabled/dir.conf
Vas a encontrar algo similar a esto (instalacion por defecto de Apáche):
<IfModule mod_dir.c>
DirectoryIndex index.html index.cgi index.pl index.php index.xhtml index.htm
</IfModule>
Deberias agregarle index.php al principio para que procese archivos PHP con la amxima prioridad:
<IfModule mod_dir.c>
DirectoryIndex index.php index.html index.cgi index.pl index.php index.xhtml index.htm
</IfModule>
Y luego reinicia apache con
sudo service apache2 restart
Saludos