Eso es porque tu apache no está reconociendo php.
ejecutas en tu consola...
sudo apt-get update
sudo apt-get install mysql-server
sudo /usr/bin/mysqladmin -u root password 123456 (esto significa que tu sql tendra como user "root" y password "123456")
sudo apt-get install apache2
sudo apt-get install php5
sudo apt-get install libapache2-mod-auth-mysql
sudo apt-get install php5-gd
sudo apt-get install php5-mysql
sudo apt-get install phpmyadmin
sudo /etc/init.d/mysql restart
sudo /etc/init.d/apache restart

Con todo eso tendrás apache+mysql+phpmyadmin+php5

Las configuraciones de cada uno están en
/etc/apache/httpd.conf
/etc/phpmyadmin/apache.conf
/etc/php5/apache2/php.ini
/etc/mysql/my.cnf
Los abres por ejemplo sudo gedit archivo.

Inicias con:
/etc/init.d/apache2 start
/etc/init.d/mysql start

Detienes con:
/etc/init.d/apache2 stop
/etc/init.d/mysql stop

Por defecto se instalará como servicio asi que no hace falta arrancar a menos que detengas los servicios en caso de que utilizes tu servidor esporádicamente, si es así entonces lo deshabilitas desde rcconf si no lo tienes lo instalas con sudo apt-get install rcconf.