Siempre que quieras que se muestre el texto de la variable en lugar de su contenido escapala con el carácter \ por ejemplo:

$foo="algo";
 
echo "Esto es \$foo";  //La salida es "Esto es $foo"
echo "Esto es $foo";   //La salida es "Esto es algo"

Aunque también se puede hacer como bien ha dicho cΔssiΔnі, usando comillas simples.

Es fácil, de todas formas para traducir texto no crees que sería más fácil tener varios archivos php con las variables declaradas, por ejemplo:

spanish.php
$saludo="Bienvenido";
$titulo="El Titulo";
$noticia="La noticia";

english.php
$saludo="Welcome";
$titulo="The Title";
$noticia="The New";

Una vez tengas los archivos hechos lo único que tienes que hacer es usar dentro de tu página siempre que quieras imprimir texto usar las variables correspondientes, por ejemplo:

<?php
   echo $saludo;
 
   echo $titulo."<hr>".$noticia;
?>

Y luego haces por ejemplo que el idioma se le pase a la página por GET, así que justo al principio del documento harías un switch de modo que si recibe como parámetro "es" entonces haces un include de spanish.php y si recibes "en" haces un include de english.php. Así el mismo contenido te serviría para todos los lenguajes que quisieras, sólo deberías crear sus correspondientes archivos con las variables traducidas y añadirlos al switch.

He intentado explicarme bien, si no lo has entendido no dudes en preguntar.

Saludos.