Buenas.
Exacto, el mecanismo de sesión sirve para mantener el estado entre distintas peticiones.
Si no entiendes el mecanismo de las sesiones en PHP puedes leer esta entrada que escribí hace tiempo en mi blog:
http://parasitovirtual.wordpress.com/2010/06/16/curso-php-capitulo-11-sesiones-y-cookies/Si esto se considera SPAM me avisais y lo borro. O que el moderador borre la URL.
La idea está en que tu tendrás un script para loguear usuarios. En ese script, abres la sesión con:
session_start();
Compruebas que el usuario que se ha logueado haya introducido bien la contraseña. Aquí ya tú tendrás tu sistema, o una tabla usuarios en la base de datos, o un fichero donde guardes los usuarios y contraseñas. Digo esto porque como has preguntado un ejemplo sin base de datos...pues...
Una vez comprobado, si todo ha ido bien, guardas una variable en la sesión:
$_SESSION['authenticated']=true;
$_SESSION['id_user']=$id;
Luego en cada script que tengas, abres la sesión y compruebas si está establecida la variable y vale true:
if(isset($_SESSION['authenticated']) && $_SESSION['authenticated']==true)
{
echo 'Usuario conectado';
} else echo 'Usuario no conectado';