¿cómo sabe una web mi IP?
Pues por otros "campos" que no son las cabeceras http, en php es el valor REMOTE_ADDR. Cuando el navegador establace conexión con el servidor web le manda su ip.
¿Otro tema es donde podría ver las ips que han visitado mi web en los logs?
Si, cualquier servidor web guarda logs de acceso donde aparecen, entre otros datos, la ip remota.
Mejor usar un analizador de logs tipo Awstats, Webalizer, etc.