El robots.txt mucho no sirve para que te indexe. Mas que nada sirve para evitar que algun bot te indexe o para permitir indexar ciertas paginas a determinados bots y otros no, etc...
Cuanto tiempo lleva online tu web? Si es muy nueva tardara un par de dias en aparecer.
Puedes darte de alta en Google para que vayan sabiendo de tu existencia... lo haces aqui:
http://www.google.es/addurl/Sobre las redirecciones como te dijeron antes prueba una 301.
Para un mejor SEO te dare un par de consejos por si te interesan:
- No hagas cosas ilegales como divs ocultos, abusar de palabras claves, etc.. porque google puede penalizarte.
- El el title de tu Web utiliza cosas descriptivas. No uses el nombre de tu web, eso es irrelevante, si alguien te va a buscar no lo hara por el titulo de tu web al menos que ya te conozca. En el title debes poner algo sobre que trata tu sitio.
- Es importante colocar un h1 en el documento. Solo un h1 y luego si quieres poner mas titulos con h2, h3, etc..
- Recuerda poner alt a los links y a las imagenes sobre todo. Los bots no pueden interpretar las imagenes por lo tanto se basan en los alt. Pon palabras clave alli.
- Respeta los protocolos de la W3C.
- Pon meta-tags. Con que pongas entre 8 a 14 a esta mas que bien.
- Pon el meta description.. no mas de unos 188 caracteres.
- No olvides el DOCTYPE es muy importante para que interprete bien tu Web.
- Crea un SiteMap. A Google le gustan los que estan en XML.
- Recuerda que tu documento (ej: index.php) no debe tener mas de 100kb de lo contrario google no lo indexara.
- Si tienes alguna intro o asi procura colocar algun link. El bot lo que hace es entrar en la pagina principal y seguir todos los links que vea. Si no hay ninguno no indexara nada mas.
Espero que te haya sido util.
Suerte!