hola JonaLamper, soy técnico químico, y desertor de ingeniería hace un tiempo, antes de volver a mi primer amor, los 0 y 1 jajaja  XD pero aunque el tema siempre me ha apasionado, poco sé como para darte una respuesta al nivel de la pregunta, aunque que intentaré responderte...
 
con respecto a lo primero, así es; los asteroides normalmente son rocas y compuestos varios, se congelan por las bajísimas temperaturas en el espacio exterior( cercanas al cero absoluto...) también los hay ferrosos, mientras más concentración tenga, mayor es su masa y también y su capacidad para penetrar en la atmósfera y no desintegrarse en el intento. obviamente, ello conlleva junto con su tamaño y velocidad, variable que indica su eventual peligrosidad frenta a algún cuerpo celeste.
los asteroides generalmente son desprendimientos del cinturón de asteroides (ubicado entre marte y júpiter) por algún antiguo choque y por atracciones gravitacionales del sol, generando órbitas más  o menos elípticas.

la mayoría de los cometas, en cambio, son desprendimientos de lo que se conoce como "la nube de oort" ubicado mucho más lejos del sistema solar, con órbitas agudamente elípticas y algunos lejanos hiperbólicas (pasan solamente una vez...) acelerándose a medida que llegan a su perihelio, y formando una hermosa cola en sentido contrario producto del desprendimiento al "hervir" sus componentes orgánicos, son ellos los que refractan la luz solar; y  lo que indica que con cada perihelio, la misma va a ir disminuyendo, o bien llegado el caso, se desintegre el cometa.

con respecto al "hielo" en si, si bien puedes tenerlo como aqui como h2o, o como en marte formando el "hielo seco" (llamado así porque de estado sólido se sublima pasando a gaseoso, el compuesto es el famoso co2) no es necesario o determinante el oxígeno para formarlo; ya que el metano que es otro compuesto orgánico y mucho más común -formado por carbono e hidrógeno (ch4)- también se solidifica a muy bajas temperaturas, "helándose". son estos compuestos de carbono-hidrógeno, y otros elementos, que forman el hielo del cometa y la eventual cola.


bueno espero haberte respondido un poco tu consulta, y contribuir a generar muchas más, saludos

Muy buena e interessante respuesta.