pero la pregunta es tedria que llamar al mismo scrip, al ser un div dinamico no se me ocurre nada.
Si si podrias, pero te recomiendo que revises bien tu código. Yo en ningun lado veo que empiezes el formulario y sin embargo al final tienes un <input>. Igual no necesitas usar un formulario, puedes usar AJAX y botones. Ya tienes en parte de tu codigo:
Código
if($_POST['accion'] == 'añadir'){ ..
Bien podrias agregar una sección para eliminar:
Código
if($_POST['accion'] == 'eliminar'){ ..