Saludos,
- Los elementos tienen un método .remove()
document.querySelector(".delete").remove()
- También puedes eliminar elementos hijos mediante su Índice:
var padre = document.getElementById("padre")
padre.removeChild(padre.children[0])
- Tengo entendido que en jQuery es exáctamente igual con .remove()