ooo perdon, ya lei bien el problema xP
aver, primero necesitas saber el area total del poligono
la cual seria
Area Poligono = n*AreaTriangulos;
debido a que ese poligono se divide en 5 triangulos

Area Triangulo = base*altura/2;
base = L;
altura=(L/2)/tg(360º/2n);
Area Poligono = n*(L*(L/2)/tg(360º/2n))/2 = n*L²/4tg(360º/2n);
y haora debemos calcular el area de los triangulos que quedan fuera de la estrella.
Area Afuera = n * AreaTriangulo pequeño;
AreaTriangulo pequeño = base*altura/2;
base = L;
altura = (L/2)*tg(angulo derecho de triangulo pequeño);
angulo derecho de triangulo pequeño = (180º - 360º/n)/3 = 180º * (1-1/n)/(n-2);
AreaTriangulo Pequeño = L * (L/2)*tg(180º * (1-1/n)/(n-2))/2 = L²*tg(180º * (1-1/n)/(n-2))/4;
area final = n*L²/4tg(360º/2n) - L²*tg(180º * (1-1/n)/(n-2))/4 = L²/4 * (n/tg(360º/2n) - tg(180º * (1-1/n)/(n-2)));
esta formula es general para cualquer poligono.
donde n es el numero de lados del poligono y L el tamaño de un lado del poligono.