La libreria sdl_mixer no es mas que un conjunto de archivos *.dll *.h y *.lib, como cualquier otra libreria que te puedas encontrar como por ejemplo la libreria estandar, no hay ningun tipo de fichero ejecutable ni binario ni nada parecido.
Para poder usar cualquier libreria en tus programas solo has de colocar esos archivos en las carpetas adecuadas del compilador que tengas, y una vez que lo tengas hecho para poder utilizarla solo has de incluir en tu codigo una directiva include que en tu caso seria algo asi:
#include <SDL/SDL_mixer.h>
Y a empezar a usar las funciones que te proporcionan esa libreria.
Te copio y actualizo la info que hay en los enlaces que te he puesto.
Para instalar sdl_mixer en dev-c++:
Descargas
http://www.libsdl.org/projects/SDL_mixer/release/SDL_mixer-1.2.12-win32.zip y lo descomprimes. Colocas esos archivos, o bien en la carpeta system32 de windows, o en la misma carpeta donde se vaya alojar tu futuro ejecutable.
Descargas
http://www.libsdl.org/projects/SDL_mixer/release/SDL_mixer-devel-1.2.12-VC.zip y lo descomprimes. El archivo "include/SDL_mixer.h" lo colocas en “c:\dev-cpp\include\SDL\” (es importante copiar el archivo dentro de la carpeta SDL). Y el archivo “sdl_mixer.lib” de la carpeta “lib” se debe copiar a “c:\dev-cpp\lib”
Y por ultimo para poder usar la libreria hay que enlazarla en el linker que para ello en dev-c++ seria. “Herramientas → Opciones de Compilador” (“Tools → Compiler Options”) y agregamos las opciones dentro del campo indicado luego de “Añadir estos comandos a la línea de comandos del linker” (“Add these commands to the linker…”):
-lSDL_mixer
Cuando hayas hecho todo esto ya podras usar usar la libreria sdl_mixer en tus futuros programas de la misma forma en que utilizas la libreria estandar, es decir a traves de una directiva include que en tu caso seria #include <SDL/SDL_mixer.h>.