Vídeo dinámico según música

Hola a todos. Resulta que estoy pensando realizar como proyecto fin de carrera un sistema que haga evolucionar dinámicamente en tiempo real audio y vídeo, cómo hacerlo en audio ya lo tengo más o menos pensado pues en lo que llevo mucho tiempo, pero en vídeo no tengo ni idea, por eso había pensado incorporar las típicas animaciones que evolucionan según la música que incorpora el windows media, quicktime etc.
Alguien conoce algo referente al tema? Existen recursos de ese tipo para no utilizar las propias de los programas comerciales de siempre? Incluso, hay alguien interesado en el tema? Mi intención es darle un toque artístico para después poder exponerlo..
Muuuchas gracias

DelVJ es un sistema para remezclado y composición de video en tiempo real en el que el ordenador va mezclando videos indicados por el usuario al ritmo de la música como una extensión virtual de su mente. Se le pueden dar indicaciones de los efectos que se quieren usar y los vídeos, pero el ordenador hace todo lo demás, o no: DelVJ permite desde un control exclusivamente humano hasta la sintonírámetros de los parches de pure data, grabar videos, o emitir a un servidor icecast , puede acceder e interactuar.

http://delcorp.org/delvj/index.php/Portada