Manejar cualquier programa con miniDV

Hola compañeros/as
Estoy dando mis primeros pinitos en MAX/MSP y me he encontrado con una agradable sorpresa: el MTG (Grupo de Investigación de Tecnología Musical de la Universidad de Barcelona) ha colgado un software gratuito que permite manejar cualquier cosa a través de una cámara (firewire, usb o usb2).
RESUMO (y si alguien quiere saber más que pregunte)

- un software de reconocimiento de vídeo que se llama reacTIVISION. Te bajas un pdf que hay en la web de fiducials(son unos extraños símbolos con forma de amebas) y la cámara manda a través de red local en un protocolo propio una serie de datos como: nº del símbolo, coordenadas X Y y ángulo de rotación del símbolo... además de alguna otra cosilla.

- A traves de un cliente traduces la información y la mandas a donde te de la gana. Ellos han hecho ya el trabajo duro y ponen ejemplos para algunos lenguajes como C++, Java, PUREDATA y MAX/MSP.

A partir de aquí puedes hacer de todo. Yo he probado lo más simple: a hacer sonar un sinte con la coordenada Y como velocidad y la X como pitch y funciona a la perfección.


Aquí tenéis la dirección:
http://www.iua.upf.es/mtg/reacTable/?software

Adeu. ¡Y gracias al MTG de Barcelona: son unos monstruossss!

Im-presionante.

Usease, que si alguiel se lo curra podríamos disponer de un interface MIDI en base a movimientos delante de una cámara, en principio mola, falta que alguien se ponga.

Me ofrezco como tester

Salut.

Yo me pongo pero estoy aprendiendo todavía...
la cosa tardará.
Pero mis primeras pruebas van muy bien. No será tan vistoso como el reactable que lleva Bjork en su gira pero con cualquier cámara se podrá manejar lo que sea.
Lo + simple es muy fácil de hacer: mandar contoles midi dependiendo de las coordenadas... p.e. X corte de filtro, Y resonancia.
Es como una KaosPad mezclada con Wii
je je. estoy en ello.
adeu

Eso sí harán falta algunas cosas:

- una cámara (obviamente) usb, usb2 o firewire
- bajarse e imprimirse los fiducial de la web. Si se pone un cristal y la cámara debajo se pueden pegar los cacharos estos en la base de cualquier objeto... figuritas de porcelana por ejemplo si alguien quiere ir de moderno. Además cada ameba puede hacer cosas distintas: una controlar el filtro y otras dos el envelope o lanzar una secuencia o un sample o qué se yo.
- ejecutar el software de reconocimiento reacTIVISION
- ejecutar el cliente: pongamos PUREDATA que es gratuito.
- y luego el software que va a recibir los cambios de control o el sinte harware o lo que sea.

Dejo caer alguna idea, lo de emular el reactable mola, pero tal vez ir a buscar algo más "practico" sea otra via, me explico.

Con algo tipo reactable se consigue hacer algo espectacular, pero que no creo que valla más alla de la experimentació o la ejecución en vivo de músicas experimentales. Imaginate algo como un theremin, ,pero sin la necesidad de tanto entrenamiento, un theremin es chungo de tocar porque el más minimo movimiento provoca un cambio en el tono, si un software de reconocimiento de movimiento pudiese captar los movimiento de la mano y enviar notas naturales, el theremin tendría una curva de aprendizaje menos dura, además igual se pueden programar otro tipo de movimientos para otros controladores, por ejemplo: mano derecha, tono; mano izquierda, volumen; cabeza y/cuerpo, filtro o yo que se.

Igual lo que digo es una burrada, pero tenia que decirlo

Salut.

He visto algo así: un tipo toca un saxofón y con los movimientos de su cuerpo le mete efectos al sonido...
...el problema es que el tipo trabaja con sensores de movimiento que, sinceramente, me parece algo más complicado que lo que yo contaba.
Es cierto que todo esto, ahora, está más enfocado al mundo de la experimentación que a otra cosa, pero lo que hacen falta son ideas para traer todo esto a un sitio en el que le demos sentido y nos sea realmente útil.
El que tenga la suerte de ir a la nueva gira de Bjork (yo soy uno de esos, je je) verá en vivo cómo se le da uso a esta nueva tecnología: la cantante lleva una REACTABLE que le han hecho en la Pompeu Fabra. Ella la ha adaptado a su repertorio y parece que con éxito... ya os contaré.

La diferencia de reacTIVISION con lo del saxofonista es que realmente este es un programa de "tracking" que reconoce una serie de símbolos. No va a reconocer una mano moviéndose a no ser que en la mano llevemos uno de los fiducials. Pero lo bueno que tiene es que todo está colgado en internet en código libre; no hace falta ser ingeniero ni informatico para enviar a través de MAX/MSP un cambio de control midi asociado a una coordenada.
Sinceramente creo que convertilo en un theremin es quedarse muy corto.
...seguiremos en el tajo.

Tengo problemas con mi ordenador y por ahora no voy a poder desarrollar nada pero si puedo, en poco tiempo, cuelgo lo necesario para tener un thereminDV. Aún no sé si será muy complicado pero yo creo que no debería serlo. Sería algo así:

Objeto 1 (mano derecha):
- izquierda-derecha => tono
- arriba-abajo ======> volumen
- rotación ==========> modulación volumen
Objeto 2 (mano izquierda):
- izquierda-derecha => frecuencia filtro
- arriba-abajo ======> resonancia filtro
- rotación ==========> envío fx (reverb, chorus, etc)

Molaría verdad?
Ya hablamos. Adeu

Esto empieza a molar, jeje.

Seria necesario un DV?, disponer de una no seria problema, aunque pensando en la comodidad mucho mejor una USB, mas que nada por la comodidad, insisto.

Que tendira que hacer para ejecutar el software, me hara falta algun tipo de programa?, recuerda que no todos somos programadores, lo ideal seria un exe que ponga todo en marcha, aunque si no es posible indicas los pasos que hay que seguir y listo.

Realmente cuando dices MAX/MSP me suena a chino.

Salut.

Y tendria que llevar en la mano algo con el dibujito de los diferentes fiducials?

Haria falta un fondo para obtener contraste en las imagenes?

Me veo en un escenario gesticulando con unas cositas en la mano y la gente comentando: Que hace ese idiota?

Salut

Me temo que sí...
...no que seas idiota (je je je)

Lo que hay colgado en la red sólo reconoce los fiducials.
He hecho varias pruebas y realmente no se necesita un fondo especial. He provado con una miniDV sony pc100 con varios fondos "sucios" e, incluso, con la opción de la cámara "nightshot" que se ve verde (seguro que lo has visto alguna vez) y que necesita muy muy muy poca luz...
...en todas ha pillado perfectamente a las amebas y su movimiento.
Si te bajas el pdf de los fiducials verás que tienen una forma muy particular y que es muy difícil que el programa se confunda porque no es fácil que en la realidad se den estas sucesiones de puntos y figuras.
Aunque siento decirte que sin las amebas no va a hacer nada de nada...
... pero se la puedes pegar a un bate de beisbol o a una palangana y le das cierta gracia a tu actuación...
... je je

adeu amigo

Por lo de ¿QUÉ HACE FALTA? te cuento.

- Una cámara: miniDV o USB, da igual.
- Un ordenador corriendo:
1. reacTIVISION: es un .exe de descarga en la página de arriba. Este programa es el que lee los fiducials y los manda a...
2. Un patch MAX/MSP o PUREDATA (este último de descarga libre, open source) que convierta el movimiento en "algo": por ejemplo en MIDI. El patch lo tendrá que hacer alguien (yo por ejemplo cuando pueda) pero ya digo que no parece excesivamente complicado. Si alguien sabe de MAX/MSP nos ayudaría mucho... aunque yo estoy en ello.

y ya está... el resto es lo normal que usarías con un controlador midi cualquiera: un sinte virtual o harware.

Adeu

fatigue @ 11 Jun 2007 - 01:55 PM escribió:

2. Un patch MAX/MSP o PUREDATA (este último de descarga libre, open source) que convierta el movimiento en "algo": por ejemplo en MIDI. El patch lo tendrá que hacer alguien (yo por ejemplo cuando pueda) pero ya digo que no parece excesivamente complicado. Si alguien sabe de MAX/MSP nos ayudaría mucho... aunque yo estoy en ello.

Adeu

Aqui es donde me pierdo, amos a ver:

1- Imprimo los fiducials para construir la amebas que es lo que movere con las manos.
2- Ejecuto reactivision donde previamente se le ha anyadido un programita que hace que reactivision saque MIDI?
3- Ese midi lo llevo a mi sinte favorito bien sea Hard a traves de una salida MIDI de mi PC o a un sinte virtual traves de MidiJoke.


Podria ejecutar reactivision y un secuenciador donde cargo los sintes virtuales para controlarlos, todo en el mismo PC y al mismo tiempo?
O bien haria falta dos maquinas, una con el interfaz hombre-Midi y la otra con el secuenciador?

Estoy ahora mismo en Cambridge (de ahi lo de la falta de acentos y la ny) cuandovuenva dentro de dos semanas me pongo a investigar esto.


Salut

Siento decirte que reactivision NO saca MIDI... por suerte.
Reactivisión funciona a través de un puerto de red local con un protocolo propio por el que manda la situación de los fiducials, además de otra información como si la cámara sigue activa o el número de fiducial que acaba de entrar en pantalla.
Digo por suerte porque, como bien sabrás, el protocolo midi es de los años 70 y es bastante limitado. De hecho un potenciómetro sólo puede estar en uno de 128 puntos, lo que, estarás conmigo, es muy poco.
Si reactivisión mandara midi sólo podría mandar 128 puntos de X, de Y, de rotación, 128 fiducials por banco... qué se yo...
Por eso es necesario el patch MAX/MSP o PUREDATA para convertir la gran cantidad de información en MIDI. Pero realmente lo haríamos para estandarizar la señal ya que todos los aparatos lo entienden.
En realidad lo mejor sería utilizar los datos directamente pero yo no sé cómo hacerlo... de ahí que la solución pase por el MIDI.
Tu secuenciador no va entender nada si no traduces la información.
Creo que ya hay programas como Reaktor que son capaces de entender la señal de este protocolo pero yo no lo he probado y no sé si funciona.
Hay que decirle a reacto que la información le va a llegar por el puerto 3333 con el I.P. 127.0.0.1.
En teoría reconocerá los datos sin tener que pasar por ningún sitio pero, sinceramente, no me he puesto y me parece algo más complicado.

Me voy a currar. Hablamos. Agur.

Si lo que quieres es manejar directamente un programa nada más que con el reacTIVISION prueba con Reaktor activando OPEN SOUND CONTROL (OSC).
Le defines el puerto 3333 y el IP. 127.0.0.1 (si no me equivoco) y debería reconocerlo...
... te aviso que ya no sé más de esto...
...estaría bien que investigaras un poco sobre el OSC y qué se puede hacer con esto. Lo único que se es que reacTIVISION manda datos directamente a través de él... pero nada más.

¿Nos puede alguien ayudar?

Gracias y agur

fatigue @ 11 Jun 2007 - 03:48 PM escribió:

Si lo que quieres es manejar directamente un programa nada más que con el reacTIVISION prueba con Reaktor activando OPEN SOUND CONTROL (OSC).
Le defines el puerto 3333 y el IP. 127.0.0.1 (si no me equivoco) y debería reconocerlo...
... te aviso que ya no sé más de esto...
...estaría bien que investigaras un poco sobre el OSC y qué se puede hacer con esto. Lo único que se es que reacTIVISION manda datos directamente a través de él... pero nada más.

¿Nos puede alguien ayudar?

Gracias y agur

En la web que dais más arriba hay un patch para puredata que interpreta los datos TUIO y devuelve por ejemplo la posición en pantalla y el ángulo de giro de una ameba. vamos que te hace el trabajo sucio. Pero deberiais aprender un poco de pd antes. cualquier programa que utilice osc vale para hablar con reactivision
usar OSC en pd es bastante facil. luego usando jack en linux o en osx, o directamente alsa se puede conectar otro programa.

en teoria si se puede usar midi por lo menos el comando reacTIVision -l midi devuelve los controladores midi que tienes.