¿Sinte virtual controlado por sonido?

#1 por alez el 20/12/2012
Se me ha ocurrido preguntarme si existirán sintes virtuales que analicen una entrada de sonido y utilicen diferentes cualidades de ésta como PARÁMETROS para generar su sonido de salida. Por ejemplo, yo podría tocar mi trompeta delante de un micro, y el sinte extraería la información de frecuencia "instantánea" (aunque parezca una contradicción de términos me refiero al tipo de análisis que hace el típico "autotune") y la información de amplitud "instantánea" y podría generar un sonido totalmente diferente (un sonido de analógico gordo, pongamos por caso) con la misma afinación y la misma envolvente (o sea la nota resultante tendría el mismo ataque y demás).

Personalmente me resultaría útil usar mi trompeta de esa forma como si fuera un "controlador de viento avanzado" para crear pistas con diferentes sonidos que resulten más "humanas" de lo que puede ofrecerme un secuenciador o incluso un teclado, que tiene "velocity", "after touch" y poco más (y encima npi de tocarlo).

Pienso que esto podría implementarse como efecto, dado que toma sonido como entrada y da sonido como salida. ¿Estoy diciendo una chorrada? ¿Existe esto?
Subir
#2 por undercore el 20/12/2012
lo he visto para guitarra

We all are the same nation under the rhythm.
Mi My Space
"El arte esta hecho para ser sentido y no para ser comprendido. P

Subir
#3 por alez el 20/12/2012
Coño pues mola un montón, y parece que hasta maneja polifonía. Igual hasta chuta si le meto mi trompeta pasada por un previo.
Subir
#4 por undercore el 21/12/2012
vi uno de esos en vivo (en un directo que hicimos mientras estudiaba sonido) y era la caña, oír una guitarra como si fuese un pad y demás sonidos fue flipante, además como pedías en tu primer comentario responde a la interpretación que hagas

creo que también hay un "transductor" que convierte el audio en midi en tiempo real, precisamente para lo que quieres, sustituir un controlador típico por un instrumento acústico, pero creo que tenía problemas, pero eso era hace años

We all are the same nation under the rhythm.
Mi My Space
"El arte esta hecho para ser sentido y no para ser comprendido. P

Subir
#5 por flasram el 21/12/2012
#2

Eso es una guitarra midi. Aparte de las pastillas de audio, llevan una pastilla MIDI. ya van funcionando bastante bien, pero al principio dejaban bastante que desear.

Lo que necesitas para la trompeta es un convertidor de audio a midi. Hace muuuuchos años que los hay, pero los resultados son así así.
Específicamente para viento, había convertidores de Yamaha, y hasta algún "saxo MIDI"...lo tiene algún saxofonista que conozco y no le convence demasiado.

Otra opción podría ser el Melodyne, pero en tiempo real no sé yo...Si no es en tiempo real, yo creo que sí te puede valer: Grabas el audio y te lo convierte en datos midi que puedes editar (o no) y enviar a cualquier sintetizador.
Subir
#6 por flasram el 21/12/2012
Subir
#7 por Lisboetas el 21/12/2012
#1

En principio cualquier sinte que tenga un envelope follower como fuente de modulacion de sus parametros te podria servir ya que utilizan la sennal de entrada como 'disparador de eventos' y a partir de ahi...pues ya generas lo que veas
Eso si, en el mundo hardware (que yo sepa) no esperes que te reconozca tonos en la sennal entrante.....se trata simplemente de utilizar el NIVEL e INTENSIDAD de entrada como disparador de enventos
En general, esto se utiliza apara alterar esa misma sennal de entrada...aunque tambien se pueden obtener resultados interesantes disparando los osciladores/filtros/amplis como resultado de la entrada...eso si, como te decia, no esperes que este en tono con la sennal que envias
Un ejemplo tipico seria un pad filtrado por un loop de bateria...envias las notas por un lado y abres y cierras filtro como resultado de la entrada de audio

Recuerdo vagamente algun sinte software que llevaba el concepto mas alla intentando 'reconocer' las notas entrantes y generando sonido en consecuencia (podias cantar las melodias del sinte)

Saludos


[EDITO]: estoy un poco espeso y ahora releyendote veo que habalabas especificamente de sintes virtuales....si me acuerdo del nombre de alguno lo pongo....en todo caso no borro lo anterior por si sirviera de algo

re-saludos

He mojado mis sabanas blancas

Subir
#8 por Nox el 21/12/2012
En este post del foro de programación y entornos se ha hablado bastante sobre este tema (de hecho creo que hay más posts de lo mismo, pero este parece el más completo), convertir sonido a MIDI. Hay varios sistemas, alguno comercial como ya te han dicho, y bastantes hechos con programas del tipo reaktor, MAX/MSP y demás, todos ellos con resultados diferentes en cuanto a fiabilidad y latencia.

Saludos.

Final tuto Reaktor: http://www.hispasonic.com/blogs/primeros-pasos-reaktor-7-parte/38525
FAQ Waldorf Blofeld: http://www.hispasonic.com/foros/usuarios-waldorf-blofeld/146248#post1213359
La educación es muy bonita y es gratis.
El respeto es muy caro

Subir
#9 por alez el 21/12/2012
Gracias a todos por las respuestas.

Con razón no se despista con la polifonía la guitarra esa, con una pastilla midi cambia el cuento, la verdad me parecía increíble concretamente eso de la polifonía.

Aunque la mayoría mencionais midi como salida, convertir a midi no me convence en absoluto, soy de la opinión de que midi no es un estándar apropiado para describir las características que digo (volumen y frecuencia) de forma contínua, sino en forma de eventos discretos en el tiempo, lo cual no es adecuado para lo que digo. A día de hoy, un hecho que me da la razón: no hay forma de secuenciar en midi una trompeta y que suene ni medio aceptable.

Midi funciona de maravilla para pianos, percus y demás, que no requieren parámetros contínuos, pero esto que estoy planteando debería hacerse como sinte directamente para que no se quedara por el camino la mayor parte de la información, por ejemplo en forma de plugin VST o similar.
Subir
#10 por alez el 22/12/2012
La verdad es que me está apeteciendo programar un pequeño "demostrador" para ver preservando únicamente la información de amplitud y frecuencia de forma contínua se consiguen sonidos expresivos. Simplemente un generador de alguna onda sencilla, modulado en frecuencia y amplitud, ni siquiera en tiempo real, que genere un wav de salida a partir de uno de entrada, me parece sencillo de hacer salvo el detector de frecuencia, ¿cómo lo harán los autotune?, es impresionante lo rápidos y precisos que son, me pregunto si están basados en pll o en qué.
Subir
#11 por undercore el 22/12/2012
el midi tiene parámetros continuos, otra cosa es simular las distintas articulaciones de los distintos instrumentos, para eso se inventaron los keyswitchs o los expresion maps de cubase/nuendo etc etc etc

We all are the same nation under the rhythm.
Mi My Space
"El arte esta hecho para ser sentido y no para ser comprendido. P

Subir
#12 por Nox el 22/12/2012
Se nombra midi por que es el protocolo estándar para conectar con sintes, que es lo que yo entendí que quieres hacer. Con un hard o un soft preparado al efecto se esquiva fácilmente la frecuencia a la que vaya el midi (que ni sé cual es, sinceramente), y se hace a la frecuencia de muestreo que se quiera y se pueda. Con reaktor, max/msp, C++, etc, recogerás los cambios a la frecuencia de muestreo de tu tarjeta, eso sin hablar de técnicas para sobresamplear, y ten por seguro que no hay cambio en dinámica o tono suficientemente rápido para resistirse a 96 mil hertzios... son 0,01 milisegundos.

El problema de las emulaciones de instrumentos acústicos no va por ahí, con FFT y las técnicas derivadas de Fourier, contando con el hard adecuado (y los conocimientos adecuados, claro), reconocer el tono y la dinámica no es tan difícil, lo que es difícil es alterarlos conservando la relación original de todos los armónicos y cómo cambian en el tiempo. Esa es la razón por la que si quieres emular un instrumento acústico, o tiras de enormes librerías de samples, o directamente de técnicas de emulación física como, por ejemplo, fitros de peine para emular tubos y cajas, modulación en anillo para dar un tinte metálico al sonido, incluso síntesis aditiva. Así todo con estas últimas (filtros de peine y demás), en mi experiencia lo más que se consigue es algo parecido, son efectivas para dar a un sonido un timbre que se reconozca como un viento, una cuerda, un metal, pero no para reconocerlo como un instrumento en particular, aunque por ahí hay verdaderos bestias en todo esto, pero no es lo común.

Y por eso se ven tantas mega-librerías de instrumentos acústicos, directamente grabas todos esos cambios en los armónicos, un poco de programación, un pizco de síntesis, otro poco de reverb para unirlo todo y tienes el instrumento... algunos mejores que otros.
Claro que, para usar las librerías necesitas midi, así que volvemos al principio: reconocimiento de tono y dinámica y conversión a midi.

Saludos.

Final tuto Reaktor: http://www.hispasonic.com/blogs/primeros-pasos-reaktor-7-parte/38525
FAQ Waldorf Blofeld: http://www.hispasonic.com/foros/usuarios-waldorf-blofeld/146248#post1213359
La educación es muy bonita y es gratis.
El respeto es muy caro

Subir
#13 por alez el 22/12/2012
Rectifico pues con lo del midi, gracias por corregirme en lo de los parámetros contínuos.

Coincido con lo dicho por Nox, buena explicación.

Bueno, evidentemente modular frecuencia y amplitud a 96 kHz es matar moscas a cañonazos cuando el audio de entrada y salida está muestreado a una frecuencia parecida si no menor (yo para probar pensaba hacerlo a 44k1).

Nox escribió:
El problema de las emulaciones de instrumentos acústicos no va por ahí, con FFT y las técnicas derivadas de Fourier, contando con el hard adecuado (y los conocimientos adecuados, claro), reconocer el tono y la dinámica no es tan difícil, lo que es difícil es alterarlos conservando la relación original de todos los armónicos y cómo cambian en el tiempo.

De hecho ayer me picó la curiosidad y creo que tengo claro cómo haría los "detectores", seguramente haga algo de esto en plan sencillo por la curiosidad, por lo visto el de la frecuencia se puede hacer de forma sencilla por lo que se conoce como "correlación", lo que explicaría por qué los autotune son tan rápidos.
http://channel9.msdn.com/coding4fun/articles/AutotuneNET

Con respecto a la dificultad de lo otro, recuerdo los primeros efectos que salieron para alterar la velocidad sin "hacer voz de pitufo ni de ogro", en aquella época no entendí muy bien la dificultad y escribí una pequeña rutina para hacer esto utilizando una FFT y no mucho más... y salieron a la luz todas las limitaciones de la técnica, sobre las cuales posteriormente encontré información en internet.

Por cierto, veo que mis paranoias tienen buena acogida en este subforo, el otro día publiqué una cosa que creo que está chula (una prueba que hice) en otro subforo y pasó desapercibida:
"Sincronizar secuenciador con pista de audio"
http://www.hispasonic.com/foros/sincronizar-secuenciador-pista-audio/418971
A lo mejor debería abrir otro hilo aquí para ello, me pareció un concepto chulo.
Subir
#14 por undercore el 22/12/2012
alez escribió:
Por cierto, veo que mis paranoias tienen buena acogida en este subforo


como para que no la tengan, espero que este tipo de cosas estén en el ideario de las secciones de I+D+I de las principales marcas, no es moco de pavo el tema

en relación a lo que comentas en este hilo

http://www.hispasonic.com/foros/sincronizar-secuenciador-pista-audio/418971

cubase tiene esta función

tempo detection



muy muy útil para eso que comentas ya que es capaz de crear un 2mapa de tempo" y añadirlo a la pista de tempo de cubase, de tal forma que si el instrumentista se acelera o desacelera cubase hará lo mismo, así que el tempo del proyecto y el de la interpretación siempre irán a tiempo.

We all are the same nation under the rhythm.
Mi My Space
"El arte esta hecho para ser sentido y no para ser comprendido. P

Subir
#15 por alez el 23/12/2012
Gracias, undercore. Veo que me has contestado en el otro hilo, os contesto allí :)

Con respecto a este hilo, anoche me dio el punto y me puse a escribir código. Creo que podré terminar algo ya pronto (aunque hoy tengo ensayos e historias), tengo curiosidad por oirlo sonar :D
Subir
Respuesta rápida

Regístrate o para poder postear en este hilo