Melodyne Editor: derribando la barrera de lo imposible

Es cierto que el título de este artículo suena ampuloso, pero no podemos negar que es verdad.  Hasta hace muy poco tiempo la posibilidad de cambiar una nota dentro de un acorde era considerada imposible. ¿Cómo una aplicación podría desentrañar un acorde y mostrar cada uno de sus componentes? ¿Imposible? ¡No!

Como sabemos, Celemony desarrolló, y luego presentó en la feria Musikmesse 2008, su tecnología Direct Note Access (DNA) mediante la cual una grabación polifónica -es decir, una grabación compuesta por sonidos simultáneos-, podía ser separada en componentes o notas individuales, ofreciendo al usuario la posibilidad de editar cada nota con las mismas prestaciones encontradas en los productos anteriores de Celemony.

Pasó un poco de tiempo y finalmente llegó la versión beta de Melodyne Editor, el primer producto de la empresa en presentar la tecnología DNA.

Ya todos conocemos, en mayor o en menor medida, las posibilidades del nuevo software. Por eso avanzaré directamente con una serie de pruebas reales que realicé para que puedan imaginar los alcances de esta nueva tecnología.

Para simplificar las explicaciones desarrollaré este artículo teniendo en cuenta la utilización de la versión independiente (stand-alone).

Carga y reconocimiento
La interfaz de usuario del programa no ha cambiado demasiado de la utilizada en Melodyne Uno. Todo está en su lugar, con sólo un par de detalles que mejoran la línea de trabajo; por ejemplo, la concentración en un único lugar del manejo de las cuadrículas o grillas de tiempo y tono.

La familiaridad con la versión anterior facilita el inicio del trabajo. Inmediatamente, después de cargar un archivo de audio, Melodyne editor comienza su tarea y luego de un momento – un archivo de 1 minuto de duración puede tomar 50 segundos en ser analizado en un equipo que utiliza un procesador AMD 64 X2 Dual de 2Ghz – presenta todas las notas en la pantalla de edición.

Si consideramos la posibilidad de volver a trabajar sobre un archivo, una buena manera de ahorrar tiempo es guardar el proyecto como un archivo Melodyne con la extensión mpd. De esta manera, el programa no necesitará realizar, nuevamente, el reconocimiento del archivo de audio.

Comencemos, entonces, a trabajar.

Reemplazando notas
En el ejemplo que veremos a continuación, rescataremos una frase que originalmente presentó un par de notas apagadas debido a un movimiento incorrecto de los dedos. En otra ocasión la frase se habría descartado, pero ahora podemos ingresar dentro de la grabación para intentar solucionar el problema.

Aquí vemos y escuchamos el archivo original:

Como apreciamos, en la entrada del segundo acorde, tenemos un par de notas “muteadas”. La solución, en este caso, pasa por reemplazar esas notas con problemas por notas correctamente interpretadas.

La nota con problemas 1 no presenta mayores dificultades, ya que disponemos de una nota “igual” utilizada en el acorde anterior. La nota con problemas 2 demanda un poco más de atención, ya que tenemos que buscar una nota que nos permita obtener la mejor concordancia de sonido. Como se ve, su sonido original ha sido cortado repentinamente, cuando se suponía que debía extenderse por casi toda la duración del acorde. La mejor alternativa es seleccionar una nota con un desempeño similar.

En las imágenes que siguen vemos las notas que utilicé para solucionar los inconvenientes.

Enfrentaremos la nota con problemas 3 con un simple alargamiento de la duración.

Aprovechando que en este ejemplo las notas con problemas están correctamente ubicadas en tiempo, simplemente, reemplazaremos el sonido de las notas incorrectas por las notas que vemos en las imágenes anteriores. Utilizaremos el clásico método Copiar y Pegar.

Melodyne Editor facilita la tarea, insertando las notas pegadas en la posición exacta de la nota que se desea reemplazar. El proceso es simple: seleccionamos la nota que deseamos copiar, hacemos clic derecho y seleccionamos Copy. Luego, seleccionamos la nota a reemplazar, hacemos clic derecho y elegimos Paste. La nueva nota aparece en su tono original pero en la posición exacta de la nota reemplazada. Si es necesario, habrá que transportarla al tono de destino empleando la herramienta de selección o la de afinación.

Luego de pegar las notas necesitaremos emparejar su volumen de acuerdo al nuevo contexto. La herramienta de amplitud nos permitirá trabajar con absoluta precisión.

El resultado de la edición se aprecia en la imagen siguiente, y lo escuchamos aquí:

Cambiando una frase
Generalmente, las aplicaciones de un software son muy amplias. El desarrollador sugiere ciertos lineamiento que luego los usuarios se encargan de refinar, llegando a utilizar el software en situaciones donde quizás no se hubieran pensado.

Si bien el primer uso que se me ocurre para Melodyne editor es su aplicación como medicina para ciertos males que golpean a las pistas de audio – ahora podemos reparar notas puntuales deficientes, equivocadas, desplazadas, etc. dentro de una grabación polifónica – otra aplicación mayor, seguramente, será la edición de frases con el objetivo de cambiarlas y adaptarlas a un nuevo contexto, diferente, tal vez, al original.

En esta parte veremos las posibilidades de Direct Note Access aplicadas a un fragmento de piano. Podemos escuchar el archivo original:

Luego de cargar el archivo, la aplicación no presentará inconvenientes para detectarlo, automáticamente, empleando el algoritmo polifónico. La siguiente imagen nos muestra la representación original de las notas, inmediatamente después de finalizar el proceso de detección.

Utilizando las herramientas del programa, podemos cambiar algunas notas, insertar algunas nuevas, estirar otras, etc, para lograr una nueva versión editada que vemos en la siguiente imagen y que podemos escuchar aquí:

Muchas veces, la edición no requerirá el cambio radical de una frase, sino un “simple” proceso de compresión/expansión y limpieza, súper preciso, que actuará sólo sobre aquellas notas complicadas.

Pantalla vs. altavoces
Inmediatamente después de cargar un archivo, Melodyne Editor realiza el proceso de detección de notas, presentando luego de unos instantes, dependiendo de la duración y calidad del archivo, las notas en pantalla.

Si bien el programa realiza un trabajo excelente al identificar las notas, existen ciertos elementos que lo confunden, por ejemplo, la utilización de intervalos de octavas dentro de acordes.

No obstante, existen otros elementos que confunden al programa. El timbre del sonido, dependiendo de la carga de armónicos presente, puede llevar a una mala interpretación. Por ejemplo, un armónico puede ser interpretado como una nota fundamental, llevando a una mala representación gráfica.

Es importante entender que el sonido no se ve afectado. El modo utilizado para asignar o reasignar notas no cambia el sonido; su propósito es mejorar la representación de las notas en pantalla buscando coincidencia entre la pantalla y los altavoces.

El modo Note assignment debe utilizarse inmediatamente después del proceso de detección, ya que si la aplicación confunde alguna nota, esa equivocación se arrastrará posteriormente a las habituales tareas de edición.

El nuevo modo de asignación de notas viene a cumplir las tareas que antes se desarrollaban en el ámbito del editor MDD. Por cierto, el nuevo modo ofrece un manejo – como menciono habitualmente – mucho más sencillo, directo e intuitivo.

Devórame otra vez
Dependiendo del timbre del instrumento utilizado, el proceso de detección puede devorarse algunas notas. A veces, las notas “devoradas” quedan en evidencia debido a que escuchamos algo que no se ve representado en la pantalla. Otras veces, no es tan sencillo porque las notas “devoradas” quedan escondidas dentro de otras.

Luego de llevar a cabo el proceso de detección, Melodyne editor utiliza dos tipos de notas para representar la información en pantalla: notas activas, representadas con relleno sólido, y notas inactivas, dibujadas sólo con el contorno. En la imagen siguiente vemos una representación con notas activas e inactivas.

Durante el análisis del archivo de audio, Melodyne editor hace una evaluación para determinar qué frecuencia debe coincidir con cada nota, y en esa evaluación decide cuál nota tiene más posibilidades de ser la nota correcta para esa frecuencia; precisamente, esa nota será una nota activa. Pero, también el análisis permite conocer que existen otras notas con menores posibilidades de asociación frecuencia/nota; precisamente, esas son las notas inactivas.

Como antes mencioné, el programa realiza una estupenda tarea al detectar las notas, pero a veces necesita algo de ayuda para conseguir los mejores resultados. Esa ayuda se manifiesta en posibles reasignaciones de notas, activando y desactivándolas, y en la modificación de sus separaciones.

En la imagen anterior vemos un fragmento. Y cuando escuchamos esta parte...

...se aprecia claramente que, con la excepción del segundo acorde, falta la representación de una nota en cada grupo. El sonido está presente pero la pantalla no coincide. Evidentemente, el segundo grupo de notas es el correcto. Está claro que debemos ayudar al programa para disponer de esas notas para una posterior edición.

Cuando ingresamos al modo de asignación de notas, vemos las notas “devoradas” (imagen siguiente).

Para activarlas, simplemente, hacemos doble clic en ellas e inmediatamente se transforman en notas activas. Se apreciará también, que alguna de las otras dos notas del acorde – generalmente la octava – reduce su tamaño debido a que la nota recientemente activada ha absorbido el exceso de energía que antes se había asignado incorrectamente.

Pero, ¿por qué necesitamos activar esas notas si el sonido no presenta problemas? La razón es simple. Si no activamos la nota desactivada, esa frecuencia quedará asignada erróneamente a una determinada representación de nota. Si posteriormente, editamos esa nota que posee la carga adicional de energía (energía que pertenece a la nota desactivada), por ejemplo, transportándola de tono, estaremos arrastrando ambos componentes consiguiendo un sonido deficiente.

Por ejemplo, imaginemos que tenemos un archivo en donde fueron grabadas dos notas Do de octavas diferentes, en forma simultánea, y que el proceso de detección, muestra erróneamente, una única nota Do, debido a una confusión por el contenido armónico de la señal.

Si no procedemos a reasignar la nota perdida, no podríamos lograr el mejor resultado, por ejemplo, al transportar una nota, ya que estaríamos moviendo ambos sonidos. Activando la nota “perdida” contaríamos con las dos notas, quedando en condiciones de editar sólo la que resulte necesario.

Luego de activar las notas que vimos en la figura anterior necesitamos abandonar el modo de asignación de notas, simplemente, eligiendo alguna otra herramienta. Los resultados se ven en la siguiente ilustración:

Y podemos escucharlos aquí:

Ampliando el panorama
Veamos ahora un panorama un poco más amplio. En las figuras 11 y 12 vemos una representación del ejemplo anterior más grande, en donde apreciamos el análisis original y el modo de asignación de notas:

Notemos, en la parte superior de la representación, algunas notas que se separan, de manera un tanto extraña, del centro de la armonía. En la figura 13 las encerré dentro de un marco:

Al comparar el sonido de los acordes en donde se encuentran estas notas, con otros en donde no están presentes, se aprecia que, en realidad, se trata de armónicos asignados como notas reales, por lo tanto deberíamos desactivarlas para reasignar su energía a las notas que corresponden, y además para despejar la pantalla de molestias.

Después de aplicar un poco de edición llegamos a los resultados que vemos en la siguiente imagen.

Como se aprecia todo es más claro, y eso permite editar con libertad y precisión hasta alcanzar una versión un tanto diferente. Podemos escuchar la versión original y la versión procesada con Melodyne editor aquí:

En la versión editada apreciaréis un leve toque de “chorus” provocado por la transición predeterminada entre una nota en la afinación original y la siguiente nota en la nueva posición. En este caso, me agrada el sonido obtenido; no obstante si alguien no lo considera adecuado, puede emplear la herramienta de afinación para ajustar la transición buscando un cambio más brusco, eliminando en consecuencia, el aire de chorus.

Persianas Venecianas
Para facilitar las tareas de edición dentro del modo de asignación de notas, Melodyne editor posee un recurso simple y efectivo que se puede apreciar, en parte, en la figura 12.

Esta serie de líneas paralelas – que se ubican en la parte superior e inferior de la ventana del modo de asignación de notas – se utiliza para establecer un umbral para la asignación de notas, de modo que Melodyne editor sólo muestre los resultados teniendo en cuenta las notas que se encuentran entre los límites de las persianas superior e inferior.

Por supuesto, la edición no es destructiva, por lo tanto, es posible desplazar las persianas en cualquier momento sin riesgos de perder información. Es más, podemos activar o desactivar notas haciendo doble clic directamente en el área interna de las persianas.

Evitando confusión
Un tema que puede provocar confusión es la utilización del control MIDI en los videos de presentación de la tecnología DNA.

En las películas que anuncian los beneficios de la nueva tecnología Direct Note Access, puede apreciarse claramente la utilización de un teclado controlador para modificar en tiempo real el tempo y tono de una melodía.

El problema es que muchos usuarios confunden la demostración de las posibilidades de la tecnología con la presentación de un determinado producto, en este caso Melodyne editor. Lamentablemente, Melodyne editor no posee capacidades MIDI. No debemos olvidar que esta nueva versión no viene a reemplazar a la versión Melodyne studio, edición que sí cuenta con la potencia de control MIDI.

Últimos comentarios
Aunque después del análisis y reconocimiento realizado por Melodyne editor nuestras ansias por editar resulten incontenibles, es muy importante reconocer la necesidad de escuchar atentamente para identificar posibles problemas de asignaciones de notas.

Aconsejo que en todo caso, aunque todo parezca correcto, ingresar al modo de asignación de notas para revisar si existen notas que no están activas y que pueden formar parte del arreglo.

Una pista que podemos tener en cuenta: si notamos notas sin relleno – no activas – cuyo dibujo posee dimensiones similares a las notas activas, probablemente se trate de notas importantes que deberían activarse. Para determinar si deben activarse o no, es necesario considerar el entorno de la armonía y escuchar. Recordemos que la edición no es destructiva y todo puede ser revertido.

A propósito, los comandos para restablecer las ediciones – que actúan de manera independiente al comando “deshacer” del menú de edición – permiten deshacer determinados procesos sin afectar las ediciones realizadas en otras áreas.

Ciertos materiales no presentarán inconvenientes para el reconocimiento pero, por ejemplo, una frase de órgano Leslie, o una guitarra fuertemente procesada con Chorus o Flanger, demandará mucha más atención, haciendo necesaria la utilización del modo de asignación de notas.

Algo que puede llegar a confundir es la aparición – dentro de este modo – de notas que fueron eliminadas en el modo normal.

El modo de asignación mantiene la disposición original de las notas, por esa razón, mostrará notas que se habían eliminado.

Veamos un ejemplo. Supongamos que tenemos dos notas y eliminamos una dentro del modo normal. Si posteriormente, ingresamos al modo de asignación de notas, veremos, activas, las dos notas originales. Si ahora, desactivamos y activamos la nota que fue eliminada, al retornar al modo normal, la nota será restaurada. Hay que poner atención para evitar inconvenientes.

Aunque aplicando una combinación de procesos – separación y transición – es posible lograrlo, aún espero una manera directa de poder aplicar fades a las notas.
Bajo Windows, el programa utiliza un acercamiento diferente al momento de emplear el comando Close (cerrar).

Melodyne ofrece dos comandos de cierre: Close y Quit. Al elegir Quit, naturalmente se produce el cierre total de la aplicación, pero se obtiene el mismo comportamiento al elegir Close. Normalmente, al utilizar Close esperaríamos que el programa cierre sólo el archivo en el que se trabaja, pero que permanezca abierto a la espera de un nuevo archivo para editar, sin embargo esto no ocurre. Extrañamente, cuando el usuario elige Close, Melodyne editor cierra totalmente la aplicación, de la misma manera que el comando Quit.

La empresa menciona que Melodyne editor es un programa que abre cada archivo en una ventana separada y no dentro de un mismo entorno – es cierto – y que debido a ese diseño el comportamiento antes mencionado del comando Close es el mismo que ofrecen las últimas aplicaciones desarrolladas para Windows.

Más allá de discusiones técnicas, es muy cómodo cerrar un archivo manteniendo la aplicación abierta para cargar un nuevo archivo. Espero que Celemony solucione este inconveniente.

Estamos ante una versión de prueba, y por lo tanto, existen “bugs” o errores esperados considerando la amplia variedad de configuraciones de equipos existente.

Estoy probando Melodyne editor en un equipo de escritorio y en una laptop – ambos bajo Windows XP – con muy buenos resultados en ambas situaciones, aún con un driver genérico como ASIO4ALL.

En otros artículos seguiremos con más detalles, quizá cuando la versión definitiva se encuentre entre nosotros.

Celemony | Direct Note Access | Vídeo de presentación en la Musikmesse 2008