Informática musical

Audio en iOS y OS X: hacia la convergencia

El año pasado pudimos ver algunos avances importantes en dos frentes de iOS: Inter-app Audio y MIDI general (especialmente a través de Bluetooth LE), así que en la WWDC 2015 le tocaba un notable repaso al audio, con novedades que cambian en gran medida las reglas del juego.

iPad, iPhone y iPod Touch como dispositivos audio USB

Cualquier dispositivo iOS es ahora también un dispositivo de audio USB 2.0 Class Compilant, pudiendo entrar en este modo mediante su activación en un nuevo panel que se ha dispuesto en la configuración Audio/MIDI de OS X para tal efecto.

Dispositivos iOS

¿Qué demonios supone esto? Dos cosas que suponen un cambio crucial:

  • Grabación digital directa del audio producido por un dispositivo iOS en un Mac, con resolución de hasta 24bit/48KHz cuando lo conectamos con su cable lightning. A este nuevo modo de funcionamiento se le denomina Inter Device Audio Mode (IDAM). Si antes necesitábamos hardware adicional tal como el ofrecido por las interfaces de iConnectivity o soluciones software de terceros con múltiples aplicaciones corriendo en paralelo, ahora esta funcionalidad viene de serie con iOS 9 con la máxima simplicidad. Incluso se ha pensado en los sonidos del sistema y las notificaciones, que pasarían a reproducirse por los altavoces de iPad/iPhone pero no a través del audio emitido por USB. Un detalle.
  • Se puede usar un dispositivo iOS como si fuera una tarjeta de audio USB de baja latencia conectada a un Mac, con sus entradas y salidas disponibles en nuestro host. De hecho incluso se pueden agregar varios dispositivos iOS y actuar como si fueran una única interfaz de audio con múltiples entradas y salidas.

Este modo de funcionamiento especial estará disponible en todos los dispositivos iOS con conector lightning, a excepción del iPad mini de primera generación.

Audio Unit Extensions: plugins en iOS

Plugins en iOS

Inter-App Audio era la solución rápida temporal para los problemas de comunicación entre apps musicales, pero presenta graves limitaciones como la comunicación de parámetros, o el incómodo cambio entre aplicaciones. En iOS 9 llega la verdadera solución esperada por muchos: Audio Unit Extensions. La posibilidad de tener plugins reales supone la integración directa con software de terceros desde una app que hace las funciones de host, sin tener que andar cambiando de una app a otra dejando su audio en segundo plano y demás soluciones engorrosas que implican terceras apps en funcionamiento.

Plugins en iOS

Desde ahora, las apps tienen la posibilidad de publicarse como Audio Units en iOS de modo que el host sea capaz de visualizarlas en su propia interfaz, de manera completamente transparente. Como sucede con un plugin tradicional, el host se encarga de la comunicación tanto audio como MIDI y los desarrolladores pueden seguir vendiendo sus apps en la App Store mientras incluyen la nueva funcionalidad. De esta manera una app puede englobar en el mismo paquete un instrumento “stand-alone” y su correspondiente Audio Unit Extension que será ofrecido dentro del host. Todo el mundo contento. 

Filter Demo Anatomy

Audio Unit V3: Audio Unit Extensions, también en Mac

Audio Unit es el formato de plugin nativo utilizado en todo el sistema Mac OS X desde prácticamente sus inicios, siendo Logic Pro, GarageBand o Ableton Live algunos de los hosts más populares que usan este formato. Las APIs (en su segunda versión) sin embargo son relativamente antiguas y con esta WWDC llega la Audio Unit V3, primera gran revisión importante en años.

Compatible con iOS y OS X, el código puede ser casi totalmente compartido entre plataformas a excepción de las APIs que se encargan del manejo del plugin a nivel interfaz, bien mediante ratón (OS X), bien mediante eventos táctiles (iOS). La especificación también se moderniza otorgando a los plugins su proceso independiente, de modo que cuando se produzca un fallo en el Audio Unit no afecte en absoluto al host. La estabilidad que esto proporciona es extremadamente buena. Pudimos, de hecho, ver una demo donde se simulaba un cuelgue de un plugin mientras el host reproducía audio, sin notar ni una sola interrupción del sonido en ningún momento.

De cara a los desarrolladores, las APIs de Audio Unit Extensions/Audio Unit V3 simplifican el código, flexibilizan el manejo de parámetros del plugin, lo hacen compatible con el lenguaje de programación Swift y unifican criterios entre iOS y OS X para maximizar la portabilidad del código entre ambos sistemas operativos.

En cuanto a compatibilidad entre V2 y V3 se han previsto mecanismos de puente entre ambos para que el soporte de hosts y plugins sea transparente al usuario mientras todos los fabricantes adoptan el nuevo formato, de modo que las incompatibilidades sean mínimas.

Compatibility iOS OS X audio

Las Audio Unit Extensions estarán disponibles en todas las aplicaciones de Apple (Garageband Mac/iOS, Logic Pro X y MainStage) cuando iOS 9 y OS X El Capitan vean la luz a la vuelta de verano.

Para más detalles se pueden visualizar las siguientes sesiones de la WWCD 2015:

Jesús Gallego
EL AUTOR

Soy entusiasta de la tecnología musical, iOS y Mac OS X. Produzco música bajo el nombre de Autoy. Podéis escuchar mi trabajo en https://soundcloud.com/autoy.

¿Te gustó este artículo?
11
Comentarios
  • 1
  • 2
  • #1 por wmrhapsodies el 13/06/2015
    Yeah. Y en Discchord casi me lapidan por sugerir algo de esto. Gracias por aclarar el tema, Autoy.
  • avatar
    #2 por --552415-- el 13/06/2015
    A mi me parece la evolucion lógica, ademas para que quieres aplicaciones en el iPad como un MS20 si no puedes secuenciarlos a tu DAW. Y bueno lo de la extension AU ya me parece la leche
    1
  • #3 por inforlk el 13/06/2015
    Adiós al Audiobus y a las apps como Audiomux y Midimux...
    1
  • #4 por Malve el 13/06/2015
    #3

    Yo lo siento por los desarrolladores que van a ver cómo sus Apps se quedan "inservibles", pero este es el paso natural y la solución más potente y aprovechable para los usuarios. Y además nativa, integrada y menos susceptible a conflictos y problemas.

    Es de esperar que muchos desarrolladores de nivel se suban al carro, y cuando pase, el iPad cobrará una dimensión completamente nueva para la producción musical.

    Por cierto, gracias a Autoy por el artículo. Explica básicamente lo que yo ya me esperaba que sería, pero me ha despejado algunas dudas que me había suscitado todo este asunto.
    3
  • #5 por BlahBlah el 13/06/2015
    Es una jugada maestra.
    1
  • #6 por BlahBlah el 13/06/2015
    #4

    Bueno, las Apps seguirán funcionando en las versiones anteriores de iOS, y siempre tendrán la opción de actualizarlas vía App Store para que usen diferente tecnología.

    Yo no veo ninguna pega a este movimiento inteligentísimo y que, sí, va a terminar de dar la puntilla a las demás plataformas móviles en lo que se refiere a audio.
  • #7 por Malve el 13/06/2015
    #6

    "las Apps seguirán funcionando en las versiones anteriores de iOS, y siempre tendrán la opción de actualizarlas vía App Store para que usen diferente tecnología"

    Sí hombre, pero las "versiones anteriores" tienen una fecha de caducidad sí o sí, porque tarde o temprano no habrá hardware para moverlas. Y estarás de acuerdo en que, a menos que actualicen sus Apps con algo realmente rompedor, no van a poder competir con esto.
  • #8 por Aviaco el 13/06/2015
    Va ser hora de ir pensando en comprar un hermano más potente para mi ipad mini de primera generación.
    Espero que este año Apple saque un ipad mini 4 con potencia suficiente para algunas cosas comentadas en el artículo y otras propias de ios 9 como el poder usar dos app a la vez, que por tema de la Ram ha quedado reducido a los equipos con 2 gigas de Ram, vamos el ipad Air 2. No entiendo porque Apple siempre es tan racana en el tema de la memoria RAM en sus equipos, lo último, soldarla en placa base para que sea imposible ampliarla en otro momento, una decisión de aire dictatorial.... pero los chicos de Cupertino son así.... divinos y malignos a la vez.
  • #9 por sonic el 13/06/2015
    A ver que yo estoy un poco verde en esto:quiere decir que se podrán poner plugins de mac y correrlos en el iPad?
  • #10 por minimalgrooves el 13/06/2015
    algunas de estas funcionalidades para enviar audio directo etc... van a funcionar, me temo, únicamente en mac. esos desarrolladores le harán un buen servicio a todos los que hacemos música con windows.
  • #11 por rsync el 13/06/2015
    Microsoft tendría que comprar al menos un DAW como ha hecho Apple con su Logic e implementar innovación como lo está haciendo Apple en sus dispositivos moviles.
  • #12 por GrinSPhere el 13/06/2015
    Buenísimo
  • #13 por wmrhapsodies el 13/06/2015
    No sé si estamos corriendo mucho, eh (ahora me toca a mí hacer de aguafiestas). Que nos lo aclare Autoy, si acaso, pero creo que no se ha expuesto explícitamente que una app de iOS funcione dentro de un host de OSX como otra Audio Unit cualquiera...
  • #14 por Malve el 13/06/2015
    #13

    Siempre que la App esté desarrollada para iOS e integre soporte para Audio Unit Extensions, sí que se va a poder integrar en un host de OS X compatible con Audio Unit Extensions.

    Eso ya lo tenía claro desde el primer día. Mi mayor duda era si se iba a poder trabajar vía cable, lo cual me parecía clave para trabajar en unas condiciones de calidad y estabilidad básicas.
  • #15 por autoy el 13/06/2015
    #13 No como un Audio Unit como tal, más bien como un instrumento externo integrado en el secuenciador. Inter Device Audio Mode consiste en que conectamos el iPad con su cable y automáticamente aparece un dispositivo externo del que podemos recibir audio y MIDI, de modo que podemos secuenciarlo y grabar su audio de forma transparente directo en digital. En la práctica la integración se me parece más a lo que hace Acess con TI que a un Audio Unit normal, dado que del procesado se encarga el dispositivo iOS.

    No sólo esto sino que además el iPad o iPhone aparecerá como un dispositivo de audio externo con sus entradas y salidas, pudiendo hacer uso de ellas (como procesador de efectos por ejemplo). Las formas de trabajar son muy variadas y todo con un simple cable.

    Otra cosa que ha estado comentando Tempo Rubato (Waldorf Nave), ha confirmado que las AU Extensions de iOS permiten ejecutar tantas instancias como permita la CPU, efectivamente como las AU de escritorio. También me comentó que el proceso de migrar apps que soportan Inter App Audio actualmente a Audio Unit Extension no es excesivamente complejo, de modo que podemos esperar una adopción relativamente rápida de los nuevos estándares.

    En definitiva y para aclarar:

    Inter Device Audio Mode -> para integrar una app de iOS en un host OS X.

    Audio Unit Extension -> para integrar una app de iOS en un host iOS (sustituye el actual Inter App Audio).

    Todo un poco lío de jerga pero en la práctica es todo mucho más sencillo.
    1
  • #16 por wmrhapsodies el 13/06/2015
    Sí, muy bien, eso lo puedo imaginar perfectamente. Muchas gracias por la explicación.
  • #17 por pablofcid el 13/06/2015
    Gracias Autoy por la noticia.
  • #18 por autoy el 14/06/2015
    Gracias a vosotros por el interés. Y eso que todavía no ha llegado septiembre con sus iPads y iPhones hápticos sensibles a la presión! Evidentemente no es oficial pero las APIs de Force Touch (así se llama el tema en el Mac y Apple Watch actualmente) que se han visto en la WWDC auguran un otoño de lo más interesante.
    2
  • #19 por Solid el 14/06/2015
    #18

    Llevo años clamando por el uso de pantallas hápticas...
  • #20 por Iernesto el 14/06/2015
    Gracias por el articulo, aclara bastantes cosas. Imagino que implementar este tipo de tecnologia en IOS va hacer que cambien las reglas del juego referente al "modelo" de la Store. Veo una actualizacion de GarageBand en IOS en el horizonte y esta por ver que pasa con Auria Pro que tiene sus propios plug-ins propietarios.
  • #21 por autoy el 14/06/2015
    #18 si pero hasta ahora nadie ha conseguido nada convincente, el feedback háptico se reduce a un motor vibratorio que da la sensación que te ha llegado un SMS. Lo que ha logrado Apple con Force Touch en el Macbook nuevo y el Apple Watch si que da cierta esperanza de que se consiga un feedback realista. Veremos porque si se meten a ello pueden acabar haciéndolo muy bien.
  • #22 por clavinord el 14/06/2015
    Entonces ., tener un ims20 en iPad se podrá manejar 100% desde el logic?, se podrá hacer un sonido en el iPad y estará en el logic sin tener que pasar por iTunes ni similares el sonido hecho?
  • #23 por autoy el 15/06/2015
    #22 Si, se podrá secuenciar y grabar como si de un instrumento externo se tratara pero sin conversores analógicos, sólo mediante con el cable lightning. Veremos como es la implementación final pero la idea es esa. Para referencia, la demo en la sesión del WWDC se hizo con Nave.
    1
  • #24 por clavinord el 15/06/2015
    Pues estaría genial
  • #25 por Joruyu Teruteri el 15/06/2015
    Hola, alguien podría decirme ¿porqué no puedo usar el midimux? todos los instrumentos que abro en el ipad me aparece el destination pero en source no aparece nada y en live no recibe la señal midi de los instrumentos...
  • 1
  • 2