IA para aconsejar en musica.

No pretendo que ninguna IA me componga una canción o un tema.
Estoy autoaprendiendo a Componer y es un camino bastante dificil. 
Pero aun es mas dificil, hacer que una vez puestas las notas "en su sitio", todo lo hecho, no suene a MIDI.
Trabajo directamente desde el DAW y entro entonces en el mundo de la produccion, que no es menos complejo.
Estoy leyendo todo lo que puedo y he encontrado un buen aliado en la IA como "consejero" de los metodos, o consejos, o conceptos en los que puedo dudar, y debo reconocer, que salvando la distancia de que "NO te creas todo lo que diga", me està ayudando mucho.
Le mando la partitura i si todo va bien, algo analiza y eso me ayuda.
Pero... No puede oir.
Y claro, una vez está un fragmento compuesto, me gustaría una opinion sobre como suena, no como està escrito.
Alguno de vosotros conoce algún ChatGPT, Claude, etc... al que le pueda mandar un mp3, y la partitura si hace falta, y me pueda analizar que està sonando?
Muchas gracias

Me parece que eso va a ser difícil. Las IA de texto e imágenes consumen menos tokens. Pero las de vídeo y audio, consumen más tokens. Por eso IA de video y audio hay menos.

#1   En Chatgpt o Gemini (y seguramente en algunas IAs más) puedes subir una música en archivo mp3 y hacerle preguntas sobre ella. Es capaz de analizar algunas cosas (por ejemplo en una canción la letra la entiende bien, y ciertos aspectos musicales), pero también a veces se inventa cosas. Yo por ejemplo le pregunté la progresión armónica de un tema y acertó una parte pero otra se equivocó. 
Prueba a ver y nos cuentas 

Lo bueno del caso, (yo estoy con GPT Compositor, pero ocurre lo mismo con ChatGPT), es que habia subido en varias ocasiones, un mp3 de lo que iba componiendo para que me diera su opinion y me corrigiera con lo hecho. Me pedia tambine un PDF con la partitura. Hasta que descubrí, y así me lo confirmo, que leia la partitura y que el mp3 no lo podia "escuchar". A partir de ahí, se inventaba lo que debería haber "escuchado" para darme su opinion. Pero en cuanto entré en tecnicismos que hacían referencia a la mezcla... se colapsaba. Me decía cosas que no tenian sentido o me aconsejaba que hiciera cosas, que ya estaban hechas.
Lo intenté en Claude, pero también me dijo que no, que no podia leer un mp3 para analizar la musica.
Y es una lastima, ya que me està sirviendo de mucho poder hacer consultas a las 2 de la mañana, que es cuando hay un poco de calma en casa.
Por eso preguntaba si sabíais alguna IA que pudiera hacerlo.
O, si es el caso, que estoy haciendo mal en ChatGPT, para corregirlo.

Lo que estás haciendo mal está muy claro. 
Estás considerando que un programa de software pueda tener sensibilidades o gustos musicales, y no es así.  
Aunque te hable como si fuese una persona, (están programados para ello) no te tienes que confundir, son programas complejos que buscan en enormes bases de datos y en función de ello, generan respuestas basadas en esos datos.
Nunca te va a decir como suena un tema o las sensaciones que puede generar ese tema porque no tiene capacidad para ello.
Otra cosa es la teoria musical que si la tienen bien programada, y ahí si te pueden en cierto modo, ayudar. 

Si quieres saber como funciona un determinado pasaje o tema que hayas compuesto, pónselo a una persona real, familiar, amigo, etc. o incluyo compártelo en foros y así tendrás un feedback verdadero.  

Saludos.

P.D. Si estás aprendiendo y dejas que la IA te haga cosas, esas cosas no las vas a aprender.

Tienes mucha razón en lo que dices.
Lo que ocurre, es que cuando uno no sabe,... cualquier consejo es bueno, dentro de un orden.
Todo empezó por preguntar cuestiones tecnicas sobre la construccion de un Ostinato. Yo podia hacerlo, pero sonaba vacío, no me gustaba. Asi que me atreví a preguntar el porqué, y comparé lo que estaba haciendo con lo que puede oirse cuando uno escucha Eternal Eclipse o Two steps from Hell. Ahí me explicó que era un problema de capas de sonido, de efectos, de pads... Convincente.
Y la verdad es que me sorprendió la capacidad de respuesta y los consejos que me iba dando. 
A partir de ahí, inicié mas consultas, que después, por libros o apuntes que he ido recogiendo, iban "confirmandome", que parecía saber lo que iba diciendome.
Internet está lleno de IA's y programas que dicen hacerte una canción o un tema en minutos, y no me pareció extraño que también pudiera analizar lo que uno iba haciendo. Así que fui subiendo mis "progresos" para ver que opinaba. Hasta que me di cuenta que si no subía la partitura... estaba inventando sobre el mp3 que había subido.
Tanto es así, que cuando me dijo que no podía recibir el mp3, me sugirió que le diera un enlace para descargarselo. Yo que soy bastante enemigo de "la nube", me preocupé de colgar los ficheros en Google Drive y todo fué bien, hasta que me dijo que no podía acceder a enlaces de Internet.
Mi pregunta fué entonces: Que carai has hecho hasta ahora pues?
En ningun caso, insisto, en ningun caso, quiero que me haga cosas por mi. Quiero hacerlas yo, con mis aciertos y mis errores.
Sí, puedo ir enseñando mis "progresos" a familiares o amigos, pero o bien no saben de musica, con lo que las respuestas que puedo esperar son limitadas para lo que quiero, o colgarlo en algún Foro, con lo que me arriesgo a ser el "pesadito" de las muestras.
De ahí mi pregunta sobre el análisis.
Es dificil a veces, saber hasta donde ha llegado la IA, delante de toda esta avalancha de opciones e información a la que nos someten.
En cualquier caso, muchas gracias por tu opinion y tus consejos.

Yo he experimentado con varias IA y la única que ya es capaz de analizar música y video, en mi caso enlaces a Youtube, es Google Gemini, incluso en su versión gratuita, pero de 5 enlaces que le propuse solo acertó los tres primeros, los demás los confundió con otros e intentó engañarme.

ChatGpt es un fiasco en este asunto, te engaña, de momento no es capaz de analizar ni video ni música, reconocido por ella misma cuando la pillé, aunque de esto ya hace mas de un mes y las IA avanzan muy rápido.

Si pruebas con Gemini, no le digas nada de nada, ni siquiera el titulo, nada sobre lo que intentas transmitir ni del propósito por el que quieres su análisis, ni de la estructura,...nada...solo dile que lo analice, y después, si no te lo dice ella misma, pregúntale detalles como el titulo o cualquier otra cosa que te permita saber si está analizando el tema correcto.
Si le das a conocer siquiera una nimiedad, creará un relato en base a eso y te confundirá.

Al tanto, que de primeras, en los míos, solo analizó el contenido para recomendarme "lo buenos que eran" y tuve que recordarle en los tres enlaces que lo que que quería era un análisis para mí, que los había compuesto yo, pero si puedes sortear el decirle que lo has compuesto tú, mejor, porque te soltará un rollazo de autoayuda que flipas, porque intuye que tienes alguna carencia que te reconcome.

Lo que dice Arquitectoacero tiene razón pero yo quedé sorprendido con los tres enlaces a ciegas que acertó, acertó en los títulos, en varios pasajes musicales, en escenas de video...quedé muy sorprendido...además le pedí que no fuera condescendiente y me dio fuerte en muchos sitios donde mas dolía citando el pasaje, el minuto y creo recordar que incluso la imagen del video del momento que estaba analizando, y eran ciertos, ya con los que no acertó y pretendía engañarme le hice saber mi decepción por ello y reconoció que efectivamente algo había fallado en el reconocimiento de los enlaces, aunque vete tu a saber si solo me dio la razón.

Después esta Groveuhub donde te dan un esbozo corto y amable de tu tema. Este es gratis, de momento.

https://groovehubmusic.com/

Y también esta Grumpy Music donde también te dan un esbozo mas largo del tema, pero sin compasión, y te pueden hundir en la miseria. Este es de pago pero pero creo recordar que puedes conseguir ciertos créditos opinando o algo así, no estoy seguro.

https://grumpymusic.com/

Suerte si  pruebas todo esto.

Gracias Caesar
Iré probando y si no, no pasa nada. Algo he aprendido y es que si antes creía que sabia escuchar, ahora no es que sepa mas, pero como en el chiste... pero me fijo mas.
Me ha servido para entender que hay musica, sobre todo orquestal epica, que en esencia tiene trabajo en muchas capas, además de la post-produccion. Y en cierto sentido, también me ha servido, y me está sirviendo, para entender que las bibliotecas orquestales no "suenan" bien a la primera. Necesitan su "maquillaje" para cada ocasion.
Probaré tus enlaces.
Muchas gracias.

Las IA son cerebros virtuales. Se las puede entrenar para que prefieran el POP o el Rock o la música clásica o etc. Igual que a unas personas les gusta el Rock y a otras la música clásica. Porque es a lo que se han acostumbrado. Tendrías que decirle que juzgase tu música, por ejemplo, desde el punto de vista comercial o desde el sentimiento de relajación o estimulación.

atalmastalseguntal, para ello debería poder "escuchar" lo que hago, no?  Y ahí es donde veo que fallan.
Imagino que en parte, el segmento en el que estoy, no està demasiado "concurrido" a efectos de las IA.
Estoy jubilado, y ahora es cuando creo que puedo desarrollar, lo que toda mi vida he estado deseando, poder componer.
No estoy ni quiero estar en los circuitos comerciales, y la musica la hago para mi. O dedicada a alguna persona como sumo. Pero sin ninguna otra pretensión.
Sabemos, y certifico que es cierto, que el margen que deja la jubilación, no es para dar saltos de alegría ni para hacer grandes inversiones, (a veces ni pequeñas), y solo con el ordenador, aparatejos que he ido acumulando con el tiempo, y librerias, (que procuro sean la mayor parte gratuitas), se va una gran parte. Solo quedaba aprender, y que el colectivo me perdone, pero no estan las cosas para tener un profesor. Así que me he lanzado al autoaprendizaje, y al ver, (y suponer), las capacidades de las IA, pensé, pues puede ser una buena opción.
Y lo es. Tecnicamente. Solo queda que me pueda ir diciendo como ve, (o como oye), lo que voy haciendo.
Disculpad por el rollo.
Seguiré mirando y si veo algo que sirve para lo que necesito, insisto, fuera de circuitos comerciales, os aviso.

Todavia esta muy centralizada y limitada la IA. Pero es cuestión de tiempo que comiencen a salir plugins de todo tipo con la potencia de los servicios de pago. Se avecinan tiempos interesantes para los músicos, que no tendrán que pelearse tanto con la parte técnica. Poder plasmar lo que tienes en la cabeza y que suene de auténtico cine. Mientras unos seguirán llorando porque el vecino puede hacer mejores canciones que él pulsando un botón, otros sacarán el máximo partido porque podrán dedicar todo su tiempo y esfuerzo a crear música innovadora.

Marcusen escribió:

Mientras unos seguirán llorando porque el vecino puede hacer mejores canciones que él pulsando un botón

El vecino no hace las canciones.  Se las hace un programa de ordenador. 

El modelo Gemma 4 12B puede oír. No sé si está enfocado a comprender el habla o también a comprender música. Me gustaría probarlo. Pero LM Studio no está preparado para usar audio. ¿Alguien sabe como se puede usar el Gemma 4 12B con audio?

Acabo de enterarme de que realmente todavía no hay ninguna IA que pueda hacer algo parecido a escuchar música, ni siquiera Gemma 4 12B que solo analiza locuciones, tonos de voz  y cosas así y que la critica que Gemini me dio fue un relato en base a los perfiles que tiene Youtube que este si, de alguna forma crea, y que lo mismo pasa con las webs que dan criticas musicales con IA.

Esto es lo que me dicho Gemini:

Lo que SÍ puedo hacer (Análisis de contenido)
Identificar la letra: Si la canción es cantada y la voz es clara, puedo transcribir la letra o traducírtela.

Reconocer la estructura general del texto: Puedo decirte de qué trata la canción, el tema de la letra, el estado de ánimo general que transmite la voz (si suena triste, enérgica, melancólica) o el ritmo general de la conversación si fuera un podcast musical.

Lo que NO puedo hacer (Análisis acústico/ingeniería de audio)
Aquí es donde mis limitaciones como IA son absolutas y donde no debes confiar en mí para tus proyectos, porque no tengo oído acústico ni herramientas de medición. Yo no "escucho" frecuencias, ondas ni presión sonora. Por lo tanto, no puedo:

Decirte si una mezcla está balanceada o si le falta pegada en los graves.

Detectar problemas de fase, cancelaciones o distorsión.

Analizar la respuesta en frecuencia de un altavoz o el comportamiento acústico de una sala.

Diferenciar con precisión técnica el timbre exacto de un instrumento o si un mastering está comprimido en exceso (no puedo ver los valores RMS o LUFS de la pista).

Para analizar la música desde un punto de vista técnico, de producción o de mezcla, tus herramientas siguen siendo el software especializado y por supuesto, tu propio criterio auditivo.

Si el análisis que querías hacer de esos audios era puramente técnico o musical, lamento decirte que ni yo aquí ni Gemma 4 en local os vamos a servir para eso.

De esta conversación tambien concluyo que no puede analizar ni estructuras ni armonías ni nada en esos sentidos.

Espero ayude y lamento si induje a pensar que Gemini si podia de alguna forma escuchar, yo tambien lo creí.