Por lo que dices, el problema no es de la memoria RAM sino del CPU, al abrir muchos plugins el procesador tiene mucha mas carga de procesamiento hasta el punto en que no puede realizar todos los cálculos requeridos, por ese motivo te aparece el aviso de sobrecarga de CPU.
En ese caso te convendría pasar esos instrumentos virtuales, procesos de plugins, etc a audios ya procesados, de esa manera le liberas carga al CPU.
1
Sabes yo tengo un problema similar , Actualmente estoy usando Protools 11 y en algunas sesiones me salta este error , incluso me para la reproducción , en mi caso en las preferencias ni por ningún lado veo la manerade asignarle los nucleos de mi CPU a Protools , Tengo 16 GB de Ram DDR3 a 1333 GHZ y CPU de 8 nucleos 4.0 GHZ a mi en lo personal se me hace bastante PC para que me este ocurriendo esto , he Abierto la ventanita de recusros de Protools y los 8 nucleos me aparecen trabajando como al 20% mas o menos promedio hasta 30 % y ocilando , Asi que no parece que estuvira cargado pero aun asi de pronto se traba y salta ese Mensaje de Error , Ojala Alguien nos pueda Ayudar con este problema!