Mira, en cuanto a volúmenes en la mezcla puedes leerte esto que lo explica muy bien.
http://sonimus.com/articulos/tutoriales/8/los-volumenes-en-la-mezcla.html
esta forma de estructurar las ganancias de la mezcla es muy agradecida, y fácil de seguir.
En cuanto a la tarjeta, algo raro pasa. Puede ser en la configuración de reaper, porque lo normal es que si con un daw te da un volumen de entrada, con el otro tendría que darte uno similar, a lo mejor no exactamente igual, pero sí similar.
Igualmente te digo de los plugins, no puede ser que escuches mucha diferencia del mismo plugin entre un daw y otro. Algo sí que podrías notar, algo sutil y siempre que tuvieras unos monitores de gama alta y los behringer de gama alta no tienen nada, todo lo contrario.
Tiene pinta que estás entrando por mic, usando el previo de micro de la tarjeta y por eso te satura aunque lo pongas al minimo, y si entras por micro logicamente la impedancia de entrada no es la correcta y por eso puede ser que notes mucha diferencia con los plugins ¿no estarás entrando por cannon a la tarjeta directamente desde la guitarra, verdad?
Mira lo que dice el manual de tu tarjeta: "the Focusrite preamplifier stage is automatically configured for a microphone when you plug an XLR into the input, and for a line or instrument when you connect a jack plug."
Saludos