Hola,
Parece que el error no se produce en la compilación, sino en el "enlazado". Según leo el problema puede darse por intentar incluir recursos (.res) de 16 bits en un ejecutable de 32 bits. La solución pasa por quitar los recursos problemáticos, o convertirlos a 32 bits. También podrías probar a ejecutar el programa "paso a paso" y tratar de localizar concretamente dónde está el problema.
PD. Esto lo digo luego de buscar en Google por
RLink32 Out of Memory.