Logs!!!!!
Logs por todos lados.
Logeo tambien los SQL, las entradas y salidas de procesos, llamadas a cosas importantes, etc.
Y ahora con servicios como
http://loggr.net/ es posible ver el log y demás datos remotamente (ahora estoy pensando en poner metricas y otras cosas. Estoy es mirando como anonimizar de forma correcta)
De todo lo que se puede hacer, tener logs de las apps es lo que mas me ha salvado.