A parte de lo dicho, yo
echo en falta memoria para ese servidor (W2003 Server + SQL Server ==> 2 GB poco
).
Al precio que va hoy en día la RAM yo aumentaría esa cantidad.
Revisa tráfico de red y tiempos de respuesta, no sea que venga por ahí y no por el servidor en sí.