Fallos de memoria en Firebird (error 335544676)

[Casimiro Notevi]

Mira esta sección del fichero de configuración de firebird:

# ----------------------------
# Temporary space management
#
# Temporary storage is used by the sorting module, it's also
# intended to store temporary datasets etc.
#
# The parameters below handle the allocation and caching policy
# for the temporary space manager. In previous Firebird versions,
# they were prefixed with "SortMem" instead of current "Temp".
#
# The smallest block size being allocated in the temporary storage.
# This value reflects the allocation granularity.
#
# Type: integer
#
#TempBlockSize = 1048576

#
# The maximum amount of the temporary space that can be cached
# in memory.
#
# For Classic servers, this setting is defaulted to 8 MB.
# Although it can be increased, the value applies to each client
# connection/server instance and thus consumes a lot of memory.
#
# Type: integer
#
#TempCacheLimit = 67108864

Mira también esta respuesta de Hellen Borrie a alguien, es muy antigua, pero lo mismo te sirve.

También, obviamente, deberías mirar los procesos que se ejecutan en el sistema para localizar el problema, pues no sabes si ocurre con todos conectados o si ocurre también con que haya solamente 1 conexión.
Puede ser incluso, lo más habitual, provocado por un informe (reporte) que realiza varios "select *" de varias tablas grandes, ordenadas por campos sin índice, agrupados por campos sin índice, etc.

También deberías plantearte el cambiar el servidor a Linux e instalar una versión "classic", notarás mucho la diferencia.
100 conexiones no es nada, no deberías tener problema alguno.