Ya lo he solucionado, el problema estaba en esta linea:
Código Delphi
[-]Port := EdPuertoSMTP.IntValue;
se ve que el componente no convierte bien a integer. Se soluciona cambiandolo por esto:
Código Delphi
[-]Port := StrToInt(EdPuertoSMTP.Text);
Los edits que uso son los del TMS Component Pack, y traen ciertas propiedades interesantes, entre ellas convertir lo que hay en la caja de texto a entero o real, además son mas bonitos.