Pues es difícil de saber si no podemos ver ese servidor, es como ser adivinos
En cuanto a que haya gente que diga que es lento, eso es algo irrelevante, es como decir que hay mucha gente que dice que windows es fabuloso y otros dicen que es una basura
Hace falta conocer cada caso concreto.
Porque supongamos que es algo menos rápido, además has cambiado de ext3 a ext4 (por poner un simple ejemplo de cosa que se puede cambiar), entonces sería normal que no fuese tan rápido, pero estamos hablando de milésimas de segundo.
Personalmente, puedo decir que ningún cliente de los que tenían fb1.5 han notado nada al cambiar a fb2.5, todo son linux y bases de datos bastante grandes.