Los algoritmos de cifrado suelen tener variantes que son los esquemas de relleno. Las dos partes deben usar el mismo.
https://es.wikipedia.org/wiki/RSA#Esquemas
Por lo que veo la página que te funciona usa el esquema PSS.
Creo que por ahí van los tiros.