Sí, hay que estar interesado o muy aburrido
porque normalmente casi todos tienen siempre en funcionamiento un usuario que no es root y necesita la clave para hacer trastadas.
Pero si alguien está interesado (y tiene los conocimientos) no le resultará demasiado complejo saltarse esas limitaciones.
Ninguno de mis clientes (prácticamente todos tienen servidores linux) ha tenido nunca ningún problema de ese tipo, pero ya te digo, siempre cambiamos las claves del router.