Parece que el problema es que al desinstalar el viejo firefox no elimino las asociaciones a los archivos. Asi que mejor lo eliminamos a mano, se puede hacer de dos maneras:
Vamos a "Herramientas>Opciones de carpeta>Tipos de archivo", ahi podemos decir con que programa queremos abrir cada tipo de archivo. Pero si prefieres empezar desde cero, borra el tipo de archivo html. Ahora ya no deberias de tener problema en realizar lo que tu querias.
La otra manera de hacerlo es ir directamente al registro de windows, y buscar la clave "HKEY_CLASSES_ROOT\.html" y borrarla. Y entonces seguir los pasos que describias al principio (Abrir con, etc ...)
Y si aun asi no funciona puedes darte una vuelta por la clave del registro "HKEY_CLASSES_ROOT\Applications" y buscar la clave que haga referencia al firefox y borrarla tambien. Ahora ya deberia de funcionar.
Por ultimo recuerda que puedo estar equivocado
asi que antes de borrar alguna de las claves que te indique no estaria mal que hicieras una copia de seguridad, pulsando con el boton derecho y seleccionando exportar.
Espero que con esto puedas solucionarlo