El mayor problema que le veo es identificar los puntos (pixels) que "pertenecen" a la imagen de la bandera y cuales no. La mayor dificultad que le veo es detectar el "color" ya que este varía dependiendo de la iluminación. Claro que, sabiendo que la bandera no se va a mover se puede acotar bastante y facilitarlo.
Si se sabe que el fondo va a ser estático (cuidado con los pájaros y las nubes...) se podría "enmascarar" la bandera fácilmente simplemente comparando el color de los puntos entre dos fotogramas ya que si este cambia es que la bandera se ha movido. Claro que debería establecerse un rango de "error aceptable" de forma que si cambia el color levemente no se asuma como movimiento sino como cambio en la iluminación. Si no cambia puede asumirse que es el fondo. A partir de ahí pueden buscarse los bordes (cadenas de puntos que se han movido) y medir la diferencia.
La forma de implementarlo no la tengo muy clara, no obstante.
