Si te decides a hacerlo de forma "artesanal" puede que necesites pasar algún filtro a la imagen antes de trabajar con ella. Por ejemplo, un filtro "sobel" para detectar los bordes, eliminaría el fondo de la imagen y haría mas fácil la comparación.
Aquí puedes encontrar algunos filtros:
http://delphi.jmrds.com/?q=node/23