¿Exactamente qué icono quieres quitar?
La mayoría de los programas que se inician con Windows, están añadidos en el registro, en el grupo de inicio o en algun fichero INI. Elimib¡nando esas referencias evitarás que se inicien automáticamente.
Existen muchos programas en Internet que te ayudan a hacer ésto; Por ejemplo:
http://www.windowsstartup.com/
CUIDADO si eliminas elementos, no vayas a eliminar alguno necesario.