Otra pregunta: ¿deseas poder eliminar una de las filas indicando tú su "índice" (0, 1, 2..) o indicando su contenido ('manzana', 'naranja'...)?
Las soluciones que te proponen
maeyanes y
dec son buenas, siempre que no te importe que la línea en cuestión también sea borrada del Memo.
dec: con IndexOf te ahorras el ciclo for.