[_cero_]

Pues para trabajar con procesos del sistema se usa la función “EnumProcesses” (te lista los procesos que corren en tu sistema), si le gogleas encontraras muchos ejemplos de esta.

Te dejo un código que hace lo que pretendes ponlo donde mejor te paresca:

		DWORD lista[1024];
		HANDLE proceso;
		char buffer[MAX_PATH + 1];
		DWORD l;
		int ii=0;

		if (!EnumProcesses(lista, sizeof(lista), &l)) {
		  Application->Terminate();
		}
		l = l / sizeof(DWORD);
		for (int i = 0; i<l; i++) {
		  proceso = OpenProcess(PROCESS_QUERY_INFORMATION | PROCESS_VM_READ
		  | PROCESS_TERMINATE,FALSE,lista[i]);
		  if (proceso != NULL) {
			if (GetModuleFileNameEx(proceso,NULL,buffer,sizeof(buffer)-1)) {
			  if (StrIComp(buffer, Application->ExeName.c_str())==0){
				ii++;
				if (ii>1) {
				  Application->Terminate();
				}
			  }
			}
			CloseHandle( proceso );
		  }
		}

Nota: yo coloco esto cuando el form principal aun no se crea, es decir en el cpp de la aplicación, pero también podrías ponerlo en el onCreate de tu form principal, en el onShow, etc.