Por lo que comentas y para asegurarme yo instalaría:
(1) EXE de la aplicación (si es que la has compilado sin "runtime packages")
(2) BDE (ya que accedes a Access a través de él). Aquí tienes cómo se puede instalar; lee éste artículo:
Deploy BDE
(3) MDAC 2.8 (creo que es la última versión) para asegurarte de que en el otro ordenador están actualizadas (opcional si el otro ya las tiene actualizadas)
MDAC 2.8
(4) JET4 si el otro ordenador no tiene instalado Access (opcional si el otro ordenador ya tiene access -está incluído tb en otros productos de Microsoft-)
Descarga del Service Pack más reciente de Jet 4.0
Creo que no necesitas nada más...