un servidor http no publica de ninguna manera su estructura de directorios y/o archivos... quizas algunos tengan páginas (o scripts) que devuelvan esta información, pero no es parte del protocolo.
En cambio, un servidor ftp si que lo hace. Si tenes un servidor ftp, o podes instalarte uno, entonces podes usar el componentes TidFTPClient de las indy para listar archivos y directorios.
Hasta luego.