[FreeLander]

заранее прошу прощения если скажу глупость)
что-то подобное есть у FlashGet, если кто не знает, это даунлоадер такой.
к сожалению сейчас он не под рукой, но точно помню что там есть кнопка, что-то вроде "SiteViewer", после нажатия которой вводится урл сайта, который Вы хотите просканировать. я её несколько раз юзал, и несколько раз получал в итоге структуру каталогов на сервере. Естественно увидеть структуру вы можете только тогда, когда эта фича не прикрыта на сервере.

сразу оговорюсь, что понятия не имею о том, по какому принципу она работает, это просто реплика, как мне кажется, в тему.