[Alex Wanderer]

Каждая поисковая система индексирует сайты по-своему, практич. каждая уважающая себя система имеет советы. Причем советы различаются.
Файл, о котором ты говорил обзывается не то robots.txt не то ROBOTS.TXT (посему у меня ОБА). Кладется в корень сайта. В нем даются правила что НЕ НАДО индексировать, т.е. игнорируемые каталоги. Иногда вписывают правила для каждого спайдера отдельно.
(Кстати, смотрел по логам, спайдеры действительно начинают знакомство именно с robots.txt)
Содержание моего:

# This is for every spider!
User-Agent: *
Disallow: /pic/ /cgi-bin/ /style/