Опять Robots

[Audax]

Хочу спросить тех кто использует robots

Как искать имена роботов для прописи в допуске к сайту, или для блокирования (disallow)?

Меня интересуют русские боты, в основном с Rambler & Yandex.
Если знаете еще какие то, может поможете?

Спасибо.

[Audax]

И на том спасибо.

[Artem Brigert]

Запретить определённому роботу индексацию сайта

User-agent: Sidewinder
Disallow: /




Разрешить определённому роботу индексацию сайта

User-agent: WebCrawler
Disallow:

Сорри нет времени, надо бежать уже

[Audax]

Не извиняйся. Запарка бывает у всех.
Кстати, я знаю как писать доступы роботов

Я спрашивал как узнать их имена, вот к примеру как ты узнал имя Sidewinder
...

[Artem Brigert]

смотри здесь

всё, что я нашёл.
Русские по хотлогу или спайлогу смотри