Следим за роботами с LiveInternet.ru (в том числе за YaDirectBot)
В сервисе статистики LiveInternet.ru есть скрипт для слежки за роботами. Если его немножко модифицировать, то прямо в интерфейсе LiveInternet.ru можно получать немножко больше информации. В том числе можно следить за роботом Яндекс-Директа (YaDirectBot).
Сам скрипт: http://ivanov.in/mm/li_spider_check.php.txt
Установка: вариантов много; главное, чтобы скрипт выполнялся при каждом обращении к интересующим нас страницам. Например, втыкаем во все страницы такой код:
<!-- <?php include('/путь от корня/li_spider_check.php'); ?> -->
И в самом скрипте надо надо поправить предпоследнюю строчку — вписать свой основной домен, который зарегистрирован на счетчике LiveInternet.ru:
new LiveinternetSeTracker('ваш-домен.tld');
Не сомневаюсь, что можно было бы запрограммировать это все как-нибудь красивше (например, запихать робота Яндекс-Директа вместо какой-нибудь почившей в Бозе поисковой системы), но работает — и ладно. 8)
После этого запихиваем какую-нибудь страницу в Аддурилку Яндекса — чтобы было хотя бы одно посещение робота (в данном случае, простукивалка по имени Yandex/1.03.003+(compatible;+Win16;+D)), через пару минут идем в интерфейс счетчика: экспресс-аудит > Просмотр страниц поисковыми системами и видим результаты.
Пример результатов:
Пустая «поисковая система» (где 34 посещения) — это как раз и есть посещения робота Яндекс-Директа (YaDirectBot).
Жмем на ссылку показать страницы (ХХ) и видим подробную таблицу:
Оригинальный скрипт не позволяет никуда вписывать исходный User-agent робота, поэтому я его запихиваю в URL посещенной страницы после решетки (#). На этой странице мы видим четыре посещения заметно активизировавшегося в последнее время робота Рамблера, по одному посещению индексаторов Яндекса и Гугла и одно посещение роботом Яндекс-Директа моего предыдущего поста.
Эта статья может очень пригодиться партнерам Рекламной Сети Яндекса, для участия в которой
рекомендую Центр обслуживания партнеров MixMarket.biz. Регистрация здесь.
Зачем следить за роботом Директа?
Ответил на Форуме. Например, чтобы его впустую не гонять.
[…] “Мануал по составлению семантического ядра” “О вреде плохих ссылок” “Следим за роботами с LiveInternet.ru (в том числе за YaDirectBot)” “ПР чекер мечты” […]
а не может ли этот скрипт привести к бану сайта?
если робот Яндекса почует что его вычисляют (подумает что с целью клоакинга - Яша то у нас подозрительный) и сработает фильтр.
все это не просто слова, я недавно установил себе этот скрипт и через несколько дней сайт пропал из индекса Больше никаких изменений на сайте не было по этому грешу тольуо на этот скрипт.
ЗЫ: что самое интересное в выдаче сайт есть а из индекса пропал мимолетом все 8000 страниц
Нет, не может.
Если такое случится, то я буду очень долго смеяться=)))
Что-то у меня ничего не ловит, хотя роботы на сайт заходят. В чем проблема?
Трудно сказать на расстоянии. У меня сейчас ровно тот же скрипт отлично работает.
Возможные причины:
- на вашем хостинге нет PHP или закрыты сокеты (попробуйте запустить скрипт непосредственно по адресу расположения файла и посмотрите не отдаются ли ошибки);
- вы неверно указали путь к скрипту (впрочем, это дало бы, скорее всего, соответствующее сообщение об ошибке);
- вы еще как-нибудь ошиблись при подключении скрипта (например, вставили его в необрабатываемый PHP’ом файл и т. п.; посмотрите в код страниц, которые вы получаете браузером — на месте вставки скрипта должен быть просто пустой комментарий: <!-- -->).
Добавить комментарий »