Настраиваем поисковые боты на сайте (форуме)

Во избежание искажения статистики посещаемости сайта иногда требуется вручную настроить список поисковых ботов.
Предлагается проверить, есть ли в настройках на Вашем сайте (или форуме) следующие поисковые боты (после знака «=» указана идентифицирующая подстрока бота в User-agent)
Mail.RU [Bot] = Mail.RU_Bot
MegaIndex [Bot] = MegaIndex.ru
Yandex [Bot] = YandexBot
Aspiegel [Bot] = AspiegelBot
YandexImages [Bot] = YandexImages
Ahrefs [Bot] = AhrefsBot
Если Вы добавили нового бота, а он не отображается в списке, то нужно очистить все сессии.
Рядом с кнопкой очистки сессий может быть такой текст:
Очистка таблицы сессий. Сессии всех пользователей, находящихся в данный момент на конференции, будут завершены, поэтому после выполнения данного действия им вновь придётся войти на конференцию, введя имя и пароль

Надо полагать, что AspiegelBot, принадлежащий Huawei, резко активизировался из-за того, что Китай стал строить свою медиа-империю в противовес Google из-за санкций США https://www.vesti.ru/doc.html?id=3265946 .

Запись опубликована в рубрике Без рубрики с метками , . Добавьте в закладки постоянную ссылку.

1 комментарий на «Настраиваем поисковые боты на сайте (форуме)»

  1. Программист говорит:


    Гость IP: 95.163.255.177 » Информация об IP-адресе
    Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots) Главная страница 33 минуты назад
    ГостьIP: 209.17.96.50 » Информация об IP-адресе
    Mozilla/5.0 (compatible; Nimbostratus-Bot/v1.3.2; http://cloudsystemnetworks.com) Главная страница 6 минут назад
    ГостьIP: 3.85.33.202 » Информация об IP-адресе
    MauiBot (crawler.feedback+wc@gmail.com) Просмотр профиля пользователя 4 минуты назад
    ГостьIP: 31.13.127.17 » Информация об IP-адресе
    facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php) Главная страница 47 минут назад
    ГостьIP: 173.252.95.5 » Информация об IP-адресе
    facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php) Главная страница 38 минут назад
    ГостьIP: 46.17.203.253 » Информация об IP-адресе
    Mozilla/5.0 (compatible; Konturbot/1.0; +http://kontur.ru; n.ilinykh@skbkontur.ru) Просмотр личного раздела 11 минут назад
    ГостьIP: 18.232.38.214 » Информация об IP-адресе
    CCBot/2.0 (https://commoncrawl.org/faq/) Просмотр темы в форуме «Официальные новости и общение с ответственными лицами ЖК Пятиречье» менее минуты назад
    ГостьIP: 167.71.81.122 » Информация об IP-адресе
    Mozilla/5.0 (compatible; NetcraftSurveyAgent/1.0; +info@netcraft.com)
    ГостьIP: 213.87.151.145 » Информация об IP-адресе
    WhatsApp/2.20.172 A Просмотр темы в форуме «Общие вопросы» Сегодня, 14:05
    ГостьIP: 195.211.23.209 » Информация об IP-адресе
    Mozilla/5.0 (compatible; vkShare; +http://vk.com/dev/Share) Просмотр форума «Доска объявлений» 4 минуты назад
    ГостьIP: 5.62.18.98 » Информация об IP-адресе
    Screaming Frog SEO Spider/12.0 Главная страница Сегодня, 14:27
    ГостьIP: 49.7.21.113 » Информация об IP-адресе
    Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07) Главная страница Сегодня, 10:40
    ГостьIP: 54.208.102.37 » Информация об IP-адресе
    Mozilla/5.0 (compatible; DuckDuckGo-Favicons-Bot/1.0; +http://duckduckgo.com) Главная страница 13 минут назад
    ГостьIP: 46.4.122.197 » Информация об IP-адресе
    Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/) Размещение ответа в форуме «Деденево, Целеево и всё, что рядом» 46 минут назад
    ГостьIP: 95.216.96.245 » Информация об IP-адресе
    Mozilla/5.0 (compatible; SEOkicks; +https://www.seokicks.de/robot.html) Просмотр форума «Дом 1 (четвертая очередь) и дома следующих очередей» Сегодня, 09:28
    Гость IP: 93.171.203.15 » Информация об IP-адресе
    Mozilla/5.0 (compatible; PR-CY.RU; + https://a.pr-cy.ru) Главная страница Вчера, 22:07
    Гость IP: 93.171.202.244 » Информация об IP-адресе
    Validator.nu/LV Главная страница Вчера, 22:07
    Имя пользователя Гость IP: 62.210.143.10 » Информация об IP-адресе
    Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)
    Место в конференции Просмотр темы в форуме «Компьютерные вопросы. Интернет»
    Последнее изменение Сегодня, 06:09
    Гость IP: 206.253.224.74 » Информация об IP-адресе
    Mozilla/5.0 (compatible; oBot/2.3.1; http://www.xforce-security.com/crawler/) Главная страница Сегодня, 09:57
    Гость IP: 85.25.217.229 » Информация об IP-адресе
    Linguee Bot (http://www.linguee.com/bot; bot@linguee.com) Просмотр темы в форуме «Творчество» менее минуты назад
    Имя пользователя Гость IP: 199.16.157.183 » Информация об IP-адресе
    Twitterbot/1.0
    Место в конференции Просмотр темы в форуме «Новое шоссе, дом 12»
    ГостьIP: 207.200.8.182 » Информация об IP-адресе
    LightspeedSystemsCrawler Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US) Просмотр FAQ Сегодня, 16:34
    Гость IP: 173.231.59.200 » Информация об IP-адресе
    Mozilla/5.0 (compatible; Adsbot/3.1) Просмотр форума «Путевые заметки» Сегодня, 18:48

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.