Glifbot

Робот поисковой системы «Глиф» — glif.by

Glifbot в логах сайта — это робот поисковой системы «Глиф». Он строит поиск по белорусским сайтам: обходит только зоны .BY и .БЕЛ, читает открытые страницы и собирает из них поисковый индекс. Сервис пока в разработке.

Как опознать робота Он приходит со строкой:

Mozilla/5.0 (compatible; Glifbot/0.1; +https://glif.by/bot)

Постоянного IP-адреса у робота нет, поэтому проверить его по адресу нельзя. Принадлежность подтверждается по письму на почту, указанную внизу страницы.

Что робот делает

Скачивает только HTML-страницы. Картинки, стили, шрифты и скрипты не загружает.
Заходит не чаще одного раза в секунду на один сайт, а обычно реже.
Читает robots.txt перед обходом и соблюдает его, включая Crawl-delay.
Возвращается к страницам, чтобы обновлять данные: часто меняющиеся — чаще, редкие — раз в несколько месяцев.

Чего робот не делает

Не обходит капчи, пароли и любые защиты: закрытые страницы для робота просто не существуют.
Не заполняет формы, не нажимает кнопки, не делает заказов.
Не создаёт заметной нагрузки: крупные сайты обходятся частями в течение нескольких дней.
Не собирает содержимое ради перепечатки: в выдаче показываются короткие фрагменты и ссылка на источник.

Как ограничить или запретить обход

Достаточно правил в файле robots.txt в корне сайта. Изменения учитываются в течение суток — файл перечитывается перед каждым обходом, но не чаще раза в день.

Полностью запретить обход:

User-agent: Glifbot
Disallow: /

Закрыть отдельные разделы:

User-agent: Glifbot
Disallow: /cart/
Disallow: /search/

Попросить заходить реже — не чаще одного запроса в 10 секунд:

User-agent: Glifbot
Crawl-delay: 10

Работают и общие правила для всех роботов (User-agent: *) — отдельное имя указывать не обязательно.

Как убрать сведения о сайте из поиска

Достаточно письма с адреса, связанного с сайтом, или сообщения через форму обратной связи на самом сайте. В письме нужно указать, что именно удалить: отдельные страницы, сведения об организации или весь сайт целиком. Данные удаляются, а указанные адреса исключаются из обхода. Срок ответа — три рабочих дня.

Это же касается персональных данных, опубликованных на сайте: по такому письму они удаляются и в поиск не попадают.

Контакт

Почта: bot@glif.by. Язык письма — русский, белорусский или английский.

Что указать в письме, какие сроки ответа и образец заявления — на странице обращений.

About Glifbot (English)

Glifbot is the crawler of Glif (glif.by), a search engine for Belarusian websites. It visits only the .BY and .БЕЛ domain zones and reads publicly available pages to build a search index. The service is under development.

The crawler identifies itself as:

Mozilla/5.0 (compatible; Glifbot/0.1; +https://glif.by/bot)

It requests HTML only — no images, styles, fonts or scripts — at no more than one request per second per site, and it obeys robots.txt, including Crawl-delay. It never bypasses captchas, logins or any protection, and never submits forms.

To block it completely, add this to the site’s robots.txt:

User-agent: Glifbot
Disallow: /

Changes take effect within a day. The crawler has no fixed IP address, so it cannot be verified by IP — to confirm whether a visitor is really this crawler, write to the address below.

To have a site or specific pages removed from the index, write to bot@glif.by from an address connected to the site. Replies are sent within three working days.