Меня зовут Юрий Перевезенцев, я руковожу агентством Digital Impuls в Москве. Мы делаем сайты и Telegram-ботов для клиентов, а ботов потом сами держим на своём VPS. Каждый бот живёт в Docker-контейнерах, управляем ими через Portainer: это веб-панель, в которой видно все контейнеры и их состояние.
Portainer удобен, когда в него заходишь. Но заходить каждый день и проверять глазами не хочется, а узнавать о падении бота от клиента ещё меньше. Поэтому у нас на сервере работают три небольших bash-скрипта проверки и ещё один для отправки сообщений. Проверки молчат, пока всё в порядке, и пишут в Telegram, когда что-то сломалось. Ниже эти скрипты в упрощённом и обезличенном виде, с разбором каждой строки, установкой и проверкой.
Почему не Prometheus и Grafana
Prometheus собирает метрики: загрузку процессора, память, число запросов и многое другое. Grafana рисует по ним графики. Чтобы получать уведомления, к ним добавляют Alertmanager. Связка мощная, но для одного сервера это ещё несколько сервисов, которые надо настроить, обновлять и за которыми тоже надо следить.
Нам на первом этапе нужен был ответ на простой вопрос: работает или нет. Для него хватает того, что уже есть на любом Linux-сервере. Bash выполняет скрипты, curl делает HTTP-запросы, а cron запускает всё это по расписанию.
Как это устроено
Схема такая:
- tg-send.sh отправляет текст в Telegram. Остальные скрипты вызывают его.
- container-alert.sh раз в день ищет контейнеры, которые упали, перезапускаются по кругу или не проходят проверку здоровья.
- site-alert.sh каждые 10 минут открывает список сайтов и пишет, если какой-то перестал отвечать.
- docker-net-alert.sh раз в час проверяет сетевые правила Docker. Зачем это нужно, расскажу в отдельном разделе, там у нас была настоящая авария.
Главное правило: нет сообщения, значит, всё работает. Если бот каждые 10 минут сообщает, что всё хорошо, через неделю его перестают читать и пропускают настоящую проблему.
Подготовка: бот, chat_id и файл с секретами
Создаём бота
Бот создаётся через официального бота Telegram @BotFather командой /newbot, порядок описан в документации Telegram. В конце BotFather выдаст токен: строку вида 123456789:AAAA.... Кто знает токен, тот управляет ботом, поэтому в код и в репозиторий его не кладём.
Узнаём chat_id
chat_id это номер чата, куда бот будет писать. Напишите своему боту любое сообщение, затем откройте в браузере адрес:
https://api.telegram.org/bot<ВАШ_ТОКЕН>/getUpdates
Метод getUpdates из Telegram Bot API вернёт последние сообщения боту. Найдите в ответе фрагмент "chat":{"id":...}, это число и есть chat_id. Если хотите получать уведомления в группу, добавьте бота в группу и сделайте то же самое: у групп chat_id отрицательный.
Файл с секретами
Токен и chat_id храним в отдельном файле, который может читать только root. Создайте каталоги и откройте файл в редакторе:
mkdir -p /etc/monitoring /opt/monitoring nano /etc/monitoring/telegram.env
Содержимое файла:
TG_TOKEN=123456789:AAAA-ваш-токен TG_CHAT_ID=123456789 TG_PROXY=
После сохранения закройте файл для всех, кроме владельца:
chmod 600 /etc/monitoring/telegram.env
Права 600 значат: читать и менять файл может только владелец, то есть root. Редактор здесь лучше, чем echo в терминале: команда с токеном не останется в истории оболочки.
Переменная TG_PROXY нужна не всем. Если исходящие запросы с сервера к api.telegram.org
идут через SOCKS-прокси, укажите его здесь в виде адрес:порт. Если сервер обращается к Telegram напрямую, оставьте значение пустым.
Отправка сообщения: tg-send.sh
#!/bin/bash
# Отправляет в Telegram текст из первого аргумента.
set -u
ENV_FILE=/etc/monitoring/telegram.env
TOKEN=$(grep -m1 '^TG_TOKEN=' "$ENV_FILE" | cut -d= -f2-)
CHAT=$(grep -m1 '^TG_CHAT_ID=' "$ENV_FILE" | cut -d= -f2-)
PROXY=$(grep -m1 '^TG_PROXY=' "$ENV_FILE" | cut -d= -f2-)
opts=(-s -m 15)
[ -n "$PROXY" ] && opts+=(--socks5-hostname "$PROXY")
if curl "${opts[@]}" \
--data-urlencode "chat_id=$CHAT" \
--data-urlencode "text=$1" \
"https://api.telegram.org/bot$TOKEN/sendMessage" | grep -q '"ok":true'; then
exit 0
fi
echo "tg-send: не удалось отправить сообщение" >&2
exit 1
Что здесь происходит:
- set -u останавливает скрипт, если он обращается к переменной, которой нет. Так опечатка в имени не превратится в тихую ошибку.
- Значения достаём через grep и cut, а не командой source. Файл с секретами только читается, но не выполняется как код. grep -m1 '^TG_TOKEN=' берёт первую строку, которая начинается с имени переменной, а cut -d= -f2- отрезает всё до первого знака равенства.
- opts это массив параметров curl. -s убирает индикатор загрузки, -m 15 ограничивает запрос 15 секундами, чтобы скрипт не завис. Если задан прокси, добавляется --socks5-hostname: с ним даже имя api.telegram.org разрешает в адрес сам прокси, а не сервер.
- Метод sendMessage принимает chat_id и text. Ключ --data-urlencode кодирует текст, поэтому переносы строк, пробелы и кириллица доходят без искажений.
- Telegram отвечает JSON, в котором при успехе стоит "ok":true. Мы проверяем именно это, а не просто то, что curl завершился без ошибки: при неверном токене сервер тоже ответит, но с "ok":false.
Описание всех ключей curl есть в официальном руководстве.
Проверка контейнеров: container-alert.sh
#!/bin/bash
# Раз в день: есть ли контейнеры, которые упали, перезапускаются или нездоровы.
set -u
PROBLEMS=$(docker ps -a --format '{{.Names}}: {{.Status}}' \
| grep -E 'Restarting|Exited|Created|Dead|Paused|unhealthy')
[ -z "$PROBLEMS" ] && exit 0
/opt/monitoring/tg-send.sh "Сервер $(hostname): проблемные контейнеры
$PROBLEMS"
Скрипт короткий, вся работа в первой команде. docker ps -a выводит все контейнеры, включая остановленные (без -a видны только запущенные, а нам интересны как раз остальные). Ключ --format задаёт вид строки: имя контейнера и его статус. Подробности в справке по docker ps.
Статус выглядит как Up 3 hours (healthy) или Exited (1) 2 hours ago.
grep -E оставляет только строки с плохими словами:
- Exited: контейнер остановлен. Упал сам или его остановили.
- Restarting: процесс внутри падает, а Docker перезапускает его снова и снова.
- Created: контейнер создан, но так и не запустился.
- Dead: Docker не смог корректно остановить или удалить контейнер, обычно из-за занятых ресурсов.
- Paused: контейнер приостановлен командой docker pause.
- unhealthy: контейнер работает, но не проходит проверку здоровья. Такая проверка задаётся инструкцией HEALTHCHECK в Dockerfile или в compose-файле. Если её нет, статус unhealthy не появится никогда.
Если grep ничего не нашёл, переменная пустая, и скрипт тихо выходит. Иначе уходит сообщение такого вида:
Сервер my-vps: проблемные контейнеры shop-bot-app-1: Exited (1) 3 hours ago shop-bot-redis-1: Restarting (1) 12 seconds ago
У нас этот скрипт запускается раз в день, в 09:00 по Москве: утром смотришь сводку и разбираешься. Запускать его можно и чаще, но учтите, что он ничего не запоминает. Пока проблему не починили, сообщение будет приходить при каждом запуске.
Проверка сайтов: site-alert.sh
#!/bin/bash
# Каждые 10 минут: открываются ли сайты. Пишет только о новых падениях.
set -u
SITES="
https://example.com/
https://shop.example.com/
https://api.example.com/health
"
STATE=/var/lib/monitoring/sites.down
probe() {
curl -sL -m 20 -o /dev/null -w '%{http_code}' "$1" 2>/dev/null
}
mkdir -p "$(dirname "$STATE")"
touch "$STATE"
down_now=""
declare -A CODE
for url in $SITES; do
code=$(probe "$url")
if [[ ! "$code" =~ ^[23] ]]; then
sleep 10
code=$(probe "$url")
if [[ ! "$code" =~ ^[23] ]]; then
down_now+="$url"$'\n'
CODE[$url]=$code
fi
fi
done
new_state=$(printf '%s' "$down_now" | sort)
old_state=$(sort "$STATE")
newly_down=$(comm -13 <(echo "$old_state") <(echo "$new_state") | grep . || true)
# Новых падений нет: молча обновляем список (поднявшиеся сайты из него уходят).
if [ -z "$newly_down" ]; then
printf '%s\n' "$new_state" | grep . > "$STATE" || : > "$STATE"
exit 0
fi
MSG="Сайт недоступен:"
while IFS= read -r url; do
code=${CODE[$url]:-000}
if [ "$code" = "000" ]; then code="нет ответа"; else code="HTTP $code"; fi
MSG+=$'\n'"$url: $code"
done <<< "$newly_down"
# Список обновляем только после успешной отправки, иначе в следующий раз попробуем снова.
if /opt/monitoring/tg-send.sh "$MSG"; then
printf '%s\n' "$new_state" | grep . > "$STATE" || : > "$STATE"
exit 0
fi
exit 1
Этот скрипт сложнее, потому что запускается каждые 10 минут. Без памяти он присылал бы одно и то же шесть раз в час, пока сайт лежит. Разберём по частям.
Список сайтов. SITES содержит адреса по одному в строке. Для приложения можно указывать не главную страницу, а служебный адрес вроде /health, если он у вас есть.
Функция probe. Делает запрос и возвращает только HTTP-код ответа. -L идёт по перенаправлениям, так что переезд с http на https не считается ошибкой. -o /dev/null
выбрасывает тело страницы, -w '%{http_code}' печатает код. Если сервер не ответил совсем, curl вернёт 000.
Повторная проверка. Рабочими считаем коды, которые начинаются с 2 или 3 (успех и перенаправление). Если пришло что-то другое, скрипт ждёт 10 секунд и спрашивает ещё раз. Одна случайная ошибка сети не должна будить человека. Только если сайт не ответил дважды, адрес попадает в down_now, а код запоминается в ассоциативном массиве CODE (это словарь, где ключом служит адрес, а значением – код).
Файл состояния. В /var/lib/monitoring/sites.down лежат сайты, о падении которых мы уже сообщили. Команда comm сравнивает два отсортированных списка, ключ -13 оставляет строки, которые есть только во втором, то есть в свежем. Это и есть новые падения. grep . убирает пустые строки, а || true не даёт пустому результату выглядеть как ошибка.
Восстановление. Когда сайт снова открывается, он просто исчезает из файла состояния, сообщения нет. Мы так решили осознанно: в чате остаются только проблемы. Если вам нужно уведомление о восстановлении, такие адреса можно получить той же командой с ключом comm -23.
Сохранение после отправки. Новое состояние записывается только если Telegram подтвердил доставку. Если сообщение не ушло, через 10 минут скрипт увидит то же падение как новое и попробует ещё раз.
Проверка сетей Docker: docker-net-alert.sh
Этот скрипт появился после аварии. На сервер повторно загрузили старый файл с правилами iptables, сохранённый за несколько месяцев до этого. iptables – это встроенный в Linux фильтр сетевых пакетов. Docker прописывает в нём правила для каждой своей сети. Одно правило подменяет адрес контейнера адресом сервера при выходе в интернет (это называется маскарадингом, MASQUERADE), другое разрешает пересылать пакеты из сети контейнеров наружу.
Старый файл стёр правила у всех сетей, созданных после его сохранения. Контейнеры в этих сетях продолжали числиться работающими, но не могли открыть ни одного нового соединения наружу. Первая проверка молчала, потому что статус у них был Up. Сам Docker правила не возвращает, это происходит при перезапуске демона Docker. Устройство правил описано в документации Docker про iptables.
#!/bin/bash
# Раз в час: на месте ли правила iptables у bridge-сетей Docker.
# Пишет, только когда список сломанных сетей изменился. С ключом -n печатает список и ничего не шлёт.
set -u
STATE=/var/lib/monitoring/docker-net.state
NAT=$(iptables -t nat -S POSTROUTING)
FWD=$(iptables -S DOCKER-FORWARD)
BROKEN=""
for id in $(docker network ls -q --filter driver=bridge); do
IFS='|' read -r name internal masq br subnets <<<"$(docker network inspect "$id" --format \
'{{.Name}}|{{.Internal}}|{{index .Options "com.docker.network.bridge.enable_ip_masquerade"}}|{{index .Options "com.docker.network.bridge.name"}}|{{range .IPAM.Config}}{{.Subnet}} {{end}}')"
[ "$internal" = true ] && continue
[ "$masq" = false ] && continue
[ -n "$br" ] || br="br-$id"
miss=""
for s in $subnets; do
case "$s" in *:*) continue ;; esac
grep -qF -- "-s $s ! -o $br -j MASQUERADE" <<<"$NAT" || miss="nat"
done
grep -qF -- "-i $br -j ACCEPT" <<<"$FWD" || miss="$miss forward"
[ -n "$miss" ] && BROKEN+="$name (${miss# })"$'\n'
done
BROKEN=$(printf '%s' "$BROKEN" | sort)
if [ "${1:-}" = "-n" ]; then
printf '%s\n' "$BROKEN"
exit 0
fi
mkdir -p "$(dirname "$STATE")"
[ "$BROKEN" = "$(cat "$STATE" 2>/dev/null)" ] && exit 0
if [ -z "$BROKEN" ]; then
MSG="Сервер $(hostname): правила iptables снова есть у всех сетей Docker"
else
MSG="Сервер $(hostname): у сетей Docker нет правил iptables, контейнеры в них не могут открыть соединение наружу
$BROKEN
Починка: systemctl restart docker (перезапустит все контейнеры)."
fi
/opt/monitoring/tg-send.sh "$MSG" && printf '%s' "$BROKEN" > "$STATE"
Как это работает:
- iptables -t nat -S POSTROUTING и iptables -S DOCKER-FORWARD выводят текущие правила в виде текста. Их мы потом ищем через grep.
- docker network ls -q --filter driver=bridge даёт идентификаторы обычных сетей Docker. Для каждой docker network inspect достаёт имя, признак внутренней сети, настройку маскарадинга, имя сетевого моста на сервере и диапазоны адресов.
- Внутренние сети (internal) и сети с отключённым маскарадингом наружу не ходят по замыслу, их пропускаем. Если имя моста не задано явно, Docker называет его br- плюс идентификатор сети.
- Для каждого диапазона IPv4 ищем правило MASQUERADE, а для моста ищем разрешение на пересылку. Чего не хватает, записываем рядом с именем сети.
- Как и проверка сайтов, скрипт помнит прошлый результат и пишет, только когда список сломанных сетей изменился. Когда всё починили, приходит одно сообщение, что правила вернулись.
Установка и расписание в cron
Скопируйте четыре скрипта в /opt/monitoring/ и сделайте их исполняемыми:
chmod 700 /opt/monitoring/*.sh
cron – это служба, которая запускает команды по расписанию. Расписание записывается пятью полями: минута, час, день месяца, месяц, день недели. Звёздочка в поле подходит под любое значение, а */10 в поле минут означает запуск каждые 10 минут. Задания для всех скриптов удобно держать в одном файле /etc/cron.d/monitoring:
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin 0 6 * * * root /opt/monitoring/container-alert.sh >> /var/log/monitoring.log 2>&1 */10 * * * * root /opt/monitoring/site-alert.sh >> /var/log/monitoring.log 2>&1 7 * * * * root /opt/monitoring/docker-net-alert.sh >> /var/log/monitoring.log 2>&1
Пояснения к файлу:
- В файлах из /etc/cron.d после времени указывается пользователь, от имени которого выполняется команда. Здесь это root. Формат описан в man 5 crontab.
- Строка PATH нужна, потому что cron запускает команды с очень коротким списком каталогов для поиска программ. Без неё скрипт может не найти iptables, который обычно лежит в /usr/sbin.
- 0 6 * * * означает 06:00 по времени сервера. У нас сервер работает в UTC, поэтому это 09:00 по Москве. Часовой пояс своего сервера можно посмотреть командой timedatectl.
- Проверка сетей идёт в 7 минут каждого часа, чтобы не совпадать по времени с другими задачами в начале часа.
- >> /var/log/monitoring.log 2>&1 дописывает в журнал всё, что скрипты вывели, включая ошибки. Пока всё работает, скрипты молчат, поэтому журнал растёт только тогда, когда что-то пошло не так.
Проверяем, что всё работает
Сначала отправка. Эта команда должна прислать сообщение в ваш чат:
/opt/monitoring/tg-send.sh "Проверка связи"
Потом проверка контейнеров. Создаём контейнер, который сразу завершится с ошибкой, запускаем скрипт и убираем контейнер:
docker run -d --name alert-test alpine sh -c 'exit 1' /opt/monitoring/container-alert.sh docker rm alert-test
В Telegram должна прийти строка alert-test: Exited (1) ....
Для проверки сайтов временно добавьте в SITES заведомо несуществующий адрес, например, https://example.invalid/, и запустите скрипт. Придёт сообщение, где вместо кода ответа написано, что ответа нет. Повторный запуск должен промолчать: о падении уже сообщили. Уберите адрес, запустите ещё раз, и он тихо исчезнет из /var/lib/monitoring/sites.down.
Проверку сетей запустите с ключом -n:
/opt/monitoring/docker-net-alert.sh -n
На исправном сервере вывод пустой. Через сутки загляните в /var/log/monitoring.log: если там пусто, cron запускает скрипты без ошибок.
Ограничения подхода
У решения есть слабые места, и о них лучше знать заранее.
Сервер не сообщит о собственной смерти. Скрипты работают на том же VPS, за которым следят. Если он выключился или завис целиком, писать будет некому. Здесь нужна проверка снаружи: со второго сервера или из внешнего сервиса проверки доступности.
Канал уведомлений зависит от того же сервера. Если сообщения идут через прокси в контейнере и сломается сеть именно у этого контейнера, тревога не уйдёт. Поэтому в рабочей версии мы перебираем несколько маршрутов отправки по очереди, пока один не сработает.
Нет истории и метрик. Скрипты знают, работает ли что-то прямо сейчас, но не скажут, когда сайт начал тормозить или сколько памяти съел контейнер. Заполненный диск или нехватку памяти они тоже не увидят, пока из-за этого что-нибудь не упадёт.
Остановленные контейнеры считаются проблемой. Если вы сами остановили контейнер и оставили его, он будет в утренней сводке каждый день. То же с одноразовыми контейнерами, которые запускаются, делают работу и завершаются. Ненужные контейнеры лучше удалять командой docker rm.
Сайты проверяются по очереди. На каждый уходит до 20 секунд, а на упавший до 50 с повторной попыткой. Для десятка адресов это не важно, для сотни запуск может не уложиться в 10 минут.
Когда пора переходить на полноценный мониторинг
Скрипты перестают справляться, когда простого ответа, работает сервис или нет, становится мало. Признаки такие:
- серверов несколько, и за каждым нужен одинаковый присмотр;
- нужна история: когда начались проблемы, как менялось время ответа, сколько сайт был недоступен за месяц;
- хочется получать предупреждение заранее, по порогам: диск заполнен на 90%, память на исходе;
- за сервисы отвечает команда с дежурствами, и уведомления нужно распределять между людьми;
- клиенту нужно показывать доступность в цифрах.
Тогда стоит смотреть на Prometheus с экспортёрами метрик для сервера и контейнеров, Alertmanager для уведомлений и Grafana для графиков. Если нужна только доступность сайтов, но с историей и страницей статуса, есть более лёгкие самостоятельные инструменты, например, Uptime Kuma.
Пока у вас один сервер и вопрос стоит так же, как у нас, четырёх скриптов и одного файла в /etc/cron.d хватает. Пока всё работает, о них просто не вспоминаешь.
Изображение на обложке: автор статьи, генерация через Seedream 4.5
Комментарии