Мониторинг Docker-контейнеров и сайтов на одном VPS без Prometheus: bash, cron и Telegram

Обсудить
Мониторинг Docker-контейнеров и сайтов на одном VPS без Prometheus: bash, cron и Telegram
Реклама. АО «ТаймВэб». erid: 2W5zFG6XazN

Меня зовут Юрий Перевезенцев, я руковожу агентством Digital Impuls в Москве. Мы делаем сайты и Telegram-ботов для клиентов, а ботов потом сами держим на своём VPS. Каждый бот живёт в Docker-контейнерах, управляем ими через Portainer: это веб-панель, в которой видно все контейнеры и их состояние.

Portainer удобен, когда в него заходишь. Но заходить каждый день и проверять глазами не хочется, а узнавать о падении бота от клиента ещё меньше. Поэтому у нас на сервере работают три небольших bash-скрипта проверки и ещё один для отправки сообщений. Проверки молчат, пока всё в порядке, и пишут в Telegram, когда что-то сломалось. Ниже эти скрипты в упрощённом и обезличенном виде, с разбором каждой строки, установкой и проверкой.

Почему не Prometheus и Grafana

Prometheus собирает метрики: загрузку процессора, память, число запросов и многое другое. Grafana рисует по ним графики. Чтобы получать уведомления, к ним добавляют Alertmanager. Связка мощная, но для одного сервера это ещё несколько сервисов, которые надо настроить, обновлять и за которыми тоже надо следить.

Нам на первом этапе нужен был ответ на простой вопрос: работает или нет. Для него хватает того, что уже есть на любом Linux-сервере. Bash выполняет скрипты, curl делает HTTP-запросы, а cron запускает всё это по расписанию.

Как это устроено

Схема такая: 

  • tg-send.sh отправляет текст в Telegram. Остальные скрипты вызывают его.
  • container-alert.sh раз в день ищет контейнеры, которые упали, перезапускаются по кругу или не проходят проверку здоровья.
  • site-alert.sh каждые 10 минут открывает список сайтов и пишет, если какой-то перестал отвечать.
  • docker-net-alert.sh раз в час проверяет сетевые правила Docker. Зачем это нужно, расскажу в отдельном разделе, там у нас была настоящая авария.

Главное правило: нет сообщения, значит, всё работает. Если бот каждые 10 минут сообщает, что всё хорошо, через неделю его перестают читать и пропускают настоящую проблему.

Примечание: все команды ниже выполняются от root или через sudo. Docker без прав root не покажет список контейнеров, а iptables не покажет правила.

Подготовка: бот, chat_id и файл с секретами

Создаём бота

Бот создаётся через официального бота Telegram @BotFather командой /newbot, порядок описан в документации Telegram. В конце BotFather выдаст токен: строку вида 123456789:AAAA.... Кто знает токен, тот управляет ботом, поэтому в код и в репозиторий его не кладём.

Узнаём chat_id

chat_id это номер чата, куда бот будет писать. Напишите своему боту любое сообщение, затем откройте в браузере адрес:

https://api.telegram.org/bot<ВАШ_ТОКЕН>/getUpdates

Метод getUpdates из Telegram Bot API вернёт последние сообщения боту. Найдите в ответе фрагмент "chat":{"id":...}, это число и есть chat_id. Если хотите получать уведомления в группу, добавьте бота в группу и сделайте то же самое: у групп chat_id отрицательный.

Файл с секретами

Токен и chat_id храним в отдельном файле, который может читать только root. Создайте каталоги и откройте файл в редакторе:

mkdir -p /etc/monitoring /opt/monitoring
nano /etc/monitoring/telegram.env

Содержимое файла:

TG_TOKEN=123456789:AAAA-ваш-токен
TG_CHAT_ID=123456789
TG_PROXY=

После сохранения закройте файл для всех, кроме владельца:

chmod 600 /etc/monitoring/telegram.env

Права 600 значат: читать и менять файл может только владелец, то есть root. Редактор здесь лучше, чем echo в терминале: команда с токеном не останется в истории оболочки.

Переменная TG_PROXY нужна не всем. Если исходящие запросы с сервера к api.telegram.org
идут через SOCKS-прокси, укажите его здесь в виде адрес:порт. Если сервер обращается к Telegram напрямую, оставьте значение пустым.

Отправка сообщения: tg-send.sh

#!/bin/bash
# Отправляет в Telegram текст из первого аргумента.
set -u

ENV_FILE=/etc/monitoring/telegram.env
TOKEN=$(grep -m1 '^TG_TOKEN=' "$ENV_FILE" | cut -d= -f2-)
CHAT=$(grep -m1 '^TG_CHAT_ID=' "$ENV_FILE" | cut -d= -f2-)
PROXY=$(grep -m1 '^TG_PROXY=' "$ENV_FILE" | cut -d= -f2-)

opts=(-s -m 15)
[ -n "$PROXY" ] && opts+=(--socks5-hostname "$PROXY")

if curl "${opts[@]}" \
    --data-urlencode "chat_id=$CHAT" \
    --data-urlencode "text=$1" \
    "https://api.telegram.org/bot$TOKEN/sendMessage" | grep -q '"ok":true'; then
  exit 0
fi

echo "tg-send: не удалось отправить сообщение" >&2
exit 1

Что здесь происходит:

  • set -u останавливает скрипт, если он обращается к переменной, которой нет. Так опечатка в имени не превратится в тихую ошибку.
  • Значения достаём через grep и cut, а не командой source. Файл с секретами только читается, но не выполняется как код. grep -m1 '^TG_TOKEN=' берёт первую строку, которая начинается с имени переменной, а cut -d= -f2- отрезает всё до первого знака равенства. 
  • opts это массив параметров curl. -s убирает индикатор загрузки, -m 15 ограничивает запрос 15 секундами, чтобы скрипт не завис. Если задан прокси, добавляется --socks5-hostname: с ним даже имя api.telegram.org разрешает в адрес сам прокси, а не сервер.
  • Метод sendMessage принимает chat_id и text. Ключ --data-urlencode кодирует текст, поэтому переносы строк, пробелы и кириллица доходят без искажений.
  • Telegram отвечает JSON, в котором при успехе стоит "ok":true. Мы проверяем именно это, а не просто то, что curl завершился без ошибки: при неверном токене сервер тоже ответит, но с "ok":false.

Описание всех ключей curl есть в официальном руководстве.

Проверка контейнеров: container-alert.sh

#!/bin/bash
# Раз в день: есть ли контейнеры, которые упали, перезапускаются или нездоровы.
set -u

PROBLEMS=$(docker ps -a --format '{{.Names}}: {{.Status}}' \
  | grep -E 'Restarting|Exited|Created|Dead|Paused|unhealthy')
[ -z "$PROBLEMS" ] && exit 0

/opt/monitoring/tg-send.sh "Сервер $(hostname): проблемные контейнеры

$PROBLEMS"

Скрипт короткий, вся работа в первой команде. docker ps -a выводит все контейнеры, включая остановленные (без -a видны только запущенные, а нам интересны как раз остальные). Ключ --format задаёт вид строки: имя контейнера и его статус. Подробности в справке по docker ps.

Статус выглядит как Up 3 hours (healthy) или Exited (1) 2 hours ago. 

grep -E оставляет только строки с плохими словами:

  • Exited: контейнер остановлен. Упал сам или его остановили.
  • Restarting: процесс внутри падает, а Docker перезапускает его снова и снова.
  • Created: контейнер создан, но так и не запустился.
  • Dead: Docker не смог корректно остановить или удалить контейнер, обычно из-за занятых ресурсов.
  • Paused: контейнер приостановлен командой docker pause.
  • unhealthy: контейнер работает, но не проходит проверку здоровья. Такая проверка задаётся инструкцией HEALTHCHECK в Dockerfile или в compose-файле. Если её нет, статус unhealthy не появится никогда.

Если grep ничего не нашёл, переменная пустая, и скрипт тихо выходит. Иначе уходит сообщение такого вида:

Сервер my-vps: проблемные контейнеры

shop-bot-app-1: Exited (1) 3 hours ago
shop-bot-redis-1: Restarting (1) 12 seconds ago

У нас этот скрипт запускается раз в день, в 09:00 по Москве: утром смотришь сводку и разбираешься. Запускать его можно и чаще, но учтите, что он ничего не запоминает. Пока проблему не починили, сообщение будет приходить при каждом запуске.

Проверка сайтов: site-alert.sh

#!/bin/bash
# Каждые 10 минут: открываются ли сайты. Пишет только о новых падениях.
set -u

SITES="
https://example.com/
https://shop.example.com/
https://api.example.com/health
"
STATE=/var/lib/monitoring/sites.down

probe() {
  curl -sL -m 20 -o /dev/null -w '%{http_code}' "$1" 2>/dev/null
}

mkdir -p "$(dirname "$STATE")"
touch "$STATE"
down_now=""
declare -A CODE

for url in $SITES; do
  code=$(probe "$url")
  if [[ ! "$code" =~ ^[23] ]]; then
    sleep 10
    code=$(probe "$url")
    if [[ ! "$code" =~ ^[23] ]]; then
      down_now+="$url"$'\n'
      CODE[$url]=$code
    fi
  fi
done

new_state=$(printf '%s' "$down_now" | sort)
old_state=$(sort "$STATE")
newly_down=$(comm -13 <(echo "$old_state") <(echo "$new_state") | grep . || true)

# Новых падений нет: молча обновляем список (поднявшиеся сайты из него уходят).
if [ -z "$newly_down" ]; then
  printf '%s\n' "$new_state" | grep . > "$STATE" || : > "$STATE"
  exit 0
fi

MSG="Сайт недоступен:"
while IFS= read -r url; do
  code=${CODE[$url]:-000}
  if [ "$code" = "000" ]; then code="нет ответа"; else code="HTTP $code"; fi
  MSG+=$'\n'"$url: $code"
done <<< "$newly_down"

# Список обновляем только после успешной отправки, иначе в следующий раз попробуем снова.
if /opt/monitoring/tg-send.sh "$MSG"; then
  printf '%s\n' "$new_state" | grep . > "$STATE" || : > "$STATE"
  exit 0
fi
exit 1

Этот скрипт сложнее, потому что запускается каждые 10 минут. Без памяти он присылал бы одно и то же шесть раз в час, пока сайт лежит. Разберём по частям.

Список сайтов. SITES содержит адреса по одному в строке. Для приложения можно указывать не главную страницу, а служебный адрес вроде /health, если он у вас есть.

Функция probe. Делает запрос и возвращает только HTTP-код ответа. -L идёт по перенаправлениям, так что переезд с http на https не считается ошибкой. -o /dev/null
выбрасывает тело страницы, -w '%{http_code}' печатает код. Если сервер не ответил совсем, curl вернёт 000.

Повторная проверка. Рабочими считаем коды, которые начинаются с 2 или 3 (успех и перенаправление). Если пришло что-то другое, скрипт ждёт 10 секунд и спрашивает ещё раз. Одна случайная ошибка сети не должна будить человека. Только если сайт не ответил дважды, адрес попадает в down_now, а код запоминается в ассоциативном массиве CODE (это словарь, где ключом служит адрес, а значением – код).

Файл состояния. В /var/lib/monitoring/sites.down лежат сайты, о падении которых мы уже сообщили. Команда comm сравнивает два отсортированных списка, ключ -13 оставляет строки, которые есть только во втором, то есть в свежем. Это и есть новые падения. grep . убирает пустые строки, а || true не даёт пустому результату выглядеть как ошибка.

Восстановление. Когда сайт снова открывается, он просто исчезает из файла состояния, сообщения нет. Мы так решили осознанно: в чате остаются только проблемы. Если вам нужно уведомление о восстановлении, такие адреса можно получить той же командой с ключом comm -23.

Сохранение после отправки. Новое состояние записывается только если Telegram подтвердил доставку. Если сообщение не ушло, через 10 минут скрипт увидит то же падение как новое и попробует ещё раз.

Важно: скрипт использует ассоциативный массив, а он есть в bash с версии 4. На современных Ubuntu и Debian это не проблема, а вот встроенный bash в macOS слишком старый, поэтому проверять скрипт удобнее прямо на сервере.

Проверка сетей Docker: docker-net-alert.sh

Этот скрипт появился после аварии. На сервер повторно загрузили старый файл с правилами iptables, сохранённый за несколько месяцев до этого. iptables – это встроенный в Linux фильтр сетевых пакетов. Docker прописывает в нём правила для каждой своей сети. Одно правило подменяет адрес контейнера адресом сервера при выходе в интернет (это называется маскарадингом, MASQUERADE), другое разрешает пересылать пакеты из сети контейнеров наружу.

Старый файл стёр правила у всех сетей, созданных после его сохранения. Контейнеры в этих сетях продолжали числиться работающими, но не могли открыть ни одного нового соединения наружу. Первая проверка молчала, потому что статус у них был Up. Сам Docker правила не возвращает, это происходит при перезапуске демона Docker. Устройство правил описано в документации Docker про iptables.

#!/bin/bash
# Раз в час: на месте ли правила iptables у bridge-сетей Docker.
# Пишет, только когда список сломанных сетей изменился. С ключом -n печатает список и ничего не шлёт.
set -u

STATE=/var/lib/monitoring/docker-net.state
NAT=$(iptables -t nat -S POSTROUTING)
FWD=$(iptables -S DOCKER-FORWARD)
BROKEN=""

for id in $(docker network ls -q --filter driver=bridge); do
  IFS='|' read -r name internal masq br subnets <<<"$(docker network inspect "$id" --format \
    '{{.Name}}|{{.Internal}}|{{index .Options "com.docker.network.bridge.enable_ip_masquerade"}}|{{index .Options "com.docker.network.bridge.name"}}|{{range .IPAM.Config}}{{.Subnet}} {{end}}')"
  [ "$internal" = true ] && continue
  [ "$masq" = false ] && continue
  [ -n "$br" ] || br="br-$id"
  miss=""
  for s in $subnets; do
    case "$s" in *:*) continue ;; esac
    grep -qF -- "-s $s ! -o $br -j MASQUERADE" <<<"$NAT" || miss="nat"
  done
  grep -qF -- "-i $br -j ACCEPT" <<<"$FWD" || miss="$miss forward"
  [ -n "$miss" ] && BROKEN+="$name (${miss# })"$'\n'
done
BROKEN=$(printf '%s' "$BROKEN" | sort)

if [ "${1:-}" = "-n" ]; then
  printf '%s\n' "$BROKEN"
  exit 0
fi

mkdir -p "$(dirname "$STATE")"
[ "$BROKEN" = "$(cat "$STATE" 2>/dev/null)" ] && exit 0

if [ -z "$BROKEN" ]; then
  MSG="Сервер $(hostname): правила iptables снова есть у всех сетей Docker"
else
  MSG="Сервер $(hostname): у сетей Docker нет правил iptables, контейнеры в них не могут открыть соединение наружу

$BROKEN

Починка: systemctl restart docker (перезапустит все контейнеры)."
fi

/opt/monitoring/tg-send.sh "$MSG" && printf '%s' "$BROKEN" > "$STATE"

Как это работает:

  • iptables -t nat -S POSTROUTING и iptables -S DOCKER-FORWARD выводят текущие правила в виде текста. Их мы потом ищем через grep.
  • docker network ls -q --filter driver=bridge даёт идентификаторы обычных сетей Docker. Для каждой docker network inspect достаёт имя, признак внутренней сети, настройку маскарадинга, имя сетевого моста на сервере и диапазоны адресов.
  • Внутренние сети (internal) и сети с отключённым маскарадингом наружу не ходят по замыслу, их пропускаем. Если имя моста не задано явно, Docker называет его br- плюс идентификатор сети.
  • Для каждого диапазона IPv4 ищем правило MASQUERADE, а для моста ищем разрешение на пересылку. Чего не хватает, записываем рядом с именем сети.
  • Как и проверка сайтов, скрипт помнит прошлый результат и пишет, только когда список сломанных сетей изменился. Когда всё починили, приходит одно сообщение, что правила вернулись.
Важно: цепочка DOCKER-FORWARD есть в свежих версиях Docker. Если на вашем сервере её нет, iptables -S DOCKER-FORWARD вернёт ошибку, и скрипт посчитает сломанными все сети. Поэтому сначала запустите его с ключом -n: он только напечатает список. Пустой вывод на исправном сервере значит, что проверка подходит вам без доработки.

Установка и расписание в cron

Скопируйте четыре скрипта в /opt/monitoring/ и сделайте их исполняемыми:

chmod 700 /opt/monitoring/*.sh

cron – это служба, которая запускает команды по расписанию. Расписание записывается пятью полями: минута, час, день месяца, месяц, день недели. Звёздочка в поле подходит под любое значение, а */10 в поле минут означает запуск каждые 10 минут. Задания для всех скриптов удобно держать в одном файле /etc/cron.d/monitoring:

PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin

0 6 * * *    root  /opt/monitoring/container-alert.sh  >> /var/log/monitoring.log 2>&1
*/10 * * * * root  /opt/monitoring/site-alert.sh       >> /var/log/monitoring.log 2>&1
7 * * * *    root  /opt/monitoring/docker-net-alert.sh >> /var/log/monitoring.log 2>&1

Пояснения к файлу:

  • В файлах из /etc/cron.d после времени указывается пользователь, от имени которого выполняется команда. Здесь это root. Формат описан в man 5 crontab.
  • Строка PATH нужна, потому что cron запускает команды с очень коротким списком каталогов для поиска программ. Без неё скрипт может не найти iptables, который обычно лежит в /usr/sbin.
  • 0 6 * * * означает 06:00 по времени сервера. У нас сервер работает в UTC, поэтому это 09:00 по Москве. Часовой пояс своего сервера можно посмотреть командой timedatectl.
  • Проверка сетей идёт в 7 минут каждого часа, чтобы не совпадать по времени с другими задачами в начале часа.
  • >> /var/log/monitoring.log 2>&1 дописывает в журнал всё, что скрипты вывели, включая ошибки. Пока всё работает, скрипты молчат, поэтому журнал растёт только тогда, когда что-то пошло не так.
Примечание: в Debian и Ubuntu имя файла в /etc/cron.d может состоять только из латинских букв, цифр, дефиса и подчёркивания. Файл с точкой в имени, например, monitoring.cron, cron молча проигнорирует. Ещё файл должен принадлежать root и не быть доступным на запись другим пользователям.

Проверяем, что всё работает

Сначала отправка. Эта команда должна прислать сообщение в ваш чат:

/opt/monitoring/tg-send.sh "Проверка связи"

Потом проверка контейнеров. Создаём контейнер, который сразу завершится с ошибкой, запускаем скрипт и убираем контейнер:

docker run -d --name alert-test alpine sh -c 'exit 1'
/opt/monitoring/container-alert.sh
docker rm alert-test

В Telegram должна прийти строка alert-test: Exited (1) ....

Для проверки сайтов временно добавьте в SITES заведомо несуществующий адрес, например, https://example.invalid/, и запустите скрипт. Придёт сообщение, где вместо кода ответа написано, что ответа нет. Повторный запуск должен промолчать: о падении уже сообщили. Уберите адрес, запустите ещё раз, и он тихо исчезнет из /var/lib/monitoring/sites.down.

Проверку сетей запустите с ключом -n:

/opt/monitoring/docker-net-alert.sh -n

На исправном сервере вывод пустой. Через сутки загляните в /var/log/monitoring.log: если там пусто, cron запускает скрипты без ошибок.

Ограничения подхода

У решения есть слабые места, и о них лучше знать заранее.

Сервер не сообщит о собственной смерти. Скрипты работают на том же VPS, за которым следят. Если он выключился или завис целиком, писать будет некому. Здесь нужна проверка снаружи: со второго сервера или из внешнего сервиса проверки доступности.

Канал уведомлений зависит от того же сервера. Если сообщения идут через прокси в контейнере и сломается сеть именно у этого контейнера, тревога не уйдёт. Поэтому в рабочей версии мы перебираем несколько маршрутов отправки по очереди, пока один не сработает.

Нет истории и метрик. Скрипты знают, работает ли что-то прямо сейчас, но не скажут, когда сайт начал тормозить или сколько памяти съел контейнер. Заполненный диск или нехватку памяти они тоже не увидят, пока из-за этого что-нибудь не упадёт.

Остановленные контейнеры считаются проблемой. Если вы сами остановили контейнер и оставили его, он будет в утренней сводке каждый день. То же с одноразовыми контейнерами, которые запускаются, делают работу и завершаются. Ненужные контейнеры лучше удалять командой docker rm.

Сайты проверяются по очереди. На каждый уходит до 20 секунд, а на упавший до 50 с повторной попыткой. Для десятка адресов это не важно, для сотни запуск может не уложиться в 10 минут.

Когда пора переходить на полноценный мониторинг

Скрипты перестают справляться, когда простого ответа, работает сервис или нет, становится мало. Признаки такие:

  • серверов несколько, и за каждым нужен одинаковый присмотр;
  • нужна история: когда начались проблемы, как менялось время ответа, сколько сайт был недоступен за месяц;
  • хочется получать предупреждение заранее, по порогам: диск заполнен на 90%, память на исходе;
  • за сервисы отвечает команда с дежурствами, и уведомления нужно распределять между людьми;
  • клиенту нужно показывать доступность в цифрах.

Тогда стоит смотреть на Prometheus с экспортёрами метрик для сервера и контейнеров, Alertmanager для уведомлений и Grafana для графиков. Если нужна только доступность сайтов, но с историей и страницей статуса, есть более лёгкие самостоятельные инструменты, например, Uptime Kuma.

Пока у вас один сервер и вопрос стоит так же, как у нас, четырёх скриптов и одного файла в /etc/cron.d хватает. Пока всё работает, о них просто не вспоминаешь.

Изображение на обложке: автор статьи, генерация через Seedream 4.5

echo -e "Все про серверы, сети, хостинг и еще раз серверы" >/dev/pts/0

Комментарии

С помощью соцсетей
У меня нет аккаунта Зарегистрироваться
С помощью соцсетей
У меня уже есть аккаунт Войти
Инструкции по восстановлению пароля высланы на Ваш адрес электронной почты.
Пожалуйста, укажите email вашего аккаунта
Ваш баланс 10 ТК
1 ТК = 1 ₽
О том, как заработать и потратить Таймкарму, читайте в этой статье
Чтобы потратить Таймкарму, зарегистрируйтесь на нашем сайте