Управление логами с помощью LogRotate на Ubuntu 16.04

Logrotate - это системная утилита, которая управляет автоматической ротацией и сжатием лог-файлов. Если в процессе длительной работы сервера файлы не были ротированы, сжаты и периодически не удалялись, то рано или поздно они могут занять весь доступный объем памяти.

Logrotate устанавливается по умолчанию на Ubuntu 16.04 и настроена для обработки ротации журналов для всех установленных пакетов и приложений.

Проверка версии Logrotate:

logrotate --version

Вывод команды будет таким:

root@kvmde67-19464:~# logrotate --version
logrotate 3.8.7

Стандартная конфигурация Logrotate хранится по двум путям:

• Файл /etc/logrotate.conf хранит часть конфигураций по умолчанию. Также он содержит шаблоны архивирования для не системных файлов.
• Файл /etc/logrotate.d/ предназначен для сохранения сторонних параметров, которые администратор задает самостоятельно. Здесь хранятся шаблоны ротаций для системных утилит.

Рассмотрим конфигурационный файл Logrotate /etc/logrotate.d для пакетного менеджера apt:

cat /etc/logrotate.d/apt

Вывод команды будет таким:

root@kvmde67-19464:~# cat /etc/logrotate.d/apt
/var/log/apt/term.log {
  rotate 12
  monthly
  compress
  missingok
  notifempty
}

/var/log/apt/history.log {
  rotate 12
  monthly
  compress
  missingok
  notifempty
}

Этот файл содержит конфигурационные блоки для двух разных файлов журнала в каталоге /var/log/apt/: term.log и history.log. Оба блока имеют одинаковые опции. Любые параметры, не заданные в этих конфигурационных блоках, наследуют значения по умолчанию или значения, установленные в файле /etc/logrotate.conf.

Параметры, установленные для журналов apt:

• rotate 12 - указывает, что утилита сохраняет последние двенадцать логов;
• monthly - обновлять один раз в месяц;
• compress - команда архивирования, по умолчанию используется стандартная утилита Linux-систем – gzip, если же требуется изменить на другую, то указываем ключи после команды;
• missingok - не записывать сообщение об ошибке, если лог-файл отсутствует;
• notifempty - не ротировать пустой лог-файл.

Для управления файлами журналов для приложений можно использовать два варианта:

• Создать новый файл конфигурации Logrotate и поместить его в каталог /etc/logrotate.d/. Он будет работать ежедневно, как пользователь root вместе со всеми другими стандартными заданиями LogRotate.
• Создать новый конфигурационный файл и запустить его с настройками LogRotate по умолчанию в Ubuntu.

Создание конфигурации в /etc/logrotate.d/

В качестве примера настроим обновления для сервера, который пишет логи в файлы access.log и error.log, расположенные в каталоге /var/log/example-app/.

Чтобы добавить конфигурацию каталог /etc/logrotate.d/, откройте новый файл:

sudo nano /etc/logrotate.d/example-app

/var/log/example-app/*.log {
    daily
    missingok
    rotate 14
    compress
    notifempty
    create 0640 www-data www-data
    sharedscripts
    postrotate
        systemctl reload example-app
    endscript
}

Описание директив:

• create 0640 www-data www-data - данная команда создаст новый пустой файл журнала после ротации с заданными разрешениями (0640), владелец ( www-data) и группы (www-data);
• sharedscripts - эта опция означает, что любые скрипты, добавленные в конфигурацию, выполняются только один раз за запуск после сжатия файлов, а не для каждого отдельного обновленного файла. Поскольку наша конфигурация будет соответствовать двум лог-файлам (access.log и error.log), скрипт, указанный в postrotate, будет запускаться только 1 раз;
• postrotate to endscript - скрипт в этом блоке будет запущен после того, как файл журнала обновится. В примере приложение перезагружается.

После настройки конфигурации в соответствии с требованиями, можно выполнить тестирование с помощью команды:

sudo logrotate /etc/logrotate.conf --debug

В результате будет вызвана утилита logrotate, с указанием на стандартный файл конфигурации в режиме отладки. В консоль будет выводиться информация, о том какие файлы logrotate обрабатывает в данный момент. Стандартная настройка Logrotate будет выполняться один раз в день, включая новую конфигурацию.

Создание конфигурации LogRotate

В этом примере мы имеем приложение, которое работает под пользователем newuser, генерация журналов, которые хранятся в каталоге /home/newuser/logs/. Нам нужно сделать ротацию этих журналов ежечасно, поэтому мы должны установить его за пределами структуры /etc/logrotate.d, представленной в Ubuntu.

Создадим через текстовый редактор конфигурационный файл в нашем каталоге.

nano /home/newuser/logrotate.conf

Затем вставьте следующую конфигурацию:

/home/newuser/logrotate.conf
/home/newuser/logs/*.log {
    hourly
    missingok
    rotate 24
    compress
    create
}

Сохраните и закройте файл.

Такая конфигурация будет вращать файлы ежечасно, сжимая и сохраняя двадцать четыре старых журнала и создавая новый файл журнала для замены повернутого.

Необходимо настроить конфигурацию в соответствии с вашим приложением.

Сделаем файл журнала чтобы проверить, что он работает:

cd ~

mkdir logs

touch logs/access.log

Поскольку журналы принадлежат newuser нам не нужно использовать sudo. Однако нам нужно указать файл состояния. Этот файл записывает, что logrotate видел и сделал в прошлый раз, так что он знает, что делать при следующем запуске.

Мы попросим Logrotate поместить файл состояния прямо в наш домашний каталог для этого примера. Мы можем указать где угодно, что доступно и удобно:

logrotate /home/newuser/logrotate.conf --state /home/newuser/logrotate-state --verbose --force

Вывод

reading config file /home/newuser/logrotate.conf

Handling 1 logs

rotating pattern: /home/newuser/logs/*.log  hourly (24 rotations)
empty log files are rotated, old logs are removed
considering log /home/newuser/logs/access.log
  log does not need rotating
 

–verbose распечатает подробную информацию о том, что делает Logrotate. Это первый раз, когда LogRotate видит этот файл журнала, так, насколько это известно, файлу ноль часов, и к нему не должно быть применена ротация.

Если мы посмотрим на файл состояния, мы увидим, что Logrotate записал информацию о запуске:

cat /home/newuser/logrotate-state

Вывод

logrotate state -- version 2
"/home/newuser/logs/access.log" 2020-05-18-16:0:0

Logrotate отметил, что он видел журналы, и когда он последний раз рассматривал их вращение. Если запустить эту же команду, один час спустя, журнал будет повернут, как ожидалось.

Если вы хотите заставить LogRotate производить ротацию файла журнала, тогда надо использовать флаг –force:

logrotate /home/newuser/logrotate.conf --state /home/newuser/logrotate-state --verbose --force

Далее, нужно настроить задание cron для запуска Logrotate каждый час. Откройте crontab пользователя:

crontab -e

Откроется текстовый файл. Возможно, в файле уже есть некоторые комментарии, объясняющие ожидаемый основной синтаксис. Переместите курсор на новую пустую строку в конец файла и добавьте следующее:

14 * * * * /usr/sbin/logrotate /home/newuser/logrotate.conf --state /home/newuser/logrotate-state

Эта задача будет выполняться на 14 – й минуте каждого часа, каждый день.