Создаем почтовую систему среднего и малого офиса на основе FreeBSD Postfix+dr.web+popa3d+pflogsumm


Недавно один из знакомых администраторов попросил помочь ему в создании почтовой системы для фирмы в которой он работает. Подумав о сакраментальном слове RTFM и вспомнив что недавних переселенцев из под Windows надо поощрять я все же решил поискать для него хорошую документацию подробно описывающую то что ему предстоит выполнить. Побродив некоторое время в сети с удивление обнаружил отсутствие того за чем пришел. Не то чтобы документации не было совсем . Скорее ее было даже слишком много. Очень часто мне на глаза попадались продвинутые статьи описывающие настройку магистральных систем способных работать в качестве почтовых серверов крупных интернет провайдеров. Встречались тексты объясняющие способы взаимодействия почтовой системы с SQL, RADIUS, LDAP серверами. Для нашего случая все эти ухищрения были чрезмерны. К сожалению подробной интрукции по настройке почтовой системы для малого и среднего офиса так и не было найдено. Свою систему мы будем строить на основе FreeBSD 4.5. В тоже время практически все описаное ниже после мелких исправлений будет работать во многих других Unix подобных системах. Главное что бы для целевой системы удалось найти версии программ postfix, popa3d, drweb, pflogsumm. Кратко обсудим зачем нужен каждый из этих компонентов. Postfix будет обеспечивать принятие входящих и отправку исходящих сообщений по протоколу smtp. Обычно программы такого типа называют MTA - Mail Transfer Agent. Popa3d позволит пользователям читать полученную почту. С помошью drweb мы будем проверять на вирусы все проходящие через нас письма. Для того чтобы знать насколько хорошо функционирует построеная нами система, нужно собирать статистику ее работы. К тому же при случае начальству можно показать что не зря ещь свой хлеб с маслом. Выполнять это полезное действо мы будем с помошью pflogsumm. Стоит обратить внимание что машина на которой все это устанавливается имеет два сетевых интерфейса 192.168.10.252 и 80.80.120.163. Первый направлен во внутреннюю подсеть, а второй в Интернет. К сожалению авторизации на основе пароля и имени пользователя для протокола smtp у нас не будет. Отправка писем будет разрешена всем пользователям нашей внутренней сети 192.168.10.0. С другой стороны для малыйх и средних сетей в большинстве случаев этого не потребуется. Соответствено через второй интерфейс мы будем общаться с внешним миром. Так же стоит помнить что для авторизации по pop3 мы будем использовать имена и пароли пользователей хранящиеся в файле /etc/master.passwd.

Покончив с теорией приступим к осуществлению наших планов.

Нужно создать группы postfix и postdrop. А затем в группу postfix добавить пользователя по имени postfix. Почтовая система будет работать с правами пользователя postfix, а группа postdrop будет владеть очередью сообщений. Наличие двух груп и одного пользователя увеличивает запас прочности и безопасности демона smtp. В зависимости от Вашей операционной системы действия по созданию пользователя можно будет выполнить с помощью команды adduser или useradd. Некоторые пуристы мира юникс настаивают что это нужно делать только с помощью команды pw. Впрочем как я уже говорил это их личные проблемы. Юникс хорош именно тем каждый может выбрать средство по вкусу. После успешного создания пользователя и групп принимаемся за установку postfix. Во время установки всего програмного обеспечения будет создан еще один служебный пользователь. Нужно убедиться, что никто не сможет войти в систему пользуясь всеми вышупомянутыми аккаунтами. Для этого в качестве рабочей оболочки в файле /etc/passwd определяем для них /sbin/nologin. Если при создании пользователя сделать это забыли, то добиться нужного эффекта можно с помощью команды vipw.

Покончив с теорией приступим к осуществлению наших планов. Для работы с исходными текстами всего скачанного программного обеспечения я буду использовать директорию /tmp. Читатель может выбрать любую другую. Приступим к установке postfix.

Берем postfix-2.0.0.2.tar.gz с официального сайта проекта http://www.postfix.org/ и как обычно распаковываем и устанавливаем:

# tar zxvf postfix-2.0.0.2.tar.gz
# cd postfix-2.0.0.2
# make tidy
# make
# make install
Теперь нужно дать ответы на несколько вопросов, задаваемых во время инсталляции. В большинстве случаев нужно просто нажать ENTER подтверждая использование настроек предлагаемых по умолчанию.

install_root: [/]
# Корневой каталог файловой системы используемой для установки

tempdir: [/tmp/postfix-2.0.0.2]
# Сюда будут падать временные файлы создаваемые в процессе инсталляции

config_directory: [/etc/postfix]
# Тут будут находиться файлы настроек postfix

daemon_directory: [/usr/libexec/postfix]
# А здесь будет лежать выполняемый файл демона postfix

command_directory: [/usr/sbin]
# Тут будут располагаться выполняемые файлы административных команд postfix

queue_directory: [/var/spool/postfix]
# Директория в которой будет находиться очередь писем обрабатываемых postfix

sendmail_path: [/usr/sbin/sendmail]
# Путь к команде используемой взамен стандартного sendmail

newaliases_path: [/usr/bin/newaliases]
# Путь к исполняемому файлу используемому для перестройки почтовых псевдонимов

mailq_path: [/usr/bin/mailq]
# Путь к команде отображающей состояние почтовой очереди

mail_owner: [postfix]
# Имя пользователя с правами которого работает почта

setgid_group: [postdrop]
# Группа от имени которой будут работать команды обработки почтовой очереди

manpage_directory: [/usr/local/man]
# В этой директории находится база документации на все устанавливаемые программы

sample_directory: [/etc/postfix]
# Директории куда нужно положить примеры конфигурационных файлов postfix.
# Смешивать примеры с реальными файлами конфигурации охоты нет.
# Поэтому вводим имя директории /etc/postfix/sample/

readme_directory: [no]
# Директория куда нужно положить файлы документации
# Выбираем имя директории /etc/postfix/readme/

По завершению установки приступим к настройке. Так же postfix можно поставить из портов или пакетов, но лично мне удобнее из исходников. Конфигурационные файлы postfix находятся в директории /etc/postfix/. Все настройки, которые нам нужно поменять находятся в файле /etc/postfix/main.cf. Большинство опций можно оставить со значениями по умолчанию. Я опищу только те из них которые нужно изменять. Итак, приступим:

myhostname = mail.test.ru
# Имя нашего хоста. Лучше всего устанавливать в соответствии с выводом
# получаемым после выполнения команды hostname.

mydomain = test.ru
#Имя нашего домена. Рекомендуется описать явно. Если переменная не
# определена то postfix будет использовать значение myhostname минус
# первый компонет.

inet_interfaces = 192.168.10.252, 80.80.120.163
# Адреса интерфейсов на которых нужно ждать smtp соединений.
# Для упрощения конфигурации можно использовать слово all для установки
# прослушивания всех интерфейсов. Также можно использовать переменные
# localhost и $myhostname. Тогда будут задействованы интерфейсы
# 127.0.0.1 и адрес соответствующий имени определенному в
# переменной $myhostname.

mydestination = $myhostname, $mydomain
# Список доменов которыми себя считает эта машина. То есть почта
# приходящая для пользователей описанных доменов не отправляется
# куда либо, а разбирается локально.

mynetworks = 192.168.10.0/24, 127.0.0.0/8
# Определяем список доверенных сетей. Клиенты с адресами принадлежащими
# этим сетям смогут рассылать через нас почту. Если этот параметр не определен,
# то доверенной сетью считается IP подсеть к которой принадлежит машина с postfix.

alias_database = dbm:/etc/mail/aliases
# Путь к файлу почтовых псевдонимов.

Сохранив изменения считаем что настройка postfix закончена. Еще одним важным шагом является настройка почтового псевдонима пользователя root. Нам необходимо сделать так что бы все письма приходящие пользователю root перенаправлялись пользователю tigrisha. Открываем файл /etc/mail/aliases и ищем подобную строку:

root:

Затем заменяем на вот такое:

root: tigrisha@test.ru

Сохранив файл c помощью команды newaliases выполняем перестройку системный базы почтовых псевдонимов находящейся в файле /etc/mail/aliases.db. Покончив с настройками проверим нашу конфигурацию.

Сохранив файл c помощью команды newaliases выполняем перестройку системный базы почтовых псевдонимов находящейся в файле /etc/mail/aliases.db. Покончив с настройками проверим нашу конфигурацию.

# postfix check
Если ошибок не появилось, значит все у нас хорошо. Самое время запустить демона smtp в лице postfix.

# postfix start
А на другой консоли смотрим какие сообщения попадают в файл протокола /var/log/maillog.

# tail -f /var/log/maillog
Среди прочих сведений должно промелькнуть что то похожее на эти строчки:

Jan 16 14:35:33 postfix/postfix-script: starting the Postfix mail system
Jan 16 14:35:33 mail.test.ru postfix/master[7190]: daemon started -- version 2.0.0.2

Пришло время проверить как работает отправка почты. С помощью telnet присодиняемся к локальной системе на 25-й порт.

# telnet localhost 25

Trying 127.0.0.1...
Connected to localhost.test.ru.
Escape character is '^]'.
220 mail.test.ru ESMTP Postfix

# Затем с помощью команды mail from: указываем серверу от кого будет письмо.

mail from: <tigrisha@test.ru>
250 Ok
# Командой rcpt to: задаем адрес получателя.

rcpt to: <tigrisha@test.ru>
250 Ok
# И наконец с помощью data начинаем ввод текста письма.
# Закончить ввод текста можно нажав enter затем "." и снова enter.

data
354 End data with <CR><LF>.<CR><LF>
testing mail for tigrisha
.
250 Ok: queued as 822A958

Последнее сообщение выданное системой означает, что письмо помещено в очередь на отправку. Все описанные действия можно выполнить любым почтовым клиентом. Хотя я считаю что администратор должен знать как выполнить большинство задач по настройке и управлению системой используя минимум инструментов.

На другой консоли смотрим что система пищет в файл /var/log/maillog. Должны увидеть появление следующих строк:
Jan 16 17:45:56 mail.test.ru postfix/smtpd[235]: connect from [127.0.0.1]
Jan 16 17:47:16 mail.test.ru postfix/smtpd[235]: 822A958: client=localhost.test.ru[127.0.0.1]
Jan 16 17:47:55 mail.test.ru postfix/cleanup[246]: 822A958: message-id=<20030116144716.822A958@mail.test>
Jan 16 17:47:55 mail.test.ru postfix/qmgr[192]: 822A958: from=<tigrisha@test.ru>, size=416, nrcpt=1 (queue active)
Jan 16 17:47:55 mail.test.ru postfix/local[247]: 822A958: to=<tigrisha@test.ru>, relay=local, delay=39, status=sent (mailbox)
Jan 16 17:52:56 mail.test.ru postfix/smtpd[235]: disconnect from localhost.test.ru[127.0.0.1]

Если все так и произошло значит smtp работает как положено. По умолчанию для хранения полученых писем postfix использует формат mailbox. Это означает что у каждого пользователя есть файл в котором хранятся все его письма. Обычно он должен находится в директории /var/mail/. Соответственно для адреса tigrisha@test.ru файл будет называться /var/mail/tigrisha. Посмотрим как себя чувствует этот файл.

Теперь необходимо настроить pop3 для того чтобы пользователи могли забирать почту с сервера. В качестве демона pop3 мы будем использовать popa3d. За этой программой закрепилась слава одного из самых быстрых, надежных и безопасных демонов pop3. К сожалению процедура установки этой программы из исходного кода очень неудобна. Перед там как приступить к компиляции приходится вносить в исходный код множество исправлений, что бы включить требуемую функциональность. Лично мне не понятно почему автор не может написать нормальный скрипт configure. Большинству других администраторов такой подход тоже не нравится. Поэтому оберегая собственные нервы воспользуемся системой портов.

# cd /usr/ports/mail/popa3d/
# make
# make install
# make clean
После успешной инсталяции проверяем что бы в файле /etc/services были подобные фрагменты.

pop3 110/tcp pop-3 # POP version 3
pop3 110/udp pop-3

В отличии от postfix демон popa3d не находится постоянно в памяти машины. Вместо этого при каждом входящем соединении он будет запускаться супердемоном. В качестве супердемона чаще всего используются либо inetd либо xinetd. В моем случае это был именно inetd. А раз так то нам нужно внести в файл /etc/inetd.conf следующий фрагмент:

pop3 stream tcp nowait root /usr/local/libexec/popa3d popa3d

Для того что бы измениения вступили в силу нужно перезапустить демон inetd. Узнаем номер его процесса.

# ps -ax | grep inetd | grep -v "grep"
86 ?? Ss 0:01.03 /usr/sbin/inetd -wW
Получается что интересующий нас процесс имеет номер идентификатора 86. Вооружившись этими знаниями перезапускаем inetd.

# kill -HUP 86
Некоторые особо непримиримые читатели скажут что так делать не правильно. А обязательно стоит делать одним из двух следующих способов:

kill -HUP `cat /var/run/inetd.pid`
Или

killall -HUP inetd
А можно совсем экзотично:

killall -HUP `ps -ax | grep inetd | grep -v "grep" | tr -s " " | cut -d" " -f2`
Как всегда я отвечу что все эти команды приводят к одинаковому эффекту, а раз результат достигнут, то нет смысла возмущаться. У каждого из нас свой стиль работы. Фанатичные попытки использовать один и тот же прием в разных ситуациях и желание заставить остальных действовать только так как сказал гуру указывает на узость мыслительных процессов. Давайте не будем уподобляться религиозным фанатикам.

После перезагрузки наступает самое время протестировать работу демона pop3. Делаем это как обычно с помощью telnet.

# telnet localhost 110

Trying 127.0.0.1...
Connected to localhost.test.ru.
Escape character is '^]'.
+OK

# Командой user указываем серверу почту какого пользователя мы желаем читать.

user tigrisha
+OK
# Передаем наш сложнейший пароль.

pass Sx12DF234
+OK
# После того как нас авторизовали посмотрим с помощью команды stat
# состояние нашего почтового ящика. Судя по ответу сервера в ящике одно
# письмо размером 597 байт.

stat
+OK 1 597
# Просмотреть содержимое письма можно с помощью команды top 1 20
# Приказываем показать верхние 20 строк первого письма.


top 1 20
+OK

Return-Path: <tigrisha@test.ru>
Received: (from tigrisha@test.ru)
for tigrisha@test.ru; Tue, 11 Feb 2003 18:18:39 +0300 (MSK)
(envelope-from tigrisha@test.ru)
Date: Tue, 11 Feb 2003 18:18:39 +0300 (MSK)
From: Beshkov Andrew < tigrisha@test.ru >
Message-Id: <200302111518.h1BFIdO44983@mail.test>
To: tigrisha

testing mail for tigrisha
.
# Налюбовавшись на дело рук своих уходим

quit
+OK
Connection closed by foreign host.

Процесс получение почты прошел гладко словно по маслу. На этом можно было бы завершить наши занятия но все же стоит подумать о безопасности наших пользователей.

Давайте приступим к созданию антивирусной защиты для нашего сервера. Как я уже говорил в качестве антивируса мы будем использовать drweb. Грустный опыт работы с KAV для FreeBSD подтолкнул меня к правильному выбору. Так же стоит обратить внимание на отличное качество русской документации поставляющейся вместе с дисрибутивом drweb. Несмотря на то что эта версия не лечит письма, а отправляет их в карантин, и не умеет проверять архивы внутри писем, возможностей заложенных в пробной версии которую мы будем использоватьдостаточно для надежной защиты от вирусов. Лично мне зараженные письма не нужны. А большинство пользователей самостоятельно архивы открывать не умеет. Даже если они и научатся это делать вирусу все равно не жить потому что на каждой рабочей станции тоже стоит drweb.
Для получения обновлений антивирусных баз нам понадобится программа wget. Кроме всего прочего она поможет нам скачивать все необходимое программное обеспечение. Устанавливаем wget используя механизм портов. Можно конечно и из исходников, но особой надобности в этом нет.


# cd /usr/ports/ftp/wget
# make
# make install
# make clean
Пользователи других операционных систем могут взять исходный код этой утилиты тут http://www.gnu.org/software/wget/wget.html. С помощью только что установленного wget скачиваем последнюю версию drweb.


# /usr/local/bin/wget ftp://ftp.drweb.ru/pub/unix/4.29.5/drweb-4.29.5-freebsd4.tar.gz
Если выполнить это действие, по каким либо причинам не удалось, то для скачивания можно воспользоваться любыми другими инструментами. Но все же стоит разобраться почему произощел такой казус. Иначе в дальнейшем мы не сможем автоматически обновлять антивирусные базы. Если и это не получится то для автообновления вместо wget прийдется использовать программу fetch.

После окончания закачки, распаковываем полученный дистрибутив и создаем пользователя drweb принадлежащего группе drweb.

Внимательно читаем инструкции в файле /tmp/drweb-4.29.5-freebsd4/install/opt/drweb/README.RUS. А затем запускаем скрипт инсталляции.


# cd drweb-4.29.5-freebsd4
# ./install.sh
К сожалению, установить антивирус с помощью стандартного скрипта да еще и с первого раза мне не удалось. Он все время жаловался, что не может создать директорию /opt/drweb/ поэтому пришлось создать ее вручную.


# mkdir /opt
# mkdir /opt/drweb/
После этого пошли жалобы на невозможность использования уже созданной директории по причине того, что она уже существует. Ну что же придется обработать скрипт инсталляции напильником. Открываем install.sh любимым текстовым редактором ищем такой фрагмент текста.

if [ -d "$INPUT" ] ; then
echo "Directory $INPUT already exists!"

else
mkdir $INPUT

if [ ! -d "$INPUT" ] ; then
echo "Can not create $INPUT!"

else
INSTALL_DIR=$INPUT
fi
fi

Удаляем совсем или переводим этот кусок текста в комментарии. А вместо него вставляем строку:

INSTALL_DIR=$INPUT

Сохраняемся, выходим из редактора и запускаем install.sh снова. Теперь нужно по порядку отвечать на вопросы задаваемые скриптом.

Enter destination directory (/opt/drweb is default):
# Директория инсталляции

Select interface language: 0) english 1) russian
# Язык интерфейса. Мне больше нравится английский поэтому я выбрал "0"

После завершения установки начинаем редактировать /etc/drweb/drweb32.ini и ищем строку:

;User = drweb

Удаляем из нее символ ?;? и идем дальше. Таким образом мы указываем демону drweb что он должен работать с правами одноименного пользователя. Итак, антивирус установлен. Запускаем его с помошью файла /opt/drweb/drwebd. Полюбовавшись на сообщения в /var/log/messages понимаем что антивирус запустился и работает как надо. Но к сожалению, проку нам от этого пока мало. Для того чтобы подключить его к проверке почты нужно настроить интерфейс от postfix к drweb. Давайте разберемся, как взаимодействуют друг с другом вышеуказанные программы проследив весь жизненый цикл письма. На приведенной ниже схеме интересующий нас маршрут прохождения письма помечен синим цветом.

Письмо может войти в postfix двумя способами. C помошью входящего соединения по smtp через демона smtpd. Если же письмо отправлено с локальной машины, то через программу заменяющую собой sendmail. После этого письмо попадает в модуль cleanup который занимается проверкой и зачисткой заголовков письма. Затем письмо переходит в модуль queue который передает его через pipe фильтру postfix-drweb. Фильтр в свою очередь сохраняет письмо во временном файле и передает путь к нему клиенту антивируса. Усилиями клиента письмо попадает к демону drweb. В свою очередь он с помощью набора антивирусных баз проверяет письмо.

Если вирусов не найдено, то с используя программу заменяющую sendmail письмо передается модулю pickup. Затем вторично пройдя через cleanup и queue в зависимости от того где находится получатель письмо попадает либо в local и доставляется локально, либо в smtp и отсылается на другой сервер. В случае если drweb считает письмо зараженным оно переносится в карантин. С помощью программы sendmail письма с уведомлениями о данном неприятном факте направляются всем кто указан в секции [VirusNotify] файла drweb_postfix.conf. Обычно это админисратор, отправитель и получатель. Разобравшись с теорией приступим к настройке.

Берем фильтр drweb для postfix

# /usr/local/bin/wget ftp://ftp.drweb.ru/pub/unix/drweb-postfix-4.29.10-freebsd4.tar.gz
В обязательном порядке читаем документацию поставляемую вместе с фильтром. После распаковки получаем две директории etc и opt. Содержимое директории etc копируем в /etc/drweb/ а файлы из opt соответственно кладем в /opt/drweb/.

Создаем директорию в которую фильтр будет складывать письма приготовленные для проверки.

# mkdir /var/spool/drweb
Настраиваем права доступа так чтобы работать с этой директорией мог только единственный пользователь группы drweb. Аналогичным способом расставляем нужные права на остальные интересные для нас директории.

# chmod 770 /var/spool/drweb
# chown drweb:drweb /var/spool/drweb
# chown -R drweb:drweb /opt/drweb/
# chown -R drweb:drweb /var/drweb/
# chown -R drweb:drweb /etc/drweb/



Теперь нужно указать postfix что каждое входящее письмо должно проходить через антивирусный фильтр по имени dummy. В файле /etc/postfix/master.cf ищем строку:
smtp inet n - n - - smtpd

И заменяем ее на вот это:

smtp inet n - n - - smtpd -o content_filter=filter:dummy

Затем в конец этого же файла добавляем описание нашего фильтра:

filter unix - n n - - pipe flags=R user=drweb argv=/opt/drweb/drweb-postfix -f ${sender} -- ${recipient}

В файле /etc/drweb/drweb_postfix.conf найти такие строки и вписать в них нужные значения.

AdminMail =root@test.ru
# почтовый адрес администратора

FilterMail =drweb@test.ru
# почтовый адрес которым будет подписывать письма демон drweb

Перезапускаем postfix c помощью команды restart. Если ошибок на консоли и в файле /var/log/maillog не появилось значит все идет как надо. Итак почтовая система запустилась, но нам нужно проверить как работает антивирус. Специально для таких целей вместе с drweb поставляется тестовый файл опознаваемый многими антивирусными программи как вирус. В нем описан так называемый EICAR вирус. Подробнее об этом иммитаторе вируса читайте в документации поставляемой вместе с drweb. А точнее в файле /opt/drweb/doc/readme.eicar. Теперь с помошью любого текстового редактора создаем файл test.com содержащий EICAR вирус и записываем в него вот такую строку.

X5O!P%@AP[4PZX54(P^)7CC)7}$EICAR-STANDARD-ANTIVIRUS-TEST-FILE!$H+H*

Сохраняем полученый файл. С помощью любой почтовой программы пишем себе письмо прикрепив к нему только что созданный файл test.com. Отправив письмо, получим ответ с уведомлением о том что мы пытались отправить себе вирус. В письме должны быть строки подобные нижеследующим:

======================
DrWeb scanning report:
======================
127.0.0.1 [19926] /var/spool/drweb//drweb.tmp_X19925 - archive MAIL
127.0.0.1 [19926] >/var/spool/drweb//drweb.tmp_X19925/eicar.com infected with EICAR Test File (NOT a Virus!)
========
Summary:
========
known virus is found : 1


Итак антивирусная система работает как положено.

Теперь займемся настройкой скритпа pflogsumm. Давайте посмотрим какие данные сможет предложить нам pflogsumm:

Количество принятых , доставленных, перенаправленых, отложеных, вовзращенных отправителю или отброщеных сообщений .
Общий размер принятых и отправленых сообщений.
Список хостов и доменов занимавшихся отправкой и получением почты.
Список адресов пользователей учавствовавших в обмене сообщениями.
Статистика по количчеству входящих и исходящих smtp соединений .
Минимальная, средняя, наибольшая продолжительность smtp соединений с каждым хосто или доменом.
Характеристики ежедневного или почасового траффика создаваем ого почтой.
Данные о количестве сообщений с разбивкой по доменам и хостам.
Сведения о предупреждениях, фатальных ошибках или панических состояниях почтовой системы.
Данные о прочих информационных сообщения записаных в протокол демоном smtp.
Состояние почтовой очереди.
Англоязычную версию pflogsumm можно взять на сайте автора . Но все же мне кажется что гораздо приятнее читать отчеты на родном языке. Поэтому я предпочитаю использовать версию переведенную мною лично на русский язык. Скачать модифицированную версию скрипта можно http://www.onix.opennet.ru/files/. Создаем директорию для размещения скрипта и прочих файлов.


# mkdir /usr/local/pflogsumm
Теперь кладем туда русский pflogsumm. Переименовываем его для краткости в pflogsumm.pl. Устанавливаем файлу владельца, группу и право на выполнение.


# chmod 100 /usr/local/pflogsumm/pflogsumm.pl

# chown root:wheel /usr/local/pflogsumm/pflogsumm.pl
Для выполнения pflogsumm желательно иметь Perl версии не ниже 5.004. Стабильная работа с более ранними версиями интерпретатора Perl не гарантируется. Узнать версию Perl установленного в системе можно с помощью комманды perl -v.

Запустив модуль pflogsumm на выполнение, Вы скорее всего получите ошибки подобные этим:


# ./pflogsumm.pl
Can't locate Date/Calc.pm in @INC (@INC contains: /usr/libdata/perl/5.00503/mach /usr/libdata/perl/5.00503 /usr/local/lib/perl5/site_perl/5.005/i386-freebsd /usr/local/lib/perl5/site_perl/5.005 .) at ./pflogsumm.pl line 213. BEGIN failed--compilation aborted at ./pflogsumm.pl line 213.
Это означает, что у Вас отсутствует модуль Perl по имени Date-Calc написанный Steffen Beyer. Он состоит из библиотеки языка С и модуля perl, который использует эту библиотеку. Нам этот модуль необходим для работы с датами Грегорианского календаря. Стандарт календаря описывается документами ISO/R 2015-1971, DIN 1355 и ISO 8601. На данный момент календарь такого типа используется во всех Европейских странах. В свою очередь для работы модуля Date-Calc нам потребуется модуль Bit-Vector. Берем самую последнюю версию, вышеописанных пакетов на сайте автора http://www.engelschall.com/~sb/download/. В случае если это сделать не удастся скачайте те же пакеты из центрального хранилища CPAN (Comprehensive Perl Archive Network). На момент написания статьи были актуальны версии Date-Calc-5.3 и Bit-Vector-6.3. Кладем оба пакета во временную директорию, например в /tmp. А затем начинаем распаковывать и устанавливать:


# tar zxvf Bit-Vector-6.3.tar.gz
# cd Bit-Vector-6.3
# perl Makefile.PL
# make
# make test
# make install
Если с Bit-Vector все прошло удачно, выполяем аналогичные действия для пакета Date-Calc. По окончанию установки снова запускаем pflogsumm.pl. Если на экране не появилось ни одной ошибки значит все требуемые модули находятся на месте и готовы к использованию.

Технология работы pflogsumm довольно проста. Пользователь передает на стандартный ввод скрипта файлы протокола почтовой системы. А результаты получает из стандартного вывода. Мне кажется что статистика должна собираться за прошедшую неделю, предыдущий и текущий день. Для выполнения этих задач мы напишем три вспомогательных скрипта. После их выполнения сформированные файлы должны записываться в директорию /usr/local/apache/htdocs/traffic/. С помощью web сервера apache работающего на этой же машине файлы из этой директории будут доступны начальству для просмотра с помошью любого web браузера. В дополнение к этому хотелось что бы недельная и ежедневная статистика приходила по почте администратору.

Для систем FreeBSD характерно хранение протокола почтовой системы длиной в одну неделю. В некоторых диалектах Linux принято хранить протоколы длиной в один месяц. Как и во многих других Unix подобных системах с помощью демона cron каждую ночь запускается задача ротации файлов протоколов. В результате работы этой задачи файл /var/log/maillog упаковывается с помощью программы gunzip и записывается вместо файла /var/log/maillog.0.gz. В других системах вместо gunzip используется bzip, но основной принцип это не меняет. Старое содержимое файла /var/log/maillog.0.gz записывается в файл /var/log/maillog.1.gz. Таким образом все файлы по цепочке смещаются вниз на один день. И только содержимое файла /var/log/maillog.6.gz никуда не копируется, а просто перезаписывается файлом /var/log/maillog.5.gz. Обдумав все вышесказанное приходим к выводу что недельный и ежедневный скрипты подсчета статистики должны запускаться после того как задача ротации логов успешно завершится. Во избежание всяких казусов уточните время запуска и завершения задачи ротации протоколов для вашей системы.

Ниже приводится содержимое файла /usr/local/pflogsumm/weekly.sh создающего недельную статистику.

#!/bin/sh
# Собираем полный недельный протокол в файл weekly.maillog
# такой подход облегчает обработку файла. Но в тоже время
# стоит убедиться что в системе хватит места для этого файла.

zcat /var/log/maillog.0.gz > /usr/local/pflogsumm/weekly.maillog
zcat /var/log/maillog.1.gz >> /usr/local/pflogsumm/weekly.maillog
zcat /var/log/maillog.2.gz >> /usr/local/pflogsumm/weekly.maillog
zcat /var/log/maillog.3.gz >> /usr/local/pflogsumm/weekly.maillog
zcat /var/log/maillog.4.gz >> /usr/local/pflogsumm/weekly.maillog
zcat /var/log/maillog.5.gz >> /usr/local/pflogsumm/weekly.maillog
zcat /var/log/maillog.6.gz >> /usr/local/pflogsumm/weekly.maillog

# Записываем в файл weekly.name полный путь к результирующему файлу
echo "/usr/local/apache/htdocs/traffic/" > /usr/local/pflogsumm/weekly.name
date -v-7d "+%d%b%Y-" >> /usr/local/pflogsumm/weekly.name
date -v-1d "+%d%b%Y" >> /usr/local/pflogsumm/weekly.name

# Запускаем расчеты и перенаправляем стандартный вывод
# в результирующий файл
/usr/local/pflogsumm/pflogsumm.pl /usr/local/pflogsumm/weekly.maillog --smtpd_stats --mailq --problems_first --rej_add_from --verbose_msg_detail --iso_date_time > `tr -d " " < /usr/local/pflogsumm/weekly.name`

# Отправляем копию файла почтой администратору
cat `tr -d " " < /usr/local/pflogsumm/weekly.name` | mail -s `date -v-7d "+%d%b%Y-"``date -v-1d "+%d%b%Y"`

# Убираем за собой мусор
rm /usr/local/pflogsumm/weekly.maillog
rm /usr/local/pflogsumm/weekly.name

Закончив с еженедельным скриптом перейдем к ежедневному собирающему данные за вчерашний день /usr/local/pflogsumm/daily.sh. Комментировать в нем нечего потому что это всего лишь упрощенная версия еженедельного расчета.

#!/bin/sh
zcat /var/log/maillog.0.gz > /usr/local/pflogsumm/daily.maillog

echo "/usr/local/apache/htdocs/traffic/" > /usr/local/pflogsumm/daily.name
date -v-1d "+%d%b%Y" >> /usr/local/pflogsumm/daily.name

/usr/local/pflogsumm/pflogsumm.pl -d yesterday /usr/local/pflogsumm/daily.maillog --mailq --problems_first --rej_add_from --verbose_msg_detail --iso_date_time > `tr -d " " < /usr/local/pflogsumm/daily.name`
date -v-1d "+%d%b%Y" > /usr/local/pflogsumm/tmp.date

cat `tr -d " " < /usr/local/pflogsumm/daily.name` | mail -s `date -v-1d "+%d%b%Y"` tigrisha@test.ru

rm /usr/local/pflogsumm/daily.name
rm /usr/local/pflogsumm/tmp.date
rm /usr/local/pflogsumm/daily.maillog

Последней и самой простой версией скрипта является задача запускающаяся ежечасно для сбора данных об активности на текуший день /usr/local/pflogsumm/hourly.sh

#!/bin/sh
echo "/usr/local/apache/htdocs/traffic/" > /usr/local/pflogsumm/tmp.name
date "+%d%b%Y" >> /usr/local/pflogsumm/tmp.name
/usr/local/pflogsumm/pflogsumm.pl -d today /var/log/maillog --mailq --problems_first --rej_add_from --verbose_msg_detail --iso_date_time > `tr -d " " < /usr/local/pflogsumm/tmp.name`
rm /usr/local/pflogsumm/tmp.name


Для моей системы оптимально было установить время выполнения всех трех скриптов таким образом.

# crontab -e -u root
0 1 * * 1 /usr/local/pflogsum/weekly.sh

0 2 * * * /usr/local/pflogsum/daily.sh

20 * * * * /usr/local/pflogsum/hourly.sh

К сожалению пользователи других систем скорее всего столкнутся с проблемами при использовании первых двух скриптов. Это может произойти из-за того что внутри наших скриптов мы используем команду date c ключем -v. Не все операционные системы поддерживают такую опцию и возможно Вам прийдется править скрипты.

Выполнив все вышеописаное вы должны стать счастливым обладателем собственного почтового сервера.

To enable postfix startup script please add postfix_enable="YES" in your rc.conf

If you not need sendmail anymore, please add in your rc.conf:

sendmail_enable="NO"
sendmail_submit_enable="NO"
sendmail_outbound_enable="NO"
sendmail_msp_queue_enable="NO"

And you can disable some sendmail specific daily maintenance routines in your
/etc/periodic.conf file:

daily_clean_hoststat_enable="NO"
daily_status_mail_rejects_enable="NO"
daily_status_include_submit_mailq="NO"
daily_submit_queuerun="NO"

This port has installed the following binaries which execute with
increased privileges.
/usr/local/sbin/postdrop
/usr/local/sbin/postqueue

This port has installed the following startup scripts which may cause
these network services to be started at boot time.
/usr/local/etc/rc.d/postfix

Обновлено: 13.03.2015