logrotate 殺 事件
プロ
セス
@kazeburo

Someday 3:30 AM
Alert!!
[CRITICAL] Fluentd’s position file has not been
updated for several minutes.
AppXXX

We found these error msg in /var/log/message.
Jan 24 03:24:18 appXXX logrotate: ALERT exited abnormally with [1]

• The files appear to be rotated.
/var/log/httpd/*log
{
compress
daily
• But `postrotate` was not executed.
delaycompress
missingok
ifempty
rotate 7
•
dateext
The daemon kept writing logs to the old file.
sharedscripts
su root root
postrotate
•
/sbin/service httpd graceful > \
Fluentd read a new file, but no logs are written.
/dev/null 2>/dev/null || true
endscript

How works logrotate
• Find log files to rotate.
• Rename old log files.
• Create new logfiles with `open(name, O_CREAT |O_EXCL)`. DIED HERE
• exec `postrotate`. NOT EXCUTED

O_CREAT|O_EXCL
• O_CREAT
• ファイルが存在しなかった場合は作成 (create) する。
• O_EXCL
• この呼び出しでファイルが作成されることを保証する。このフラグ
が O_CREAT と 一緒に指定され、 pathname のファイルが既に存在した場
合、 open() は失敗 する。

・・・つまり

Someone created a file
during the moment
between rename and create
at 3:30 AM!!!

な・・・なん (略

• PHPはリクエスト処理が終わると基本全てのメモリを解放する
• File descriptorをリクエストを超えて保持することができない
• Monologというloggerライブラリでは都度O_CREATをつけてファイル開く
• つまりrename直後にloggerを使うと、logrotateが作成するよりも早くファイル
を作ってしまう。3時半に

🤔

• logrotateが終わるまでリクエストを止める
• logrotate supports `prerotate` & `lastaction`.
• logrotateにpatchをあててO_EXCLを削除
• logroateの挙動を外から変更してO_EXCLを削除 採用

LD_PRELOAD
環境変数 LD_PRELOAD を使うとプログラムの実行前に
任意の共有オブジェクト(ライブラリ)を読み込み、
プログラムの挙動に変更を加えることができる

int open(const char *pathname, int flags, ...)
{
static int (*func_open)(const char *, int, mode_t);
va_list ap;

mode_t mode;
int fd;
if (!func_open)
func_open = dlsym (RTLD_NEXT, "open");
va_start(ap, flags);
mode = va_arg(ap, int);
va_end(ap);
// O_RDWR and ! O_TRUNC
if ( (flags & O_CREAT) != 0 && (flags & O_RDWR) != 0 && (flags & O_TRUNC) == 0 ) {
flags = flags & ~O_EXCL; // ここでO_EXCLを除去
}
fd = func_open(pathname, flags, mode);
return fd;
}
https://github.com/kazeburo/no_excl_open

#!/bin/sh
LD_PRELOAD=/path/to/open_no_excl.so /usr/sbin/logrotate \
-s /var/lib/logrotate/logrotate.status /etc/logrotate.conf
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then
/usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi
exit 0
/etc/cron.daily/logrotate

✌
敗北を知りたい