CPU system が高まった時の原因調査 (ubuntu)
top コマンドでいうところの %sy、つまりカーネルプロセスによる
CPU使用率が高まってきた場合、以下の様な方法で原因を調査することができます。
sh>>
strace -c -p
<<--
CPU使用率が高くなっているプロセスのPIDを指定します。
これにより、指定のプロセスから呼び出される system call の回数や消費CPU時間の集計が始まります。
10〜30秒程度たったら、Ctrl+Cで集計を終了します。
そうすると、以下の様な集計結果が得られます。
pre>>
% time seconds usecs/call calls errors syscall
100.00 1.470463 63933 23 munmap
0.00 0.000000 0 12 read
0.00 0.000000 0 24 write
0.00 0.000000 0 23 mmap
0.00 0.000000 0 24 rt_sigprocmask
0.00 0.000000 0 6 writev
0.00 0.000000 0 36 gettimeofday
0.00 0.000000 0 6 getppid
0.00 0.000000 0 18 clock_gettime
0.00 0.000000 0 12 epoll_wait
0.00 0.000000 0 12 epoll_ctl
0.00 0.000000 0 12 ppoll
100.00 1.470463 208 total
<<--
munmap 遅いですね。
それから、munmap の内部のどこが遅いのか、更に細かい粒度で原因をしらべるには、ftrace が使えます。
ftrace が利用可能かどうかは以下のようにして調べられます。
sh>>
cat /proc/sys/kernel/ftrace_enabled
1
<<--
ftraceはソースコードで配布されているので、以下から git clone してきます。
sh>>
cd /usr/local/src
git clone git://git.kernel.org/pub/scm/linux/kernel/git/rostedt/trace-cmd.git
cd trace-cmd
make
make install
<<--
例えば、以下のようにls コマンドを実行してkernel関数がどのように呼ばれているかを調べられます。
sh>>
trace-cmd record -p function_graph ls
<<--
実行が終了するとカレントディレクトリに trace.dat が作成されます。
これを
sh>>
trace-cmd report | less
<<--
のようにして確認します。