25th Sun

CPU system が高まった時の原因調査 (ubuntu)

top コマンドでいうところの %sy、つまりカーネルプロセスによる
CPU使用率が高まってきた場合、以下の様な方法で原因を調査することができます。

sh>>

strace -c -p

<<--

CPU使用率が高くなっているプロセスのPIDを指定します。
これにより、指定のプロセスから呼び出される system call の回数や消費CPU時間の集計が始まります。
10〜30秒程度たったら、Ctrl+Cで集計を終了します。
そうすると、以下の様な集計結果が得られます。

pre>>
% time seconds usecs/call calls errors syscall

100.00 1.470463 63933 23 munmap
0.00 0.000000 0 12 read
0.00 0.000000 0 24 write
0.00 0.000000 0 23 mmap
0.00 0.000000 0 24 rt_sigprocmask
0.00 0.000000 0 6 writev
0.00 0.000000 0 36 gettimeofday
0.00 0.000000 0 6 getppid
0.00 0.000000 0 18 clock_gettime
0.00 0.000000 0 12 epoll_wait
0.00 0.000000 0 12 epoll_ctl
0.00 0.000000 0 12 ppoll

100.00 1.470463 208 total
<<--

munmap 遅いですね。

それから、munmap の内部のどこが遅いのか、更に細かい粒度で原因をしらべるには、ftrace が使えます。

ftrace が利用可能かどうかは以下のようにして調べられます。

sh>>
cat /proc/sys/kernel/ftrace_enabled
1
<<--

ftraceはソースコードで配布されているので、以下から git clone してきます。

sh>>
cd /usr/local/src
git clone git://git.kernel.org/pub/scm/linux/kernel/git/rostedt/trace-cmd.git
cd trace-cmd
make
make install
<<--

例えば、以下のようにls コマンドを実行してkernel関数がどのように呼ばれているかを調べられます。

sh>>