Macのtopコマンドはdebianのものと違って、
Shift+Mではメモリの使用量によるソートができませんでした。
Macの場合は、

pre>>
% top -orsize
<<--

のように、オプションを指定して起動するか、
topが起動している状態で、oキーを押してから、
rsizeと入力すると良いようです。

RSIZEというカラムが使用しているメモリの量を表しています。