privateもクラスレベルで行わないとだめです
class Hoge
class << self
private
def hoge
1
end
end
end

ご指摘の通りです。

ruby>>
class Hoge
class << self
private
def hoge
1
end
end
end
<<--

ということですね。
`private_class_method`は、結果的には上記と同様のことをしてくれる感じになります。
Cレベルのソースは以下のような感じですね。

c>>
static VALUE
rb_mod_private_method(argc, argv, obj)
int argc;
VALUE *argv;
VALUE obj;
{
set_method_visibility(CLASS_OF(obj), argc, argv, NOEX_PRIVATE);
return obj;
}
<<--

既存のメソッドの可視性をprivateにしています。