手元のファイルは残しておきたいけれど、インデックスからは削除したいという場合には、以下のように --cached オプションをつけるとうまくいきます。

pre>>
% git rm --cached /path/to/files
<<--

ディレクトリをインデックスから削除する場合は -r オプションを忘れずに。