手元のファイルは残しておきたいけれど、インデックスからは削除したいという場合には、以下のように --cached オプションをつけるとうまくいきます。

   1  % git rm --cached /path/to/files

ディレクトリをインデックスから削除する場合は -r オプションを忘れずに。