TIL Git не чистит автоматически пустые папки после того, как из них были удалены все файлы.
git clean -fd для очистки.