Хорошо про моменты: http://stanford.edu/~imit/tuneyourmomentum/ от них же новый optimizer: http://cs.stanford.edu/~zjian/project/YellowFin/