The machine did not have floating-point arithmetic because von Neumann felt that any competent mathematician ought to be able to keep track of the decimal point (actually the binary point) in his or her head.

Надмозги, издательство «Питер», работа за копейки, упрощение на лету, самая большая страна в мире — выбирай чё хошь.

В интернете легко ищется, что фон Нейман не хотел работать над сложным в реализации модулем, который будет скрывать от пользователя работу по нормализации вычислений, вполне выполнимую человеком.
https://people.eecs.berkeley.edu/~wkahan/SIAMjvnl.pdf