Ефим Моисеевич Фомин родился в местечке Колышки Витебской губернии в бедной еврейской семье (отец – кузнец, мать – швея). После смерти родителей воспитывался тётей, потом дядей. С 1921 г. – ученик парикмахера, затем сапожника в Витебске.  Окончил Псковскую совпартшколу в 1929 году, до 1932 г. – на партийной и профсоюзной работе в Пскове. По партийной мобилизации в марте 1932 года стал кадровым политработником Красной армии. 1938 году окончил курсы при политуправлении Харьковского военного округа. В августе 1938 года был назначен на должность военного комиссара 23-й Харьковской ордена Ленина Краснознаменной стрелковой дивизии. Вместе с этой дивизией в 1939 году принимал участие в походе на Западную Украину.