Ларри был четверым из 12 детей в семье,которая была очень бедная. В седьмом классе он бросил школу и пошел работать на автомойку,что бы хоть как то помочь своей семье.
Боксом Ларри Холмс начал заниматься в 19 лет. Он соревновался в 1972 году на ОИ проводя только 22й бой, но после боя с Дуэйном Бобиком и дисквалификаци решил стать профи