Мангер родился 1 января 1924 года в Омахе, штат Небраска, США, в семье потомственного адвоката. Мальчик любил читать и посвящал книгам всё своё свободное время, хотя его у Чарльза в тот период было не слишком много — после уроков он помогал в семейной лавке, работая за два доллара в день.