Родители мальчика были школьными учителями, сам же Годфри с детства демонстрировал незаурядные математические способности. Так, уже в два года он мог писать числа до миллиона. А чуть позже, когда родители стали брать подросшего сына в церковь, он забавы ради раскладывал на множители номера псалмов (кстати, в будущем Харди станет убеждённым атеистом).