Гэмбон был женат на британской актрисе Энн Миллер с 1962 года. В браке родился сын Фергюс (род. 1967). С 2004 года Гэмбон жил с Филиппой Харт, которая моложе его на 25 лет. В мае 2007 года от этого союза родился сын Майкл, а 22 июня 2009 — второй сын, Уильям.