«Битлз» стали целью и смыслом жизни Эпстайна. На гастролях, пресс-конференциях, киносъемках они всегда были вместе, и Брайан был горд и счастлив ощущением своей необходимости. Но летом 1966 года случилась трагедия: «Битлз» прекратили концертную деятельность, решив ограничиться студийной работой. Брайан очень скоро почувствовал себя лишним. В студии музыкантам был нужен Джордж Мартин, а не он, и пресса уже через несколько месяцев прореагировала на этот факт тем, что «пятым членом квартета», как поначалу именовали Эпстайна, стала называть Мартина.