Серж начал свою карьеру на Уолл-стрит, сначала работая в Федеральном резервном банке Нью-Йорка. Вскоре после этого он присоединился к фонду Broadway Trading, где оттачивал свои навыки в создании и управлении портфелем активов. В возрасте 24 лет Милман был представлен на обложке журнала Forbes как самый молодой человек когда-либо на ней размещённый, пока это звание не перенял некий Марк Цукерберг.