Графы Толстые-старинный дворянский род, происходящий от высокородного предка Индриса, выехавшего «из немец, из Цесарские земли» в Чернигов в 1353 году, с двумя сыновьями и с дружиной из трех тысяч человек. Он крестился, получил имя Леонтия и был родоначальником нескольких дворянских фамилий. Его правнук, Андрей Харитонович, переселившийся из Чернигова в Москву и получивший от великого князя Василия Темного прозвище Толстого, был родоначальником Толстых.
Один из потомков Индриса, Петр Андреевич Толстой, служил в 1683 году при дворе стольником и был одним из зачинщиков стрелецкого бунта. Падение царевны Софии заставило Петра Андреевича Толстого переменить фронт и перейти на сторону царя Петра I, но Петр I Андреевич долго не пользовался доверием царя: рассказывают, что на веселых пирах Петр I любил сдергивать большой парик с головы Петра Толстого и, ударяя по плеши, приговаривать: «Головушка, головушка, если бы ты не была так умна, то давно бы с телом разлучен была».
Недоверчивость царя не была поколеблена и военными заслугами Толстого во втором Азовском походе в 1696 году.
В 1697 году царь посылал «волонтеров» за границу учиться, и Толстой, будучи уже в зрелых летах, сам вызвался ехать туда для изучения морского дела. Два года, проведенные в Италии, сблизили Толстого с западноевропейской культурой. В конце 1701 года Толстой назначен посланником в Константинополь. Во время Русско-Турецкой войны Толстой дважды сидел в Семибашенном замке, - поэтому в гербе графов Толстых изображен этот замок.
В 1717 году Толстой оказал царю важную услугу, навсегда упрочившую его положение: посланный в Неаполь, близ которого в Кастель Сент-Эльмо в то время скрывался царевич Алексей со своей подругой Ефросиньей, Толстой, при содействии Ефросиньи, ловко обошел царевича и путем застращивания и ложных обещаний склонил его к возвращению в Россию. За деятельное участие в следствии, суде и тайной казни царевича, совершенной им по приказанию Петра I в соучастии с Румянцевым, Ушаковым и Бутурлиным, Толстой был награжден поместьями и поставлен во главе Тайной канцелярии. С этих пор Толстой становится одним из самых близких и доверенных лиц государя.
После смерти Петра I Толстой вместе с Меньшиковым содействовал воцарению Екатерины I, а потому и пользовался у нее большими милостями. В день ее коронования он получил титул графа.
Но с воцарением Петра II, сына казненного царевича Алексея, падение Толстого было неминуемо. Несмотря на преклонный возраст – 82 года, Петр Толстой был сослан в Соловецкий монастырь, где прожил недолго и умер в 1729 году.