При возможности обозначьте Вашу свободу действий. Как говорил, один мой знакомый выдающийся дипломат: "Не можешь договориться с человеком, объезжай его". Сообщите неприятному человеку, что на нем свет клином не сходится, и что Вы вполне себе успешно можете заменить его на более приятного собеседника, партнера, сотрудника, работодателя и т.д.
А книга для токсичных людей, которая бы научила их не быть токсичными, наверное, совсем бы не имела успеха. )