По-видимому, воронцовский Китайский домик использовался как жилой флигель. Одно время здесь жил один из его близких друзей и сподвижников дипломат Яков Иванович Булгаков (1743-1809). Вместе с ним в Воронцове жили его "воспитанники", то есть внебрачные сыновья - Александр (1781-1863) и Константин (1782-1835), впоследствии получившие фамилию Булгаковых. В пушкинскую эпоху оба они были почт-директорами в Москве и Петербурге.
Н.В. Репнин провел в Воронцове зиму после окончании второй турецкой войны в 1791 г. Его связь с масонами выяснилась после ареста издателя Н.И. Новикова. Хотя лично с ним Н.В. Репнин дела не имел, но этого оказалось достаточно, чтобы утратить былое расположение императрицы. Поэтому она отправила князя в почетную ссылку, назначив на пост Рижского и Ревельского генерал-губернатора. Пробыв год на этом посту, Н.В. Репнин решил, что вполне может обойтись без подмосковного имения и в этой ситуации ему лучше иметь дом в Петербурге. Поэтому он в ноябре 1793 г. через княгиню Е.Р. Дашкову предложил ее брату, графу А.Р. Воронцову, обменять дом на Фонтанке на Воронцово. Однако даже если осмотр помещений состоялся, то не имел никаких последствий. Оба вельможи остались при прежних владениях.
Впоследствии Павел I произвел Н.В. Репнина в генерал-фельдмаршалы и подарил ему шесть тысяч крепостных, но карьера князя уже была близка к завершению. После неудачного посольства в Пруссию в 1798 г. Н.В. Репнин вернулся в Москву, где провел последние годы жизни, часто посещая Воронцово, куда время от времени приезжали его родственники и друзья.
Н.В. Репнин скончался 12 мая 1801 г. в своем Воронцове. Его бывший адъютант Ф.П. Лубяновский со слов очевидцев вспоминал, что перед этим: "случился пожар в соседней деревне; он [Н.В. Репнин. - М.К.] стоял на балконе с открытою головою, пока не поехали от него на помощь люди и трубы; ушел к себе в обычный час, на другой день вышел в парк и там, ходя обыкновенным, бодрым своим шагом, вдруг зашатался, не мог идти, оперся на внука и на садовника; поданы кресла... Медицинские пособия с первого приступа оказались недействительны, говорил мало, скоро совсем не мог говорить; несколько часов еще дышал и в тот же день скончался".
Узнав о смерти Н.В. Репнина, вдовствующая императрица Мария Федоровна повелела его дочери княгине Александре Николаевне Волконской (1756-1834) как можно быстрее прибыть с семейством в Петербург. Из-за этого завещание князя было вскрыто не через шесть недель после его кончины, а сразу перед ее отъездом. Оказалось, что Воронцово предназначено не А.Н. Волконской, а ее младшей сестре Дарье Николаевне Репниной, которой было завещано "замуж не выходить, жить при сестре и жить дружно". Это на первый взгляд странное требование было обусловлено тем, что Дарья Репнина была горбата с детства и по тем меркам уже немолода, поэтому фельдмаршал боялся, что искатели ее руки польстятся только на состояние. Впрочем, запрет не помог. Дарья Репнина довольно скоро вышла замуж за отставного полковника барона Августа Карловича фон Каленберга (?-1880). Возможно, поэтому сестры нарушили еще одну волю Н.В. Репнина, по-своему переделив наследство. Владелицей Воронцова стала княгиня Александра Николаевна. А в результате вояжа в Петербург ее старший сын князь Николай Григорьевич Волконский получил фамилию Репнин, присвоенную ему царским указом в память заслуг деда.
Генеалоги называют внука фельдмаршала "князем Репниным-Волконским". Хотя ни сам Н.В. Репнин, ни кто-либо из его детей никогда не пользовался такой двойной фамилией. "Я дорожу, чтобы отца моего называли Репниным без прибавления Волконского; он так подписывался и имел гербовую печать Репниных", - гордо утверждала его дочь княжна Варвара Николаевна Репнина (1809-1891), впоследствии автор любопытных воспоминаний о Н.В. Гоголе.
По свидетельству Я.И. Булгакова, периодически посещавшего Воронцово в 1801-1806 гг., а может быть, и в более позднее время, А.Н. Волконская, став владелицей Воронцова, сдавала усадьбу под дачи семьям московской знати, не желавшей уезжать далеко от города. Поэтому в теплое время года Воронцово превращалось в один из первых "дачных поселков", в котором жили Депрерадовичи, Корсаковы, Мятлевы, Спичинские и др. Возможно, с этим связано устройство в 1806-1807 гг. в Воронцове небольшой церкви Святой Живоначальной Троицы, под которую был использован парковый павильон. Это событие дало усадьбе еще одно название - Троицкое.
В мае 1812 г. А.Н. Волконская предоставила территорию Воронцова для строительства большого воздушного шара. Предполагалось, что он станет "последним словом" военного дела - с шара можно будет бомбардировать неприятельскую армию взрывчатыми снарядами. Работами руководил механик Франц Леппих (Липпих), носивший псевдоним "доктор Шмидт". Ему помогал врач Шефлер. Первоначально Леппих предложил свои услуги Наполеону, но тот их отверг. Тогда Леппих связался с российским послом в Штутгарте, который сообщил об идее постройки шара своему правительству. Заманчивое предложение, сулившее немало расходов, но еще больше выгод, было принято. Специальный фельдъегерь привез Леппиха в Москву вместе с письмом императора Московскому гражданскому губернатору и губернскому предводителю дворянства Н.В. Обрезкову. В письме содержалось поручение тайно поместить Леппиха недалеко от города и снабдить его всем необходимым для начала работ. Н.В. Обрезков решил, что Воронцово вполне отвечает всем условиям, необходимым для сохранения тайны, и по согласованию с А.Н. Волконской вскоре приказал отвезти Леппиха в ее имение. Новый московский военный губернатор граф Ф.В. Ростопчин, заменивший престарелого генерал фельдмаршала графа И.В. Гудовича, не посвященного в тайну Леппиха, 11 июня 1812 г. поставил в известность императора о придуманном способе сохранить конфиденциальность работ: "Так как совершенно немыслимо держать в тайне в продолжении четырех месяцев существование заведения, в котором 60 рабочих будут заниматься своим делом в 7 верстах от города, то мы условились с г. Обрезковым, что он заключит под чужим именем с г. Леппихом условие, в силу которого последний обязуется изготовить для него множество моделей различных земледельческих орудий, которые должны быть готовы к новому году. Это удовлетворит любопытство в том случае, если бы оно было возбуждено каким-нибудь непредвиденным обстоятельством".
Начало войны с Францией заставило форсировать строительство шара. Поэтому Ф.В. Ростопчин сообщает императору о работах Леппиха в каждом письме. Вот выдержки из них: "Большая машина будет окончена 15 августа. Через десять дней он произведет опыт в небольших размерах с крыльями"; "Леппих истратил уже 72 тысячи руб."; "Леппих собирает теперь в одно целое части машины; тафта уже сшита"; "он много тратит денег; ему выдано уже 130 тысяч руб., но если б удалось его предприятие, то можно бы не пожалеть и миллиона".
22 августа Ф.В. Ростопчин, чтобы воодушевить москвичей, опубликовал в газете "Московские ведомости" сообщение о целях работ Леппиха и о предполагаемом пуске через несколько дней пробного маленького шара. После этого зеваки стали стекаться в Воронцово, чтобы посмотреть на новое чудо-оружие. Этот эпизод впоследствии нашел отражение в литературе: один из главных героев романа Л.Н. Толстого "Война и мир" Пьер Безухов, чтобы развлечься, поехал смотреть на воздушный шар. "Народ тогда толпами ходил из Москвы, на расстояние семи верст, к тому месту, где готовился шар. Это было на уединенной даче, окруженной забором, куда внутрь никого не пускали, но народ, возвращаясь домой, рассказывал, что видел своими глазами, как готовился шар на верную гибель врага, и тем довольствовался", - писал всесильный временщик граф А.А. Аракчеев. По легенде, мастерскую Леппиха в Воронцове будто бы тайно посетил сам Александр I во время пребывания в Москве.
Пуск пробного шара так и не состоялся, а после Бородинского сражения тональность реляций Ф.В. Ростопчина императору о строительстве шара резко изменилась. "С прискорбием извещаю ваше величество о неудаче Леппиха... Кажется, надо отказаться от надежды на успех... Леппих - сумасшедший шарлатан".
Перед сдачей Москвы французской армии Леппих и его помощник Шефлер были отправлены в Петербург, а недостроенный шар, погруженный на 130 подвод, эвакуирован в Нижний Новгород.
После московского пожара по распоряжению Наполеона была учреждена комиссия для расследования и суда над пойманными поджигателями. На ее заседании 24 сентября 1812 г. сооружение воздушного шара в Воронцове было увязано с поджогом города. Комиссия констатировала, что русское правительство использовало для защиты недозволенные методы - пожары и разрушения, а "план постройки большого шара был придуман лишь для того, чтобы произвести впечатление, и в Воронцовском дворце не занимались ничем, кроме приготовления горючих и зажигательных снарядов; известно, что расходы на постройку шара и машин покрыты русским правительством". По результатам проведенного расследования десять человек были осуждены на смертную казнь.
Воронцово было разграблено и сожжено. Помимо имущества, принадлежавшего А.Н. Волконской, погибли свезенные в усадьбу из Москвы вещи князя Н.Г. Репнина, его жены Варвары Алексеевны (1778-1869) и тестя - графа Алексея Кирилловича Разумовского (1748-1822). Огонь уничтожил почти весь огромный фамильный архив, содержавший уникальные документы, в том числе автографы выдающихся французских философов и писателей - Вольтера и Дидро. Считается, что небольшую часть архива удалось спасти младшему сыну владелицы имения князю Сергею Григорьевичу Волконскому (1788-1865), будущему декабристу. По семейному преданию, он успел вывезти некоторые бумаги в имение брата Николая Яготино, находившееся в Полтавской губернии. Французы разорили церковь, которая не действовала до 1816 г., и сожгли дотла деревню Петровскую и сельцо Шатилово. После войны эти населенные пункты так и не были восстановлены, а оставшихся без крова крестьян А.Н. Волконская поселила напротив усадьбы, в образованной по другую сторону старой Калужской дороги деревне Воронцово.