На месте где располагается Мраморный дворец находился Питейный двор, в 1714 году перестроенный в Почтовый двор с пристанью для двух "почтовых фрегатов", совершавших регулярные рейсы между Петербургом и Москвой. Почтовый двор представлял из себя небольшое мазанковое здание. В 1715-1716 годах он стал деревянным и двухэтажным. На втором этаже расположился зал, где Пётр I устраивал ассамблеи и другие торжественные мероприятия. При Почтовом дворе работала гостиница, постояльцы которой при любой погоде выселялись при прибытии сюда царя. Кроме охраны и служителей здесь служили почтмейстер, секретарь, переводчик и три почтальона.
Набережную у Почтового двора назвали Почтовой, сейчас это Дворцовая набережная. В 1730 году Почтовый двор перевели к Исаакиевской церкви, здание и пристань уничтожили. На их месте в 1732 году построили Манеж. Пожар 1737 года уничтожил эту постройку. Освободившееся место расчистили, и назвали Верхней Набережной площадью. Она примыкала к Царицыну лугу.
В 1768-1785 годах здесь по проекту Антонио Ринальди строится Мраморный дворец, который Екатерина II подарила своему фавориту Григорию Орлову. Подарок был сделан за активное участие Орлова в событиях 1762 года, в результате которых императрица оказалась на русском престоле. Ответным жестом графа стал подарок - огромный бриллиант массой в 189,62 карата, названный "Орлов".
По одной из легенд императрица сама сделала набросок будущего здания и показала его архитектору. Зная, что проект составила Екатерина, Ринальди высоко оценил эту работу и тут же получил разрешение на строительство. Здание заложено 10 октября 1769 года, в его фундамент был замурован мраморный ящик с монетами. Строительными работами руководил полковник артиллерии М. И. Мордвинов. Архитектурный надзор осуществлял Пётр Егоров. На строительстве Мраморного дворца ежедневно трудились около 100 каменщиков и от 100 до 300 артиллерийских фузилеров. Екатерина II периодически посещала строительную площадку и лично награждала особо отличившихся работников.
Огромные плиты мрамора и гранита доставляли по Неве. Их сюда начали завозить уже в 1768 году. Кирпичные своды и стены построили в 1769 году, после чего началась первичная обработка природного камня. Эта работа осуществлялась в 1770-1774 годах. В 1774 году приступили к отделке фасадов Мраморного дворца мрамором и гранитом, к отделке внутренних помещений.
Нижнюю часть фасада Мраморного дворца облицовали гранитом, а вместо штукатурки по предложению архитектора для облицовки стен было решено использовать 32 сорта мрамора. Отсюда и его название - "Мраморный дворец". Белый мрамор привозили из Италии, это оказалось дешевле чем везти его с Алтая или Урала. Остальной же облицовочный материал добывали в карьерах близ Ладожского и Онежского озёр. Мрамор использовали и при оформлении десяти внутренних залов здания. Мраморный дворец стал первым петербургским зданием, облицованным природным камнем.
В 1780-1788 годах в восточной части участка построили служебный корпус. Перед его постройкой засыпали Красный канал, соединявший Неву и Мойку. Между зданиями установили решётку работы П. Е. Егорова, напоминающую ограду Летнего сада.
С 1780 года велась отделка двух верхних этажей. Все работы завершили к 1785 году. Над входом в Мраморный дворец была помещена надпись "ЗДАНИЕ БЛАГОДАРНОСТИ". Выше, на аттике, установили башенку с часами. По сторонам от башни установили две фигуры работы скульптора Ф. И. Шубина - Верность (справа) и Щедрость (слева). Всего во дворце находилось около 40 работ этого мастера.
Для кровли в Сестрорецке изготовили медные листы. Их подгонка и пайка была проведена так тщательно, что крыша не знала протечек вплоть до ремонта 1931 года.
Парадная лестница Мраморного дворца была украшена статуями Утро, День, Вечер и Ночь. На площадке от второго этажа до третьего - скульптуры, олицетворяющие осеннее и весеннее равноденствие.
На первом этаже находились кухни, котельные и церковь, освящённая во имя Введения в храм Пресвятой Богородицы. Служебные комнаты были оборудованы различными механизмами и приспособлениями. В корпусе по Миллионной улице находилась машина для подачи воды, колодец с двумя насосами для подачи воды в парадные бани второго этажа. В корпусе по Мраморному переулку - колодец с насосом для подачи воды в Садик. В Невском корпусе - бассейн для прочистки механизмов.
В северной части второго этажа Мраморного дворца располагалась Большая Невская анфилада. Сюда попадали с Парадной лестницы через Переднюю и Овальную проходную. Из Овальной проходной можно было попасть в Лаковый зал, или минуя Буфет и Большую столовую попасть в Мраморный зал - главное помещение дворца. В Мраморном зале находятся барельефы "Жертвоприношение", изготовленные для Исаакиевского собора А. Ринальди. За этим залом находился Орловский зал, прославляющий деятельность братьев Орловых. За ним - Екатерининский, прославлявший Екатерину II. С юга к Екатерининскому залу примыкали личные покои Григория Орлова: Парадная спальня, Садик с пятью яблонями, пятью вишнями и фонтаном. В юго-восточной части дворца располагалась Картинная галерея с 206 шедеврами живописи работы Рембрандта, Тициана, Рафаэля, Корреджо, Пуссена, Гроота, ван Дейка и других. В юго-западной части дворца - Греческая и Турецкая бани. В северо-западной части - запасные комнаты Малой Невской анфилады: Кабинет, Спальня, Будуар и Гостиная.
На третьем этаже Мраморного дворца находились жилые покои, Библиотека, две гостиные для игры в карты, Китайская диванная. В корпусе по Мраморному переулку был Зал для игры в мяч.
Мраморный дворец строился так долго, что граф Орлов умер ещё до завершения работ, 13 апреля 1783 года. Здание отошло в казну. В 1796-1797 годах здесь жил пленный лидер польских конфедератов Тадеуш Костюшко. После смерти Екатерины II его освободил Павел I.
В 1796 году Екатерина II отдала Мраморный дворец своему внуку великому князю Константину Павловичу. Он стал подарком по случаю его бракосочетания с принцессой Саксен-Заафельд-Кобургской. Однако, за плохое поведение императрица выселила внука из дворца. Константин Павлович, которому в момент свадьбы было шестнадцать лет (его жене четырнадцать), стрелял в помещениях из пушки живыми крысами и издевался над своей женой.
В 1797-1798 годах Мраморный дворец занимал бывший польский король Станислав Август Понятовский. Он обитал здесь вместе со своим двором из 167 человек и 83 представителями свиты. Для приёма короля и его окружения часть Мраморного дворца была перестроена В. Бренной. Однако и после этого Понятовский жаловался на тесноту. После его смерти 12 февраля 1798 года Константин Павлович вернулся в эту резиденцию. Несмотря на это, именно в Мраморном дворце Павел I посмертно короновал Понятовского.
При Константине Павловиче в Мраморном дворце располагались большая картинная галерея, библиотека, коллекция фарфора. В Зале для игры в мяч великий князь разместил Арсенал русского и зарубежного оружия и мундиров. В 1806-1807 годах А. Воронихин переделывал малую анфиладу комнат вдоль Невы и ряд помещений по Миллионной улице. В Мраморном дворце Константин Павлович жил не часто. В апреле 1814 года он стал наместником Царства Польского и покинул Петербург.
После отъезда Константина Павловича Мраморный дворец перешёл Придворной канцелярии. Здесь сдавались квартиры придворным чинам. В 1830 году здание обследовалось архитекторами В. Очаковым и Х. Мейером. Они признали его аварийным, начался капитальный ремонт.
В 1832 году Николай I отдал Мраморный дворец своему второму сыну - Константину Николаевичу. После пожара в Зимнем дворце 1837 года здесь хранились столовое серебро и иностранная библиотека. 20 августа 1845 года был утверждён проект переустройства Мраморного дворца, который выполнил А. П. Брюллов. Перекрытие Мраморного зала было приподнято на один этаж. Рядом с ним разместилась Парадная столовая. В Парадный кабинет Константина Николаевича можно было попасть через первый зал Приёмной. Рядом с ним Брюллов создал Библиотеку, из которой был проход в Зимний сад, созданный на месте Садика. Далее - Большой зал, где устраивались концерты с участием М. Балакирева, А. Рубинштейна, Н. Римского-Корсакова. Рядом Брюллов создал Ванную в античном стиле, восстановил ликвидированные Воронихиным Турецкую и Греческую бани. Арсенал был перестроен в готическом стиле и был назван Белым залом. Здесь устраивали танцевальные и музыкальные вечера. В 1857 году в Белом зале установили орган работы Г. Метцеля. Появился подъезд со стороны Мраморного переулка. Позже появилась легенда, что именно через него Екатерина II проходила на свидания к Орлову. Из бывшего Лакового зала на Парадную лестницу был перенесён плафон "Суд Париса". Все работы были завершены к 1849 году. 29 декабря этого года великий князь Константин Николаевич и его супруга Александра Иосифовна въехали в свою новую резиденцию. С этого времени Мраморный дворец стал называться Константиновским.
Мраморный дворец вновь перестраивался в 1860-х годах. Здесь были устроены новые кабинеты, столовые, детские. Появилась электростанция, которая давала электричество не только помещениям дворца, но и фонарям на Марсовом поле. Обустроили подъёмные машины - лифты. В 1883 году здесь появился телефон. Обитатели дворца развлекались тем, что слушали через него оперные спектакли.
После Константина Николаевича дворцом владел его сын - Константин Константинович, известный под псевдонимом "К.Р.". при нём здесь проводились камерные концерты, литературные чтения, ставились любительские спектакли. В 1884-1886 годах архитектор А. К. Джиоргули переделывал помещения первого этажа по Миллионной улице: Приёмную, Опочивальню, Гулевую, Горенку. Они были отделаны в старорусском стиле, расписаны художником Ф. Седовым. Изменились также Спальня, Гостиная, Музыкальная комната, Кабинет. В 1898 году по инициативе Константина Константиновича в Мраморном дворце прошло заседание Императорского Географического общества, на котором было принято решение о строительстве ледокола "Ермак" по проекту адмирала С. О. Макарова. На заседании присутствовали Д. И. Менделеев и С. Ю. Витте.