По особому архитектор оформил въёзд во двор: ворота, балкон и две ниши с фонтанами были объёдинены в одну общую группу. В верхней части фасада была помещена скульптурная группа работы Т.Н. Жака — крылатые фигуры с геральдическим щитом. На щите был изображён герб Демидовых. В интерьере особняка особо известным стал Малахитовый зал. Впервые малахит был применён для облицовки помещения (колонны и камин). Только после появления Малахитового зала в особняке Демидовых подобный зал появился в Зимнем Дворце, в иконостасе Исаакиевского собора.
Павел Николаевич Демидов умер в 1840 году, далее домом владела его жена. Спустя несколько лет после смерти Демидова она вышла замуж за Андрея Николаевича Карамзина — сына знаменитого историка и писателя. Андрей Николаевич поселился в этом доме. В 1848–1850 годах отделочные работы и небольшие перестройки в особняке выполнял Г.А. Боссе.
После Карамзиных домом владел сын Авроры Павловны и Павла Николаевича — Павел Павлович Демидов. В 1864 году он сдал дом на 9 лет итальянскому посольству за 10 000 рублей в год. В 1874 году дом был продан светлейшей княгине Наталье Фёдоровне Ливен, внучке Санкт-Петербургского военного губернатора П.А. фон дер Палена, причастного к убийству Павла I. При новой хозяйке в 1870х годах особняк перестраивал архитектор Иван Васильевич Штром. Работы включали в себя установку в подвале двух калориферов, уничтожение печей, устройство водяного отопления, водопровода и газового снабжения. В доме на Большой Морской Н.Ф. Ливен устроила молельню протестантской конфессии — баптистов. В доме не было никаких светских приёмов, в Малахитовом зале проходили духовные беседы со свободным доступом всех желающих. В 1910 году особняк был выкуплен послом короля Италии, здесь снова разместилось итальянское посольство. На картуше герб Демидовых сменился итальянским гербом. В 1925 году итальянцы вывезли из особняка всё малахитовое убранство. В настоящее время здание арендует Балтийский банк.