Между селом и графской усадьбой по проекту архитектора Христофора Сахарова (Шмита) в начале XIX века на фундаменте старой церкви начали возводить собор, кирпичные стены которого уцелели в пожаре 1812 года. Одновременно с ним строились соборы еще в 4-х графских селах. Внутреннюю отделку собора спроектировал тот же Х. Шмит. Резьбу и золочение алтаря производили: крестьянин села Хатуни (Серпуховского уезда Московской губернии) Илья Иванович Хрусталев и саранский мещанин Максим Кузнецов. Видимо, они же изготовили резные золоченые рамы с девизом Орловых "Fortitudine et constantia" (твердостью и постоянством) для усольских копийных портретов Владимира Григорьевича Орлова и его жены Елизаветы Ивановны. Иконостасы расписывали живописцы: "симбирской гимназии учитель рисовального класса" Кондрат Лаврентьевич Лавров и братья Яновы. Ныне все это находится под водой вместе с селом. Только на берегу Жигулевского моря среди крупной гальки лежат каменные столбы от церковной ограды.
Граф Владимир Петрович Орлов-Давыдов (1809-1882) часто бывал в своем имении на Волге и один, и всем семейством. Впервые после смерти деда он приехал в Усолье в 1832 году, женившись на 18-летней княжне Ольге Ивановне Барятинской (1814-1876). В семье появилось шестеро детей, поэтому вскоре возникла необходимость в перестройке конторы под жилой блок. Контору перевели в помещение южного флигеля, а освободившийся трехэтажный дом был включен в жилой комплекс усадьбы. Реконструкцию осуществили без изменений наружного облика зданий 1-й половины XIX века. В 1867-69 годах были полностью заменены обветшавшие двери, окна, полы; более современной стала и внутренняя отделка. Все помещения, заново меблированные, стали удобными и уютными. Обстановка включала предметы высокого художественного мастерства, привезенные В.П. Орловыми-Давыдовыми из путешествий в страны Европы и из Петербурга (мраморные и бронзовые бюсты, картины, рисунки, гравюры). В усадьбе продолжала формироваться уникальная библиотека, начало которой положил еще В.Г. Орлов, а также коллекции оружия и геральдики. Все сыновья и внуки В.П. Орлова-Давыдова были военными, поэтому их коллекция оружия постоянно пополнялась и считалась к началу ХХ века одной из лучших в России.
Позади дворца располагались мастерские, служебные и хозяйственные постройки; еще дальше - скотный двор и конюшни. Как известно, один из братьев Орловых, Алексей Григорьевич, вывел знаменитую орловскую породу лошадей. Не остался в стороне и граф В.П. Орлов-Давыдов, построивший в 1860-70 - е годы в Усолье большой хозяйственный двор, на котором главное место занимали благоустроенные конюшни из красного кирпича с белыми бутовыми деталями. Там же располагались овчарни и помещения для крупного рогатого скота. Для наемных рабочих была построена небольшая столовая.
Усольский "конюшенный двор" может являться образцом раннего творчества известного впоследствии петербургского архитектора Роберта Андреевича Гедике. Он был уже академиком архитектуры (1856), когда граф Орлов-Давыдов пригласил его для проектирования хозяйственных построек в своем имении. Гедике считается одним из создателей так называемого "кирпичного стиля" в русской архитектуре, основным требованием которого было применение в облицовке зданий кирпича, а не штукатурки. Он считал кирпич более долговечным материалом, не требующим особого ухода. Поэтому графские конюшни до сих пор сохраняют прекрасный внешний вид. Маленьким шедевром Гедике в Усолье можно считать "дом служащих", построенный из красного кирпича в стиле псевдоготики. Контакты архитектора Гедике и графской семьи продолжались и в более поздние годы, когда он был приглашен для проектирования и строительства в Петербурге дома для старшего сына В.П. Орлова-Давыдова - Анатолия Владимировича.
Усадьба Усолье уже при Владимире Григорьевиче Орлове стала благоустроенным поместьем с хорошо налаженным бытом и рациональным хозяйством. Она являлась не только образцом крупного архитектурно-ландшафтного комплекса начала XIX века, но и типичным натуральным помещичьим хозяйством со своим сельскохозяйственным и ремесленным производством.
При графе В.П. Орлове-Давыдове, поклоннике английской системы хозяйствования, огромные владения, кроме доходов от конного завода и овцеводческого хозяйства, также приносили немалые деньги от земледелия, продажи леса, соляного промысла, от поташного, мыловаренного, свечного и полотняного заводов. Граф также считался владельцем одного из самых выдающихся овцеводческих хозяйств России. Понимая всю важность передовых идей в дальнейшем развитии аграрной России, он даже назначил премию в 10 тысяч рублей за лучшее сочинение о фермерском хозяйстве. Приезжая в свои имения на Волге, он принимал самое живое участие в хозяйственной, общественной и культурной жизни Самарского края.
Прекрасно налаженное хозяйство, как и весь уклад жизни России, разрушила революция 1917 года. Последние владельцы усольской вотчины, внуки В.П. Орлова-Давыдова Владимир и Александр Анатольевичи Орловы-Давыдовы, с частями белой армии покинули Россию. Поволжская усадьба со всем ее богатством осталась брошенной. Из нее было расхищено много мебели, картин, скульптур, книг и предметов быта.
Летом 1918 года обеспокоенный этим председатель Археологического Общества А.Г. Елшин направил в штаб Народной Армии письмо: "В селе Усолье (против Ставрополя) в усадьбе графа Орлова-Давыдова имеется много предметов, весьма ценных в историческом и археологическом отношении: имеется замечательная большая старинная библиотека, исторический архив, различные коллекции и т.п.
Эти предметы в высшей степени важно сохранить. Между тем нахождение этого ценного для науки имущества вдали от культурных центров и в совершенно неблагоприятной обстановке подвергает его всевозможным случайностям и совсем не обеспечивает ему сохранность. Было бы крайне желательно перевезти в Самару наиболее ценные для науки вещи и поместить их на хранение в городском музее или другом подходящем месте".
Просьба членов Археологического Общества была выполнена. Уникальная усольская библиотека в количестве более тысячи томов находится сейчас в отделе редких книг Самарской областной научной библиотеки. Художественная коллекция распределена между тремя музеями области: Самарскими - краеведческим и художественным и Сызранским краеведческим.
Только в 1919 году комплекс зданий имения был передан на баланс Наркомзема РСФСР и в него вселили сельскохозяйственный техникум Народного Комиссариата Земледелия, который является его владельцем до настоящего времени. Но с 1970 года техникум покинул разрушающуюся усадьбу и переехал в специально построенное для него новое здание.
Усольская усадьба графов Орловых-Давыдовых еще в 1966 году была принята облисполкомом Куйбышеской области на государственную охрану, а в 1980-м была рекомендована Министерством культуры РСФСР для принятия под охрану как памятник республиканского значения.
Основные разрушения усадьба Орловых-Давыдовых получила в 90-х годах ХХ века, когда ее здание было отдано под расселение беженцев из стран бывшего Советского Союза.
В настоящее время, замечательный памятник архитектуры 1-й половины XIX века - усадьба Орловых-Давыдовых - неумолимо разрушается. После многочисленных пожаров здания приобретают вид руин. Видимо, без немедленного реставрационного вмешательства его судьба будет такой же, как и у остальных имений Самарской губернии, которые просто исчезли с лица земли.
Усольский музей создан в помещении бывшего начального училища, он занесен во Всемирную картотеку музеев, как один из оригинальных музеев мира, как по содержанию, так и по истории создания.
В 1986 году музей открылся как народная картинная галерея работ самобытных художников, затем в его стенах были собраны материалы по истории Усольского края, и по народному образованию, причем последние собирались по всему Советскому Союзу. Эта коллекция на областном фестивале "Музей-2000" отмечена дипломом, как уникальная.
Особенность истории края обусловлена солеварением, начавшемся еще в бронзовом веке. Соляные источники тысячелетия являлись промышленным и культурным центром края, притягивая к себе различные народы. Возле них в середине XVI века был заложен Усольский городок, владельцами которого неизменно являлись царские любимцы.
С 1 января 2001 года Музей стал районным муниципальным. Музейная экспозиция выстроена с учетом воздействия на глубинное сознание посетителя и его генетическую память. В основе ее отказ от традиционных музейных приемов и поиск новых методов и решений. Центр музея - интерактивный класс, где посетители знакомятся со школьными принадлежностями прошлых лет.
После того как началось массовое разграбление усадьбы графов Орловых-Давыдовых все вещи находившиеся в усадьбе было решено вывезти оттуда. Хотя некоторые предметы попали в самарские музеи краеведческий и художественный, огромная коллекция редких книг была передана на хранение Самарской областной научной библиотеке, а львиная доля коллекции попала в Сызрань в Районном муниципальном музее Истории Усольского края им. И.Н. Ульянова все-таки сохранилась часть вещей из имения, которая и составила экспозицию, посвященную истории усадьбы Орловых-Давыдовых. В эту коллекцию вошли такие предметы как: