Южный фасад Красных рядов, акцентированный мощным портиком с тосканскими колоннами, имеет въезд во внутренний двор. Симметричный ему въезд со стороны северного фасада, обращенного к парадной площади, имеет столь же могучий фронтон, опирающийся на пилоны, точно такие же, как и те, что поддерживают арки галереи. Большая парадность южного портика Красных рядов объяснялась тем, что
главный подход к ансамблю торговых рядов гостиного двора был именно с юга, со стороны Волги, сюда, прямо к торговому центру от Волги вела улица под названием Молочная гора. Здесь был расположен перевоз через реку, откуда уходили дороги на Москву и Ярославль. В 1823 году близ берега Волги были поставлены обелиски-заставы с кордегардиями. Это Московская застава, которая строилась как парадный въезд в город. Проектирование ее было поручено губернскому архитектору П. И. Фурсову, который решил ее в виде двух обелисков, увенчанных позолоченными орлами. Обелиски соединялись с рустованной стеной арками. Это была первая работа выпускника петербургской Академии художеств. В 1912 году Московскую заставу переделали по проекту архитектора Н. Горлицына, пристроив к обелискам торговые помещения.Подымаясь по Молочной горе от Московской заставы, можно увидеть, как учитывали архитекторы рельеф местности, откос, ведущий к Волге. Здания различных торговых рядов расположены на террасах, спускающихся к Волге своеобразными ступеньками.
Против южного фасада Красных рядов на откосе стоит здание Пряничных рядов (конец XVIII - начало XIX века), сооруженное в виде подпорной стены. Со стороны нижней террасы оно имеет высоту более десяти метров и четыре этажа, а со стороны верхней - только два этажа. Первоначально на нижней террасе в первом этаже корпуса была открытая аркада, этот фасад со стороны Волги был особенно выразительным. В центре корпуса устроена лестница на верхнюю террасу. Снизу лестница акцентирована небольшим портиком с рустованной стеной. Торцы корпуса Пряничных рядов фланкируются гранеными объемами часовен Успенского собора и Богородицкого Игрицкого монастыря первой четверти XIX века. Пряничные ряды. Малые мучные ряды. Красные ряды и четыре корпуса Рыбных рядов - это второй ансамбль торговых зданий: третий - включает в себя Табачные и Масляные ряды.
Табачные ряды (первоначально овощные линии) построены в 1819-1822 годах по проекту архитектора В. П. Стасова. На предполагаемом месте строительства находилась часовня Успенского собора, ее предложено было снести и вместо нее в южном торце здания возвести открытую часовню в полукруглой нише экседры (воссоздана при реставрации в 1950 году). Здание отличается изысканностью пропорций, его основной архитектурной темой является колоннада дорического ордера. Во избежание монотонности фасадов колоннада разбита на три части. Средние членения имеют восемь колонн, боковые - по шесть. Антаблемент, единый на всем протяжении фасада, несколько тяжеловат по отношению к колоннаде. По ритму членений, по масштабу и пропорциям архитектура Табачных рядов произвела большое впечатление на современников, здание стало прототипом каменных торговых рядов в соседнем Галиче в 1820 году, а затем этот проект был использован при сооружении деревянных рядов в Солигаличе и Юрьевце.
Корпус Масляных рядов находится к востоку от Табачных и замыкает с юга Советскую площадь. Проект рядов был составлен архитектором Н. И. Метлиным в начале 1804 года. Для разработки проекта Метлин, по-видимому, пользовался типовым проектом, принадлежавшим архитектору Л. И. Руска. Центр этого протяженного здания акцентирует двухэтажный дом, построенный Метлиным для "питейного заведения", крылья представляют собой галереи с аркадами. Широкий шаг арок галерей перекликается с архитектурой Мучных и Красных рядов. Существенным отличием декора Масляных рядов является введение архивольтов с замковым камнем над арками и рустованные пилоны.
Зданием, определяющим характер застройки торгового ансамбля, является корпус Красных рядов. Симметрично поставленное здание Больших мучных рядов служит в плане ансамбля для поддержания равновесия масс. Это ощущение крепнет, если войти во
внутренний двор Красных рядов, где расположены еще одни, так называемые Мелочные ряды, построенные архитектором Фурсовым в 1831-1832 годах (они предназначались для торговли мелкой галантереей).Мелочные ряды представляют собой своеобразное сооружение в виде лавок, над которыми колонны тосканского ордера поддерживают вынесенный вперед односкатный навес от дождя. Перспектива этих невысоких колонн высотой в один этаж замыкается колокольней церкви Спаса в рядах. Вместе с тем колонны Мелочных рядов служат как бы пропилеями от портика здания губернских Присутственных мест через двор Красных рядов к Волге.
Присутственные места расположены на главной административной площади, несколько вытянутой по своему характеру (Советская, 1). Присутственные места с одной стороны, Красные ряды - с другой начинают новый ансамбль общественных сооружений.
Здание Присутственных мест - яркий пример постройки в стиле классицизма. Оно
возводилось в 1806-1808 годах по проекту архитектора А. Д, Захарова, но строитель сооружения Метлин несколько видоизменил проект, сделав парадный вход со стороны Красных рядов в виде широкой белокаменной лестницы. В 1832-1833 годах эта парадная лестница была встроена в вестибюль здания, фасад которого украсил шестиколонный портик, воздвигнутый по проекту нижегородского архитектора И. Е. Ермилова. Колонны ионического ордера, сгруппированные попарно, установлены на постаменты высотой в цокольный этаж. Поскольку парадная лестница оказалась в интерьере здания, портик вынесен далеко вперед от основного объема, а под ним сделан проход для пешеходов - там, где по классическим канонам должен был бы находиться пандус. Над входом в центре расположены большое полукруглое окно и герб. Низкий цоколь оживлен квадратными окнами и небольшими замковыми камнями в перемычках. Первый этаж выше цокольного в два раза. Он имеет рустованные стены и почти вдвое увеличенные окна. Второй этаж еще более высокий, над его окнами сделаны сандрики на кронштейнах.В ансамбль зданий общественного назначения входят гауптвахта, пожарная каланча и дом Борщова. Строительство велось в то время, когда в Петербурге уже господствовал стиль ампир, поэтому в провинциальной Костроме можно встретить все оттенки классицизма: от раннего классицизма до ампира. Например, здание губернского правления монументально в духе творений Дж. Кваренги, пожарное депо - скорее всего, баженовского типа, а гауптвахта - совсем ампирное здание.
Гауптвахта была построена в 1824-1827 годах II. И. Фурсовым, После окончания Академии художеств в 1817 году он переехал в Кострому, где после смерти Н. И. Метлина был назначен губернским архитектором и проработал в городе почти тридцать лет. Им спроектированы и построены многие здания на улицах и площадях Костромы, но гауптвахта и пожарная каланча - самые яркие
из его творений.Здание гауптвахты - это фасад всего квартала. По своим пропорциям оно производит впечатление аттика, поставленного на землю. Центр сооружения акцентирован полуциркульной экседрой и шестиколонным портиком дорического ордера. Экседра оживлена пятью нишами. Лепные украшения на ее стенах посвящены теме воинской славы и состоят из военных доспехов, щитов с изображением Медузы Горгоны, львиных масок, раков и собак. Поскольку гауптвахта возводилась после окончания Отечественной войны 1812 года, два ангела поддерживают вензель Александра 1. На фасаде расположены два окна, наличники которых представляют собой пилястры коринфского ордера, под окнами - декоративные балясины. Все сооружение торжественно и величаво, как это свойственно постройкам ампира. В общем масштабе площади здание гауптвахты невелико, поэтому архитектор решил дополнить его оградой и железными коваными фонарями на металлических тумбах. Гауптвахта сильно пострадала во время пожара 1847 года, а затем в течение всего XIX века здание подвергалось изменениям: к заднему фасаду, например, была сделана каменная пристройка, на торцовых фасадах пробито несколько новых окон. Во время реставрационных работ под руководством архитектора И. III- Шевелева в 1955-1956 годах был расчищен и воссоздан лепной декор по чертежу 1820 года, обнаруженному в архиве, восстановлена деревянная ограда с кирпичными колоннами.
В 1823-1827 годах одновременно со зданием гауптвахты Фурсов спроектировал и построил пожарную каланчу. Сложный лепной декор выполнили ярославские мастера Повирзнев и Бобанин по рисункам и эскизам архитектора. Пожарная каланча включала в себя жилые помещения для служащих и бойцов, конюшни, сараи для бочек с водой и наблюдательную вышку, с которой обозревался весь город. Вышка обогащала силуэт административной части города и была подчинена по высоте существовавшей тогда соборной колокольне. Как и во всех русских провинциальных городах, пожарная каланча размещалась в центре Костромы.
Здание представляет собой кубический объем с портиком ионического ордера. В основание центрального восьмигранного столба введен аттиковый этаж, над ним возвышается постепенно сужающийся вверх восьмигранный объем. Наверху столба находилась обзорная площадка в виде беседки-фонарика, опирающейся на четыре колонны тосканского ордера и перекрытой куполом (восстановлена при реставрационных работах 1955-1956 годов). В 1860 году к каланче были пристроены боковые крылья пожарного депо, в 1880-х годах - металлический фонарь, искажавший первоначальный облик здания.