Отдельные министерства организовывались по такому же принципу, что и Совет министров. Каждому министру помогали заместители, которые руководили деятельностью одного или нескольких отделов (главков) министерства. Эти чиновники составляли коллегию, которая функционировала как коллективный руководящий орган министерства. Предприятия и учреждения, подчиненные министерству, осуществляли свою работу на основе заданий и инструкций министерства. Некоторые министерства действовали на всесоюзном уровне. Другие, организованные по союзно-республиканскому принципу, имели структуру двойного подчинения: министерство на республиканском уровне было подотчетно как существующему союзному министерству, так и законодательным органам (Съезду народных депутатов и Верховному Совету) собственной республики. Таким образом, союзное министерство осуществляло общее руководство отраслью, а республиканское министерство совместно с региональными исполнительными и законодательными органами разрабатывало более детальные мероприятия по их осуществлению в своей республике. Как правило, союзные министерства управляли отраслями промышленности, а союзно-республиканские министерства руководили производством товаров потребления и сферой услуг. Союзные министерства обладали более мощными ресурсами, лучше обеспечивали своих работников жильем и зарплатой и обладали большим влиянием в проведении общегосударственной политики, чем союзно-республиканские министерства.