II. Секретно-оперативное управление (СОУ), образованное в январе 1921 года (начальник В.Р. Менжинский), но включавшее в себя уже десять отделов:
1. Секретный - по борьбе с антисоветскими партиями, организациями, группировками, отдельными элементами из этой среды (начальник Т.П. Самсонов, с 25 мая 1923 года - Т.Д. Дерибас).
По штату центрального аппарата ОГПУ на 1 декабря 1929 года Секретный отдел состоял из восьми отделений:
1) выявление борьба и наблюдение за деятельностью анархистов;
2) меньшевиков бундовцев;
3) эсеров, антисоветских выступлений крестьян, националистических движений в Белоруссии и на Украине;
4) бывших провокаторов, жандармов, контрразведчиков белых армий, карателей и тюремщиков, антисоветских еврейских групп и партий;
5) выявление и борьба с антисоветскими проявлениями среди интеллигенции и молодежи, правых партий;
6) в православной церкви, других конфессиях и сектах;
7) выявление, борьба и наблюдение за деятельностью закавказских национальных партий, грузинских меньшевиков и др.;
8) учет и борьба с антисоветской деятельностью исключенных из ВКП(б), нелегальных партийных группировок, с протестными выступлениями рабочих и безработных.
5 марта 1931 года Секретный отдел был слит с Отделом информации и политконтроля в один Секретно-политический отдел (начальник Я.С. Агранов, с 1 сентябри 1931 года - Г.А. Молчанов), который состоял из четырех отделений:
1) агентурно-оперативная работа в городах, работа по политссыльным, наблюдение за иностранными рабочими;
2) агентурно-оперативная работа в деревне, учет и контроль за деятельностью национальных движений и политических партий, выявление и борьба с антисоветской деятельностью в сельскохозяйственных учреждениях и учебных заведениях, контроль политической благонадежности запаса армии, наблюдение за деятельностью Осоавиахима, наблюдение за бывшими красными партизанами, русским казачеством, агентурно-оперативная работа в спецпоселениях раскулаченных крестьян;
3) агентурно-оперативная работа в Русской православной церкви и других конфессиях, борьба с антисоветскими религиозными сектами, выявление, учет и борьба с антисоветской деятельностью монархистов, фашистов, кадетов, бывших жандармов, чиновников царского Министерства внутренних дел, фабрикантами и т.п., оперативное обслуживание милиции;
4) агентурно-оперативная работа в органах печати, театрах и т.п., среди артистов, литераторов и гуманитарной интеллигенции.
С ликвидацией 16 апреля 1932 года Секретно-оперативного управления Секретно-политический отдел получил самостоятельность и подчинялся непосредственно председателю и Коллегии ОГПУ.
2. Особый отдел вел осведомительно-информационную работу в Красной Армии и на Флоте.
3. Контрразведывательный отдел вел борьбу с зарубежными разведками, белогвардейскими организациями и контрреволюционными партиями, как за рубежом, так и на территории РСФСР - на промышленных предприятиях, транспорте, в государственных учреждениях, частях и соединениях армии и флота, противодействовал заговорам, бандитизму, а также незаконному переходу границы и контрабанде.
4. Иностранный отдел состоял из Закордонной части и Отделения иностранной регистратуры (с 13 мая 1922 года начальник М.А. Трилиссер, с 27 октября 1929 года - С.А. Мессинг, с 1 августа 1931 года - А.X. Артузов). 30 июля 1927 года Отдел был выведен из Секретно-оперативного управления в прямое подчинение Коллегии ОГПУ. 1 января 1930 года после введения нового штата Иностранный отдел состоял из восьми отделений по организации разведки в группах стран. С 17 февраля 1933 года Отделу было предоставлено право самостоятельного ведения следствия по делам, возникавшим в Отделе.
Одной из мер по повышению обороноспособности страны - в 1928 году началась реорганизация и техническая реконструкция Красной Армии по специальному пятилетнему плану.
5. Восточный отдел координировал борьбу с контрреволюцией в национальных окраинах и регионах страны.
10 марта 1926 года приказом ОГПУ функции Восточного отдела были изменены. "Разработка государственного шпионажа" со стороны Турции, Персии, Афганистана, Монголии были переданы в ведение КРО ОГПУ, а антисоветскими партиями Закавказья должен был теперь заниматься Секретный отдел ОГПУ (возможно, это решение было следствием внутриведомственной борьбы в ОГПУ).
6. Транспортный отдел занимался контрразведывательной работой на железных и водных путях сообщения (начальник Г.И. Благонравов).
7. На Оперативный отдел возлагались задачи ведения наружного наблюдения и разведки, арестов, выемок, оперативной установки, непосредственной борьбы с бандитизмом и др.
8. Информационный отдел вел освещение политического и экономического положения республики (начальник В.Ф. Ашмарин).
9. Отдел политконтроля - с функциями цензуры и охраны гостайн в средствах информации.\В начале 1930-х годов служба политконтроля проверяла всю международную и внутреннюю корреспонденцию иностранцев, проживавших на территории СССР, все почтовые отправления, поступившие до востребования, корреспонденцию конкретных лиц по спискам оперативных и других подразделений ОГПУ, в период коллективизации - писем, посланных из сельской местности в армию и на флот, и т.п.
10. Отдел центральной регистратуры был создан 30 марта 1922 года на базе регистрационно-статистического отделения Оперативного отдела.
30 июля 1927 года начальником Управления был назначен Г.Г. Ягода, а 26 октября 1929 года Е.Г. Евдокимов. Статус самостоятельных отделов получили Транспортный отдел (с 28 октября 1929 года), Оперативный отдел (с 5 марта 1931 года) и др. В августе 1931 года после отстранения Е.Г. Евдокимова, должность начальника Управления оставалась вакантной. Управление в это время состояло из двух отделов - Секретно-политического и Отдела центральной регистратуры. 16 апреля 1932 года Управление было упразднено, а отделы перешли в непосредственное подчинение председателю и Коллегии ОГПУ.
III. Экономическое управление (ЭКУ), вело борьбу с экономическим шпионажем, контрреволюцией, другими преступлениями в сфере экономики (начальник 3.Б. Кацнельсон).
IV. Главная инспекция войск ГПУ осуществляла работу по управлению и инспектированию войсковых частей ГПУ.
Кроме того, в составе центрального аппарата ГПУ функционировали самостоятельные отделы:
Шифровальный - законспирированная секретная связь,
Специальный - по руководству шифровальным делом в стране, контролю за деятельностью шифровальных органов РСФСР и ведению радио-контрразведки (начальник Г.И. Бокий).
В начале января 1921 года была создана служба радиоразведки и позднее контрразведки, которую осуществляли Специальный отдел при ВЧК и Реввоенсовет. В 1922 году радиостанция, помимо уже существовавших в Москве, Твери и ряде приграничных городов, появилась непосредственно при Спецотделе. Сотрудники радиостанций особого назначения перехватывали телеграммы зарубежных радиостанций, обеспечивая разведывательные и контрразведывательные органы ценной информацией. Позднее была сформирована сеть радиостанций Особого назначения. Контроль за их работой и подбор личного состава осуществлял Специальный отдел ОГПУ.
9 декабря 1927 года в аппаратах полномочных представителей ОГПУ были учреждены специальные отделения, организовывавшие постановку секретного и шифровального делопроизводства в учреждениях, расположенных в границах представительства, учет лиц, допускавшихся к содержавшей государственные секреты информации, и т.п.
Юридический отдел (начальник В.Д. Фельдман) был образован после реорганизации Следственой части Президиума ГПУ 22 августа 1922 года. Он состоял из отделений: юрисконсультского, следственного и по надзору за следствием и содержанием в тюрьмах. В задачи отдела входили разработка законопроектов, вносимых ГПУ во ВЦИК и правительство, выдача юридических заключений на действия ГПУ, правомерность которых оспаривалась другими государственными учреждениями, предварительное следствие по делам сотрудников органов ГПУ и др. 16 января 1924 года Юридический отдел был ликвидирован, а производство следствия по делам сотрудников органов ОГПУ передавалось по принадлежности в соответствующие отделы ОГПУ.
Отдел пограничной охраны осуществлял организацию и управление в области обеспечения нерушимости границ Советского государства.
В сентябре 1930 года Центральный комитет ВКП(б) провел реорганизацию структуры ОГПУ, чтобы исключить дублирование, добиться большей управляемости и координации работы разных подразделений, а в целом - иметь в своем распоряжении мощный и мобильный карательный орган, обладающий исключительными полномочиями и надведомственными функциями на всей территории страны. Особый, Контрразведывательный и Восточный отделы Секретно-оперативного управления были объединены в единый Особый отдел ОГПУ, в марте 1931 года Секретный и Информационный отделы - в единый Секретно-политический отдел ОГПУ, Оперативный отдел выделен в самостоятельный с подчинением руководству ОГПУ. Тогда же в Экономическом управлении были созданы дополнительные отделения, в полномочных представительствах ОГПУ - самостоятельные экономические отделы, в оперативных секторах - экономические отделения. Иностранный отдел ОГПУ получил право на производство арестов, самостоятельного ведения следствия, требовать от других отделов оперативной поддержки по ведущимся в Иностранном отделе делам.
В 1931 году с введением в СССР новой территориально-административной единицы - района, в каждом районе и городе областного подчинения создавались отделения ОГПУ; оперативные сектора. Их деятельность регулировалась специальными положениями: "Об оперативных секторах", "О городских и районных отделениях", "О районных уполномоченных". Отделения имели право самостоятельно вербовать только осведомителей и осуществлять сбор информации, а вербовка агентов, производство арестов и т.п. проводились с санкции или по приказу вышестоящих органов.