Государственное политическое управление создавалось как центральное учреждение, осуществлявшее возложенные на него задачи по всей территории республики. На местах создавались подчиненные ему местные органы госбезопасности. С упразднением ВЧК и образованием ГПУ, ВЦИК утвердил "Положение о Государственном политическом управлении", "Положение о губернских и областных отделах Госполитуправления", "Положения об уездных (кантонных, улусных) уполномоченных губернских и областных отделов Госполитуправления", "Положение об Особых отделах Госполитуправления (При нормальном положении)" и "Положение о Транспортных отделах Госполитуправления". То есть был принят пакет законодательных нормативных актов, в которых детально регламентировались задачи, права, обязанности, структура органов государственной безопасности.
В "Положении о Государственном политическом управлении" определялось правовое положение ГПУ аналогично декрету ВЦИК. Для разрешения основных вопросов и направлений работы органов госбезопасности при Председателе ГПУ учреждалась Коллегия, члены которой утверждались СНК РСФСР. Высшим органом ГПУ являлась Коллегия при председателе ГПУ, которая имела право издавать приказы, обязательные для исполнения всеми подразделениями. В состав коллегии в конце 1922 года входили: нарком внутренних дел и председатель ГПУ Ф.Э. Дзержинский; заместитель председателя И.С. Уншлихт; начальник Секретно-оперативного управления В.Р. Менжинский; начальник Особого отдела Г.Г Ягода; начальник Восточного отдела Я.X. Петерс; начальник Специального отдела Г.И. Бокий; начальник Петроградского губотдела ГПУ С.А. Мессинг; начальник Московского губотдела ГПУ Ф.Д. Медведь.
Для реализации возложенных на ГПУ задач, последнему представлялось право организовывать на местах: Губернские отделы ГПУ при Губисполкомах; Областные отделы ГПУ при ЦИК автономных республик и областей: Особые отделы фронтов, военных округов и армий, Особые отделения дивизий и охраны границ; Транспортные отделы ГПУ на железнодорожных и водных путях сообщения: Полномочные представительства ГПУ для объединения, руководства и координации работы местных органов ГПУ на окраинах и в автономных республиках и областях.
В Положении на органы ГПУ возлагались задачи по предупреждению и подавлению открытых контрреволюционных выступлений, как политических, так и экономических, а также раскрытию контрреволюционных организаций и лиц, деятельность которых направлена к подрыву хозяйственных органов республики.
Средствами к осуществлению задач являлось:
1) сбор и сообщение подлежащим государственным учреждениям всех сведений, интересующих их с точки зрения борьбы с контрреволюцией, как в области политической, так и экономической;
2) агентурное наблюдений за преступным или подозрительными лицами, группами и организациями на территории РСФСР и за границей;
3) выдача разрешений на выезд за границу и въезд в РСФСР иностранных и русских граждан;
4) высылка из пределов РСФСР неблагонамеренных иностранных граждан;
5) просмотр почтово-телеграфной и иной корреспонденции, как внутренней, так и заграничной;
6) производство в целях розыска с соблюдением правил и порядка, установления статей 7 декрета ВЦИК от 6 февраля 1922 года, арестов, обысков, выемок, истребование справок, сведений и выписок из деловых бумаг, отчетов и докладов;
7) подавление при помощи войск ГПУ вооруженных контрреволюционных и бандитских выступлений;
8) производство дознания и направление дел о раскрытых преступных деяниях для слушания в судебные органы с соблюдением статьи 7 Декрета ВЦИК от 6 февраля;
9) регистрация уличенных и заподозренных в преступных деяниях лиц и их дел: регистрация неблагонадежного, административного и руководящего персонала в государственных учреждениях промышленных предприятий, командного и административно-хозяйственного состава Красной Армии.
ГПУ осуществляло также "статистическую и политическую разработку данных регистрации", вело "регистрацию и суммировку ненормальных явлений жизни РСФСР, в целях выявления их причин и последствий". Общий надзор за законностью действий ГПУ и его органов осуществлял Народный Комиссариат юстиции РСФСР. В целях осуществления возложенных на ГПУ задач на территории губерний при Губисполкомах, на территории автономных республик и областей при ЦИК организовывались губернские и областные отделы ГПУ, которые непосредственно подчинялись всем распоряжениям ГПУ и несли перед ним полную ответственность.
Согласно "Положению о губернских и областных отделах Госполитуправления" во главе губернских и областных отделов стояли их начальники, назначаемые местными Губисполкомами и утверждаемые ГПУ, которые несли ответственность за свою работу перед ГПУ-центра и перед Губисполкомами и ЦИК автономных республик. В этом плане начальники отделов обязаны были регулярно информировать ЦИК автономных республик и Губисполкомы, а также губернские и областные съезды Советов о политическом положении губернии и областей. То есть принцип двойного подчинения (общий для советского государственного аппарата в первые годы Советской власти и характерный в определенной мере для системы органов ЧК) сохранялся, но со значительными изъятиями в сторону еще большей централизации.
В целях осуществления оперативно-розыскной деятельности на территории уездов (кантонов, улусов), в данной губернии или области отделы имели право создавать институт уездных (кантонных, улусных) уполномоченных, подчиненных исключительно начальнику губернского и областного отделов. Штаты губернских и областных отделов вырабатывались и утверждались ГПУ-центра, и изменение их допускалось только с его санкции. Для выполнения оперативных заданий губернским и областным отделам придавались части войск ГПУ в количестве, определяемом ГПУ.
Согласно Конституции 1924 года, в целях объединения революционных усилий союзных республик по борьбе с политической и экономической контрреволюцией, шпионажем и бандитизмом, учреждается при Совете Народных Комиссаров Союза Советских Социалистических Республик Объединенное Государственное Политическое Управление (ОГПУ), председатель которого входит в Совет Народных Комиссаров Союза Советских Социалистических Республик с правом совещательного голоса.
Объединенное Государственное Политическое Управление Союза Советских Социалистических Республик руководит работой местных органов Государственного Политического Управления (ГПУ) через своих уполномоченных при советах народных комиссаров союзных республик, действующих на основании специального положения, утвержденного в законодательном порядке.
Надзор за закономерностью действий Объединенного Государственного Политического Управления Союза Советских Социалистических Республик осуществляется прокурором Верховного Суда Союза Советских Социалистических Республик на основе специального постановления Центрального Исполнительного Комитета Союза Советских Социалистических Республик.
ОГПУ являлся обязательным членом Верховного Суда СССР при проведении пленарного заседания, Управление имеет право прямого обращения в Верховый Суд СССР.
Первая Конституции СССР, принятая вторым съездом Советов СССР 31 января 1924 года регламентировала отношения ОГПУ с ЦИК СССР, его Президиумом и СНК СССР, а также подробно и полно определила взаимоотношения с наркоматами Союза ССР и союзных республик.
После окончания гражданской войны и иностранной военной интервенции необходимо было найти наилучшие формы организации пограничной охраны, которые полностью бы отвечали задачам надежного обеспечения государственной безопасности рубежей Советской республики в условиях капиталистического окружения. Учитывая, что ВЧК располагала необходимым оперативным аппаратом для организации и борьбы со шпионажем, диверсантами, бандитами, контрабандистами и другими преступниками, действовавшими на границах Совет Труда и Обороны 7 сентября 1922 года постановил передать охрану сухопутных и морских границ РСФСР во всех отношениях в ведение ГПУ. Был создан Отдельный пограничный корпус войск ГПУ. С этого времени погранвойска были сосредоточены в одном ведомстве - ГПУ, что позволило более успешно решать задачи обеспечения безопасности советского государства.
В составе ГПУ продолжало функционировать бывшее Экономическое управление ВЧК, образованное в январе 1921 года, которое и выполняло задачи ГПУ в сфере борьбы с "экономической контрреволюцией". Было утверждено "Положение о правах и задач ЭКУ ГПУ". Экономическое управление, указывалось в Положении, есть орган борьбы с экономической контрреволюцией, экономическим шпионажем и преступлениями должностными, хозяйственными и содействия экономическим наркоматам в выявлении и устранении дефектов их работы.
1 декабря 1922 года был введен новый штат центрального аппарата ГПУ (2213 человек). В составе ГПУ функционировали:
I. Административно-организационное управление (АОУ), созданное еще в декабре 1920 года и ведавшее разработкой структуры ВЧК-ГПУ, подбором и расстановкой кадров, а также проверкой работы местных органов госбезопасности (начальник И.А. Воронцов).