Гиммлер начал работу в должности рейхсфюрера СС с ужесточения кадровой политики. Новые требования, разработанные Рихардом Дарре, приходилось вводить постепенно, дабы не лишиться половины личного состава. При этом на участников Первой мировой войны введённые ограничения не распространялись. Гиммлер часами изучал с помощью лупы фотографии кандидатов в СС, пока не убеждался в их «расовой чистоте». Среди новобранцев большинство составляли бойцы фрайкоров. Благодаря принятым мерам, в течение двух лет численность СС выросла почти в 10 раз. Кроме того, престиж СС возрастал благодаря скандалам, связанным с весьма сомнительным моральным обликом руководителя СА Рёма. Попытка Гиммлера развернуть вербовочную работу среди штурмовиков вызвала конфликт с руководством СА. Гитлер добился примирения двух враждующих сторон, в конце 1930 года вывел СС из подчинения СА, а в дальнейшем обязал руководство местных органов штурмовых отрядов направлять пополнение в ряды СС. Чтобы подчеркнуть независимость от СА, Гиммлер ввёл новую чёрную форму, вместо прежней коричневой.
С 1931 года Гиммлер занимался созданием собственной секретной службы — СД, во главе которой он поставил Гейдриха.
Путь к вершинам власти
«Национальная революция» 30 января 1933 года не принесла Гиммлеру какой-либо весомой государственной должности. Путч 9 марта, когда было свергнуто правокатолическое правительство в главе с Генрихом Хельдом возглавил генерал фон Эпп, который и стал новым имперским наместником Баварии, а Гиммлер был назначен полицай-президентом Мюнхена. Попытка наладить контакт со своим главным соперником в СС Далюге закончилась провалом: он отказался принять Гейдриха, которому вскоре пришлось покинуть Берлин из-за угрозы ареста прусским гестапо.
Тогда Гиммлер воспользовался тем фактом, что Гитлер боялся покушений, а особенный страх у него вызвали снайперы. Первой жертвой стал граф Антон фон Арко ауф Валлей, которого Гиммлер когда-то пытался освободить из тюрьмы, а теперь арестовал по обвинению в «подготовке покушения на Гитлера». Затем в газетах каждую неделю стали публиковаться сообщения о предотвращённых «терактах». До Гитлера стали доходить сведения о «плодотворной» работе Гиммлера по обеспечению его безопасности. И тогда Гитлер, не доверявший охране из солдат рейхсвера, поручил Гиммлеру сформировать из эсэсовцев команду для обеспечения безопасности. Вскоре 120 бойцов во главе с Йозефом Дитрихом были направлены в распоряжение Гитлера. Подобного рода подразделения (зондеркоманды и подразделения готовности) стали создаваться во всех землях Германии. 1 апреля Гиммлер был назначен на пост начальника политической полиции и управления Министерства внутренних дел Баварии. По приказу Гитлера он создал первый концлагерь Дахау.
Уже летом 1933 года методы работы Гиммлера вызвали пристальный интерес со стороны органов прокуратуры: было начато расследование подозрительных смертей узников Дахау. Судебно-медицинские экспертизы, проведённые осенью, показали, что по крайней мере в двух случаях смерть была насильственной. Прокуратура Мюнхена потребовала от министерства внутренних дел начать проверку в концлагере и выдвинула обвинения против его руководства. Гиммлеру удалось замять это дело. Всё ограничилось уголовным преследованием коменданта оберфюрера СС Хильмара Ваккерле, расследование по указанию Франка было приостановлено до особого распоряжения, а Гиммлер запретил пускать прокурорских работников в концлагеря. Вторая попытка была предпринята 12 июля 1934 года, но она была ещё менее успешной, так как к тому времени СС представляла собой серьёзную силу и постаралась замести все следы. Расследование было прекращено 27 сентября 1934 г. В дальнейшем Гиммлер обезопасил себя, присвоив ведущему прокурору Вальтеру Штеппу звание гауптштурмфюрера СС и пригласив его на работу в баварское гестапо.
Затем Гиммлер стал распространять своё влияние за пределы Баварии. С помощью Вильгельма Фрика он брал под свой контроль политические полиции земель: в ноябре 1933 г. — Гамбурга, Любека и Мекленбург-Шверина; в январе 1934 года — Брауншвейга, Ольденбурга и Саксонии. Оставались неподконтрольными только Пруссия и Шаумбург-Липпе. Здесь интересы Гиммлера столкнулись с интересами премьер-министра Пруссии Германа Геринга, также стремившегося подчинить себе всю полицию рейха.
Ночь длинных ножей
Гейдриху пришлось приложить много усилий, чтобы Гиммлер одобрил его намерения устранить руководство СА. Гиммлер был единственным высокопоставленным нацистом, с которым Рём не находился во враждебных отношениях. Они часто бывали вместе, произносили высокопарные речи и даже обедали. Более того, СС и СА проводили совместные акции (например, убийство 3 апреля 1933 на территории Австрии отколовшегося от Рёма журналиста Георга Белла). Рём и Гиммлер были крёстными отцами первого сына Гейдриха. На последнем дне рождения Рёма 28 ноября 1933 года Гиммлер заявил, что с большой гордостью будет и впредь считать себя в числе самых преданных его соратников. Даже после скандального выступления Рёма против Гитлера 1 марта 1934 года Гиммлер пытался удержать его от необдуманных действий. Но к весне 1934 г. для Гиммлера первоочередной задачей стал союз с Герингом, без которого переход прусского гестапо под контроль СС был невозможен. Геринг, в свою очередь, увидел в Гиммлере союзника в конфликте между рейхсвером и СА. 20 апреля 1934 года Геринг назначил Гиммлера шефом прусского гестапо.
Совместно с Гейдрихом и генерал-майором фон Райхенау Гиммлер разработал план операции и приступил к его осуществлению. 22 июня он сообщил командующему территориальным округом СС «Центр» барону фон Эберштейну о подготовке штурмовиками государственного переворота, приказал связаться с командующим военным округом и привести в боевую готовность все подразделения СС, а 27 июня вызвал руководителей территориальных округов СД и приказал внимательно следить за начальствующим составом СА и докладывать обо всём подозрительном в главное управление СД.
28 июня Гиммлер позвонил Гитлеру, находящемуся в то время в Эссене на свадьбе гауляйтера Тербовена, и сообщил тревожные сведения о штурмовиках, а также передал через Пауля Кёрнера письменное донесение. 29 июня направил ещё два ложных донесения Гитлеру: первое — о планах Рёма начать вооружённое выступление в Берлине 30 июня в 16.00; второе — о бесчинствах штурмовиков в Мюнхене. Затем, находясь в Берлине, Гиммлер осуществлял непосредственное руководство расправой над неугодными новому режиму лицами.
На страже рейха
После «Ночи длинных ножей» влияние СС, СД и гестапо значительно выросло. Гиммлер начал создание с согласия Гитлера на основе лейбштандарта и подразделений политической готовности крупных вооружённых частей. 14 декабря 1934 он издал распоряжение о реорганизации подразделений политической готовности в батальоны. Поэтому ряд юристов стали продвигать идею ограничить на законодательном уровне произвол политической полиции. Так, министр юстиции Франц Гюртнер и рейхскомиссар Ганс Франк разработали проект нового уголовного кодекса, который, однако, был отвергнут Гитлером. Тем не менее, Гюртнер не успокаивался и стал собирать сведения о сокрытиях случаев смерти заключённых концлагерей. Одновременно он предложил оказывать им юридическую помощь. Это предложение было встречено Гиммлером в штыки:
Лагерное руководство, представленное порядочными людьми, не считает необходимым введение каких-либо дополнительных мер. Ваше предложение разрешить заключённым пользоваться юридической помощью, то есть адвокатами, я доложил фюреру и канцлеру 01.11.1935. Фюрер запретил привлекать адвокатов и поручил мне сообщить вам о его решении.
Стремясь подчинить себе гестапо, Фрик издал распоряжение, согласно которому «независимость гестапо от управленческих структур на местах имеет временный характер и была введена в связи со сложной политической обстановкой в стране из-за вызывавших опасения действий Рёма». Он также потребовал «тесного сотрудничества» и подотчётности местных органов гестапо перед управлениями. Эггерт Реедер в августе 1934 года сообщил Фрику, что готов принять руководство политической полицией в округе. Рудольф Дильс написал Герингу 4 ноября 1934:
Отделение политической полиции от государственного управления приведёт к осложнениям длительного порядка, которые вам, господин премьер-министр, должны быть известны. Нарушение управленческой целостности вызвано господством партии в государстве… Поэтому необходимо покончить с понятием «политическая целесообразность», поскольку оно является основой для все более растущего недоверия и недопонимания, которые только затрудняют работу государственного аппарата.
После жалобы гауляйтера Восточной Пруссии Эриха Коха Фрик 23 сентября 1935 написал Гиммлеру: “Считаю сложившиеся ныне отношения между оберпрезидентом Восточной Пруссии и начальником тамошнего управления государственной тайной полиции недопустимыми, поскольку это влияет отрицательно на авторитет государства.”
Гиммлер ответил как обычно: “Фюрер принял решение ничего не менять в управлении государственной полиции Кёнигсберга”.
Подобные коллизии побудили Гиммлера и Гейдриха обратиться в министерство внутренних дел с инициативой разработать новое положение о гестапо, которое после многомесячных дискуссий было принято 10 февраля 1936. Оно закрепило существующее состояние. И хотя в параграфе 5 было указано: «Управления государственной полиции подчиняются соответствующим начальникам окружных управлений и должны выполнять их указания, сообщая им о всех проводящихся политико-полицейских мероприятиях», — начальникам управлений удавалось оказывать сопротивление только в неурегулированных вопросах, а в целом гестапо получило все полномочия.