В 1927—1933 гг. О. Шумской был ректором Ленинградского института народного хозяйства, Ленинградского политехнического института, заместителем заведующего агитационно-массовым отделом ЦК ВКП(б), председателем ЦК профсоюза работников образования, членом президиума ВЦРПС и членом редколлегии газеты «За коммунистическое просвещение». Но и с отъездом из Украины его положение подальше осложнялось. Если на XI съезде КП(б) В в июне в 1930 г. говорилось о «шумськизм», «хвильовизм» и «волобуевщину», то на ноябрьском (1933) объединенном пленуме ЦКК и ЦК КП(б) У С. Косиор заявил: «КП(б) В в 1926—1928 гг. разгромила националистическую агентуру в партии — антипартийную группу Шумского и разоблачила контрреволюционную суть шумськизма. Раскрытие и разоблачение шумськизма должно было послужить для нас серьезным уроком, потому что оно показало, что мы имеем здесь выступление антипартийной националистической группы, которая коммунистической фразеологией прикрывала свои буржуазно-реставраторские стремления и опиралась внутри партии на националистические элементы, а вне партии — на враждебные классы в стране... Классовые корни щумськизма и уклону Скрипника одни и те же, как один и тот же их националистическое содержание, одинаковые их пособничество и смыкание с интервентами».
Беспочвенность этих упреков и последующих обвинений О. Шумского в расколе в КПЗУ вполне очевидная. Как член Исполкома Коминтерна он принимал непосредственное участие в деятельности КПЗУ, в частности выступал на IV конференции (апрель в 1924 г.), а также на II съезде КПЗУ (октябрь в 1925 г.), заседание которого состоялось в г. Болшеви под Москвой. Там во время встречи Сталина с представителями КПЗУ Шумской среди других ставил вопрос о замене Кагановича на должности генерального секретаря ЦК КП (б) У. На февральско-мартовском (1927) пленуме ЦК КП(б) В, где речь шла о командировке Шумского из Украины в распоряжение ЦК ВКП(б), руководитель Заграничного бюро помощи КПЗУ, член ЦК КПЗУ и кандидат в члены ЦК КП(б) У К. Саврич (Максимович) заявил в своем выступлении, которое не видит принципиального расхождения О. Шумского с линией ЦК КП(б) В, потому не согласен с решением об отъезде последнего из Украины. Апрельский (1927) пленум ЦК КПЗУ в Гданске поддержал это заявление Саврича большинством голосов. Вопрос раскола в партии обсуждался в окружных комитетах КПЗУ, в ЦК КП(б) В, Исполкоме Коминтерна. Большинство членов ЦК КПЗУ, объявленных под давлением Кагановича раскольниками, изменниками и враждебной агентурой, Исполком Коминтерна исключил из лав коммунистического движения, а вся их предыдущая деятельность начала рассматриваться сквозь призму перманентной измены и национализма.
13 мая в 1933 г. О. Шумской был арестован, а 5 сентября того же года — осужден вместе с известными деятелями КПЗУ к 10-летнему заключению за участие в Украинской военной организации (УВО) и контрреволюционной деятельности. Обвинялся он и в том, что с двурушнической целью вступил к КП(б) В и возглавлял группу прежних боротьбистов, которые в блоке с националистическим подпольем в Украине планировали борьбу против ВКП(б) и советского правительства, что он — организатор раскола в КПЗУ.
Его протесты и обращения в разные инстанции, в том числе и к Сталину, оставались без ответа. Более того, в 1934—1935 гг. Шумского, который находился уже в лагере, обвинили в причастности к вымышленной «контрреволюционной боротьбисткой организации». За участие в ней было привлечено к криминальной ответственности 17 прежних боротьбистов, в том числе писателей Николая Кулиша, Валерьяна Полищука, Григория Епика, Валерьяна Подмогильного, Александра Ковиньку и др. В приговоре выездной сессии военной коллегии Верховного суда СССР отмечалось, что эта организация имела заданием борьбу против советской власти, создание независимой буржуазной Украинской республики, подготовку террористических актов против руководителей советской власти и коммунистической партии. Именно с этой целью боротьбисты влились в 1920 г. в КП(б) В. А роль их идеолога отводилась Шумскому, хоть он решительно отбрасывал все обвинения. В конечном итоге, за постановлением особенного совещания при НКВС СССР от 10 декабря в 1935 г. 10-летнее заключение в исправительно-трудовом лагере ему было заменено на 10-летнюю ссылку в Красноярск.
Протестуя против произвола органов НКВС, он в январе в 1936 г. начинает голодовку. Однако две недели впоследствии в Красноярск привезли его жену Евдокию Шумскю-Григоренко, которой пообещали пересмотреть дело ее мужа. Поэтому О. Шумской прекращает голодовку. в 1937 г. Евдокию Алексеевну арестовали как жену «врага народа» и расстреляли. Того же года была «разоблачена» еще одна антисоветская организация прежних боротьбистов. ее «руководителей» А. Волну, Т. Тарана, Ю. Войцехивского, О. Трилиского, В. Порайка уничтожили. Панас Любченко, объявленный одним из лидеров этой организации, застрелился. Участие в ней приписывали и О. Шумскому. В октябре в 1937 г. его арестовали в месте ссылки. И только в ноябре 1939-го «дело» прекратили «за нехваткой новых данных».
В ссылке О. Шумской писал монографию «Малороссы», в которой пытался проследить общественно-политические условия, которые повлекли включение Украины в состав Российского государства. «При других обстоятельствах, - отмечал он, - за этот труд Украинская Академия наук присудила бы мне докторскую степень и избрала бы своим членом. Но не такое теперь время, чтобы моя рукопись увидела мир... Пусть он умрет вместе со мной...» Прежний нарком образования Украины уничтожил монографию.
18 октября в 1945 г. О. Шумской в письме к Сталину опять, возвращается к междунациональным отношениям в СССР: «Уже Ваше выступление с комплиментами российскому народу и деление народов Союза за умом, характером и др. вынудило насторожиться. Но то, к чему на днях договорился Никита Хрущов на праздновании годовщины освобождения Украины (транслировалось по радио), абсолютно нетерпимо и требует самого энергичного протеста». Против чего же протестировал О. Шумской? Против истребления одного народа над другими, что противоречит их политическому союзу и дружеским взаимоотношениям. Приведем слова тогдашнего председателя Совета Министров УССР и секретаря ЦК КП(б) У М.Хрущова за газетой «Советская Украина» от 19 октября 1945 р.: «Российский народ сцементировал народы нашей страны в единое могучее многонациональное Советское государство — любимую Родину советских людей. Советский патриотизм российских людей был примером, зажигал на ратные и трудовые подвиги все народы Советского Союза. Российский народ, как руководящая сила Советского Союза, заслужил общее признание и благодарность. (Аплодисменты). Спасибо ему, российскому народу, спасибо ему за его ясный ум, стойкость и терпение, спасибо ему за братскую помощь нашему украинскому народу. (Бурные длительные аплодисменты)».
Между людьми это называется лестью и вызывает отвращение. «Но в устах главы украинского правительства, - писал О. Шумский, - такая речь уже не частный случай малорусского пресмыкательства. Это оскорбительно и унизительно для украинского народа... Что же тогда являет собой народ, от имени которого это говорится, - украинский народ? Что он без ясного ума, без стойкого характера, без твердой воли? Народ безвольных, бесхарактерных дураков, которых спас умный, стойкий российский народ, за что и выражается ему благодарность».
В выступлении Сталина и докладе Хрущова Шумской видел новый курс российской великодержавной политики. «Это линия национально-политической кастрации украинского народа», - отмечал он. Однако письма его не доходили к Сталину. 20 июня в 1946 г. он пишет записку «для следствия»: «Решение о самоубийстве, этой последней высшей форме протеста, я принял после того, как исчерпал все средства борьбы за реабилитацию». Однако, как оказалось, и этого решения ему не суждено было осуществить. 18 сентября в 1946 г. О. Шумского коварно уничтожили агенты государственной безопасности.