Горовиц играл со всеми ведущими дирижерами мира, кроме советских. В 1933 году он сыграл с «королем дирижеров» Артуро Тосканини Пятый концерт Бетховена. А через два года в перечень покоренных попала и младшая дочь дирижера Ванда — она стала женой пианиста. Ее жизнь была несчастлива и окончилась в 1957 году самоубийством.
Напряженность гастрольного графика, из года в год накапливавшаяся усталость стали, наконец, давать о себе знать. Искусство пианиста подчас теряло присущие ему убедительность и непосредственность. «Я играл некоторые вещи так часто, что не мог их слышать даже тогда, когда мои пальцы их исполняли», — рассказывал он позднее. Перенесенная в 1935 году операция аппендицита полностью выбила его из колеи, заставив на три года прекратить концертную деятельность. В некоторых газетах даже появились известия о его смерти. Длительная творческая пауза имела причиной не только физическое недомогание. «Мне надо было о многом подумать, нельзя идти по жизни, играя октавы», — говорил Горовиц. Преодолеть творческий кризис помогло тесное общение с Рахманиновым, с которым Горовиц особенно сблизился, живя по соседству в Швейцарии.
В 1940 году он так говорил о периоде своего затворничества: «По-моему, я именно тогда начал отдыхать... и заниматься музыкой... Как мне кажется, я творчески вырос. Во всяком случае, в музыке я находил теперь то, чего не замечал раньше». Искусство пианиста становилось несколько иным, более серьезным и углубленным. Наряду с произведениями Шопена, Листа и Рахманинова, издавна составлявшими основу репертуара пианиста, на его концертах зазвучали сочинения Шумана. Так, центром его программ, сыгранных в Европе в сезоне 1938—1939 годов, была Фантазия Шумана. К исполнительским шедеврам Горовица тех лет следует отнести также его трактовку «Картинок с выставки» Мусоргского и Второго концерта Брамса, записанного в содружестве с Тосканини.
Творческая деятельность Горовица в 1940-е — начале 1950-х годов была столь же интенсивна, как и раньше, хотя территориально она и ограничивалась рамками Соединенных Штатов. По-прежнему музыке он отдавал всего себя. Как сообщал секретарь пианиста Л. Бенедикт, «исполнительство было для него болезненным и требовало огромных усилий. Их хватало лишь на то, чтобы выдерживать переезды и играть. В течение пяти месяцев гастролей он не делал в свободное время абсолютно ничего: не играл в карты, не читал, не занимался на рояле». Выучив летом программу, он даже не брал с собой ноты.
С годами снова нарастало чувство разочарования в своем искусстве, в возможности донести до публики сокровенную суть музыки: «Они слушали всегда лишь то, насколько быстро я играю октавы, но не слышали музыки. Это им было скучно. Я играл два часа, а им запоминались лишь последние три минуты из всего концерта. Я чувствовал неудовлетворенность тем, что я делал, и тем, что я считал необходимым, дабы выполнить свое предназначение, как музыкант». Горовиц сравнивал себя с гладиатором в римском Колизее: «Боже мой, публика сидела прямо на сцене, а я собирался играть на бис шопеновский полонез... Большое нарастание... У меня не было больше сил, и я чувствовал, что сердце мое вот вот разорвется, желудок сдавили спазмы. Напряжение было ужасным, и мне действительно казалось, что я упаду замертво, прежде чем закончу. Когда я сыграл последний аккорд, загремели обычные овации, и я услышал, как какой-то мужчина в публике сказал своей жене: «Бог мой, ты слышала когда-нибудь что-то подобное?» «Это ерунда, — промолвила она в ответ. — Послушай-ка, что он сыграет еще, он ведь только начал». Я надрывался изо всех сил, а она говорит: «Пустяки, погоди только — он может еще, еще, еще...» Все. Я больше не мог».
В феврале 1953 года, сыграв торжественный концерт по случаю двадцатипятилетия своего дебюта в Карнеги-холл, Горовиц снова оставил эстраду. Около года он вообще не выходил из дома и не прикасался к инструменту. Однако, готовя к выпуску пластинку с записью своего юбилейного концерта, он опять начал испытывать интерес к музыке. Горовиц погрузился в изучение творчества Скарлатти и Клементи, с увлечением слушал старые записи мастеров итальянского бельканто — Баттистини, Ансельми, Бончи. Наконец он сел за фортепиано. В специально оборудованной у него дома студии Горовиц записал много произведений, в том числе монографические программы из музыки Клементи, Скарлатти, Скрябина. Каждая выпущенная им пластинка становилась событием в музыкальной жизни.
9 мая 1965 года пианист снова появился на сцене Карнеги-холл. Накануне, впервые в Нью-Йорке, люди стояли ночь напролет в ожидании билетов на концерт. Тот памятный вечер показал, что искусство артиста продолжало развиваться. «Время не остановилось для Горовица за те двенадцать лет, что прошли со дня его последнего публичного выступления, — писал нью-йоркский рецензент. — Ослепительный блеск его техники, неправдоподобная сила и интенсивность исполнения, фантазия и красочная палитра — все это сохранилось нетронутым. Но вместе с тем в его игре появилось, так сказать, новое измерение... Оно может быть названо музыкальной зрелостью».
Последующие четыре года были наполнены частыми сольными выступлениями. Затем наступила пятилетняя пауза, во время которой музыкант работал над новыми пластинками. Следующее возвращение пианиста на эстраду состоялось в канун его семидесятипятилетия. С тех пор он давал концерты довольно редко, но все они становились сенсацией и получали широкую известность, будучи записанными на пластинки и видеокассеты. В 1982 году артист впервые после более чем тридцатилетнего перерыва появился в Старом Свете, играл в Лондоне. Через год состоялась серия концертов в Японии, а в 1986 году — в СССР (в Москве и Ленинграде). Гастроли прошли триумфально.
С годами искусство Горовица менялось. Артист гастролировал в России, уже перешагнув свой восьмидесятилетний рубеж. И вместе с тем многое в его игре осталось прежним. Не потускнело его удивительное пианистическое мастерство — пальцевая техника в сонатах Скарлатти, пьесах Рахманинова, этюде «Искорки» Мошковского, легкость октав и двойных нот в шопеновском полонезе. При этом нетерпеливая властность, покоряющая мощь его былых концертных дерзаний отошли в прошлое. «Кажется, что музыка юных романтических гениев меняет свой возраст: она становится задумчивой, тихой, бесконечно участливой — становится отеческой речью», — писал рецензент о ленинградском концерте Горовица.
Горовиц был, прежде всего, концертирующим артистом, педагогикой он занимался сравнительно немного. Но и в этой области он оставил свой след: среди его учеников известные музыканты Б. Джайнис, Г. Графман и Р. Турини.
В последний раз Горовиц гастролировал в Европе в 1987 году. Одновременно пианист продолжал записываться в студии. Последняя пластинка Горовица вышла незадолго до его смерти.
Умер Горовиц 5 ноября 1989 года в Нью-Йорке и был похоронен в Милане в фамильном склепе Тосканини.