Depois de se aposentar como jogador, Happel se tronou um dos melhores treinadores da história do futebol. Venceu ligas nacionais em quatro países diferentes. Também levou dois clubes ao título da Liga dos Campeões da UEFA e a Holanda ao Vice-Campeonato da Copa do Mundo de 1978 na Argentina. O primeiro clube que treinou foi o ADO Den Haag em 1962, vencendo a Copa da Holanda de 1968. Depois treinou o Feyenoord, vencendo o Campeonato Holandês de 1971, bem como a Liga dos Campeões da Europa e o Mundial Interclubes de 1970.

Na Copa do Mundo de 1978 na Argentina, Happel era técnico da Holanda que perdeu o título para os donos da casa na final. Sempre um homem de poucas palavras, A preleção dele consistia em uma única frase: "Cavalheiros, dois pontos."

Durante sua carreira como técnico dirigiu vários times, entre eles o Sevilla, o Club Brugge (vencendo o Campeonato Belga várias vezes) e o Hamburgo (de 1981 a 1987, Bicampeão Alemão em 1982 e 1983, e vencedor da Copa da Alemanha Ocidental em 1987).

Em 1983 venceu a Liga dos Campeões da Europa,13 anos após o triunfo com o Feyenoord de Rotterdam, desta vez com o Hamburgo. Foi o único treinador além de Ottmar Hitzfeld a vencer a Liga dos Campeões da Europa por dois clubes diferentes.

Em 1987 Happel retornou à Áustria para treinar o Swarovski Tirol Innsbruck. Ali ganhou a Bundesliga Austríaca 2 vezes (1989 e 1990) antes de assumir o comando da seleção da Áustria em 1992.

Morreu de câncer em 1992 aos 66 anos. Após sua morte, o maior estádio do país, o Praterstadion em Viena, foi renomeado para Ernst Happel Stadion.