Landau begon met acteren in de jaren vijftig van de vorige eeuw. Zijn eerste grote rol was in 1959 in de speelfilm North by Northwest van Alfred Hitchcock. Ook speelde hij Rufio in de klassieke Hollywoodverfilming uit 1963 van Cleopatra met Elizabeth Taylor in de hoofdrol.
In 1988 werd hij genomineerd voor een Oscar voor zijn rol in Tucker: The Man and His Dream van Francis Ford Coppola, maar won hij het felbegeerde gouden beeldje niet. Een jaar later werd hij opnieuw genomineerd voor beste bijrol in Crimes and Misdemeanors maar greep hij wederom naast de prijs.
Landau's legendarische acteerwerk in de rol van Bela Lugosi in de speelfilm Ed Wood uit 1994 onder regie van Tim Burton, leverde hem uiteindelijk wel een Oscar op.
Mission: Impossible
Landau trouwde in 1957 met de actrice Barbara Bain, met wie hij samen in de televisieserie Mission: Impossible speelde. Het stel kreeg twee dochters, Susan en Juliet. In 1993 gingen Landau en Bain uit elkaar.