Es la hija de un patólogo de la Universidad de Oxford. Smith comenzó muy pronto a asistir a clases de actuación en el Oxford Playhouse School. En 1952, hizo su debut en el escenario como Viola en Twelfth Night. Cuatro años mas tarde estaba en Broadway, actuando en comedias, en ese mismo año realizó su primera aparición en cámara en Child in the House, aunque ella normalmente se refiere a Nowhere to Go de 1959 como su real debut.
En 1959, Smith se unió al Old Vic, y en 1962 ganó el primero premio por su actuación, el premio London Evening Standard Award, por su trabajo en The Private Ear/The Public Eye. Los premios que recibió mas tarde por su trabajo teatral incluyen los conseguidos en 1963 y 1972 por Mary Mary y Private Lives, y el premio Tony en 1990 por Lettice and Lovage. A su vez, consiguió dos Oscar por The Prime of Miss Jean Brodie (1969) y California Suite (1978).
Por su trabajo en Gosford Park de Robert Altman consiguió su sexta nominación a los Oscar. Previamente casada con el actor Sir Robert Stephens, ahora es la esposa del guionista Beverly Cross y madre de los actores Toby Stephens y Chris Larkin.