Nació en un entorno de emigrantes sumamente pobres. Su carrera teatral comenzó cuando solo contaba con once años, mientras vendía bebidas en el teatro judío de Nueva York, por aquel entonces empezó a interpretar pequeños papeles. Tras terminar sus estudios de Periodismo en la Columbia School llegó a Broadway después de la guerra y allí comienza a desarrollar una carrera que con el paso del tiempo se dividirá entre los escenarios y la gran pantalla.

Sus primeros papeles en el cine lo encuadrados en personajes antipáticos y algo cínicos. Su debut en el séptimo arte se produjo en 1955 con "The kentuckian" (El hombre de Kentucky) dirigida por el también actor Burt Lancaster.

En 1960 dirigió e interpretó una película que no tuvo gran éxito, "Ganster story" dejando patente que su faceta de actor le reportaría más alegría que la de director. A pesar de su rictus amargo y de su aparente seriedad empezó a ser contratado para comedias donde su malicia astuta le favoreció notablemente. En esta nueva etapa hubo un elemento que contribuyó a su éxito y este fue su gran experiencia y popularidad en los escenarios.

Formó una pareja emblemática con Jack Lemmon (con el que ha rodado más de diez títulos y entre los más recientes destaca "Out the sea"); Billy Wilder lo empleaba en papeles opuestos a Jack como en los largometrajes "Primera Plana" (1974) y "Aquí un amigo" (1981) y la fórmula pareció dar buen resultado. Tanto este director como Herbert Ross supieron sacar el mejor partido de Matthau y de su curioso sentido del humor.

Durante cuarenta años fue uno de los actores más reconocidos en América y como prueba de ello obtuvo dos premios Tonny, un Oscar como mejor actor secundario por "En bandeja de plata" (1966, Billy Wilder) y un par de nominaciones más como mejor actor por "Kotch" y "La pareja chiflada".

Tras divorciarse de su primera esposa Carol Matthau con la que tuvo un hijo, Charles, volvió a casarse con Grace Johnson y fruto de este matrimonio fueron su dos hijos David y Jenny.

Falleció el 1 de Julio del 2000, en el Centro de Salud St. John de Santa Mónica (California), a causa de un ataque al corazón.