Ha sido reconocido desde hace tiempo como un actor de gran talento y versatilidad en teatro, cine y televisión. Nacido en Nueva York, Arkin lanzó su carrera con la revista de improvisaciones Second City. Aquello le valió su primer papel en Broadway como protagonista, en la obra de Carl Reiner: Enter Laughing, que le hizo ganar el premio Tony. Al año siguiente apareció otra vez en Broadway en LUV el éxito de Murray Schisgal. En 1998 dirigió, protagonizó y fue coguionista con Elaine May de la producción Power Plays en el teatro Promenade. Su primer largometraje Que vienen los rusos le valió el Globo de Oro al Mejor Actor así como una nominación al Oscar