Inició su carrera en el mundo del espectáculo en 1977 como guionista de series como Sandford and Son (1972-1977) y Welcome Back Kotter (1975-1979). En poco tiempo, devino guionista para episodios piloto de series televisivas, pero tomó conciencia de que lo que más le interesaba era probar suerte como monologuista cómico.

En 1981, Shandling efectuó la primera aparición en The Tonight Show with Johnny Carson (1962-1992), lo cual hizo que volviera a cambiar el rumbo de su carrera. Siguió como invitado en muchas ocasiones, e hizo su primer especial cómico por cable para Showtime en 1984, además creando en 1986 su primer espacio televisivo, el muy reconocido por la crítica Its Garry Shandling Show para la misma Showtime.

En 1990, Shandling afrontó su primer especial para HBO, Stand Up. En 1992, Shandling creó Larry Sanders Show (1992-1998) para HBO, que se mantuvo en antena hasta 1998, llegando a alcanzar el récord absoluto de 79 nominaciones a los Emmy.

Shandling logró el Emmy al mejor guión de serie cómica por la última temporada del show.