Comenzó haciendo monólogos de humor en 1996, a los 19 años. Durante su primer año como humorista participó en el Festival de la Comedia de los Estados Unidos como uno de los mejores nuevos humoristas del país. En 2000, con 22 años, Swardson logró su primer especial de media hora de duración en Comedy Central, que se convirtió en uno de los especiales mejor valorados en la historia del canal. Después de mudarse a Los Ángeles, actuó en "The Tonight Show", "Conan OBrien", "The Late Late Show" y "Jimmy Kimmel Live".