James Ivory nació en Berkeley, California. Tras estudiar en la Universidad de Oregón, donde se graduó en Arquitectura y Bellas Artes, recibió su graduación en cine de la Universidad del Sur de California. Su primera película, que escribió, fotografió y produjo, fue Venice: Theme and Variations, un documental de media hora que constituyó la tesis para su graduación.