Cineasta underground conocido por escribir y dirigir las películas Hugo Pool, Putney Swope y Greaser's Palace. También es el padre del actor Robert Downey Jr.
Dirigió su primer corto, Balls Bluff, en 1961.
En el 2005 lanzó un documental sobre la vida en las calles de Filadelfia llamado Rittenhouse Square.
Se casó con Rosemary Rogers, su tercera esposa, en 1998. Anteriormente tuvo dos hijos, Robert Jr. y Allyson, con su primera esposa, Elsie Downey.
Su película de 1973, Sticks and Bones, fue protagonizada por Tom Aldredge.
