Es el padre de los cantantes de pop Michael Jackson y Janet Jackson, y de sus otros famosos hermanos. Este representante de artistas formó una compañía llamada Joe Jackson Productions y guió las carreras musicales de sus hijos.
Después de haberse criado en Arkansas e Indiana, comenzó su vida adulta como operador de grúas en la compañía de acero local.
Su hijo menor, Joh'Vonnie Jackson, fue el resultado de una relación extramatrimonial de casi tres décadas que tuvo con Cheryl Terrell.
Joe se casó con Katherine Scruse en 1949. De esta unión nacieron nueve hijos: Rebbie, Jackie, Tito, Jermaine, La Toya, Marlon, Michael, Randy y Janet. Otro hijo, Brandon, nació muerto.
Fue representado por el actor Lawrence Hilton-Jacobs en la miniserie de ABC de 1992 The Jacksons: An American Dream.