Ganó un premio de la Academia como Mejor Actor de Reparto por su papel en la película de Clint Eastwood Million Dollar Baby en el 2005. También es reconocido por sus papeles en películas como The Shawshank Redemption, Glory, Unforgiven, Bruce Almighty, The Dark Knight, The Sum of All Fears y Dolphin Tale.
Cuando tenía nueve años, interpretó el papel principal en una obra escolar. Rechazó una beca de actuación en la Universidad Estatal Jason para trabajar como mecánico de radares en la Fuerza Aérea de los Estados Unidos en 1955.
Ha comentado respecto a su oposición al Mes de la Historia Negra, objetando que la historia negra es historia americana.
Estuvo casado con Jeanette Adair Bradshaw desde 1967 hasta 1979. Se casó con su segunda esposa, Myrna Colley-Lee, en 1984. La pareja se separó en el 2010. Tiene tres hijas llamadas Deena, Morgana y Saifoulaye, y un hijo llamado Alfonso.
En 1994 protagonizó la película The Shawshank Redemption junto a Tim Robbins.
