czterokrotnie żonaty: 1. Gloria Fisher (1949 - 1960, rozwód), 2 córki: Martha i Mary (ur. 12.01.1953); 2. Virginia Leith (1960 - 1968, rozwód); 3. Catherine McKinnon (12.03.1969 - 2003, rozwód), córka Kelley; 4. Claudette Gareau (od 2012 do jego śmierci)