John Brown y Phyllis George estuvieron casados durante 17 años, desde 1979 hasta 1996. Se conocieron en el set de televisión de "NFL Today", donde George trabajaba como coanfitriona y Brown como analista de fútbol americano. Tuvieron dos hijos, una hija llamada Pamela y un hijo llamado Lincoln. Sin embargo, su matrimonio se vio afectado por la presión de sus carreras y la distancia física debido a los viajes de Brown como analista de deportes. En 1996, George solicitó el divorcio citando diferencias irreconciliables. Brown se quedó con la custodia de los niños y siempre habló bien de su ex esposa, diciendo que fue una madre y mujer maravillosa. George falleció en mayo de 2020 a los 70 años de edad. Brown todavía vive en Kentucky, donde sigue siendo una figura importante en la comunidad deportiva.
