Fred Astaire y Phyllis Livingston Potter se conocieron en una fiesta en Nueva York en 1933. En ese momento, Fred estaba casado con su segunda esposa, pero la relación estaba en problemas. Según informes, Phyllis y Fred sintieron una conexión instantánea y comenzaron a salir juntos. En 1934, Fred y su segunda esposa se divorciaron, lo que dejó a Astaire libre para perseguir una relación con Phyllis. La relación entre Fred Astaire y Phyllis Livingston Potter se desarrolló rápidamente y en 1933 se comprometieron. Sin embargo, su camino hacia el matrimonio no fue fácil. Phyllis era una mujer adinerada y tenía muchas demandas de su tiempo. Además, la madre de Phyllis, Mabel Potter Daggett, no aprobaba la relación porque sentía que Fred no era lo suficientemente bueno para su hija. A pesar de los desafíos, Fred Astaire y Phyllis Livingston Potter finalmente se casaron en julio de 1933 en una ceremonia privada en New Jersey. La pareja se mudó a una casa en Beverly Hills y tuvo dos hijos juntos, Fred Jr. y Ava. La relación entre Fred y Phyllis duró más de 20 años, hasta la muerte de Phyllis en 1954. Durante su matrimonio, Fred Astaire continuó su prolífica carrera en la música y el cine, y Phyllis se convirtió en una activista social y filántropa. Juntos formaron una pareja poderosa y exitosa, y su relación es recordada como una de las más duraderas y amorosas de la época dorada de Hollywood.
