James Hamilton, 4to Duque de Hamilton, se casó con Lady Barbara Fitzroy en 1671. Fitzroy era hija ilegítima del rey Carlos II de Inglaterra y de su amante, Barbara Villiers. El matrimonio entre Hamilton y Fitzroy fue considerado un gran escándalo en la época, ya que Fitzroy era una mujer de baja condición debido a su origen ilegítimo. Además, Hamilton era considerado como uno de los nobles más poderosos de Escocia en ese momento, lo que aumentó el interés público en su unión. A pesar de las críticas, la pareja se mantuvo unida y tuvo varias hijas juntos. Fitzroy también se convirtió en la Duquesa de Hamilton y en una figura prominente en la corte británica. Lamentablemente, el matrimonio de Hamilton y Fitzroy no duró mucho y la duquesa falleció en 1717. A pesar de su origen humilde, Lady Barbara Fitzroy se ganó el respeto y la admiración de muchos en la corte, incluyendo la reina Mary II. Su matrimonio con el Duque de Hamilton tuvo un gran impacto en la historia de Inglaterra y Escocia, y su legado continúa siendo recordado hoy en día.