James Bruce, octavo conde de Elgin, se casó con Mary Louisa Lambton el 28 de febrero de 1861 en la iglesia de St. George, Hanover Square, en Londres. Mary Louisa era hija de John Lambton, primer conde de Durham, y de Lady Louisa Grey. La pareja tuvo tres hijos: Victor Alexander Bruce, noveno conde de Elgin; Edward Bruce, quien heredó el título de Lord Bruce de Tottenham después de la muerte de su hermano mayor en 1917; y Robert Bruce. Mary Louisa también tuvo un papel importante en la política británica de la época, pues mantuvo amistades cercanas y fue confidente de figuras como William Ewart Gladstone, Benjamin Disraeli y la reina Victoria. En 1898, el matrimonio de James y Mary Louisa se vio afectado cuando se descubrió que James mantenía una relación amorosa con Lady Ellenborough, la esposa de su amigo Lord Ellenborough. La pareja pasó por un período de crisis pero luego decidió seguir juntos. La relación entre James Bruce y Mary Louisa Lambton se mantuvo hasta la muerte del conde en 1863, cuando Mary Louisa se convirtió en la Condesa Viuda de Elgin. Ella misma falleció en 1906.
