Abraham Antonie van der Lee werd in 1845 geboren als het zesde kind van Dirk van der Lee en Hendrica Johanna Mentjot. Voor hem waren vijf kinderen geboren: Dirk (1839–1839), Dirk Jacobus (1840–1912), Hendrica Lena (1841–1841), Leendert Johannes (1842–1853) en Jacobus Hendrik (1844–1844).
Van deze vijf oudere kinderen waren er bij de geboorte van Abraham nog slechts twee in leven: zijn broer Dirk Jacobus, geboren in 1840, en zijn broer Leendert Johannes, geboren in 1842.
Leendert Johannes woonde met zijn ouders in Voorburg. Op 19 september 1853 overleed hij daar, ruim elf jaar oud. Abraham was toen acht jaar oud. Een broer met wie hij zijn eerste levensjaren had gedeeld, was er niet meer. Dirk Jacobus bleef tot 1912 leven en was daarmee gedurende een groot deel van Abrahams leven zijn enige nog levende oudere broer.
Na Abraham werden nog twee kinderen geboren: Maria Johanna (1846–1846) en Jacobus Gerardus (1847–1847). Beiden overleden in hun geboortejaar. Zo verdwenen ook de twee kinderen die na Abraham waren geboren vrijwel direct weer uit het gezin.
In 1872 trouwde Abraham Antonie met Adriana de Hoog. Het huwelijk duurde slechts kort. Adriana overleed op 3 december 1872 in Voorburg, enkele maanden na hun huwelijk. Uit het huwelijk werden geen kinderen geboren. Daarmee kreeg Abraham Antonie ook in zijn volwassen leven te maken met het verlies van iemand die hem zeer nabij stond.