Rođen je u 4 Crescent Place, Glasgow, u Škotskoj, majka mu je bila Engleskinja Annie Rowell a otac Njemac francuskih i talijanskih predaka Charles Louis Napoleon d’Albert.
Otac mu je bio plesač, pijanist i baletni majstor u King’s Theatre i Covent Garden-u.
D’Albert’ovi prijatelji bili su Richard Strauss, Hans Pfitzner, Engelbert Humperdinck, Ignatz Waghalter i Gerhart Hauptmann, dramaturg.
Ženio se šest puta i imao osmero djece.
1914. godine preselio se u Švicarsku i dobio državljanstvo.
Umro je 1932 godine u dobi od 69 godina u Rigi, Latvia kamo je putovao da se razvede od svoje šeste žene.
Pokopan je na groblju blizu jezera Lugano u Morcote, Švicarskoj.