Elsner, na arabskem polotoku je že igral v sezoni 2009-2010, ko je bil v Al-Arabiju iz Kuvajta, prihaja iz znamenite nogometne družine. Njegov oče Marko Elsner je z Jugoslavijo med drugim osvojil bronasto medaljo na olimpijskih igrah leta 1984 in bil pred dvema letoma sprejet v slovenski Hram športnih junakov.
Uspešen nogometaš je bil tudi njegov pokojni stari oče Branko, ki je bil tudi nogometni strokovnjak in pedagog, pa tudi starejši brat Luka, ki je sedaj trener.
