İstanbul’da doğduysa da babasının diplomat olması nedeniyle ilk ve ortaöğrenimini İsviçre ve Almanya’da yaptı. 1924-1928 arasında Sanayi-i Nefise Mektebi’nde (bugün MSGSÜ) mimarlık eğitimini tamamladıktan sonra Avrupa’ya giderek Auguste Perret ve Hans Pölzig’in, 1931’de İstanbul’a dönüp Guilio Mongeri’nin yanında çalıştı. 1932’de GSA’ya (bugün MSGSÜ) asistan olarak girdi ve 1978’de emekli olduktan sonra da buradaki hocalığını sürdürdü. Aynı zamanda, ölümüne kadar aralıksız mesleki uygulamanın içinde kalarak Türkiye’nin en üretken mimarlarından biri oldu. Bir yandan ulusal bir mimarlık üslubu yaratmak için çaba gösterirken, bir yandan da Modernizm’in akılcı-işlevci tutumunu benimsedi ve meslek yaşamı boyunca dönem dönem her iki anlayışta da binalar gerçekleştirdi. Büyükada'da 1937- 1938 arasında Fethi Okyar Evi ve 1956- 1957 arasında Rıza Derviş Evi'ni inşa etti. 1979’da GSA (bugün MSGSÜ) tarafından onursal doktorluk ünvanına, 1983’te Sedat Simavi Mimarlık ve Kent Planlaması Ödülü’ne, aynı yıl Kültür Bakanlığı Kültür ve Sanat Büyük Ödülü’ne, 1986’da Zeyrek’teki Sosyal Sigortalar Kurumu Binası ile Ağa Han Mimarlık Ödülü’ne, 1988’de mimarlığa hizmetlerinden dolayı Mimarlar Odası’nın Büyük Ödülü’ne (Sinan Ödülü) değer bulundu. İstanbul’da hayata veda eden Eldem’e ölümünden sonra, Nakkaştepe’deki Mehmet Şerif Paşa Konağı (Koç Holding yönetim merkezi) restorasyonu nedeniyle Europa Nostra Ödülü verildi(1991).