İstanbul’da doğdu. Babası İbrahim Ethem Efendi, annesi Hamdune Hanım’dır. Öğrenim hayatına Sirkeci’de mahalle mektebinde başladı, daha sonra Şemsülmekâtib ve Meşrik-ı Füyüzat adlı okullara devam etti. 1903 yılında Vefa İdadisi'ni, 1908’de Dârülfünun Ulûm-ı Tabiyye Şubesi'ni bitirdi. Üniversite öğrenciliği sırasında Divan-ı Hümayun Kalemi'nde memur olarak çalıştı. 1910 yılında dönemin Maarif Nazırı Emrullah Efendi’nin onayıyla pedagoji alanında bilgi ve görgü edinmek amacıyla Avrupa’ya gönderildi. Bu inceleme gezisi kapsamında Fransa, İngiltere, Almanya, Belçika ve İsviçre’de bulundu. Fransa’da eğitim ve kültür kurumlarını yakından inceledi, bu ülkedeki eğitimcilerden önemli ölçüde bilgi aldı. Döndükten sonra, Dârülmuallimin-i İptidai'de hat öğretmenliği, Şemsülmekâtib adlı özel ilkokulda ders nazırlığı yaptı. 1913'te Dârülfünun terbiye dersi müderrisliğine atandı. 1917'de Millî Talim ve Terbiye Cemiyeti’nin Genel Sekreteri oldu. 1918'de Maarif Nezareti’nde dönemin Ortaöğretim Müdürlüğüne, bu görevlendirme üzerinden çok geçmeden de Yükseköğretim Genel Müdürlüğüne atandı. Ardından aynı kurumda Teftiş Kurulu Başkanlığı'na getirildi. 1920 ile 1923 arasında dört defa Edebiyat Fakültesi dekanlığına, daha sonra da Dârülfünun Emini unvanıyla rektörlüğe atandı. 1923-1925 yılları arasında anılan görevlerinin dışında Maarif Vekâleti Müsteşarlığı, çeşitli okullarda muallimlik ve müderrislik yaptı. 1929-1930 yıllarında Gazi Muallim Mektebinin müdürlüğünü yürüttü. 1933'teki üniversite reformunda görevine son verilerek üniversiteden uzaklaştırıldı. Üniversiteden ayrıldıktan sonra Yeni Adam adlı haftalık düşünce ve sanat dergisini çıkarmaya başladı. 1942 yılında dönemin Maarif Vekili Hasan Ali Yücel değerbilirlik göstererek Baltacıoğlu’nun Dil ve Tarih-Coğrafya Fakültesi pedagoji kürsüsünde öğretim üyeliğine dönmesini sağladı. Böylece Baltacıoğlu, Dil ve Tarih-Coğrafya Fakültesi Pedagoji Kürsüsü'nün kurucusu olarak tekrar profesörlüğe döndü. 1942 ile 1950 yılları arasında Afyon ve Kırşehir milletvekilliği yaptı. 1950 yılında emekliye ayrıldı, fakat Yeni Adam’ı yayınlamaya, kitap ve makale yazmaya, dersler ve konferanslar vermeye devam etti. 1978 yılında Ankara’da vefat etti.