Tosun Terzioğlu, 1942 yılında İstanbul'da doğdu. Robert Kolej'den mezun olduktan sonra, Newcastle Üniversitesi'nde matematik alanında lisans ve yüksek lisans derecelerini aldı. Doktorasını ise Almanya'nın Frankfurt Üniversitesi'nde Gottfried Köthe'nin danışmanlığında tamamladı.
1968 yılında Orta Doğu Teknik Üniversitesi'nde (ODTÜ) asistan olarak göreve başlayan Terzioğlu, 1974 yılında doçent, 1981 yılında profesör oldu. ODTÜ'de 1977-1982 yılları arasında Fen ve Edebiyat Fakültesi Dekanlığı görevini yürüttü.
1992-1997 yılları arasında Türkiye Bilimsel ve Teknolojik Araştırma Kurumu (TÜBİTAK) Başkanlığı görevini yürüten Terzioğlu, 1997 yılında Sabancı Üniversitesi'nin kurucu rektörü oldu ve 2009 yılına kadar bu görevi sürdürdü.
Terzioğlu, matematik alanındaki çalışmalarıyla tanınmaktadır. Özellikle yerel konveks uzayları ve tamamlanan diziler üzerine yaptığı çalışmalarla uluslararası alanda ün kazanmıştır. Bu çalışmalarıyla, 1977 yılında Türkiye Bilimler Akademisi'ne (TÜBA) asil üye seçildi.
Terzioğlu, akademik ve idari görevlerinin yanı sıra, Türk sivil toplum hayatında da aktif rol oynamıştır. Türkiye Üçüncü Sektör Vakfı (TÜSEV) ve Türkiye Ekonomik ve Sosyal Etüdler Vakfı (TESEV)'nin yönetim kurulu üyesi olarak görev yapmıştır.
Terzioğlu, 23 Şubat 2016 tarihinde İstanbul'da vefat etti.
Tosun Terzioğlu'nun akademik ve idari görevlerinin yanı sıra, Türk sivil toplum hayatındaki aktif rolü de dikkat çekicidir. TÜSEV ve TESEV gibi önemli sivil toplum kuruluşlarının yönetim kurulu üyesi olarak görev yapan Terzioğlu, Türkiye'nin kalkınması ve gelişmesi için önemli katkılarda bulunmuştur.
