Di atas Kota Semarang yang merupakan Ibu Kota Jawa Tengah, tepatnya di

Desa Karangrejo-Banyumanik pada tahun 1975 atas prakarsa Lurah

Banyumanik yang bernama Mardi Sunarto didirikanlah SMP Usaha Desa.
Pada saat itu hanya terdiri dari satu kelas dan tempat belajarnya di SD
Banyumanik 01-02 pada siang hari.

Untuk tenaga pengajar saat itu berasal dari guru negeri dan swasta secara
suka rela. Pada tahun 1976 menerima murid baru dengan status persiapan
filial SMP N 5 sebanyak satu kelas. Pada tahun 1977 Lurah Banyumanik
menyerahkan sebagian tanah bengkok kepada pemerintah dengan
membayar ganti rugi untuk tempat dibangunnya SMP N Banyumanik.

Akhirnya berdasarkan SK Mendikbud RI No 0935/O/th1977 tanggal 1 Oktober

1977 berdirilah SMPN Banyumanik di Jl. Karangrejo Raya No 12 Banyumanik
Semarang, saat itu yang menjabat pertama kali sebagi kepala Sekolah yang
ke-1 adalah Bapak Muh.Syarifudin hingga tahun 1982. Pada tahun 1982
digantikan oleh Bapak BJ. Suparno yang ke-2 hingga tahun 1990. Pada masa
jabatan Bapak BJ. Suparno, terjadi perubahan nama sekolah SMPN
Banyumanik berubah menjadi SMPN 21 Semarang pada tahun
1983.Selanjutnya Kepala sekolah yang ketiga adalah Ibu Hj. Djohariah
Soerdjohadi dari tahun 1990 sampai 1993. Tahun 1993 hingga 2002 Kepala
Sekolah yang menjabat adalah Dra. Sri Mulyani, dan yang menjabat Kepala
Sekolah yang ke-4 selanjutnya pada Tahun 2003 adalah Bapak H. Sunaryo
Prodjo, M.Pd yang membawa perubahan banyak di SMP negeri 21 Semarang.

Pada massa kepemimpinan beliau SMP Negeri 21 terus berkembang

sehingga pada tahun 2005 sesuai dengan SK Direktur Pembinaan SMP
Depdiknas No: 960/C3/Kp/2005 ditetapkan menjadi Sekolah Standar Nasional
(SSN). Selama 3 tahun SMP Negeri 21 Semarang terus berkembang sehingga
pada tahun 2008 sesuai dengan SK Direktur Pembinaan SMP Direktorat
Jenderal Pendidikan Dasar dan Menengah Depdiknas No:1446/C3/DS/2008
ditetapkan sebagai Rintisan Sekolah Bertaraf Internasional (RSBI). H.
Sunaryo Prodjo, M.Pd menjabat Kepala Sekolah sampai dengan Oktober
2009. Kepala Sekolah yang ke-5 adalah HM. Suyadi, SH, S.Pd, MM beliau
mulai menjabat pada tanggal 1 November 2009 sampai dengan sekarang.