Trường Cán bộ Quản lý Giáo dục Thành phố Hồ Chí Minh tiền thân là trường Cán bộ Quản lý và nghiệp vụ thuộc Bộ Giáo dục Thanh niên Chính phủ Cách mạng lâm thời Cộng hoà miền Nam Việt Nam được thành lập theo quyết định số 18/QĐGD ngày 24-3-1976. Nhiệm vụ chính của nhà trường là đào tạo, bồi dưỡng cán bộ quản lý và cốt cán chuyên môn nghiệp vụ cho các cơ quan quản lý giáo dục và cơ sở giáo dục ở các huyện, tỉnh phía Nam từ Đà Nẵng đến Cà Mau.
Sau khi thống nhất đất nước, ngày 25-6-1976 Bộ Giáo dục nước Việt Nam Dân chủ Cộng hoà có quyết định số 33/QĐ-VP tiếp tục duy trì và triển khai hoạt động của Trường Cán bộ Quản lý và nghiệp vụ thuộc Bộ Giáo dục.
Sau khi Bộ Giáo dục và Bộ Ðại học trung học chuyên nghiệp sát nhập, ngày 15-10-1990 Bộ GD&ĐT có quyết định số 1610A/QĐ-TCCB đổi tên Trường Cán bộ Quản lý và nghiệp vụ thành Trường Cán bộ quản lý giáo dục và Đào tạo II trực thuộc Bộ Giáo dục và Đào tạo. Ngày 22-1-1997 Bộ Giáo dục và Đào tạo có quyết định số 325/GD-ĐT sáp nhập Trung tâm bồi dưỡng giáo viên và thông tin quản lý giáo dục vào Trường Cán bộ quản lý giáo dục và Đào tạo II.
Theo quyết định về việc chuyển đổi cơ cấu tổ chức của Bộ Giáo dục và Đào tạo theo cơ cấu tổ chức quy định tại nghị định số 32/2008/ NĐ-CP ban hành ngày 14/4/2008 (nay là Nghị định số 69/2017/NĐ-CP của Chính phủ: Quy định chức năng, nhiệm vụ, quyền hạn và cơ cấu tổ chức của Bộ Giáo dục và Đào tạo) Trường CBQL GD&ĐT II đã được đổi tên thành Trường Cán bộ Quản lý Giáo dục Thành phố Hồ Chí Minh.
Ngay từ những ngày đầu mới thành lập, Trường nhận được sự cộng tác của các cơ quan trực thuộc Bộ, đặc biệt là Cục đào tạo – bồi dưỡng giáo viên, Vụ Tổ chức cán bộ và Vụ Phổ thông cấp 2-3, cùng sự hợp tác của các Ty, Sở Giáo dục lúc đó, ngày 5-11-1976 Trường đã khai giảng lớp bồi dưỡng đầu tiên cho gần 100 Hiệu trưởng, Phó Hiệu trưởng trường trung học của các tỉnh phía Nam. Từ đó tới nay, hơn 40 năm qua, Trường Cán bộ quản lý giáo dục Thành phố Hồ Chí Minh đã không ngừng phát triển và lớn mạnh trong sự nghiệp giáo dục.
