上海音乐学院研究生教育可追溯到1964年，最初招收声乐、小提琴方向的本科后高级研修生。1978年正式恢复招收硕士学位研究生，设有音乐学、作曲与作曲理论、音乐表演艺术三个硕士学位授予点（1997年因学科门类的调整，合并为音乐学一个硕士学位授权点），作为国务院学位委员会第二批批准设立的博士学位授权点单位，上海音乐学院从1983年开始招收音乐学和作曲与作曲理论（1991年后增设）的博士研究生。

为了适应高层次音乐人才培养的需求，上海音乐学院于2001年4月正式设立了专门负责研究生教育的职能部门——研究生处，其工作范围包括研究生培养工作、学科专业建设、研究生导师队伍建设、研究生教育管理体制等。2005年9月，为了适应新形势下学院研究生教育和高层次音乐人才培养的发展需要，经院长会议决定将研究生处改制为研究生部，下设行政、招生、培养、学位和学工五个办公室。2010年，研究生部成功申报了艺术学一级学科博士点，由音乐学一个二级学科博士点单位升格为一级学科博士点单位。2011年艺术学升格为学科门类后，研究生部获批成为三个一级学科博士(硕士)学位授权点单位（分别为“艺术学理论”、“音乐与舞蹈学”、“戏剧与影视学”），成为全国专业音乐院校中拥有最多博士点的院校。此后，又制定了相应的培养模式、学位要求和评估体系，且已在本院研究生教育各环节顺利实施。2014年研究生部为进一步加强对创新实践基地系统科学的管理，使学科评估工作常态化，特增设科研办公室。

上海音乐学院的研究生教育类型，涵盖学术型博士研究生、学术型硕士研究生、在职艺术硕士专业学位（MFA）、全日制艺术硕士专业学位、国内访问学者及研修人员等多种层次和形式。

在学院有独立专职机构开展研究生教育的十余年来，研究生部跟据国家和学院不断发展变化的实际情况及自身特色，参照教育部、国务院学位委员会和上海市教委的教育策略和相关文件进行音乐高层次人才培养，不断完善学位制度，在研究生教育层面上促进学校的学科优化整合及建设打造，在强化研究生教育内涵建设，坚持重点一流学科发展的同时，不断提升专业学位研究生教育的水平，引领并促进着上海音乐学院的学科建设方向和步伐。我院研究生教育始终秉持“开放多元、前沿前瞻、融合创新、引领社会”的教学理念，以全球高等教育机构的视野，按照一流标准来打造教育管理模式，凸显艺术本质，无论在宏观的思路、理念，还是在具体实施方案等方面，都处于全国领先地位，对中国音乐艺术学科研究生教育起到建设性、样本性的引领示范作用。人才培养总目标是：培养中国特色、国际一流的音乐领军人才，示范引领国际音乐学科研究生教育。