中国最早于1955年开始建立预备役部队。按照国防部发布的《关于组织预备役师的命令》，先后在成都、武汉、昆明、兰州等军区组建了一批预备役部队。
1957年6月军委发出《关于改进兵役工作的指示》，将民兵和预备役合二为一。1958年3月，奉国防部命令，预备役师机构集体转业，预备役师取消。
中共十一届三中全会以后，中央军委借鉴国外的先进经验，结合中国国情、军情，决定恢复预备役制度，明确提出了武装力量建设实行精干的常备军与强大的国防后备力量相结合的建设方向。
1983年5月，总参谋部发出通知，明确预备役部队实行统一编制，有关师、团均授相应的军旗一面，并授予番号，按规定刻制印章。从此，中国预备役部队迈开了历史性的步伐，开始了全面建设的时期。
1986年8月10日，三总部发出通知，规定预备役部队正式列入人民解放军建制序列。
1995年5月10日，第八届全国人大常委会第13次会议通过了《中华人民共和国预备役军官法》。
1996年3月24日,中央军委发出《关于预定授予预备役军官军衔工作的指示》。至20世纪末，这支部队已发展成为拥有步兵、炮兵、装甲兵、工程兵、通信兵、防化兵在内的诸兵种合成的一支重要力量。
1997年3月14日，第八届全国人民代表大会第五次会议通过的《中华人民共和国国防法》中指出，中华人民共和国的武装力量，由中国人民解放军现役部队和预备役部队、中国人民武装警察部队、民兵组成。
自2020年7月1日零时起，预备役部队全面纳入军队领导指挥体系，由现行军地双重领导调整为党中央、中央军委集中统一领导。