L'Institut de réadaptation en déficience physique de Québec (IRDPQ) est issu de la fusion de quatre centres de réadaptation en déficience physique de la région de Québec. Créé en octobre 1996, l'IRDPQ s'appuie sur la longue tradition d'excellence de ses centres d'origine, à savoir : Centre Cardinal-Villeneuve, Centre François-Charon, Centre Louis-Hébert, Institut des sourds de Charlesbourg (appelé Centre Dominique-Tremblay avant la fusion)

Le Centre Cardinal-Villeneuve existait depuis 60 ans comme institution vouée à « l'enfance handicapée physique » sur le plan moteur. Jusqu'en 1969, cet établissement a joué son rôle dans le cadre d'activités particulièrement axées sur la scolarisation auxquelles s'ajoutaient des interventions de réadaptation. En 1970, il obtenait le statut de centre d'accueil de réadaptation qui l'a orienté vers une mission spécifique d'adaptation-réadaptation pédiatrique en déficience motrice pour l'Est-du-Québec, principalement après le transfert de la responsabilité des services pédagogiques à la Commission scolaire de Sainte-Foy, en 1979. L'école spécialisée a quitté les murs de l'établissement en 1987 pour être relocalisée à Sainte-Foy, à l'école Madeleine-Bergeron.

Le Centre François-Charon a vu le jour en 1964. Jusqu'en 1974, il a été un centre affilié à la Commission de la santé et de la sécurité du travail (CSST) et dédié à la clientèle accidentée du travail. Il offrait principalement des services de rééducation fonctionnelle en physiothérapie et en ergothérapie. En 1974, l'établissement est devenu un centre hospitalier de réadaptation. Il y eut alors ouverture à toutes les clientèles ayant besoin de réadaptation et provenant de l'Est-du-Québec. Aux services de physiothérapie et d'ergothérapie s'ajoutaient des services psychosociaux, d'orthophonie, d'éducation physique, d'orientation professionnelle, de nursing. En 1979, le Centre a reçu le statut de centre d'accueil de réadaptation et a complété sa gamme de services en intégration sociale aux adultes ayant une déficience motrice. En mai 1995, le MSSS l'a désigné « institut universitaire de réadaptation et d'intégration sociale ».

Le Centre Louis-Hébert fut créé en 1971. Il avait pour mandat l'hébergement dans le but d'assurer des services aux personnes adultes ou âgées ayant une déficience visuelle. En 1976 s'est ajouté un mandat de réadaptation pour les enfants, puis pour les adultes et les aînés. Tout en desservant l'Est-du-Québec, il a participé activement au développement de services de réadaptation en déficience visuelle dans ce territoire.

L'Institut des sourds de Charlesbourg (rebaptisé Centre Dominique-Tremblay peu avant la fusion) a ouvert ses portes en 1960. C'était alors un pensionnat-école de 250 places pour jeunes garçons sourds de l'Est-du-Québec. Sous la responsabilité des Clercs Saint-Viateur, l'établissement offrait aussi divers services (loisirs, apprentissage au travail). En 1972, un nouveau statut de centre d'accueil de réadaptation et l'arrivée d'une nouvelle clientèle mixte ont provoqué le développement de familles d'accueil et la création d'unités internes, puis de foyers de groupe intégrés à la communauté. Ces derniers ont fermé définitivement en 1994. À noter qu'à partir de 1982, le volet scolarisation fut assumé entièrement par la Commission scolaire de Charlesbourg. L'école spécialisée a quitté les murs de l'établissement en 1985 pour être relocalisée à l'école Joseph-Paquin, à Charlesbourg.