L'hôpital Saint-Bénézet, fondé au XIIe siècle et qui fut en activité jusqu'à la Révolution, a une histoire complexe. La richesse de ses fonds s'explique en partie par le fait que lui furent réunis le prieuré de Montfavet en 1453 puis la léproserie Saint-Lazare en 1679.

Par les chroniques de Robert d'Auxerre et de plusieurs contemporains, nous savons que Bénézet arriva à Avignon en 1177 et y mourut en 1184. Il est connu pour être le constructeur du pont d'Avignon, achevé vers 1188, mais il fut aussi le fondateur de l'Opus pontis Rodani, ou Œuvre du pont, composée de laïcs vivant en communauté. Son but était triple : récolter des fonds pour construire et entretenir le pont, héberger les voyageurs, servir Dieu dans un esprit de charité. L'œuvre possèdait deux chapelles et un cimetière réservé aux étrangers et aux frères (1187). En plus de dons importants d'argent et de terres, elle obtint le droit de récolter des aumônes, et s'enrichit surtout grâce au droit de péage qu'elle touchait sur le passage du pont.

Très vite, les autorités municipales s'inquiétèrent de la dilapidation de ses revenus et confièrent la gestion de ces biens à deux recteurs choisis parmi les notables. Le prieur, nommé par l'évêque, n'était plus chargé que du service religieux à partir de 1278. Enfin, en 1321, Jean XXII unissait les revenus du prieuré au chapitre de Saint-Agricol, auquel le service divin fut alors confié. L'Œuvre du pont était ainsi sécularisée et n'avait plus de tâches religieuses. L'activité hospitalière se poursuivit néanmoins sous la direction d'un des frères présenté par les recteurs à l'évêque pour nomination.

En septembre 1398, la tour du pont et le bâtiment de l'hôpital furent détruits. Ce fut alors le bâtiment de l'hôpital fondé par le cardinal Ardoin Aubert en 1363, uni à Saint-Bénézet depuis 1370, qui abrita définitivement l'hôpital. Quant à la communauté fondée par Bénézet, elle disparut dans les troubles de la fin du XIVe siècle et du début du XVe, les frères et les sœurs du Pont n'étant plus jamais mentionnés.

En 1447, les syndics d'Avignon, manquant de subsides pour les réparations du pont, demandèrent de l'aide au pape. Après évocation de plusieurs possibilités, le pape accepta l'idée d'unir le prieuré de Montfavet à l'hôpital de Saint-Bénézet après la mort de son commanditaire, Gaucher de Forcalquier, évêque de Gap. Le 29 juillet 1452, après accord entre les syndics et Gaucher de Forcalquier, Nicolas V chargea le cardinal de Foix d'enquêter et de prononcer cette union, sous réserve d'une pension annuelle de 120 florins en faveur de l'évêque tant qu'il n'aurait pas obtenu de bénéfice équivalent. Dès le 20 septembre 1453, le prieuré de Montfavet fut officiellement réuni à l'hôpital Saint-Bénézet et n'eut plus d'administration propre.

Le prieuré Notre-Dame de Bon-Repos, communément appelé prieuré de Montfavet, avait été institué en 1343 par le cardinal Bertrand de Montfavet dans son testament autour de sa propriété de Bon Repos et devait à l'origine rassembler vingt-quatre chanoines de l'ordre de saint Augustin. Les exécuteurs testamentaires du cardinal achetèrent de nombreuses terres jusqu'en septembre 1345, date où Clément VI, par une bulle, confirma les achats précédents mais interdit toute nouvelle acquisition. Après avoir servi de forteresse pendant les troubles de la fin du XIVe siècle, le "prieuré de Bon Repos" devient un bénéfice en 1412 puis une paroisse d'Avignon. Sous l'administration des recteurs de l'hôpital Saint-Bénézet, son service fut successivement confié aux Récollets (1613) puis aux Capucins (1759).

Jusqu'en 1678, l'hôpital Saint-Bénézet fut réservé aux pauvres voyageurs et passants qui ne devaient rester que quelques jours. À cette date, le pont, régulièrement détruit, n'était plus depuis longtemps réparé, et fut fermé à la circulation. Une délibération du bureau général de l'hôpital décida alors de consacrer cet hôpital aux enfants écrouelleux. Le 14 janvier 1679, pour augmenter ses ressources et répondre à ses nouveaux besoins, le vice-légat lui adjoignit les biens de la léproserie Saint-Lazare.

Outre les soins aux enfants écrouelleux, la mission de l'hôpital Saint-Bénézet s'était élargie dans les années 1760 aux " grands remèdes " des syphilitiques, avec la construction d'un nouveau bâtiment.

Avec la Révolution, une partie des biens de l'hôpital fut saisie et vendue en 1793 pour 164 000 livres en assignats. En 1795, il ne restait que douze malades et, le 20 juin 1796, l'hôpital Saint-Bénézet fut réuni à l'hôpital Sainte-Marthe. Il resta encore ouvert quelques années, admettant des enfants écrouelleux jusqu'en 1807. En juillet 1883, la ville est autorisée par ordonnance à vendre les bâtiments, pour une mise à prix de 24 000 livres.