Само здание Малого дворца был построен в 1317 году. История его появления туманна: по одной версии - он был построен для племянника папы Иоанна, по другой - строился кардиналом Беренжером Старшим. Долгое время дворец пустовал, пока папа Бенедикт не превратил его в официальную резиденцию авиньонского архиепископа.→