حافظیه بارها از سوی حاکمان تیموری، صفوی، افشار و زند بازسازی و مرمت شد. سرانجام در سال ۱۳۱۵، آخرین اقدام مهم و شایسته توسط وزارت آموزش و پرورش فارس به ابتکار علی‌اصغر حکمت، وزیر آموزش و پرورش صورت گرفت و ساخت یک بنای جدید ترتیب داده شد. آندره گُدار باستان‌شناس فرانسوی، مدیر کل باستان‌شناسی کشور، طرح و نقشه‌ای مناسب را طراحی کرد. اجرای این پروژه به علی ریاضی، رئیس اداره آموزش و پرورش فارس، واگذار شد و علی سامی سرپرستی آن را برعهده گرفت.