علی‌اکبر رفوگران در اسفند 1309 متولد شد. او چهارمین فرزند خانواده بود. پیش از وی دو‌تن از خواهرانش در 6 ماهگی فوت کرده‌بودند. علی‌اکبر در کودکی بچه شلوغی بود که عموما به‌خاطر شیطنت‌هایش مورد تنبیه والدین و معلمان قرار می‌گرفت. برادر بزرگتر وی عباس و برادران کوچک ترش حسین، حسن و جعفر نام داشتند. برادرش حسین، تحصیلکرده دندان پزشکی از آلمان بود.