باغ ارم شیراز به طور مسلم از دوره سلجوقیان و در تمام دوره آل اینجو و آل مظفر و گورکانیان وجود داشته و با توجه به اینکه سیستم فئودالی به طور کامل بر جامعه آن دوره حاکم بوده بدون تردید بانیان و صاحبان باغ ارم که باغی ارزشمند بوده، در آن زمان حکام وقت بوده‌اند.احتمال می‌رود اتابک قراچه که از طرف سنجر سلجوقی به حکومت فارس منصوب بوده دستور احداث این باغ را داده باشد.
بعد از وی تا جلوس شاه شیخ ابواسحاق اینجو که احتمالاً باغ ارم را در تصدی داشت، اطلاعی از نحوه مالکیت این باغ در دست نیست.شاه شیخ ابواسحاق اینجو در سال ۷۴۲ ه.ق جلوس نموده و در سال ۷۵۷ ه.ق کشته شد.
پس از انقراض سلسله آل اینجو به وسیله آل مظفر، احتمالاً باغ ارم به مالکیت سلاطین آل مظفر در آمده و در عهد شاه منصور آخرین پادشاه این خاندان که به دست گورکانیان کشته شد، باغ در نهایت آبادانی و شکوه بوده است.
از عصر صفویه به بعد، باغ ارم در نوشته‌های جهانگردان، آباد و باشکوه توصیف شده است. در عهد کریم خان زند احتمالاً باغ ارم در مالکیت سران سلسله زندیه بوده و مانند سایر ابنیه و باغ های شیراز مرمت گردیده است.
از اواخر دوره زندیه تقریباً بیش از هفتاد و پنج سال باغ ارم در تصاحب سران ایل قشقایی بود. خاندان جانی خان قشقایی که از دوره فتحعلی شاه قاجار با سمت ایلخانی و ایل بیگی بر ایل قشقایی فرمانروایی می‌کردند، مدت مدیدی این باغ را در اختیار داشته و از آنجا به عنوان مقر فرمانفرمایی خود در شهر شیراز استفاده می‌کرده‌اند.
نخستین ایلخان این خاندان یعنی جانی خان و پسرش محمد قلی خان عمارتی باشکوه در این باغ بنا نهادند. در اوایل دوره قاجاریه بعضی از سران ایل قشقایی که مالکین سابق باغ ارم بوده‌اند در گوشه‌ای از این باغ به خاک سپرده شده‌اند که در حال حاضر نشانی از این قبور در دست نیست.
ساختمان عمارت این باغ در دوره ناصرالدین شاه قاجار هنوز مرغوب و قابل توجه بوده است. در دوره سلطنت ناصرالدین شاه، حاج نصیرالملک شیرازی باغ را از خاندان ایلخانی خریداری نموده و ساختمان فعلی موجود در باغ را به جای عمارت ایلخانی بنا نمود ولی احتمالاً اساس ساختمان قبلی را حفظ کرده است. پس از درگذشت حاج نصیرالملک در سال ۱۳۱۱ ه.ق تزئینات بنا و بعضی قسمت های ناتمام به وسیله ابوالقاسم خان نصیرالملک، مالک این باغ اتمام یافته است.
در آن زمان توصیفی توسط فرصت‌الدوله شیرازی راجع به این باغ داده شده که به شرح زیر می‌باشد:
“… بستانی است بی مثال و گلشنی است بهشت تمثال …، سروهایش سر به افلاک کشیده، عماراتی دارد شاهانه مشتمل بر تالاری که به واسطه دو ستون قوی پیکر برپاست و ارسی‌ها، گوشواره‌ها و اتاق ها و رواق های دیگر را از فوقانی و تحتانی داراست. آبشارهای متعدده از هر جانب آن روان است و سبزه‌های اطراف جویش چون خط بر گرد عارض نوش لبان. بنای اول آن را محمد قلی خان ایلخانی نهاده سپس مرحوم حاجی نصیرالملک خریده و حکم به بنیاد عمارات مذکور داده. حاجی محمد حسن معمار… آن بنا را برآورده باغی دیگر برآن افزوده‌اند. آن نیز هوایش معطر است…، خلوتی دیگر دارد که نارنجستانش نام نهاده‌اند. باربند و کوشکی هم برای آن قرار داده‌اند.”
دونالد ویلبر درباره باغ ارم شیراز چنین نگاشته است:
“… برای مدت لااقل ۷۵ سال این عمارت در تصاحب خان‌ها و یا سران قبیله قشقایی بود. همین ساختمان هسته مرکزی باغ به شمار می‌رود. در این موقع دیواری در وسط باغ احداث کردند و بدین ترتیب باغ به دو قسمت تقسیم گردید.
باغ ارم محبوبیت فراوان خود را مدیون درختان مرکبات و خیابان طویلی است که در دو طرف آن سروهای باشکوه غرس گردیده و ساختمان جالب توجهی که شاهد مهمان نوازی بی دریغ ایل قشقایی بوده است. هرچند سال یک بار مقداری از درختان مرکبات بر اثر سرمای سخت از بین می‌روند درحالی که سروها در عرض پنجاه سال اخیر همچنان جذابیت خود را حفظ کرده‌اند … .” در تهیه طرح باغ، محور طولانی آن مشخص گردیده است.
امروز کوشک اصلی، هسته مرکزی این باغ و جالب‌توجه ترین جنبه آن را تشکیل می‌دهد. اطاق های طبقه زیرین تقریباً زیرزمین است و تالار مرکزی آن را برای استراحت در روزهای گرم تابستان در نظر گرفته‌اند. نهر آب مستقیماً از این تالار می گذرد و در سر راه خود قبل از اینکه به حوض بزرگی فرو ریزد استخر را پر می‌کند. دیوارها و کف این تالار از کاشی‌های رنگین پوشیده شده است.
پلکانی این طبقه را به طبقه بالاتر و به راهروهایی که به تالار بزرگ منتهی می‌گردد متصل می‌سازد. منظره جنوبی آن همان ادامه محور اصلی است و از طرف شمال چشم انداز آن را تپه‌هایی تشکیل می‌دهد که در حاشیه رودخانه قرار گرفته است.
در این محل نیز مانند بسیاری دیگر از ساختمان های شیراز کاشی های براق و سنگ های تراش میراث قدیم را از نو رواج می‌دهد. این قسمت سه گوش (سنتوری) منظره‌ای را متعلق به دوره ساسانیان که با کاشی های رنگی زینت شده نشان می دهد درحالی که در طبقه‌ای که هم‌سطح زمین ساخته شده تخته سنگ های آهکی نسخه‌های تحریف شده‌ای است از نقوش برجسته دوره هخامنشیان که در تخت جمشید دیده می‌شود. در سراسر این ناحیه وسیع بوته گل سرخ کمتر دیده می‌شود و به جای آن در گلخانه که داخل آن را با چوب به طرز پلکانی ترتیب داده‌اند انواع گلها را در گلدان نگاهداری می‌کنند تا آنها را در نقاط اصلی در داخل کوشک و خارج آن قرار دهند.”
باغ ارم پس از فوت ابوالقاسم خان نصیرالملک به فرزندش رسید و پس از چندی به یکی از سران ایل قشقایی فروخته شد. سپس به تصرف دولت درآمد و به دانشگاه شیراز واگذار شد. دانشگاه شیراز مدتها به عنوان کاخ پذیرایی از آنجا استفاده می نمود. در سال های ۱۳۵۰_۱۳۴۵ه.ش این باغ با اعتبار واگذاری از طرف سازمان برنامه و بودجه و زیر نظر مسئولین وقت دانشگاه، تعمیر اساسی شده و زمین وسیعی نیز در حاشیه بلوار ارم و بلوار آسیاب سه تایی به آن افزوده شده است. امروزه باغ ارم همچنان در اختیار دانشگاه شیراز می‌باشد و در حقیقت به تمام مردم تعلق دارد.