کاروانسرای مشیرالملک در ضلع شرقی میدان مرکزی شهر برازجان قراردارد.این کاروانسرا در سال ۱۲۵۰ شمسی به فرمان حاج میرزا ابوالحسن خان مشیرالملک با هزینهای معادل ۴۰ هزارتومان ساخته شد
معمار این ساختمان حاج محمد رحیم شیرازی سازنده پل مشیر و کاروانسرای دالکی است که به طرز ماهرانهای اقدام به ساخت این بنا به سبک معماری زندیه کرده است.
عمده مصالح تشکیل دهنده این کاروانسرا سنگ، گچ و ساروج است و در کف آن از تخته سنگهای بزرگ تراشیده شده، استفاده شده است.
بام کاروانسرای مشیرالملک نیز با سنگ پهن تراشیده شده مفروش شده بود که به هنگام بارندگی آب باران بوسیله ناودانهای سنگی که به طرز جالبی تعبیه شده بودند به بیرون از کاروانسرا هدایت میشد.
در دیوار ضلع غربی کاروانسرا درب ورودی بسیار بزرگی از جنس چوب قرار دارد که راه ورودی اصلی به حیاط کاروانسرا بوده است.
در همین ضلع طبقه دوم کاروانسرا وجود دارد که به شاهنشین معروف است. در جلوی شاهنشین یک تراس نسبتاً وسیع رو به خارج وجود دارد.
در دو طرف این شاهنشین راه پله هایی وجود دارد که پشت بام کاروانسرا را به محوطه دیگری که اندرون کاروانسرا و مخصوص زنان و کودکان بوده است وصل میشود.
این بنا مثل سایر کاروانسراهای دیگر دارای ۴ برج مرتفع است. مساحت کل بنا ۷۰۰۰ متر مربع با زیر بنایی در حدود ۴۲۰۰ متر مربع میباشد.
کاروانسرای مشیرالملک مجموعاً دارای ۶۸ باب اتاق و حجره بوده که به دلیل تغییر کاربری آن در دورههای بعدی تعداد اتاقها کم یا زیاد شدهاند.
از این بنا تا سال ۱۳۰۰ شمسی به عنوان کاروانسرا استفاده میشد که به دلیل واقع شدن شهر برازجان بر سر راه تجارتی شیراز به بوشهر مکانی مناسب جهت استراحت کاروانیان بوده است.
از سال ۱۳۰۰ شمسی که قشون نظامی به برازجان وارد شد این کاروانسرا محل مناسبی برای استقرار نظامیان شناخته شد.
از سال ۱۳۳۵ با تغییرات و تعمیراتی، این بنا در اختیار شهربانی قرار گرفت که از آن به عنوان زندان استفاده میشد. به همین دلیل به دژ برازجان معروف شد.
این بنا سال ۱۳۷۷ با پیگیریهای مکرر مدیریت میراث فرهنگی بوشهر به دلیل اهمیت و ارزش آن تخلیه شد و در جهت کاربری فرهنگی و هنری این اثر تاریخی مرمتهای لازم روی آن صورت گرفت.
کاروانسرای مشیرالملک در سال ۱۳۶۲ به شماره ۱۶۳۸ در فهرست آثار ملی کشور به ثبت رسید.