คณะรัฐมนตรีได้มีมติเมื่อวันที่ 20 สิงหาคม 2534 อนุมัติให้กระทรวงเกษตรและสหกรณ์จัดตั้งสำนักงานเกษตรและสหกรณ์จังหวัดโดยให้มีการทดลองจัดตั้งใน 4 จังหวัด  ที่มีสำนักงานเกษตรภาคตั้งอยู่ก่อน คือ จังหวัดเชียงใหม่ จังหวัดขอนแก่น จังหวัดชัยนาท และจังหวัดสงขลา ต่อมาในปี 2537 กระทรวงเกษตรและสหกรณ์ร่วมกับสำนักงานคณะกรรมการข้าราชการพลเรือน (ก.พ.) ได้ทำการประเมินผลการปฏิบัติงานของสำนักงานเกษตรและสหกรณ์จังหวัดทั้ง 4 แห่ง ผลการปฏิบัติงานอยู่ในระดับที่น่าพอใจ คณะรัฐมนตรีจึงได้มีมติ เมื่อวันที่ 13 กันยายน 2537  เห็นชอบให้กระทรวงเกษตรและสหกรณ์ จัดตั้งสำนักงานเกษตรและสหกรณ์จังหวัดเป็นการถาวรได้ โดยให้รวมงานด้านการปฏิบัติการของหน่วยงานในสังกัดจังหวัดเข้ามาอยู่ภายใต้การกำกับดูแลของสำนักงานเกษตรและสหกรณ์จังหวัดภายใน 3 ปี

           ระยะจัดตั้งอย่างเป็นทางการ  กระทรวงเกษตรและสหกรณ์ได้มีคำสั่งคณะทำงานประเมินผลการปฏิบัติงานของสำนักงานเกษตรและสหกรณ์จังหวัด  ซึ่งได้ดำเนินการประเมินผลการปฏิบัติงานทั้ง 4 จังหวัด       ผลการปฏิบัติงานเป็นที่น่าพอใจ  กระทรวงเกษตรฯ  จึงได้นำเรื่องขออนุมัติคณะรัฐมนตรีขอตั้งเป็นทางการต่อไป  และได้รับการจัดตั้งเป็นทางการเมื่อวันที่ 8 กุมภาพันธ์ 2538  ตามพระราชกฤษฎีกาแบ่งส่วนราชการสำนักงานปลัดกระทรวงเกษตรและสหกรณ์ พ.ศ.2538  โดยกระทรวงฯ  ได้จัดตั้งครั้งแรก  8 จังหวัด   คือ  จังหวัดเชียงใหม่  ขอนแก่นชัยนาท  สงขลา  ลำปาง  กาฬสินธุ์  เพชรบุรี  และสุราษฎร์ธานี   ตามคำสั่งสำนักงานปลัดกระทรวงเกษตรและสหกรณ์  ที่  154/2538   ลงวันที่   21 กุมภาพันธ์  2538  และได้จัดตั้งเพิ่มเติมอีก 12 จังหวัด  ในปีงบประมาณ 2538 คือ  จังหวัดเชียงราย  อุดรธานี  มหาสารคาม  นครสวรรค์  สุพรรณบุรี  สิงห์บุรี  ลำพูน  พะเยา  อ่างทอง  ร้อยเอ็ด  หนองบัวลำภู  และพัทลุง  ตามคำสั่งสำนักงานปลัดกระทรวงเกษตรและสหกรณ์  ที่ 586/2538  ลงวันที่  31  สิงหาคม 2538   ต่อมาในปี 2539  ได้จัดตั้งเพิ่มเติมอีก 30 จังหวัด  และจังหวัดที่เหลือได้จัดตั้งแล้วเสร็จในปี 2540  รวมถึงจังหวัดจันทบุรีด้วย   ดังนั้นตั้งแต่ปีงบประมาณ  2540  เป็นต้นมา   ได้มีการจัดตั้งสำนักงานเกษตรและสหกรณ์จังหวัดขึ้นครบทุกจังหวัดทั่วประเทศ

        ปัจจุบันสำนักงานเกษตรและสหกรณ์จังหวัดมุกดาหาร  ตั้งอยู่ที่ ศาลากลางจังหวัดมุกดาหาร ชั้น 5 (อาคาร 2) ถ.วิวิธสุรการ ต.มุกดาหาร อ.เมือง จ.มุกดาหาร 49000