ด่านศุลกากรเกาะสมุยเป็นด่านศุลกากรทางทะเลด้านอ่าวไทย ตั้งขึ้นตามกฎกระทรวงการคลัง ลงวันที่ 21 ตุลาคม พ.ศ. 2481 แต่เดิมกรมศุลกากรได้เช่าเรือนไม้ชั้นเดียวเป็นที่ทำการด่านศุลกากร ตั้งอยู่บริเวณบ้านหน้าทอน ตรงหน้ากระโจมไฟของเกาะสมุย จนกระทั่งปี พ.ศ. 2484 กรมศุลกากรได้สร้างอาคารที่ทำการด่านศุลกากรเกาะสมุย ขึ้นใหม่อยู่ใกล้กับสถานีอนามัยเกาะสมุย ตัวอาคารเป็นเรือนไม้ชั้นเดียว ยกพื้นสูงประมาณ 1 เมตร ส่วนที่ทำการเดิมที่เคยเช่าไว้นั้นปัจจุบันเป็นที่ตั้งของอาคารพาณิชย์และธนาคารไทยพาณิชย์ สาขาเกาะสมุย ต่อมาในปี พ.ศ. 2499 ได้ย้ายไปสร้างอาคารที่ทำการด่านศุลกากรเกาะสมุย แห่งใหม่บนพื้นที่ราชพัสดุ จำนวน 2 ไร่ 48.8 ตารางวา อยู่ทางทิศเหนือของที่ทำการเดิม ตัวอาคารเป็นตึกชั้นเดียวใต้ถุนสูง หันหน้าออกทะเลด้านทิศตะวันตกได้ทำการปรับปรุง ซ่อมแซม และใช้เป็นที่ทำการตลอดมาในช่วงปี พ.ศ.2539-40 กระทรวงการคลังได้ออกกฎกระทรวงฉบับที่ 112 พ.ศ. 2539 และกฎกระทรวงการคลัง ฉบับที่ 114 พ.ศ. 2540 ออกตามความใน พ.ร.บ.ศุลกากร พ.ศ. 2469 กำหนดให้สนามบินสมุย จังหวัดสุราษฎร์ธานี เป็นสนามบินศุลกากร เพื่อให้อากาศยาน ไทยและต่างประเทศ ขึ้น - ลง และมีการนำของเข้า หรือส่งของออก และกำหนดเพิ่มเติมให้ด่านศุลกากรเกาะสมุยเป็นท่าสำหรับการนำเข้าและส่งของออกได้ทุกประเภทรวมทั้งการส่งออกของที่ขอคืนอาการขาเข้าและของที่มีทัณฑ์บนทุกประเภท

และในปี พ.ศ. 2553 ด่านศุลกากรเกาะสมุย ได้ถูกรื้อถอนลงทั้งหมด เนื่องจากคณะรัฐมนตรีได้มีมติ เมื่อวันที่ 13 ตุลาคม 2552 อนุมัติโครงการก่อสร้างศูนย์ราชการกระทรวงการคลัง อำเภอเกาะสมุย ภายใต้แผนปฏิบัติการไทยเข้มแข็ง เพื่อเป็นสถานที่ปฏิบัติงานและที่พักอาศัยสำหรับข้าราชการ พนักงานราชการ และลูกจ้าง ของส่วนราชการสังกัดกระทรวงการคลัง ได้แก่กรมสรรพากร กรมศุลกากร และกรมสรรพสามิต บนที่ราชพัสดุจำนวน 2 ไร่ 48.8 ตารางวา ในความครอบครองใช้ประโยชน์ของกรมศุลกากร ซึ่งขณะนี้ด่านศุลกากรเกาะสมุยได้ใช้อาคารที่พักอาศัยบางส่วนเป็นที่ทำการด่านศุลกากรชั่วคราว ไปพลางก่อนตามอนุมัติกรมฯลงวันที่ 17 ตุลาคม 2554 จนกว่าอาคารศูนย์ราชการฯแห่งใหม่จะสร้างเสร็จ ซึ่งคาดว่าจะเสร็จสมบูรณ์ในปี พ.ศ.2557