Denah bangunan ini berbentuk empat persegi panjang dengan pondasi yang masif atau padat dan kokoh.
Ditopang oleh 32 pilar bergaya tuskan berwarna putih. Pada awalnya bangunan ini terdiri dari bangunan utama, ruang rapat, ruang tinggal, dapur, rumah pembantu, beranda depan, ruang makan, ruang penginapan, dan kandang kuda. Dan secara umum kondisi bangunan ini masih sangat baik.
Dibalik semua bangunan ini tentu mempunyai history sejarah pada zaman kolonial.
Di tahun 1596 merupakan awal kedatangan Armada Belanda di Banten. Mereka bertujuan untuk mengambil dan membeli rempah-rempah, karena terdorong untuk mendapatkan keuntungan yang sebesar-besarnya serta adanya persaingan dagang dengan Spanyol dan Portugis, maka pada tahun 1603 mereka mendirikan kantor dagang di Banten.
Tujuan pendirian Loji dagang ini adalah untuk memonopoli perdagangan di Banten. Sikap tegas Sultan Banten yang memaksa kantor tersebut akhirnya dipindahkan ke Jayakarta pada tahun 1611.
Pada tanggal 5 Januari 1808, Daendels sebagai Gubernur Jenderal Hindia Belanda yang pertama, mengeluarkan surat keputusan bahwa Jayakarta menjadi pusat pemerintahan dengan nama Batavia.
Keputusan tersebut membuat sistem pemerintahan yang berbeda dari sebelumnya, dan melahirkan kebijakan-kebijakan baru.
Salah satunya adalah Daendels melakukan birokrasi di kalangan pemerintahan tradisional, dengan menjadikan para sultan dan para bupati sebagai pegawai pemerintahan.
Sultan Banten pada saat itu yakni Sultan Abu Nasser Muhammad Ishak Zainul Muttaqin tidak mengakui kekuasaan Daendels.
Puncak ketegangan antara Sultan Banten dan Daendels terjadi pada tanggal 21 November 1808, ketika seorang utusan Daendels yang dikirim ke Keraton Surosowan dibunuh di depan gerbang Keraton.