Situs ini sekarang bernama Pondok Pemuda Ambarbinangun. Pada mulanya adalah sebuah pesanggrahan yaitu bangunan berupa taman kerjaan yang eksklusif milik Kesultanan Ngayogyakarta. Pesanggrahan ini dibangun pada masa HB VI oleh sekorang pengusaha Belanda bernama Wenschang. Berdasarkan huruf Jawa kuno pada tugu prasasti I, pembangunannya selesai pada tahun 1784 Jawa/1855 M. Atas jasanya, HB VI menganugerahi Wenschang gelar Nayoko (setingkat menteri). Pada masa Pemerintahan HB VII, dilakukan perbaikan dan perubahan pada pesanggrahan ini. Pertama Gedong Papak yang semula kolam diubah menjadi 6 KM dan WC. Kedua, untuk keamanan dan memperlancar keluar masuknya kendaraan raja, jalan menuju Dusun Tempuran dipindah dari barat ke utara. Pada masa HB VIII pengisian air kolam di pesanggrahan yang semula dari Kedung Bayem diganti mata air dari Dusun Tempuran memakai pipa-pipa besi. Pada masa HB IX, tempat ini masih dipakai untuk rekreasi sampai masa penjajahan Jepang dan kemudian dipakai untuk pusat latihan Kaibodan dan Sainendan. Masa class II terutama Gedung Pangeran dipakai sebagai gudang obat-obatan dan senjata tentara RI. Tetapi karena Belanda mengetahui lokasi dan fungsi gedung tersebut, oleh tentara RI gedung tersebut dibakar supaya tidak direbut Belanda.

Setelah kemerdekaan, pesanggrahan ini sempat dipakai sebagai Kantor Pemkab Bantul (1949-1952), Kantor Kepanewan Kasihan (1952-1964), asrama LKPS (Latihan Kemiliteran Pegawai Sipil). Saat ini pesanggrahan dipakai untuk kantor Lembaga Cabang Pendidikan Kader Pramuka (Lemcadika) Wiradarma, Graha Satriya Bangsa Yogyakarta (Tae Kwon Do Center) dan Gedung Pondok Pemuda.