Setelah setahun di Boven Digul, Papua, Mohammad Hatta dan Sutan Sjahrir dipindahkan ke tempat pengasingan baru: Banda Neira di Maluku. Mereka tiba di Banda Neira pada Februari 1936. Sebelumnya, di Banda Neira ada dua keluarga yang dibuang, yaitu Tjipto Mangoenkoesoemo dan Iwa Koesoema Soemantri.

Dua keluarga lagi karena penugasan. Suroyo bekerja sebagai dokter pemerintah, sedangkan Mulyadi menjadi kepala Schakelschool (sekolah sambungan antara sekolah dasar dengan sekolah menengah pertama). Mulyadi dan Suroyo kemudian dipindahkan ke Jawa. Iwa dipindahkan ke Makassar pada 1939. Karena penyakit asma, Tjipto dipindahkan ke Makassar pada 1940, kemudian dibebaskan di Sukabumi.

Hatta dan Sjahrir mendapatkan tunjangan masing-masing f.75 setiap bulan. Awalnya, mereka menyewa rumah milik Tuan De Vries. Mereka mempekerjakan Halimah untuk memasak dan Chaidir, biasa dipanggil Akhir, sebagai pelayan.

"Setelah beberapa hari kami di Neira, tampak olehku Sjahrir dihinggapi oleh psikologi kesunyian. Di Digul dia biasa mengobrol dengan kawan-kawan yang banyak," kata Hatta dalam otobiografinya, Untuk Negeriku Jilid 2: Berjuang dan Dibuang.

Kesunyian Sjahrir terobati dengan mengangkat anak-anak yang bersaudara, yaitu Des Alwi, Lili, Mimi, dan Ali. Namanya anak-anak pasti suka bermain. Pernah suatu kali menumpahkan air yang membasahi buku-buku Hatta. Tak enak sama Hatta, Sjahrir memutuskan pindah, menyewa kamar di rumah orang tua Mimi. Rumah itu peninggalan Baadillah, seorang letnan Arab yang kaya, kepada anaknya, ibu Mimi.

Sejak tinggal terpisah, anak-anak angkat Sjahrir mungunjungi Hatta tiga kali seminggu untuk belajar dan setiap Sabtu untuk makan siang bersama.

"Kami lebih suka makan di rumah Oom Kaca Mata karena makanannya lebih baik dan lebih bervariasi daripada di rumah Oom Rir yang bagi kami 'rumah kami sendiri'," kata Des Alwi dalam Bersama Hatta, Syahrir, dr. Tjipto & Iwa K. Soemantri di Banda Neira. Anak-anak angkat Sjahrir memanggil Hatta dengan Oom Kaca Mata dan memanggil Sjahrir dengan Oom Rir.

Des Alwi masih ingat menu makanan ketika Hatta dan Sjahrir masih tinggal serumah. Mereka biasanya sarapan dengan roti, mentega dan selai, telur mata sapi, atau nasi goreng dengan lauk sisa semalam, dan secangkir kopi. Sekitar jam sepuluh, Hatta akan memberi uang belanja kepada Halimah.

"Koki baru kami, Halimah, diberinya untuk membeli ikan basah di pasar dan kusuruh Akhir membawa bon ke toko Kok Coi, memesan satu karung beras 50 kg, ikan sardin 2 kaleng, corned beef 2 kaleng, gula pasir 2 kg, merica, serta lain-lainnya seperti susu Cap Nona 1 kaleng," kata Hatta.

Des Alwi mencatat menu makanan di rumah Hatta. Biasanya sayur-mayur, ikan, sambal, dan dua jenis gulai bersantan. Hanya pada hari Rabu menyantap ayam goreng dan rendang ayam. Hari Jumat ada gulai kambing karena kambing biasanya disembelih penduduk muslim Banda pada hari Jumat. Sedangkan daging sapi hanya dapat diperoleh satu kali sebulan, karena sapi baru disembelih jika para penjagal telah dapat mengumpulkan pembeli satu ekor sapi.

Setelah tak lagi serumah, menurut Des Alwi, Sjahrir kurang begitu memperhatikan makanan, walaupun dia senang sekali makan ikan.

"Dia amat menyukai loki, sejenis lobster atau udang pantai yang besar, yang hidup dan bersembunyi di lubang karang dan keluar jika air surut," kata Des Alwi. "Loki yang digoreng dengan minyak panas dicampur kecap adalah makanan kesukaan Oom Rir selama masa pembuangannya di Banda."

Kiri-kanan: Iwa Koesoema Soemantri, Mohammad Hatta, Tjipto Mangoenkoesoemo, Mulyadi, dua anak angkat Tjipto, dan Sutan Sjahrir. Duduk: Ny. Iwa Koesoema Soemantri dan tiga anaknya, Ny. Tjipto Mangoenkoesoemo, dan Ny. Mulyadi dengan tiga anaknya. (Repro Sutan Sjahrir, Renungan dan Perjuangan).

Sjahrir sudah dianggap sebagai keluarga Baadilla. Nenek Des Alwi menyebutnya anak ke-15. Dia pun dilibatkan dalam berbagai persoalan keluarga. Dia ikut mengambil keputusan, tempat bertanya dan meminta nasihat.

Setelah nenek Des Alwi meninggal, Sjahrir diminta tinggal di rumahnya yang disebut Rumah Besar karena paling mewah dan indah di Banda Neira. Rumah itu dibangun oleh kakek-buyut Des Alwi pada paruh pertama abad ke-19 ketika Banda Neira menjadi kepulauan terkaya di Hindia Belanda. 

Hatta juga kemudian pindah ke rumah milik Nanlohi, seorang keluarga Ambon yang tinggal di Makassar. Uang sewanya lebih murah karena katanya ada setannya.

"Ketika kami pindah ke Rumah Besar setelah wafatnya nenek, semua barang-barang antik kami pindahkan ke museum yang ada di paviliun sayap kanan Rumah Besar itu, lalu digantikan dengan perabot-perabot modern Oom Rir yang dibelinya dari seorang guru Belanda yang pindah ke Jawa," kata Des Alwi.

Ibu Des Alwi menyiapkan makan siang di rumahnya lalu dikirim dengan rantang ke Rumah Besar. Untuk makan malam, anak-anak angkat Sjahrir menyiapkan sendiri. "Oom Rir hanya memasak bila dia menerima kiriman loki dari teman-temannya para nelayan atau bila saya berhasil memperoleh loki di pantai ketika air sedang surut," kata Des Alwi.

Hatta dan Sjahrir meninggalkan Banda Neira pada 1 Februari 1942. Sjahrir membawa tiga anak angkatnya, Lili, Mimi, dan Ali. Mereka dipindahkan ke tempat pengasingan baru di Sukabumi.