Sebutan Candi aRimbi berasal dari lokasi dimana bangunan cagar budaya itu berada, yaitu dari nama Desa Ngrimbi. Meski secara administratif Candi aRimbi sekarang berada di Desa Pulosari yang merupakan tetangga Desa Ngrimbi. Sangat mungkin pada saat pertama kali didokumentasikan dulu di masa penjajahan kolonial Belanda, Candi Rimbi masih berada dalam lingkup Desa Ngrimbi. Sedangkan batas wilayah zaman Belanda dan masa sekarang sudah berbeda sehingga kini masuk Desa Pulosari. Namun demikian, nama yang tersemat pada Candi Rimbi masih dipertahankan.
Toponim Rimbi di Desa Ngrimbi berasal dari sosok wanita legendaris cerita rakyat setempat yaitu Dewi Arimbi. Sosok Dewi Arimbi terkait dengan dengan dua makam misterius yang bersebelahan, dekat sungai tak jauh dari Candi Arimbi. Salah satu dari tiga makam itu diyakini sebagai makam Dewi Arimbi. Kisah pewayangan menyebutkan seorang tokoh dengan nama yang sama yang diceritakan sebagai raksasa cantik, istri Bima salah satu dari pandawa lima, sekaligus ibunda Gatotkaca dalam kisah pewayangan.
Warga setempat meyakini, tiga makam itu diduga merupakan pesarean Prabu
Arimba, Pangeran Arimbo dan adiknya Dewi Arimbi yang menjadi legenda kawasan ini. Meski belum
ada bukti ilmiah apalagi catatan apapun tentang sosok tersebut, agaknya detail ini bisa jadi
tambahan informasi mengenai asal muasal lokasi dan cerita budaya setempat.
