Fakta memilukan dari animasi ini adalah ceritanya berasal dari kisah nyata. Isao Takahata mengadaptasi naskahnya dari cerita pendek karya Akiyuki Nosaka. Di dunia nyata, sang penulis merupakan korban serangan bom Kobe 1945.
Cerita pendek Grave of the Fireflies ia tulis sebagai permintaan maaf untuk adik perempuannya, Keiko. Sama seperti yang ditunjukkan di film, sang adik juga meninggal akibat malnutrisi sebagai imbas serangan bertubi-tubi dan orang tua mereka yang telah tiada.
Kisah ini pertama kali diterbitkan di Jepang dalam Ōru Yomimono (オール読物; "All for Reading"), sebuah majalah sastra bulanan terbitan Bungeishunjū, pada Oktober 1967. Nosaka memenangkan Penghargaan Naoki untuk karya sastra populer terbaik berkat cerita ini dan American Hijiki, yang dirilis sebulan sebelumnya. Kedua cerita pendek tersebut, bersama empat karya lainnya, kemudian dibukukan pada 1968 dan diterbitkan oleh Shinchōsha.