Louis Mordells Vater wanderte 1881 aus Litauen nach Philadelphia in Pennsylvania aus und arbeitete dort einige Jahre sehr hart, um die Passage für seine Schwestern und seine Verlobte Annie Feller zu verdienen. Mit Annie, die er sofort nach ihrer Ankunft in Philadelphia heiratete, hatte er acht Kinder, ganz ausgewogen vier Söhne und vier Töchter. Louis Joel war das dritte Kind. Er entdeckte seine Neigung zur Mathematik mit 12 oder 13 Jahren.