Jeffrey Epstein bracht zijn vormende jaren door in Sea Gate, een ommuurde arbeiders- en middenklasse Joodse wijk in Coney Island, nadat hij daar rond zijn zesde met zijn gezin naartoe verhuisde. Zijn vader Seymour werkte als arbeider voor de New York City Parks Department en verdiende minder dan $8.000 per jaar, terwijl zijn moeder Paula werkte als schoolleraarassistente.
De familie Epstein woonde in een klein huurappartement op de tweede verdieping van een drie verdiepingen tellende Nederlandse koloniale woning aan Maple Avenue. Epstein deelde het huis met zijn ouders en zijn jongere broer Mark, bijgenaamd Puggy. In Sea Gate stond Epstein bekend als 'Beer' omdat hij vaak uitsliep, aldus zijn broer.
Epsteins nicht Ronnie Goodman herinnerde zich een bezoek toen hij ongeveer 14 was, waarbij hij een wiskundeboek las en naar Beethoven luisterde. 'Wie leest er calculusboeken om te ontspannen?' zei ze. Het artikel biedt een zeldzame blik in Epsteins vroege leven, vóór zijn latere bekendheid.