Egy televíziós talkshowban Jesse elmondta, úgy érzi, azért lett ilyen kaotikus még felnőttkorára is, mert gyerekkorában alig kapott szeretetet és állandó zaklatásokat kellett elviselnie az apjától. Már korábban, más források is említették, hogy Larry James meglehetősen gondatlan apa volt, emellett százával hurcolta haza a nőket, így nem csoda, ha a Jesse is ezt a mintát követi. Apja azonban kijelentette, sohasem bántotta a fiát, sőt ő volt a szíve csücske. Mindazonáltal Jesse nővére is megerősítette a zűrös gyerekkorról szóló információkat, tehát könnyen lehet, hogy Larry apuka csak mosdatni szeretné magát. Azonban Jesse korában már eléggé nevetséges gyerekkori abúzusokra hivatkozni.