Sylvestrov romantični život je godinama bio tema tabloida. Ima petoro djece iz tri braka, ali njegov najstariji sin Sage, preminuo je 2012. Tri najmlađe kćeri, Sophia, Sistine i Scarlet sada su odrasle i rade kao modeli.


Sylvester je izuzetno ponosan na svoje tri kćeri, a često ih objavljuje i na svojim društvenim mrežama uz popratne simpatične komentare.