Priznao je da ostavku podnosi zbog bračne nevjere, odnosno zato što je prevario suprugu s kojom je u braku 37 godina. Aferu je imao s udatom 40-godišnjom novinarkom Paulom Broadwell, kolumnisticom New York Timesa i Boston Globea te autoricom njegove biografije.
Afera je razotkrivena kad je Broadwell poslala niz prijetećih e-mailova Jill Kelley, koja radi za State Department, upozoravajući je da se "kloni" Petraeusa. Ona se prijetnji toliko uplašila da je sve odlučila povjeriti FBI-ju, a oni su u istrazi otkrili niz e-mailova razmijenjenih između Petraeusa i Broadwell, koja je svog ljubavnika u njima često oslovljavala s "breskvice" ("peaches").
Doduše, to nije bio samo izraz nježnosti već i njegov nadimak koji je dobio još u srednjoj školi.