I dok je njegov društveni život dobro poznat, njegova romantična strana dosta je misteriozna. Ženio se četiri puta i imao nekoliko ljubavnica pa je sigurno da je volio žene. Kakav je bio ljubavnik svjedoči i zanimljiva priča iz vremena Drugog svjetskog rata.
Naime, dok je bio u braku s Hertom Haas, imao ljubavnicu Davorjanku Paunović Zdenku. Bilo je to u vrijeme kada je Herta Titu rodila sina Aleksandra Mišu Broza.
Dok je Herta Haas bila u zatvoru, Tito se u Beogradu spetljao s energičnom drugaricom Davorjankom Paunović-Zdenkom, koja je studirala francuski jezik na beogradskom filozofskom fakultetu. Bila je 29 godina mlađa od Tita, aktivna u ilegalnom pokretu, spretna i inteligentna, a pratio ju je glas vatrene žene, koja nije znala tiho voditi ljubav. Kad je u Zagrebu srela Tita, on ju opčinio šarmom, duhovitošću i položajem.
Jednom su vodili ljubav u šatoru, a Davorjanka je urlala na sav glas tako da je cijela jedinica napustila položaje i otišla se hladiti u potok. Drugi put je Tita posjetila slovenska delegacija, no kad su se približili njegovom šatoru, čuli su njeno glasno stenjanje, okrenuli se i vratili za sat vremena. Tito je bio dobro raspoložen i rekao im je: ‘Slovenci, Slovenci, kasnite, ali ništa zato, morao sam obaviti jedan ozbiljan posao’.
Tito je imao dobre živce, navodno je s njom vodio ljubav i dok su padale granate. Titova veza s Davorjankom Paunović trajala je od 1941. do 1946. godine, sve dok nije umrla od tuberkuloze.
Njena smrt jako ga je pogodila, a pokopana je po vlastitoj želji pored jedne od Titovih rezidencija, na Dedinju u Beogradu, kao partizanka – na osami i bez nadgrobne ploče”, kazao svojevremeno u razgovoru za Nacional novinar publicist i Miro Simčič.