Vittorio Sgarbi ha tre figli, avuti da tre donne diverse. I loro nomi sono Carlo, Alba ed Evelina. Carlo è il primogenito, nato nel 1988 dalla relazione con la stilista Patrizia Brenner, Alba è nata nel 1998 da una cantante lirica albanese, ed Evelina è nata nel 2000. Sgarbi si è sempre definito un "padre biologico", mantenendo un certo distacco affettivo e svolgendo principalmente un ruolo economico nei confronti dei figli.