Cet homme-là, c'est Xavier, le père de la réalisatrice. Elle filme celui qui, après avoir eu trois enfants avec sa femme, Domminique, la quitte pour un homme, François, qu'il quittera ensuite pour un autre (plus jeune que ses enfants), Guillaume.
En réalité, la combinaison finale n'est pas si simple car cet homme-là ne quitte personne et personne ne le quitte non plus. C'est l'histoire d'un éclatement familial qui n'a pas eu lieu, qui s'est commué en cohabitations défiant tantôt le bon sens, tantôt l'imagination. L'histoire d'une famille contemporaine : quand des liens à priori inimaginables deviennent peu à peu indissociables.