Бен Аффлек и Дженнифер Гарнер познакомились  на  съемках фильма «Перл Харбор» летом 2001 года.  Но тогда между ними  ничего не произошло. Спустя 2 года, в феврале 2003 года,   судьба свела их снова на съемках фильма "Сорвиголова". В то время  актриса была замужем за актером Скоттом Фоли, но пара развелась в марте 2004 г.  В том же году  Аффлек разорвал помолвку с Дженнифер Лопес.

В октябре 2004 актеры впервые появляются вместе как пара на бейсбольном матче.

16 апреля 2005 года, в День рождения Дженнифер, Бен делает ей  предложение. 29 июня 2005 года актеры женятся во время приватной церемонии на Карибских островах. Актриса в это время уже беременна их первым ребенком. 1 декабря 2005 года у пары родилась дочь Виолет Энн.  Бен сказал, что появление дочери изменило его полностью, заставив думать о том, как его поступки могут повлиять на тех, кого он любит.

6 января 2009 года у них  родилась вторая дочь, Серафина Роуз. Дженнифер старается гармонично сочетать актерскую карьеру с ролью хранительницы семейного очага. Она сама готовит, и даже печет домашний хлеб. Дженнифер говорит о супруге: «Бен – не просто мой муж, он помогает мне во всем. Он – основа моей жизни. Он невероятно любящий и щедрый мужчина. Я ожидала, что он будет прекрасным папой, и он такой. Но, что удивляет меня больше всего, когда что-то идет не так, он намного спокойнее меня».

27 февраля 2012 года  в семье рождается третий ребенок: сын Самуэль Гарнер. «Я – самый счастливый парень на свете», - говорит Бен о том, каково быть отцом троих детей.