Affleck nació en Berkeley, hijo de Anne Christine "Chris" Affleck, una maestra empleada en el distrito escolar, y de Timothy Byers Affleck, trabajador social, conserje, mecánico, camarero, escritor, director y actor de la Compañía de Teatro de Boston. Su hermano menor es el actor Casey Affleck. El apellido "Affleck" es escocés, y Ben tiene ascendencia inglesa, irlandesa, escocesa y alemana. Su familia, mayoritariamente episcopaliana, se mudó a Cambridge, población muy cercana a Boston (Massachusetts) cuando él era muy joven, y sus padres se divorciaron en 1984. A los ocho años, Affleck conoció a Matt Damon, quien tenía 10 años de edad, y vivía a dos cuadras de distancia, con quien todavía mantiene una estrecha y duradera amistad. Además, Damon es primo décimo de Affleck a través de un ancestro común de Nueva Inglaterra. Los dos estudiaron en Cambridge Rindge y Latin School, aunque en diferentes grados. Más tarde, Affleck cursó estudios en el Occidental College de Los Ángeles, así como en la Universidad de Vermont, donde se especializó en asuntos de Oriente Medio, pero abandonó sus estudios para intentar tener éxito en Hollywood. A los 13 años, se fue a vivir a México durante un año, lo cual le permitió aprender español.