En 1969 el dúo era realmente muy popular y conocido. A pesar del éxito obtenido, Garfunkel no se sentía demasiado cómodo, ya que Simon se encargaba totalmente de la composición de los temas.
El 26 de enero de 1970 publican Bridge Over Troubled Water. El disco fue uno de los más vendidos de la década (vendiendo alrededor de 12 millones de copias) y tuvo una gran repercusión. Alcanzó el primer lugar en las listas de música y se mantuvo allí durante diez semanas.
En 1972 sacan Simon and Garfunkel's Greatest Hits, una recopilación de los grandes éxitos,. Ese mismo año, hacen un concierto benéfico en honor a George McGovern, un candidato a presidente democrático, pero aquel concierto hizo que Paul y Art se distanciaran todavía más. Desde entonces, el dúo se ha reunido en varias ocasiones, como por ejemplo el 19 de septiembre de 1981, cuando regalaron al Central Park de la ciudad de Nueva York un concierto en el que asistieron más de medio millón de personas. El evento fue emitido por televisión, y también se grabó un disco titulado The Concert in Central Park. Gracias al éxito de aquel concierto, el grupo realizó al año siguiente giras por Europa y Japón, y en 1983 por Estados Unidos y Canadá. Después del éxito del concierto y de las giras, el dúo tenía intenciones de grabar un nuevo álbum, al principio pensaron en llamarle Think Too Much, sin embargo, las canciones eran todas de Paul y conociendo el sentido personal de todo el material, hubieron desacuerdos y diferencias entre ambos miembros, llegado al punto en el que Paul decidió borrar todo el contenido de Art en las canciones y publicar el álbum en solitario. El álbum, después de muchos meses de trabajo, se tituló "Hearts and Bones".