A lo largo de su carrera, Bob Dylan atravesó varias mutaciones en su sonido, y una de ellas ocurrió hacia finales de la década de 1960. Después de convertirse en una de las principales voces de la música de protesta, el estadounidense comenzó a explorar un sonido más cercano al country y al folk tradicional. Ese cambio quedó plasmado en Nashville Skyline, un álbum publicado en 1969 que también mostró una faceta diferente de su composición.

Entre las canciones de aquel disco estaba "I Threw It All Away", una pieza en la que Dylan narra el final de una relación desde la culpa y el arrepentimiento. El tema logró enamorar a más de un melómano, entre ellos a Nick Cave, quien años después reconoció que era una de esas canciones que le habría gustado escribir. En una entrevista con Andy Gill para la revista Q, publicada en mayo de 1995, Cave explicó: "Bueno, me gusta esa canción de Dylan, 'I Threw It All Away', del disco Nashville Skyline.

Había algo en ella que era tan simple, y una audacia en ese tipo de simplicidad. Pero era tan… tan poderosa al mismo tiempo. Para mí, al menos.

Siempre tuve mucha envidia de esa canción. Constantemente compro el mismo disco una y otra vez: he comprado tantas versiones de Nashville Skyline que debo estar manteniendo a Dylan en… lo que sea que necesite para mantenerse". "I Threw It All Away" llegó al puesto 85 del Billboard Hot 100 estadounidense y al número 30 del ranking británico. Además, fue versionada por artistas de la talla de Cher, Elvis Costello, Yo La Tengo y George Harrison.