Peter Buck y Michael Stipe se conocieron a principios de 1980 en una disquería de Athens, Georgia, llamada Wuxtry Records. Por aquel entonces, los dos eran estudiantes de la Universidad de Georgia, al igual que el bajista Mike Mills y el baterista Bill Berry, quienes terminarían completando la formación de R.E.M. poco después. Lo que en ese momento nadie sabía era que ese encuentro entre dos completos extraños marcaría el nacimiento de una de las bandas más importantes no solo del rock alternativo, sino también de la música norteamericana de las últimas décadas.

En 1983, el cuarteto lanzó su primer trabajo de estudio, titulado Murmur, dando comienzo a una discografía que se extendería a lo largo de 15 álbumes. Sin embargo, se podría afirmar que en 1991 la historia de R.E.M. tuvo un momento pivotal: ese año, el grupo publicó su aclamado y multipremiado disco Out of Time. Cómo surgió "Losing My Religion" Después de una gira agotadora en apoyo de Green, el álbum que había salido antes de Out of Time, Buck decidió que necesitaba alejarse de la guitarra eléctrica y aprender a tocar otros instrumentos.

Uno de ellos fue la mandolina. Empezó a grabar sesiones de práctica con una grabadora, tocando licks al azar y sin ningún objetivo particular. En algún punto de esas grabaciones apareció el núcleo de "Losing My Religion". "Tocaba y lo grababa, tocaba y lo grababa, y en algún punto en el medio de esa cinta está la mayor parte de 'Losing My Religion'", explicó en entrevista con Rolling Stone en 2016. "Le mostré el núcleo a Mike y a Michael al día siguiente, y todos simplemente caímos.

Sonaba exactamente como el disco, y Michael, en un par de días, ya lo estaba cantando". El único problema de la canción era el bajo. "No lograba dar con una línea de bajo que me pareciera lo suficientemente sencilla y, a la vez, lo bastante potente como para servir de base a la mandolina. Estaba empezando a frustrarme conmigo mismo y me dije: ‘Bien, ¿qué haría John McVie de Fleetwood Mac en este caso?’.

En cuestión de cinco minutos ya tenía la línea de bajo, así que le debo esa a John", dijo Mills.