La face-B du single « Happy » est originaire d’un version acoustique jouée à Stargroves en 1969, le manoir de Mick Jagger près de Newbury, pour être retravaillée à Nellcôte et être finalisée près de 3 ans après sa création dans les « Sunset Sound Studios » de Los Angeles. C’est la troisième chanson par ordre chronologique de l’album dont les droits sont perçus par ABKCO, la société » d’Allen Klein.

Au cas où vous auriez commencé à vous perdre dans les profondeurs obscures de la troisième face et à vous laisser abattre par la lourde émotion transmise par le groupe sur « Let It Loose », « All Down The Line » est là pour vous gifler et vous remettre debout⁵, ouvrant la quatrième face avec le même assaut hard rock foudroyant que « Rocks Off » et « Happy », deux des ouvertures des autres faces. Il est étonnant que « All Down The Line » sonne aussi fort. L’existence de nombreuses prises ratées suggèrent que c’était une chanson avec laquelle le groupe avait du mal.

Tout le groupe est là, et c’est une satisfaction pour l’âme d’entendre la section rythmique stellaire de Bill Wyman qui joue une ligne de basse régulière en huit notes à l’intérieur du « backbeat » dur et typiquement crispant de Charlie Watts. L’intro, jouée sans basse, a un peu de cette vibration de « Honky Tonk Women », avec juste un peu de la tension qui accompagne l’attente du reste du groupe. La pochette de l’album et certaines autres sources mentionnent que Bill Plummer joue également de la basse acoustique sur ce morceau, mais nous ne l’entendons nulle part. Wyman est ici férocement puissant, se contentant de rester sur les notes de base jusqu’au refrain. De plus, nous avons cette percussion implacable des Stones du début des années 70 de Jimmy Miller, qui secoue si fort que vous devez vous secouer aussi. Mick Jagger a déclaré que son souhait était que les gens dansent, et non qu’ils pensent, en écoutant « Exile ».

La véritable star ici, cependant, est Mick Taylor, qui contribue à l’instrumentation la plus distinctive avec sa partie de slide rapide. Il a droit à l’un des rares solos réels de ce disque expansif. Les pistes de guitare sont très proéminentes dans le mixage, Keith menant le groupe avec sa caractéristique cinq-cordes en Open-G, jouant des suspensions martelées légèrement derrière le rythme. Les cuivres ponctuent une fois de plus les débats avec un punchn de Memphis qui fait monter en flèche les notes pendant la coda « Oh won’t you be my little baby for a while ». La chanson présente l’un des tableaux de cornes les plus inventifs de l’album. Nicky Hopkins martèle l’une de ses parties typiques de rock ‘n’ roll barrelhouse, mais avec tout le reste à fond, il a du mal à se faire entendre.

Jagger, qui fait également tout ce qu’il peut pour se faire entendre, a rebondi et s’est complètement remis des profondeurs qu’il a plongées sur « Let It Loose ». Il est de retour aux hurlements de fou de la première face, ressemblant au personnage de hillbilly sauvage de « Rip This Joint », hurlant des cris de rebelle alors qu’il descend les routes de campagne vers le prochain relais routier. Bien qu’il ait besoin d’une « fille sanctifiée avec un esprit sanctifié », il trouve le salut cette fois-ci en « cassant une autre bouteille », offrant à nouveau un mélange séduisant de sacré et de profane que seul le bon rock ‘n’ roll peut fournir.

Mick chante et crie pendant la majeure partie de la chanson, comme s’il entendait par-dessus le mixage. Ici, il n’est qu’un instrument parmi d’autres dans le groupe, légèrement au-dessus des cuivres et faisant même presque partie de la section des cuivres, surtout à la fin, où ses improvisations pourraient aussi bien être un solo de saxophone de Bobby Keys. L’urgence est palpable dans le timbre de ses cordes vocales tendues, en particulier sur les lignes « Keep the motor running, yeah ! », beaucoup de ces lignes sont ponctuées d’ad-libs étrangers similaires. Il hurle le solo de slide de Mick Taylor, ressemblant à une guitare distordue ou à un saxophone guttural, augmentant le volume jusqu’à ce qu’il crache la ligne « Well, open up and swallow, yeah, yeah !/Bust, bust, buts another bottle, yeah ! ». Le refrain est un gratifiant appel-réponse entre Jagger et les choristes, dont Kathis McDonald, qui avait été portée à l’attention des Stones par Leon Russel. Elle est presque aussi présente que Mick, surtout sur la coda. C’est son solo à environ 1:49. Ensemble, ils sonnent comme la Ike and Tina Turner Revue à pleine vitesse.

« All Down The Line » a été jouée de nombreuses fois en concert, à peu près au cours de chaque tournée des Stones. En 2021, au cours de la dernière partie de la tournée « No Filter », la chanson a été jouée à au SoFI stadium d’Inglewood (LA) là où s’est tenue la finale du dernier Superbowl, le 13 février 2022.

Une version live de la chanson datant de mai 1995 est parue en face B du single « Like a Rolling Stone » (Live) faisant la promotion de l’album « Stripped ». Une version de 2006 a été capturée pour le documentaire du concert « Shine a Light » et l’album de la bande originale qui l’accompagne. Malgré la popularité de « All Down the Line » en tant que chanson live, ce fut sa première apparition sur un album live officiel. Une version « live » de mars 2016 a été incluse en tant que piste bonus sur « Havana Moon », le concert des Stones à Cuba,, bien qu’elle ne soit pas apparue dans le film du même nom.

Les performances « live » de juin 1972 et novembre 1981 ont été incluses dans les films de concert « Ladies and Gentlemen : The Rolling Stones » et « Let’s Spend the Night Together ».

Une version « électrique » de « All Down The Line » est disponible uniquement sur la version japonaise du CD bonus. Mais les collectionneurs ont dû faire vite pour se procurer ce téléchargement gratuit sur Internet, disponible uniquement sur amazon.co.uk, car il n’a duré qu’une semaine. Sinon, ils pouvaient acheter la version japonaise de la réédition de l’album « Exile » contenant ce morceau. Elle n’avait jamais été entendue auparavant et comportait des paroles inachevées très différentes avec des voix criées. Le style de la chanson était presque country, avec des guitares qui se frayaient un chemin plutôt que de glisser et un piano très présent.