布拉姆斯晚年定居維也納，這首第四號交響曲，是一八八四與一八八五年前往瑞士密爾祖許拉葛（Muerzzuschlag）度假時所作。度假前，布拉姆斯帶著一名朋友剛譯好的希臘悲劇前往，從悲沈的旋律中所透露出的古典悲劇風格可略窺其影響。此外，作曲者晚年時極為熱中於巴哈「夏康舞曲」的音樂風格與技法，尤其第四樂章就由取材自巴哈第一百五十號清唱劇的夏康舞曲聖詠為主題，展現出他對前古典變奏曲形式的研究。
手稿完成後為了讓朋友們先睹為快，隨即在一名好友家舉行雙鋼琴版本的首演，音樂評論家漢斯力克（Eduard Hanslick）在聆賞完第一樂章後就驚嘆的表示，「音樂聽起來就像受到兩個受驚嚇的漢子鞭笞一般」。然而布拉姆斯一名紅粉知己伊莉莎白的評語更為真切，她表示，這是一首美且豐富的曲子，不過，其曲式的複雜，必需要受過嚴格音樂訓練的人才能略知一二。因此，這首曲子在今天雖然已被推崇為重要經典，但在十九世紀末所受的評價卻相當不一，即便在曼寧根（Meiningen）的正式首演極為成功，然而之後在維也納與萊比錫的演出卻沒有預期的熱烈，甚至有聽眾提前離席的狀況發生。
第一樂章為不太快的快版，第一及第二小提琴以相隔八度拉出孤寂的第一主題，隨後由木管吹奏出相抗辯的第二主題，這兩個奏鳴曲式的主題不斷出現，架構出充滿沈思意涵的樂章。第二樂章為一中庸的行版，在這裡，布拉姆斯多處採用古老的中世紀教會音階。第三樂章為詼諧曲，但卻沒有詼諧曲的俏皮，在結束的高潮中為下一章龐大的變奏曲預示鋪路。著名的第四樂章擺脫傳統交響曲形式而採變奏曲形式，由巴哈的一首清唱劇的夏康舞曲開展成多達三十一段的變奏，似乎為第一樂章的孤寂主題在最後提出情緒的宣洩。