詞的開頭，是對臨別時漢陽冬天風景的描寫。“衰草愁煙，亂鴉送日，風沙回旋平野“。衰草云煙發愁，烏鴉向夕陽送別，風沙在平野回旋。“愁”、“送”二字，下語工妙，以擬人化的手法寫出了恙草與烏鴉的憂愁和惜別之情，意境凄迷，氣象闊遠，一下子把人帶入孤獨憂傷的情緒之中。正是以愁人觀物，物皆著愁之色彩。這時的姜夔已是人到中年，盡管他多才多藝，仍然是功不成，名不就，長期過著飄泊江湖天涯羈旅的生活。從這首詞可以看出，他對江湖游士、豪門清客的生活，已有些厭倦了，然而他無法改變現狀，無可奈何之情已隱約暗現。

　　接著是對自己往事的回憶：“拂雪金鞭，欺寒茸帽，還記章臺走馬”。姜夔以自己的詩才，結識了著名詩人蕭德藻，蕭并把侄女嫁給了他。蕭德藻與尤袤、范成大、陸游齊名，有“尤蕭范陸四詩翁”之稱。通過蕭德藻，他又結識了范成大、楊萬里、陸游、辛棄疾、葉適、朱熹等社會名流。作為權門清客，他有過游冶流連的生活，游蕩過繁華的娛樂場所。詞中追憶了這段冶游生活之后，他認為最值得珍惜的還是昔日的友情：“誰念飄零久，漫贏得幽懷難寫。故人清沔相逢，小窗閑共情話。”這位才華橫溢的詩人、詞家，他的詩曾受到楊萬里的高度評論：“尤蕭范陸四詩翁，此后誰當第一功。新拜南湖為上將，更推白石作先鋒。”憑著他的社會關系與在詩壇的盛名，他決不至于晚年家貧如洗，死后靠別人的資助來埋葬，原因就在于他不同于一般的權門清客。他是一個講究氣節純粹的詩人。他所交結的也都是既有名望又有氣節的人。據說張鑒要出錢給他捐官，又要把良田送他，他都拒絕了。楊萬里稱他甚似晚唐隱逸詩人陸龜蒙，范成大稱其“翰墨人品，皆似晉宋之雅士。”他一生最珍視的不是高官厚俸，他是一個絕對忠于文學、忠于愛情友情的高人。所以在懷念往日壯游生活之后，不禁深深地感嘆：有誰憐念我湖海飄零，只落得滿腔傷感！他感到同漢陽朋友的久別重逢，小窗閑話，難能可貴。

　　下片的開頭，是對舊游之地的追憶與深沉的感嘆：“長恨離多會少，重訪問竹西，珠淚盈把。雁磧波平，漁汀人散，老去不堪游冶。”他深深感嘆的是在人生的旅程里，同朋友們“離多會少”。對于一個忠于友情的人，離別當然是最痛苦和難以承受的。眼前的現實又逼迫他在漢陽只能有短暫的停留，又要東下湖州了。

　　接著是追憶他的揚州、衡岳、洞庭等地之游。竹西：揚州城東禪智寺側有竹西亭。杜牧《題揚州禪智寺》有“誰知竹西路，歌吹是揚州？”此代指揚州。白石在《揚州慢》中也有“淮左名都，竹西佳處”之句以代揚州。“雁磧”、“漁汀”都不是泛指大雁翔集的沙灘，和漁舟往來的洲渚，是指他曾經“游冶”過的名山勝地。他曾游衡岳、洞庭，回雁峰是南岳七十二峰之一，濱臨湘水，水邊灘磧相連；洞庭湖，漁舟往來不歇，因此應指他曾經游歷過的衡岳、洞庭。（《昔游詩》中說：“昔游衡山下，看水入朱陵。”又說：“蘆洲雨中淡，漁網煙外歸。”）他重訪揚州是什么使他“珠淚盈把”。那是因為金人在1129年（建炎三年）和1161年（紹興三十一年）大舉南下之后，昔日繁華的揚州，遭到了戰火的慘重破壞。他在初訪揚州時寫的《揚州慢》一詞中說：“過春風十里，盡薺麥青青。”“念橋邊紅藥，年年知為誰生？”詩人懷著愛國的黍離之悲，重訪揚州，怎能不令人傷痛！對于衡岳、洞庭的壯麗風光，他在《昔游詩》這一組詩中，曾盡情地描繪和歌頌。他歌頌洞庭說：“洞庭八百里，玉盤盛水銀。長虹忽照影，大哉五色輪。”他描寫南岳說：“飛云身畔遇，攬之不盈掬。”描寫南岳湘濱的風光說：“昔游衡山下，看水入朱陵。半空掃積雪，萬萬玉花凝。”此時由于詩人老去，情懷悲涼，沒有那種游樂之情了。白石論詩，主張“意中有景，景中有意”，主張“句中有馀味，篇中有馀意”。這首用白描手法描寫的詞，所以令人讀來蘊藉含蓄，余味不盡，正是由于“景中有意”的緣故。比如竹西亭吧，這是揚州勝景，然而白石重訪時，卻是“珠淚盈把”。衡陽的“雁磧”，洞庭的“漁汀”是多么幽雅的畫面，然而詩人已覺得“老去不堪游冶”了。他在寫景時，賦予自己的深情厚意，因而使人讀來馀味無窮。

　　詞的結尾也是很奇特的：“無奈苕溪月，又照我扁舟東下。甚日歸來，梅花零亂春夜。在苕溪這里，他從對昔日壯游的回憶轉回到現實情境中的惜別，又跳到對將來歸來的設想，反映出白石詞在結構上的特色是多采用暗線結構，即打破時空局限，將回憶、現境、設想溶成一片，達到“野云孤飛，去留無跡”的意境。這種結構，正如白石所說：“波瀾開闔，如在江湖中，一波未平，一波已作。如兵家之陣，方以為正，又復是奇；方以為奇，忽復是正。出入變化，不可紀極，而法度不可亂。”（《白石道人詩說》）在整個下片中，他通過幽靜凄清的景物描寫和奇特的聯想，對所吟詠的事物，賦予了動人心扉的魔力。