北宋间，有一隐者闲居于荆楚邻江处，长于文，且谙之音律。每游江上，非朝暮日月圆映于江或四时久晴而雨时，不能与逢。斯人每游，必至赤壁，世人知之，而谓之“赤壁常客”。其闻之笑曰：“怀故事耳，非此而不得见英豪乎？”乃不复往矣。元丰五年秋，赤壁常客定居黄州，佳时临江而游，人谑谓之：“此无赤壁，客何为趣？”赤壁常客自摆小楫作歌而去，如未闻言。
是年苏轼下迁，任黄州伪吏，心怀苦闷。七月既望，与几善才泛舟江上，苏子借明月击桨而歌，凄凉之声有胜秋水，同游之人闻之鸡皮寒栗，欲止其歌。忽有箫声与迎并，余音长泣，如冤魂呜呜怨诉，荡人神元。苏子闻之，以为知音，问谁所为。有同游者乃遥手一指，顺向望之，江月之外有一扁舟隐约可见，箫声传之其里也。苏子神顿奋然，命移朱船与近，及近之而呼与见，苏子问同游者可否识之，得告曰，“斯人近时迁至我方，人传称之为‘赤壁常客’，实不知何村之夫也。虽有道士之仪，但亦非居观之人。”
苏子善观于人，量之上下，颇有出人之态，以之非常，乃曰：“客之箫声寒过江水，何为其然也？”答曰：“身在旧时凄凉地，念之前古，纵之当今，其悲者岂乏寻哉……”苏子听之凝然，有人却以为好笑，曰：“若亦怀古迹于此耶？此却非赤壁也。”余者亦笑，唯苏子正襟危坐，如仅有客一人于前耳。赤壁常客自亦笑曰：“旧迹可灭，风流不缺！”苏子疾起身，曰：“予为文赋，众人虽未笑于口，不免笑于心矣，而子必不笑我也。”乃献其赋与观，常客赞之贬之，或言于大略，或言于句读。苏子乐也，赞曰：“客乃有见闻之士，予且将私填之词与观也！”乃从袖中取出词卷，题曰：《念奴娇·赤壁怀古》。
有人念之：
大江东去，浪声沈、千古风流人物。故垒西边，人道是、三国孙吴赤壁。乱石崩云，惊涛掠岸，卷起千堆雪。江山如画，一时多少豪杰。遥想公瑾当年，小乔初嫁了，雄姿英发。羽扇纶巾，谈笑间、樯橹灰飞烟灭。故国神游，多情应是、笑我生华发。人间如梦，一尊还酹江月。
苏子谓客：“若有不善，子可修而歌之。”客亦不修之以笔，自歌曰：
大江东去，浪淘尽、千古风流人物。故垒西边，人道是、三国周郎赤壁。乱石穿空，惊涛拍岸，卷起千堆雪。江山如画，一时多少豪杰。遥想公瑾当年，小乔初嫁了，雄姿英发。羽扇纶巾，谈笑间、樯橹灰飞烟灭。故国神游，多情应笑我，早生华发。人生如梦，一尊还酹江月。
同游者或感于其声，而神久不能回；亦有善才之长于为词者，而聚心闻其词之格律，不待歌罢，已自笑矣。曲终乃曰：“学士之词固不堪推之词律，经若之窜嚎，已非词矣。”苏子新书就，于歌外如未闻言，而鼓掌称快，曰：“歌也动于耳而变于心，声固切人深深，词意出也境生，益增其势，改得妙！改得甚是妙！”
善才不服，二人相携入席，自饮不顾，至于东方既白，客乃辞去。而后苏子念之，遣人以请，不寻其踪。乃亲往，几经问讯，卒得其址。址在山野，犹往也。及至之，徒瓦堵陋然，唤不应声。苏子太息，题字楹上而归。所题曰：
寻客不知处，问人讯讯乖。
凭舟江水阔，诣野水田白。
昨夜清风去，今朝细雨来。
清风细雨在，旧人门不开。
寻有人追录之，但余“清风细雨坏，旧人门已拆”一联矣。
是年十月之望，苏子复行江上，往事历历，因问其人。同行者曰：“赤壁之客，不羁之徒，妄泊四海，失足溺之江中也未可知。”闻毕其言，临江怅然。客去，苏子独卧江舟，以求梦会之。须臾醒来，恸哭失声，而次作《赤壁赋》。