那人正是胡天，本名胡士英，而所謂胡天者，不過當時輕佻胡鬧之言。胡士英原為丐幫九江分舵弟子，年約二十有五，身材不甚高，但長眉細眼，挺鼻薄唇，眉宇間自有一股英武氣概，擅岳家散手等南派拳術。南派武功主以靜待動，以快制勝，出手兇猛，見縫插針，不以招大勢雄取勝，但以突進刁鑽見長。七年前拜入丐幫之後，跟著幫中大老行俠仗義，懲奸鋤惡，在江南一帶闖蕩，江湖上小有一點名聲，卻不幸一年之前為情所困，英雄氣短，自暴自棄，被丐幫逐出門戶。
那張綺雲如蜜桃般紅潤的臉龐上，睜著一雙靈動的大眼往大街上四處瞧，小巧的鼻子與櫻桃般的嘴，透著天真與聰慧，正是前生的冤孽，讓胡士英瞧見了她。這一瞧讓胡士英心裡再也容不下其他女子。花轎走過後，他只是痴痴迷迷地遠遠跟著，就這麼一路從安慶跟到了九江。轎子換了馬車，車停他跟著停，車走他跟著走。偏生張家小姐坐船要嘔，單走陸路，才給了他機會。
他雖是丐幫中人，但性喜潔淨，身上穿著粗布衣服，也無骯髒襤褸之態。跟了久了，難免引來隨從注意，但一路上他規規矩矩，官道上人人可走，卻也拿他無可奈何。偶爾那小姐從車裡探出頭來，他便急急瞧上一眼，便似得見仙女下凡，夫復何求。
路總是有走到盡頭的一天，兩天後馬車回到九江，在一所高牆華廈前面停了下來，張家母女從車裡下來，張綺雲好奇地往後一望，正見到他呆呆癡望著，不禁臉上一紅，牽了她母親的手進了大門。從此後胡士英每天只是魂不守舍，睜眼閉眼都是她的影子。
閨中女子，深居簡出。胡士英想見心上人一面，竟不可得。他每日在張家牆外徘徊，只有更增思念。忽一日酉牌時分，聽得琮琮琴聲自樓閣傳出，溫婉親切，彈的是一首「梅花三弄」，氣度高潔，如梅花傲立霜雪，秋風襲來，猶如有超脫塵世之感。
胡士英聽得心醉，從袖裡抽出一支隨身攜帶的竹笛，吹奏了一曲「喜相逢」，曲風輕快，活潑飛揚，讓人直欲手舞足蹈起來。樓上那琴聲忽停了下來，小窗打開，一女子探頭出來，烏黑的秀髮迎風飄揚，不是張綺雲是誰？她與胡士英打了個照面，臉一紅隨即又縮回頭去，彈弄了幾下古琴絃，重又彈起新曲，曲風卻是端凝穩重，鏗鏘有邊關塞外之意。
「『勸君更盡一杯酒，西出陽關無故人。』這是陽關三叠啊，怎麼我才吹了喜相逢，她就要彈這離別曲呢？是我太唐突了嗎？」胡士英心想。
忽然間那琴聲停止，燈光一滅，樓閣暗了下來。他心下忍不住嗟歎，便信步離去。
此後每日酉時胡士英便到牆下張望，聽那張綺雲彈曲，他便也吹笛合奏，頗有琴瑟和鳴、互訴衷腸之意。有一日，那胡士英大了膽子，吹奏了一曲「鳳求凰」，誰知吹不到一半，樓閣裡卻傳來琵琶樂聲，彈的是「十面埋伏」。他心裡一怔，不解其意，誰知就在這時牆角竄出兩隻大狗，朝著他狂吠而來，他只好落荒而逃。
就這麼大約過了十日，有一日他在牆下聽得樓閣裡琴聲悲切，正疑惑間，迎面走來一侍女，到他面前福了一福，道：「我家小姐說，請公子日後不用再來了。」胡士英連忙問何故。那侍女道：「我家小姐日前已許配了人，你可以不必再痴心妄想了。」胡士英這一聽如晴天霹靂，霎時六神無主，進退不得。
他當晚輾轉反側，難以成眠，一方面安慰自己兩人身份懸殊，她是大戶人家小姐，自己是落拓江湖的武夫，門不當戶不對，如何能結合？一方面卻又忍不下這口氣，明明對方對自己也是有意的，為何逃不開這父母之命、媒妁之言？
隔日他在張家大門外不遠處等候，直候了三個時辰，終於見到昨日那侍女提著香籃出門。胡士英連忙跟上，那侍女一嚇，道：「你怎麼還不走？」胡士英道：「姊姊請不要驚嚇，在下決無惡意。我只想多謝小姐多日來彈琴給我聽。這裡有件物事，還請姊姊代在下交給了小姐。」說著懷裡掏出一錦包，雙手奉上。那侍女心軟，便收了過去，說道：「收不收在我，看不看在她。」胡士英道：「這個自然，有勞姊姊了。」便轉身離開。
當晚張綺雲拆開錦包，見裡面是一張紙條，寫道：「自相見以來，夜不成寐，心中倩影，不能忘懷。乞小姐惠賜一晤，終生無憾。」張綺雲見信後交代侍女，明日再到門外觀望，若是那人仍在等候，即告知他：若見樓閣窗台上掛風鈴一串，當晚酉交戌時，在小門等候。