万历五年，也就是阳历1577年,潘允端由四川布政司之位解职回乡,便集中精力再度经营扩修此园,请园艺名家张南阳担任设计和叠山。此后,园越辟越大,池也越凿越广。万历末年竣工,总面积70余亩。全园布满亭台楼阁,曲径游廊相绕,奇峰异石兀立,池沼溪流与花树古木相掩映,规模恢宏,景色旖旎。
明代中、后叶正值江南文人造园兴盛时期,上海附近私家园林不下数千,而豫园‘陆具岭涧洞壑之胜,水极岛滩梁渡之趣’,其景色、布局、规模足与苏州拙政园、太仓弇山园媲美,公认为‘东南名园之冠’。
潘允端在《豫园记》中注明‘豫园’,取愉悦老亲意也。‘豫’,有‘安泰’、‘平安’之意。足见潘允端建园目的是让父母在园中安度晚年。但因时日久拖,潘恩在园刚建成时便亡故,豫园实际成为潘允端自己退隐享乐之所。潘允端常在园中设宴演戏、请仙扶乩、相面算命、祝寿祭祖、写曲本、玩蟋蟀、放风筝、买卖古玩字画。由于长期挥霍无度,加上造园耗资,以致家业衰落。潘允端在世时,已靠卖田地、古董维持。潘允端死后,园林日益荒芜。明末,潘氏豫园一度归通政司参议张肇林。清初,豫园几度易主,园址也被外姓分割。康熙初年,上海一些士绅将豫园几个厅堂改建为清和书院,堂中供奉松江知府张升衢长生禄位。书院尚未修竣,张升衢遭贬黜,随即停工。园中亭台倾圮参半,草满池塘,一些地方成了菜畦。
清康熙四十八年，阳历1709年,上海士绅为公共活动之需,购得城隍庙东部土地两亩余建造庙园,即灵苑,又称东园。乾隆二十五年,一些豪绅富商集资购买庙堂北及西北大片豫园旧地,恢复当年园林风貌。修复后的花园实际上已非私家花园,成了供城邑士人乡绅们集会雅玩的园林,但规模布局还依照潘氏豫园,保留了文人宅园明秀雅洁的风貌。原临荷花池的乐寿堂已颓圮,复建在原址上建起形制高大、华丽宽敞的三穗堂。
道光二十二年，阳历1842年,英军从北门长驱直入,驻扎豫园和城隍庙,司令部设在湖心亭。豫园‘风光如洗,泉石无色”。咸丰五年，阳历1855年小刀会起义失败,清军驻扎豫园,香雪堂、点春堂、桂花厅、得月楼、花神阁、莲厅皆遭损毁。咸丰十年,太平军东征,清政-府请洋枪队入城防守,豫园又作兵营,“西园石山,尽拆填池”,建造西式营房。
清嘉庆、道光年间,上海商业发展较快,一些商业行会在豫园设同业公所,作为同业间祀神、议事、宴会、游赏之处。同治七年西园划分给各同业公所,各自筹款修复。此后园内茶楼酒馆相继兴起,商贩丛集,荷花池西南一片空地上,一些江湖艺人,诸如相面测字、卖梨膏糖、拉洋片等在此设摊,逐渐成为固定庙市,后演变为商场。光绪元年，阳历1875年,豫园内有豆米业、糖业、布业等21个工商行业设立公所,一些公所还设立学校,旧有古迹日趋湮没。”
听罢这段介绍，记者们唏嘘感慨，外国侵略，内乱动荡，使名园命运坎坷，饱经苍桑呀!
众人走进位于豫园正门附近的三穗堂。龙新亭介绍：“此堂其意‘禾生三穗,乃丰收之朕兆’。有5间大厅,屋宇宏敞。大厅中间有“城市山林”和“灵台经始”匾额。匾额下是书法家潘伯鹰书写,豫园主人潘允端撰文的《豫园记》。三穗堂南临大湖,堂前桧柏分植,景观颇广远,“湖心有亭,渺然浮水上,东西筑石梁,九曲以达于岸。”三穗堂在清代中叶曾为豆米业公所议事、定标准斛之所,又称“较斛厅”；还曾是官府召集乡士绅商宣讲皇帝谕旨之处,是当时沪上绅士富商的政治、经济活动场所。三穗堂南荷花池、凫佚亭、绿波廊、濠乐舫、鹤闲亭、清芬堂、凝晖阁等成为豫园外景点。”
游完三穗堂，一行人来到仰山堂、卷雨楼。龙新亭讲解：“这底层称建筑称仰山堂,上层为卷雨楼。仰山堂共5楹,后有回廊,曲槛临池,可小憩。望大假山景,池中倒影可鉴。卷雨楼为曲折楼台,取唐诗“珠帘暮卷西山雨”之意,雨中登楼,烟雾迷蒙,山光隐约,犹如身入雨山水谷之中,为豫园绝景。”
接着再游大假山、挹秀亭、望江亭。龙新亭向众人说道：“大假山由明代江南叠石名家张南阳设计建造,高约4丈,用数千吨武康黄石堆砌。假山峰峦起伏,磴道纡曲,涧壑深邃,清泉若注。山上花木葱茏,山下环抱一泓池水。游人登临,颇有置身山岭之趣。清末名人王韬曾描绘:‘奇峰攒峙,重峦错叠,为西园胜观。’400多年中,豫园景物时废时兴,而大假山仍保持旧观。大假山上有二亭,一在山麓,名‘挹秀亭’,意为登此可挹园内秀丽景色；一在山巅,称‘望江亭’,意为立此亭中‘视黄浦吴淞皆在足下。而风帆云树,则远及于数十里之外’。重阳节时,游人来此登高望远,浦江帆樯,历历在目。”
众人又游“渐入佳景”。绕墙而入即游廊,跨于池上。廊间设方亭,有匾曰“渐入佳景”。匾下有一太湖石,状似美女柔腰顾盼,名“美人腰”。池水山景,近在咫尺,勾起游人闲庭信步之意。