潘祖荫是晚清的要员，其祖潘世恩中过状元，他自己是翰林出身官至工部尚书。潘祖荫是江苏人。当时朝臣分南北两党，南党的首领就是潘祖荫和翁同龢。《清史稿》称，当时潘祖荫与翁同龢并称"潘翁"。

    光绪年间，某科会试场后，潘祖荫和张之洞纠集各地名士，雅集于陶然亭。提前一天，遍发请贴，请了百十人。到了那天，百十来号人如期而至，喝茶下棋吟诗做对，聊的兴高采烈。可这中午都过去了，还一点没开饭的迹象。潘祖荫便问张之洞去哪里吃饭，张之洞这才想到光顾着请人了，把办筵的事忘得一干二净。赶紧派仆人去酒楼，让送筵到园中。突然之间，做一百来人的宴席，别说是不讲究，能凑出来就不错了。到下午勉强吃完饭，晚上有好多人就开始拉肚子。文人首次委屈自然不肯甘心，于是在《清稗类钞》里就多了一条《潘张大宴公车名士》。《清稗类钞》还记有潘祖荫在私人聚会时，发请贴往往要附言说：天气太热，准九点钟入座，别来晚了，晚了菜都变味了，就没意思了。