胡雪岩是个风流成性的寻花老手，他经常自嘲说："一不做官，二不图名，但只为利，娶妻纳妾，风流一世，此生足矣!"但胡雪岩在情场不忘商场。他所遇到的女人，几乎都是为他的事业服务的。

    在创业初期，胡雪岩偶遇因父亲入狱被卖入"梨花春"的官宦人家千金小姐芸香，他把芸香做人情送给了自己的靠山王有龄巡抚。这桩交易做得无懈可击，芸香成了胡走向成功的第一个筹码。为了傍上江苏省学政何桂清这棵大树，他又将自己的爱妾"阿巧姐"作为礼物送给了何。

    此后，胡雪岩又遇到了一位极具商业头脑的姑娘，她就是胡雪岩身边最重要的一位女子，陪伴胡雪岩走完人生的翠环姑娘，即当时小有名气的"罗四太太"。翠环的出现，令胡雪岩眼前一亮。经过努力，终于如愿以偿娶翠环为妻。翠环果然精明能干，很快成为胡的左膀右臂。她的心思又极其细密，很会迎合丈夫的心意，为胡雪岩连娶十二房姨太太，使胡雪岩感激不尽。作为回报，胡雪岩将其扶正，使其登堂人室，成为胡府的"掌印夫人"。

    胡雪岩娶的这十二位姨太太个个正值花季，美若天仙，号称"东楼十二钗"。胡雪岩对这十二位姨太太极其宠爱，为她们建造了娇楼，使姬妾分室而居，而他则像皇帝一样，每晚随手拈牌招姬妾入寝，生活极其奢靡。