武宗即位不久就娶了夏皇后，之后又选置了几个妃嫔，然而他似乎对后宫中的皇后、嫔妃并不在意，自从搬到豹房之后，就很少回到后宫了，而是将喜欢的女人都放到了豹房和宣府的镇国府。武宗远离后宫而钟情豹房，是因为与夏皇后感情不和，还是有其他原因，是一个无法考释的谜。
　　豹房之内，美女如云，武宗过着恣意妄为的淫乱生活，极大地满足了他声色犬马的感官享受。这里充斥着教坊司的女乐、高丽美女、西域舞女、扬州少女，乃至于妓女、寡妇等各色女子。豹房之内到底有多少女子，恐怕连武宗自己都不清楚。那些一时无法召幸的女子，就被安排在浣衣局寄养，以备武宗不时宣召。这里既包括内臣进献的，也有武宗自己游幸各地带回来的，人数之多，难以想像，据说经常有因饥饿、疾病死亡者。
　　宣府是武宗另一个淫乐窝。他刚到宣府之时，在这个远离国都的军镇，可以肆无忌惮地放纵。每到夜晚，武宗带上一队亲兵，在空荡的街道上闲逛。看见高墙大院的富庶之家，他就令亲兵上前砸门，然后入内强索妇女，弄得人心惶惶，家无宁日。为了避免这样的事情，那些富有之家纷纷重贿江彬，希冀能够免除祸患。