安世身材魁伟，容貌端庄，声如洪钟。起初任命为谏官，还未受命，回到家里对母亲说：“朝廷不因为我安世不贤，让我任谏官。倘若就任这个官职，那就要有胆识也敢于伸张正义而无所畏惧，以自己的生命来担负起职责。如果冒犯了皇上，灾祸贬官就会立刻到来。皇上正以孝道治理天下，如果说我以母亲年老为托辞，应当可以避免任此官职。”母亲说：“这就不对了。我听说谏官是皇上面前的敢于直言诤谏的重臣，你父亲一生都想做这样的官却未能做到，而你有幸任此官职，你应当献出生命来报效国家的大恩。纵使遭罪被流放，不论远近，我一定会随你去的。”（安世）于是接受了官职。他在职多年，神色严肃立于朝廷之上，主持公道。他当面指斥，在朝廷上谏争，有时碰上皇上大怒，（他）就握着手板退一步站立，等皇上怒气稍解，再上前争辩。旁边陪侍的人在远观看，缩着头害怕得身上冒汗，把他称作“殿上虎”，一时间没有人不敬仰他。