武益愈，单于使使晓武，欲降之，会论虞常，欲因此时降武；剑斩虞常已，律曰：“汉使张胜谋杀单于近臣，当死，单于募降者赦罪。”举剑欲击之，胜请降。律谓武曰：“副有罪，当相坐。”武曰：“本无谋，又非亲属，何谓相坐！”复举剑拟之，武不动。

律曰：“苏君，律前负汉归匈奴，幸蒙大恩赐号称王，拥众数万，马畜弥山，富贵如此！苏君今日降，明日复然；空以身膏草野，谁复知之！”武不应。律曰：“君因我降，与君为兄弟；今不听吾计，后虽欲复见我，尚可得乎！”武骂律曰：“汝为人臣子，不顾恩义，畔主背亲，为降虏于蛮夷，何以汝为见！且单于信汝，使决人死生，不平心持正，反欲斗两主，观祸败。南越杀汉使者，屠为九郡；宛王杀汉使者，头悬北阙；朝鲜杀汉使者，即时诛灭；独匈奴未耳。若知我不降明，欲令两国相攻，匈奴之祸从我始矣。”律知武终不可胁，白单于，单于愈益欲降之。乃幽武置大窖中，绝不饮良；天雨雪，武卧，啮雪与旃毛并咽之，数日不死。匈奴以为神，乃徙武北海上无人处，使牧羝，曰：“羝乳乃得归。”别其官属常惠等，各置他所。

苏武慢慢痊愈，单于便派人前来劝说苏武，想让他归降匈奴。就在此时，虞常也被判定为死罪，单于企图借此机会逼迫苏武投降。卫律用剑砍下虞常的头颅后，说道：“汉使张胜企图谋杀单于的亲信大臣，应当处死，单于现在招募归降，降者一律赦免。”说罢举剑要刺张胜，张胜苦苦哀求投降。卫律然后又对苏武说道：“副使有罪，你作为正使，应当受到相同罪责。”苏武回答道：“我原本没有参与阴谋，与张胜也没有任何亲属关系，为什么要连带受罚呢？”卫律又举剑威逼苏武，苏武却岿然不为所动。

卫律说道：“苏先生，我先前背叛了汉朝，归降匈奴，从而有幸承蒙单于的大恩，还赐号让我称王，并且坐拥数万人，马匹牲畜满山遍野，何等的荣华富贵！苏先生今天如果投降了匈奴，明天就会和我一样的荣耀，否则白白抛尸荒野，有谁能够知道呢？”苏武闭口不言。卫律又说道：“你要是依了我的话，归降匈奴，我就会待你像兄弟一样；如果今天你不听我的建议，将来即使想再见到我，恐怕也办不到了！”苏武大骂卫律道：“你身为汉朝的臣子，却忘恩负义，背叛了君主、亲人，而投降蛮夷之族，我为什么要见你呢？何况单于信任你，让你定夺别人的生死，你非但不能以一颗公正的心对待，反而企图挑起两国君主的相互争斗，在一旁幸灾乐祸。南越国杀死了汉使，被汉屠戮后变为九郡；大宛王杀死汉使后，其人头被悬挂在长安宫廷的北门；朝鲜杀死汉使，便立即招来了亡国之灾；唯独匈奴还没有干过这种蠢事。你明知道我是不会归降的，却想以此挑起两国之间的对抗，恐怕匈奴的灾祸，将要从我这里开始了。”卫律也深知苏武最终是不会受他的胁迫，只好据实禀报单于。单于看见苏武如此忠贞不屈，就更加想争取到他的归降，于是便将苏武幽禁在一个大地窖中，不供给苏武粮食，企图以此逼其就范。当时天正下着大雪，苏武躺在地上，靠吞食雪片和衣服上的毡毛充饥，过了几天后竟然没死。匈奴人认为有神灵在暗中庇护他，便把苏武流放到了北海荒无人烟的地方，给他一群公羊让他放养，并对苏武说：“等到公羊都能产出羊羔了，你就可以回汉朝了。”常惠等使团中不肯投降的官员，也都被分别扣留在了不同的地方。

初，苏武既徙北海上，禀食不至，掘野鼠去草实而食之。杖汉节牧羊，卧起操持，节旄尽落。武在汉，与李陵俱为侍中；陵降匈奴，不敢求武。久之，单于使陵至海上，为武置酒设乐，因谓武曰：“单于闻陵与子卿素厚，故使来说足下，虚心欲相待，终不得归汉，空自苦；亡人之地，信义安所见乎！足下兄弟二人，前皆坐事自杀；来时，太夫人已不幸；子卿妇年少，闻已更嫁矣；独有女弟二人、两女、一男，今复十余年，存亡不可知。人生如朝露，何久自苦如此！陵始降时，忽忽如狂，自痛负汉，加以老母系保宫。子卿不欲降，何以过陵！且陛下春秋高，法令无常，大臣无罪夷灭者数十家。安危不可知，子卿尚复谁为乎！”武曰：“武父子无功德，皆为陛下所成就，位列将，爵通侯，兄弟亲近，常愿肝脑涂地。今得杀身自效，虽斧钺、汤镬，诚甘乐之！臣事君，犹子事父也。子为父死，无所恨。愿勿复再言！”陵与武饮数日，复曰：“子卿壹听陵言！”武曰：“自分已死久矣，王必欲降武，请毕今日之欢，效死于前！”陵见其至诚，喟然叹曰：“嗟乎，义士！陵与卫律之罪上通于天！”因泣下沾衿，与武诀去。赐武牛羊数十头。

起初，苏武被匈奴流放到北海边上后，得不到粮食供给，便靠挖掘野鼠，吃鼠洞中的草籽过活。尽管生活如此艰辛，但是他每天都坚持手拿汉朝的符节牧羊，无论是睡卧还是起身都要带着它，以至于节杖上的毛缨都被磨得脱落了。苏武在汉朝的时候，与李陵都担任侍中，等到李陵投降匈奴后，一直不敢求见苏武。过了很久，单于派李陵到北海边上去，为苏武置办酒席，并以歌舞助兴。李陵对苏武说道：“单于听说我与你素来有着深厚的交情，所以他派我来劝降你，单于很愿意对你虚心以待。你最终也不可能再回汉朝了，你现在自己在这荒无人烟的地方白白受苦，你的这些信义节操，有谁可以看到呢！你那两个兄弟，前不久也都因罪自杀了；我来这里时，你母亲也已不幸去世了；而你的妻子还年轻，我听说也已经改嫁他人了；只剩下两个妹妹、两个女儿、一个儿子，现在又十几年过去了，他们是否还活着，就不得而知了。人生就像是早晨的露水那样短暂，你又何必这样长久地自我煎熬呢！我刚刚投降匈奴的时候，感觉精神恍惚，像疯了一样，痛恨自己辜负了汉朝，还牵连老母也跟着受牢狱之灾。你不愿意归降匈奴的心情，怎么能超过我！况且如今皇上年事已高，法令更改无常，大臣无罪而被诛灭宗族的就有数十家，安危不可预测，你还要为谁坚守忠贞呢！”苏武说道：“我父子原本没有什么功劳才德，都是承蒙皇上的恩情，我们才得以享有高官厚禄，与列侯、将军齐名，让我们兄弟有机会亲近皇上，所以我时常希望能够以肝脑涂地来报答皇上的大恩大德。现在终于有机会报效皇上，纵然是斧钺加身，汤锅烹煮，我也在所不辞！身为大臣服侍君主，就像儿子侍奉父亲一样，儿子甘愿为父亲去死，而不会有任何遗憾。我希望你什么也不要再说了。”李陵陪苏武一连饮了数天的酒，又劝说道：“子卿，你就听我一句话吧。”苏武却说：“我自己已经心存必死之心很久了，大王如果一定让我苏武投降，那就请结束今日的欢聚，让我趁早死在你的面前！”李陵见苏武一片赤诚，慨然长叹道：“唉！你真是义士啊！我和卫律的罪过上通于天！”说完禁不住热泪滚滚，随即告别了苏武。离开前赐给苏武数十头牛羊。

后陵复至北海上，语武以武帝崩。武南乡号哭呕血，旦夕临，数月。及壶衍鞮单于立，母阏氏不正，国内乖离，常恐汉兵袭之，于是卫律为单于谋，与汉和亲。汉使至，求苏武等，匈奴诡言武死。

后汉使复至匈奴，常惠私见汉使，教使者谓单于，言：“天子射上林中，得雁，足有系帛书，言武等在某泽中。”使者大喜，如惠语以让单于。单于视左右而惊，谢汉使曰：“武等实在。”乃归武及马宏等。马宏者，前副光禄大夫王忠使西国，为匈奴所遮；忠战死，马宏生得，亦不肯降。故匈奴归此二人，欲以通善意。于是李陵置酒贺武曰：“今足下还归，扬名于匈奴，功显于汉室，虽古竹帛所载，丹青所画，何以过子卿！陵虽驽怯，令汉贳陵罪，全其老母，使得奋大辱之积志，庶几乎曹柯之盟，此陵宿昔之所不忘也。收族陵家，为世大戮，陵尚复何顾乎！已矣，令子卿知吾心耳！”陵泣下数行，因与武决。

单于召会武官属，前已降及物故，凡随武还者九人。既至京师，诏武奉一太牢谒武帝园庙，拜为典属国，秩中二千石，赐钱二百万，公田二顷，宅一区。武留匈奴凡十九岁，始以强壮出，及还，须发尽白。

后来，李陵又来到北海边上，告诉苏武汉武帝已经去世的消息。苏武从此每天早晚都要面向南方号啕大哭，泣血不止，这样过了几个月后，壶衍单于即位做匈奴的首领，他的母亲阏氏却因为行为不端正，导致国内分崩离析，时常担心汉军会前来袭击，于是卫律向单于献计，让匈奴与汉朝和亲。汉朝使者来到匈奴后，要求将苏武等先前汉朝使者放回国，但匈奴人却谎称苏武已经死去。

后来汉使又一次来到匈奴，常惠在暗中求见汉使，教汉使者对单于说：“汉朝皇帝在上林苑打猎，射下了一只大雁，大雁的脚上系着一封帛书，上面写苏武等人在某湖泽之地生活。”使者于是大喜，便依照常惠的话责问单于。于是单于环视左右侍从，大为吃惊，随后便向汉使道歉道：“苏武的确还活着。”这才不得不将苏武和马宏等人放回汉朝。马宏以前曾经是汉朝出使西域各国的使者，是光禄大夫王忠的副使，途中遭到匈奴军队的劫杀，王忠不幸战死，马宏被生擒，但是他怎么也不肯投降匈奴。所以匈奴这次将苏武和马宏两人放回，为的是向汉朝表明他们的善意。于是，李陵设置酒筵为苏武庆贺道：“现在你要返回汉朝了，声明远扬于匈奴，功劳显赫于汉朝，即使是史册所记载、丹青所描绘的人物，又有谁能超过你呢！我虽然驽钝怯懦，如果当初汉朝能够对我的罪过予以宽恕，善待我的老母，让我能够忍辱负重，像春秋时期曹刿劫持齐桓公于柯盟的壮举，也正是我当年昼夜不敢忘怀的志向啊。可谁料汉朝竟然将我家满门抄斩，用当世最为残酷的杀戮来对待我，我还有什么还挂念的啊！现在一切都成为往事，我不过是让你知道我的心声而已！”李陵说罢涕泪横流，挥泪与苏武道别。

单于召集所有当年和苏武一同前来的汉朝官员及随从，除去先前已经投降匈奴和去世的以外，还剩下九人和苏武一同回到了汉朝。苏武一行抵达长安后，汉昭帝下令苏武用牛、羊、猪各一头，用最隆重的仪式对汉武帝的陵庙行祭拜礼，并且封苏武为典属国，俸禄为中二千石，还赏赐苏武钱二百万、公田二顷、住宅一所。苏武被匈奴扣押了十九年，他去的时候正当壮年，可是回来时已经是白发苍苍的垂暮之年。

“苏武牧羊节不辱……”这首传唱了多年的《苏武牧羊》讲的就是西汉时期苏武坚持汉节，不肯投降匈奴的事情。在被匈奴扣留的十九年之中，苏武自始至终从来没有忘记自己是大汉的使节。即使在得知自己的亲人被杀、妻子改嫁、儿女下落不明的情况下，也毫不动摇，这就是气节。