在人迹罕至的北海，匈奴人不给提供食粮，苏武就靠挖掘野鼠洞中的草籽和草根果腹。日复一日，年复一年，随身携带的出使旌节上的穗子都磨光脱落了，但是，苏武仍然每天拿着它。过了几年时间，单于又派汉朝降将李陵来北海劝降，谎称苏武的两兄弟获罪被杀，母亲患病而死，妻子被迫改嫁，留下二妹和3个子女生活无着，想以此来动摇苏武的意志。还说：“人生为朝露，何必自苦如此！”对李陵的劝降，苏武不为所动：“如果一定要逼我屈节投降，我就立刻自杀！”面对威武不屈的苏武，李陵深感愧疚，不禁仰天长叹：“嗟呼，义士！陵与卫律之罪上通于天！”“因泣下沾衿，与武决去”。
汉昭帝始元二年（公元前85年），匈奴单于死了，新单于派使者来到长安，表示要与汉朝和好，汉朝庭提出要单于放苏武等汉朝使者返回，匈奴人欺骗说苏武已经死了。后来，汉朝有使者去匈奴，当初苏武使团的成员常惠得到消息，就买通了看守，乘夜去见汉使，把事情原委报告了汉使。汉使就去见单于说，汉朝皇帝在上林苑射猎，射下一只大雁，雁足上系着苏武的信，说他还在北海。并威胁说，大雁捎书，是“天意”，单于不能违背天意。单于惊疑，只好命令把苏武从北海放回，连同苏武百人使团残余的常惠等9人交还汉使带回汉朝。