要说当年的事，其实并不复杂，那时，楚凛一大家子都随他居住在边城白谷关，有一次行军中，楚凛的马不知怎的冲撞到了路上的流民，那便是就此讹上楚凛的苏芳儿。
苏芳儿被楚凛的下属带回位于白谷关的大将军府上医治，那时的她倒也老实本分，养伤的同时，做起了下人的活计，不曾做过逾矩之事，后来，她伤好后，楚夫人心怀恻隐，担心她出府后没有去处，便留她在大将军府做了一名绣娘。
只是，苏芳儿之前的安分守己都是伪装，她一直心仪楚凛，多次用计勾引未果，对外造谣她已经被楚大将军收入房中，害得当时即将生产的楚夫人与大将军生了嫌隙。
楚凛斩钉截铁将苏芳儿赶出府以证清白，此举虽然令楚夫人与他关系有所缓和，但却彻底激怒了颠婆苏芳儿。她将心底的怨恨全部归结到楚夫人身上，打算用最恶毒的手段对楚夫人施以报复。
在楚南絮两个月大的时候，苏芳儿重金贿赂了府上的嬷嬷，趁楚凛因军务外出的时机，在一个深夜中将楚南絮偷走，从此，楚南絮便与家人天涯两隔。