鮮卑、烏丸胡騎的獨立性很強，寇婁敦、扶羅韓等人不允許沮授在其軍中安插人手。胡族各部在滹沱河北各有地盤，相對松散。周林渡河游說，沮授無從偵知。
周林誘以鹽貿之利，各部均動心。另外，此番南下，胡騎各部飽掠一番，囊中頗豐，皆思還鄉，不愿意再拼命。各部貴人看得清楚，這幾日沮授百計攻擊劉備，俱被化解，劉備明顯是個硬骨頭，擊破劉備只會便宜沮授，自己得不到什么好處，早就打了退堂鼓。周林一說，各部順水推舟，紛紛向沮授鼓噪，要求北歸。
劉備派周林來，胸有成竹。他看得透徹，鮮卑、烏丸實不欲中國統一，以免對其造成威脅。當公孫瓚盡有幽州時，鮮卑、烏丸就與劉虞舊部以及袁紹合力，進攻公孫瓚；以后袁紹占有幽州，鮮卑、烏丸與鮮于輔又與曹操連接，攻擊袁紹；曹操敗袁紹，據冀、幽后，鮮卑、烏丸又攻曹操。如今袁紹勢大，劉備力弱，鮮卑、烏丸樂見袁紹削弱。這才是胡騎求歸的深層次原因。
沮授秘密召集諸將，道：“狄胡反復無常，難以恩義結之，肆虐冀州，劫掠財貨婦女無算，今又懷異心，鼓噪北歸，使我軍獨擋劉備，盼兩敗俱傷。諸君以為當如何處之？”
麴義冷笑道：“彼等異族，畏威而不懷德，撫之無益，當擇機剿滅。如今彼兵不到三萬，我軍何不圍而殺之？可消一大邊患。”
顏良、文丑都惱恨扶羅韓等人跋扈，皆道：“以有心算無心，殺之不難。末將愿為先鋒！”
高干、郭援不置可否，暫觀眾將意見。
曹操反對道：“我等招其人相助，而以詐殺之，非義也；彼等在幽州尚有數萬，殺此三萬，必引起幽州胡騎憤怒，從此兵連禍結，幽州多事，非智也。”此前戰于漁陽，胡兵大殺幽州兵，曹操曾對袁紹揭露胡族異志，勸袁紹戒備，袁紹不用，對胡族優容以待，胡騎跟隨袁紹南下至涿郡，氣勢浩大，所向披靡。到了河間，見沮授有過河拆橋殺胡之心，曹操卻又不提前事，反而阻止殺胡，沮授等不知此事，高干、郭援略有所聞，心中費解。
麴義瞪眼道：“袁公在幽州尚有兵十余萬，我等殺扶羅韓等后，再北上與袁公匯合，自可一舉將胡虜掃平。”
曹操反問道：“然則其如劉備何？若劉備趁我軍火并胡族而渡河攻我，我軍如何抵擋？”
麴義道：“劉備兵少，留兵一萬拒之足矣。我軍尚余精兵六七萬，亦足以絞殺胡虜。”
兩人各持一詞，均難說服對象，言辭漸漸激烈。麴義說不過曹操，敗下陣來，怒道：“爾敗軍之將，何敢在此大放厥詞！我出身涼州，深知羌胡之態，悍滑難養，若此時不動手，更待何時？莫非爾懷異心？”
麴義口不擇言，發出誅心之語。曹操大怒，按劍而起，喝道：“當今大敵乃是劉備，何能橫生枝節？爾必欲與狄胡開戰，莫非欲養賊自重、放劉備生路？”
麴義怒目圓睜，拔刀在手。
沮授喝道：“都住手！大敵當前，豈能自相殘殺？”示意顏良、文丑將兩人隔開。
麴義、曹操就勢分開，各自哼了一聲，轉過頭去。
沮授道：“孟德所慮大是有理，倬云所言亦不為錯。狄胡突然求去，其中必有蹊蹺，或為劉備所誘。當慮其作亂來攻，須小心戒備。”命各部戒嚴，若胡騎來攻，則予以殲滅，不可退讓。沮授乃冀州人，見胡騎在河間肆虐，心中早已憤怒不已，又慮胡族熟悉冀州腹地路線后，日后常來擄掠，成了前門拒虎后門迎狼，得不償失，有心一舉將胡騎殲滅，又擔心打虎不成反被虎傷，所以一時矛盾，用了條“敵不動我不動”的下策。
寇婁敦、護留葉等也是打老了仗的人，見沮授軍戒嚴，頓時不悅，周林、呼爾廓又道：“俗云，飛鳥盡，良弓藏，狡兔死，走狗烹，今袁紹據有幽州，威臨天下，劉使君、呂奉先皆非其敵，君等作用亦大幅下降。沮授此舉是將不利于君等。君等若不早決，必為其害。”
寇婁敦自然不會聽從周林之言悍然進攻沮授，那樣反成了為劉備火中取栗，對自己沒有絲毫好處，沮授既然對自己有敵意，那自己走好了，如今人生地不熟，相當危險，還是回到幽燕之地，那才是自己的地盤。寇婁敦遂避開周林、呼爾廓等人，與除了南匈奴于夫羅外的其余各部首領密議，各部就如吃飽了肚子的蟒蛇，飽掠思鄉，河間再繁華，也搶掠不過來了，更何況沮授露出敵意，還是趕緊回老巢為上，一致同意拔帳回家。
寇婁敦等叫來周林，宣布這一決定，叮囑他務必販賣青州海鹽北上，屆時大家共同發財。周林滿口答應。
次日，寇婁敦、扶羅韓等拔帳而去，動身之后才派人告知沮授。麴義抱怨道：“狄胡既去，再圖則難矣！”
沮授道：“待袁公削平亂世，再興漢室，狄胡何能為哉！倬云亦可北出大漠，封狼居胥！”
麴義捻須大笑道：“沮公之言，深得我心！”
顏良哼了一聲，轉過頭去，對麴義自高自大的樣子很是看不慣。
麴義聽到顏良動靜，怒視過去，欲要發作，又想自己剛與曹操鬧翻，再與顏良爭斗起來，似乎不太好，便暫時忍耐下去，心中盤算此次幽州之戰，自己擒獲田豫，功勞最大，怎么著也該升任將軍了，到時候再給顏良好看！嗯，還有文丑，也不是好東西，跟顏良狼狽為奸，跟自己作對。最好都給調入自己帳下。曹操這廝，自以為曾任兗州牧，目無余子，對自己、顏良、文丑等都不放在眼里，反而與朱靈、張郃、高覽等小輩混在一起，須稟知袁公，將其疏遠。麴義對冀州未來想得清楚，袁公名重天下，當為主，垂拱而治即可，沮公可主內，負責后方，自己可主外，負責征伐，田豐為軍師，顏文等輩皆在自己帳下聽命，如此天下不難定也。若漢室最終難興，袁公得了天下，沮公為丞相，自己為大將軍，不亦可乎？
想到此處，麴義輕蔑地掃視眾將一眼，對沮授拱拱手，大步離開，準備再去偵察一下劉備狀況。這次自己已經擒了田豫，若能窺得破綻，再破劉備，沮公亦難凌駕于自己之上矣！
