六月十一，趙子良派八百里加急給在長安的鄭三和岑參分別送去了一封書信，信中把情況進行了詳細的說明，讓他們留下來繼續為北庭軍籌措糧草軍餉和軍械物資，北庭軍還要指望他們過日子，同時他還寫了幾封信讓王燦以情報網的渠道分別給北庭留守劉眺、高適、獨孤峻等人各送去一封信，說明了大致的情況，讓他們看好家，防止屑小趁虛而入。
趙子良也給遠在北庭的兩位夫人去了信，說明自己現在已經遭到朝廷的猜忌，不能返回北庭，目前局勢復雜，他只能返回江陵老家靜觀其變，讓兩位夫人帶著兒女在北庭不要輕舉妄動，他會隨時派人送信過去。
處理全部事務之后，六月十一日上午，趙子良攜孟夫人在三百親兵護衛的護送出洛陽城開始南下，趙霆、楚歌、白孝德、李晟等軍中大小將校率四萬北庭軍將士夾道相送，后來除了北庭軍之外，其他各軍將士也都紛紛前來送別，甚至洛陽周邊的百姓們也攜家帶口前來，送行的人群站在道路兩側，延伸至三十里外。
送行的將校們、兵士們和百姓們一個個都忍不住淚流滿面，竭力嘶喊著請求趙子良留下來。在這些送行的人心里認為，
如果說當今天下還有誰有能力能夠快速靖難平定叛亂，唯趙子良一人而已，這樣一個人屢次受到猜忌、陷害、屢次被貶，依然無怨無悔地盡心盡力、盡忠職守，到頭來卻是這樣的下場，這天下還有公道可言嗎？難道大唐真的已經到了亡國的邊緣，連這樣的忠臣良將都容不下，只能容納那些奸佞小人，這個朝廷還有什么前途可言？
趙子良頭頂束冠，身穿常服、腰間佩刀，騎馬走在隊伍的最前面，三百護衛護送著孟夫人乘坐的馬車和一些行李、細軟和糧食。
道路兩側的百姓們和兵將們不斷的揮手叫喊著請求趙子良留下，趙子良只能不停地揮著手示意，這時一個老漢沖開維持秩序的兵丁跑到道路中間跪下哭泣道：“大帥留下來吧，中原百姓不能沒有您啊，您這一走，叛軍再殺過來，我等又將遭到屠戮！”
趙子良連忙翻身下馬，快步走過去把老者攙扶起來，嘆道：“老人家，我倒是想留下，但我不能留下來，如今我已無職權，只能回鄉種地嘍！接替我的新大帥很快就到任了，有他在，必定保百姓們平安，大家都回去吧，不要再送了！”說完對路邊兩個兵士示意，把這老漢攙扶到路邊去了。
趙子良轉身上馬繼續前進，路旁不斷有人嚎啕大哭，為趙子良可惜、為自己今后悲慘的命運哭泣，聽見這些哭聲，趙子良心如刀割，卻什么都做不了。
臨近中午，總算遠離了送別的百姓和兵將們，趙子良也松了一口氣，此時一匹快馬從后面跑過來，趙子良扭頭一看，看見騎馬的人竟然是杜甫，于是勒馬停下來。
等杜甫起來跑過來，趙子良問道：“杜子美，我從城里出來的時候還以為你至少會作一首送別詩的，卻始終不見你來，現在你追上來，是不是已經有所得了？快吟來聽聽！”
杜甫停下來苦笑道：“趙郡王就不要取笑了，我倒是想作詩一首給郡王送別來著，只不過我想來想去，還是決定跟郡王一起南下算了，送別詩就免了吧！”
趙子良一愣，說道：“你跟我一起南下？我雖然有郡王爵位，但已經無官無職，又不能開府建衙，我可給不了你官做了！”
杜甫毫不在意道：“郡王一家總得吃喝拉撒，這些親兵護衛也要吃穿用度，郡王應該需要一個人來管管賬房什么的吧？這個我做得來！”
趙子良看了看杜甫，問道：“你不是在說笑？”
杜甫道：“郡王認為我是一個喜歡說笑的人嗎？”
趙子良嘆道：“我也不知道杜先生是怎么想的，既然杜先生決意要跟我一起南下，我能被先生不棄，也算是榮幸了，好吧，我以每月一百貫的酬勞聘請先生為我處理身邊瑣碎事務，日后先生要另謀高就，隨時都可以離開！”
杜甫笑道：“每月一百貫比一個太守的薪俸都要高，看來我杜子美還是值點錢的，哈哈哈”。
不久，杜甫的家眷坐著一輛馬車追了上來，隊伍繼續南下。
杜甫早就看出來了，這平叛大業沒有趙子良根本就玩不轉，從滎陽到潁川一線的叛軍就多達四十多萬，
相州及周邊地區還有十幾萬叛軍，河北的史思明、蔡希德等人手里還有二十多萬人馬，這么算起來叛軍總兵力還有七八十萬，叛軍的勢力還有如此龐大，而唐軍雖然在戰略上處于優勢，但是兵力卻不到叛軍的一半，而且沒有了趙子良這種在軍中擁有崇高威望的人統帥，各處唐軍根本無法凝成一股繩，換了其他人來主持平叛大業，只怕連下面的將校都調動不了，軍中盡是一些驕兵悍將，沒有一定的能力和本事，這些人根本就不會俯首聽命。
杜甫已經想得很清楚了，這年頭到處都是戰亂，與其帶著家眷到處流浪，時時都有危險，還不如跟在趙子良身邊安全，日后等平叛的局勢越來越惡劣，朝廷遲早還是要重新啟用趙子良的，那時依然跟跟在趙子良身邊施展自己的才華。
兩人騎馬在走在最前面，趙子良對李白竟然不給他送行頗為不滿，他對杜甫說道：“這個李白也太沒人情味了，他這個洛陽縣令好歹也是我保舉的，如今我辭官不做了，他竟然不來送行，不當人子，真是不當人子啊！”
杜甫卻是知道李白的情況，解釋道：“這些年李兄一直在忙著安置難民的事情，根本無暇分身，他被手頭上的事情耽擱了，無法抽身前來為郡王送行也是正常的。再說，李兄這么多年來一直渴望能做官為百姓、施展一下自己的才華，如今正有這個機會，他豈能不珍惜，據說他現在每日只睡兩三個時辰！”
“哦？這么說來倒是我錯怪他了！”
下午，趙子良一行人在一個小鎮附近生火做飯，從東邊一條道路的盡頭出現了幾十個騎兵，趙子良的護衛們立即翻身上馬取出兵器排成軍陣進行警戒。
等那些人騎馬跑近了，趙子良一看，最前面的一人竟然是李嗣業，便對護衛們擺擺手讓他們放松。
李嗣業勒馬停下，快步走到趙子良面前下拜道：“大帥，末將來遲了！”
趙子良把李嗣業拉起來走到臨時搭建的帳篷里坐下，正好親兵們已經把飯菜弄熟了，趙子良便招呼李嗣業一起用膳，讓人拿來一壺酒，與李嗣業對飲。
趙子良問道：“你不是在領兵進攻新鄭嗎？怎么會有空來見我？”
李嗣業喝了一口氣嘆道：“前天末將正帶兵攻打新鄭，楚歌他們派人送來消息說朝廷奪了大帥的兵權，大帥已經上表辭去官職準備返鄉，軍中將士們聽聞這個消息，士氣當場大跌，大部分將校丟下兵器準備離開隊伍還鄉，這仗沒辦法打下去了，末將只能下令撤兵到密縣，并極力約束將士才避免全軍解散的局面！”
趙子良想了想對李嗣業說道：“軍隊不能亂，任何時候軍隊都不能亂，你回去告訴將士們，就說我說的，不能因為我走了，將士們都不干了，那誰來保護百姓們呢？既然你們已經撤到了密縣，就先休整一段時間，接替我的王承業很快就會上任，接下來就看他怎么部署吧！”
趙子良跟李嗣業聊了一陣就把他送走了，吃完飯后隊伍繼續南下。
六月十四，趙子良一行人抵達汝州，魯炅、王思禮等人得到消息出城迎接并備了薄酒招待。酒席間，魯炅、王思禮等人對趙子良離去之后的平叛大業抱著頗為悲觀的態度，大家的情緒都不高。
趙子良只能勸慰他們，讓他們服從新任元帥的調度，積極參加作戰，爭取早日平定叛亂，還天下百姓一個安寧。
此后，趙子良一行人在前往江陵的途中謝絕所有官吏們迎接，遇到城池也盡量繞過去，除非要進行物資補給才進城。
六月十五，長安、大明宮，含元殿。
大朝會進行到一半，一個鴻翎信使穿過重重宮殿一路快跑著舉著一封奏折跑進了含元殿，對著寶座上的玄宗稟報道：“陛下，江陵郡王趙子良派人送來奏章！”
玄宗和大臣們都為之一愣，不是馬上要來長安了嗎？怎么這個時候還派人來送來奏章？
玄宗定了定神，對高力士擺手道：“念念！看趙子良說些什么！”
“諾！”高力士走下臺階接過鴻翎信使手中的奏章打開一看，隨之愕然。
玄宗看見高力士的表情，問道：“怎么回事？趙子良說什么？”
高力士回過神來道：“陛下，趙子良上表請辭一切官職，如今已經攜妻妾回鄉了！”
“什么？”(
