“永嘉五年（311年），洛阳陷落。
祖逖率领数百亲族乡党南下，于淮泗地区躲避战乱。
他以身作则，躬自步行，将车马让给老弱病者，还慷慨地将粮食、衣物和药品分发给众人。
途中虽然多次遭遇盗贼和险阻，但祖逖总能从容应对，因此被同行的人们推举为‘行主’。
抵达泗口后，
祖逖被琅琊王司马睿委任为徐州刺史，不久后更被征召为军谘祭酒，率部驻扎在京口。
建兴元年（313年），晋愍帝即位后，任命司马睿为侍中、左丞相，并赋予其大都督陕东诸军事的职责，命令他率兵前往洛阳救援。
但当时司马睿正专注于开拓江南地盘，对北伐并无兴趣。
在此情形下，祖逖进谏道：‘晋室之乱，非上无道而下怨叛也，由藩王争权，自相诛灭，遂使戎狄乘隙，毒流中土，今遗民既遭残贼，人思自奋，大王诚能命将出师，使如逖者统之以复中原，郡国豪杰，必有望风响应者矣。’
意思是：晋朝的内乱，并非因皇帝无道（有待商榷）或百姓造反，而是由于藩王之间的权力争夺，这种自相残杀给了外敌可乘之机。
现在，北方的百姓正在遭受蹂躏，他们内心都渴望反击。
如果大王能派将领出兵，并让我祖逖等人统领，江北的豪杰们必定会纷纷响应，那些沦陷区的人们也会因此欢欣鼓舞。
如果这样做，或许可以为国雪耻。”
“司马睿虽然并不愿意北伐，但也不好直接反对。
于是他任命祖逖为奋威将军、豫州刺史，不过却只愿提供千人的粮饷和三千匹布帛，然后让祖逖自行招募战士，制造兵器。
祖逖领命而去，自率军队北伐。
当他北渡长江时，站在船头，望着滚滚东流的江水，心中充满了感慨。
想到山河破碎和百姓涂炭的情景，
想到困难的处境和壮志难伸的愤懑，
想到自己终于如愿北伐，有了收复河山的机会，顿时又豪气干云，热血涌动起来。
他敲着船楫朗声发誓道：‘祖逖不能清中原而复济者，有如大江，一去不返！’
如此决心和豪情，被后来人以‘中流击楫’来比喻立志奋发图强。”
“虽然司马睿对北伐的态度很是消极，但这并没能动摇祖逖北伐的决心。
他带领跟随自己南下的宗族部曲百余家，从京口渡江北上。
在江中，他再次用力拍击船桨，誓言要扫清中原。
渡江后，他暂时驻扎在淮阴，建立熔炉冶炼铁矿，制造兵器，并成功招募了二千多名士兵。
当时，兖豫地区有豪强张平和樊雅，他们占据谯城，聚集兵力自保，拥有数千士兵，虽然名义上臣服于司马睿并接受其官职，但实际上仍保持一定的独立性。
此外，张平部下还有董瞻、于武、谢浮等十多支小部队，每支都有数百人。“
“建武元年（317年），祖逖率军进驻芦洲，并派遣参军殷乂去与张樊二人建立联系。
但殷乂却轻蔑张平，甚至出言不逊，说他恐怕连自保都很困难。
如此举动自然激怒了张平。
张平杀死殷乂后集结兵力，拥兵固守，与北伐军死扛。
祖逖攻城不下，于是转而采用离间计，成功诱降张平的部将谢浮。
谢浮利用与张平商讨军机的机会，将其杀死，然后率部归降祖逖。
此后，祖逖进驻太丘，但由于军粮短缺，处境相当艰难。
张平虽死，但樊雅仍占据谯城，继续与祖逖对抗。