公元528年，北魏宗室、北海王元颢奉命前往邺城，抵抗由葛荣率领的河北六镇叛军，适逢北魏权臣尔朱荣南下攻破洛阳，并制造了河阴之变，大杀北魏公卿世族。
元颢因此南逃，前往南朝梁乞求梁武帝萧衍出兵帮助自己平叛。于是梁武帝便封元颢为魏王，并以陈庆之率甲兵七千，护送元颢北归。
自此，“名师大将莫自牢，千兵万马避白袍”的白袍将军陈庆之便开始了他一路超神的表演，其战绩之辉煌，千数年后仍然令人回味无穷。
528年十月，陈庆之正式率军北上，首战攻克淮北铚城，并于此进行休整、等待战机。
此时北方局势也发生剧变，尔朱荣在制造河阴之变后便退回晋阳休整、遥控朝政，并积极组织对河北叛军的平定，并在当年九月滏口之战中一举击溃河北叛军，成为北方唯一霸主。
滏口之战结束后，尔朱荣威名如日中天，摆脱了河阴之变带来的不利影响，并收抚十几万六镇叛军，返回晋阳进行休整。
河北叛乱平定之后，山东仍有刑杲所率领的河北流民起义，北魏泰山太守羊侃亦举兵叛魏、不久后兵败突围投奔南朝梁。
尔朱荣以上党王元天穆率兵前往山东进行平叛，河南地区相对比较空虚。
此时，陈庆之敏锐抓住战机，于529年四月继续率军北上，先后攻克河南荥城、睢阳。睢阳一战中，北魏将领丘大千拥众七万、分筑九城据守，陈庆之一日之内连克三城。
攻破睢阳后，元颢于此称帝，并在陈庆之的护送下继续率军北上，于后不久击败北魏济阴王元晖业并攻克考城。
也正是在这时候，元天穆击败刑杲，并将其押赴洛阳伏诛，同时元天穆大军回防河南。
此时的陈庆之已经兵入河南腹地，北魏朝廷因此震惊不已，调集河洛之间数万人马驻守河南大镇荥阳，而元天穆大军也直奔荥阳而来。
此时的荥阳城高池阔，内有大军驻守，外有强兵驰援，对陈庆之所率南军而言，是前所未有的艰巨考验。
时荥阳未拔，士众皆恐，庆之乃解鞍秣马，宣喻众曰：“吾至此以来，屠城略地，实为不少；君等杀人父兄，略人子女，又为无算。天穆之众，并是仇雠。我等才有七千，虏众三十余万，今日之事，义不图存。吾以虏骑不可争力平原，及未尽至前，须平其城垒，诸君无假狐疑，自贻屠脍。”
一鼓悉使登城，壮士东阳宋景休、义兴鱼天愍逾堞而入，