济南、郑州、开封失守，如同热锅上蚂蚁的蒋介石判断：中原野战军主力有可能东进，若是如此，华东、中原野战军将联合在徐州地区发动攻势，他一面命令刘峙收缩兵力，一面对徐州之战进行研议。9月25日，蒋介石召开紧急会议，研究济南失守后的作战。国防部作战厅提出两个方案：（一）从徐州出动两个兵团向鲁西出击，求歼华野一部；或从徐州抽调两个军转用于郑州，连同在郑州的第16兵团，配合华中剿总部队与中野决战。（二）徐州主力监视华野，以一部肃清徐州以南、运河地区的解放军。蒋介石认为第一方案比较积极，也有成功的可能，而第二方案太过消极，所以主张先集中兵力攻击中野。
徐州剿总副司令兼第2兵团司令杜聿明认为解放军经过济南战役的消耗，必须休整一段日子后才能再战，而徐州国民党军四个兵团，二十个军，兵力、装备都占优势，而且在济南战役时没有损失，无需休整就可投入作战。所以主张先发制人，变被动为主动，在蒋介石对鲁西有限目标攻击的基础上，加以发挥，制定了《对山东共军攻击计划》。该计划乘华野、中野分离之际，以华中国民党军牵制中野，以徐州主力采取奇袭战术攻击华野，收复泰安、济南。
由于该计划完全符合蒋介石的战略意图，所以很快于10月2日获得批准。10月7日，杜聿明召开兵团司令会议确定具体实施方案，并决定于10月15日开始行动。但就在即将发起进攻的10月15日凌晨，杜聿明被蒋介石紧急召往东北。刘峙本来就对这计划顾虑重重，杜聿明一走，他立即命令中止执行攻击山东计划。
徐州是弃还是守，蒋介石统治集团内部意见分歧，争执不休。多数人认为，徐州利于攻而不利于守，且后方联络延长，补给困难，当前的储粮只能维持20天左右，一旦交通被切断，粮弹将无以为继，因此主张弃徐州保淮河，以屏障南京。
郑州、开封失守后，蒋介石似乎清醒过来，他对“国防部长”何应钦指示：“时局危急，自从济南和东三省接连失守之后，还不到两个月，敌人又虎视眈眈，准备围攻徐州，来势很凶猛啊！”
何应钦点头说：“是的，敌人进犯徐州，将要威逼我长江一线了。”
“你速以国防部名义，严令华北‘剿总’傅作义，要立即部署兵力，坚决阻挡东北的敌人入关。同时要急令徐州‘剿总’刘峙，严守防区。”
何应钦记录完毕，问：“总统，毛泽东意在淮海与我军决战，我们的兵力虽说比他们多，但目前是否再向徐州附近调集一些兵力呢？”
“兵力部署暂不要动了，关键是作战人员的斗志啊！要让他们都鼓起劲来才行，不能像济南、东北那样一攻就破。”
“如果敌人两个野战军直通过来，依我看徐州也许不好守啊！”
“现在徐州附近有多少兵力？”
“共计有50万左右。”
“是少了一点，再调一点，要凑够60万。”
“是”
“我军34个军，计60万人马，我就不相信挡不住敌人南下？”
“总统，我仍是有点担心呀！”
“担心什么？”
“徐州自古以来就是一个战略要地，它位于黄河。长江之间，是我们南京国都的大门，又是津浦路的交叉点，gongchandang也许会拼上本钱与我们争夺，如是这样死守就没有必要了。”
“你这个看法是正确的，不能死守徐州，我们要做好必要时放弃徐州，固守淮河的准备。”
10月底，国民党统帅部确定了“守江必先守淮”的方针，并据以制定出了《徐蚌会战计划》。
该计划有两个方案：（一）淮海决战案，徐州主力放弃陇海线上各次要城市，仅以一至两个军守徐州，集中主力在徐蚌线两侧实施攻势防御，与解放军决战。华中剿总所辖黄维第12兵团向淮阳以西开进，加入徐州战场。（二）退守淮河案，徐州主力退守淮河，凭淮河实施河川防御。经再三商讨最后决定采取淮海决战案。
10月31日，蒋介石在由北平回到南京。他本来决定11月4日亲往徐州主持部署“徐蚌会战计划”，后因事派参谋总长顾祝同代他到徐州，传达“徐蚌会战计划”。
11月5日，刘峙召集高级军官召开了一次绝密的高级军事会议，研究作战部署。从南京赶来的参谋总长顾祝同与国防部作战厅厅长郭汝瑰亲自参加。郭汝瑰和“剿总”少将参谋长李树正报告了当前双方态势及下一步作战计划。
在会上，李树正的判断是：共军刘伯承部主力东移，陈毅、粟裕部主力南下，有强迫国军“在徐蚌地区决战的可能”。
邱清泉站起来反驳说：“据我们侦察，共军……有五个纵队先头已抵曹县、成武、砀山……敌人有向我兵团发起进攻的可能。”
黄百韬不同意邱清泉的话，站起来反驳说：“据我判断，敌人有首先向我兵团发起攻势的可能。”
邱清泉是个性急好胜的人，岂肯认输，他听了黄百韬的话，马上顶了回去，说：“我们用不着争论，打起来再看谁说的对。”
最后，顾祝同提出，这时再作大的兵力调整已不可能。第二天，蒋介石下达命令，确定“华东战场方面，暂取战略守势”，并调整署如下：
邱清泉第2兵团由商丘东移砀山、永城地区；黄百韬第7兵团由新安镇移至运河以西地区，并指挥由海州西撤的第44军；李弥第13兵团由碾庄圩南移灵璧、泗县地区，担任机动任务；孙元良第16兵团由柳河移至蒙城；第三绥靖区由临城、枣庄向南退守韩庄、台儿庄；第一绥靖区防守淮阴、扬州一线；第四绥靖区由商丘南移固镇、蚌埠。徐州“剿总”直接指挥的第107军守备窑湾以南运河，第72军加强徐州守备，第96、第66军防守蚌埠、五河、盱眙地区。华中“剿总”的黄维第12兵团由国防部直接指挥，由确山东进阜阳、太和地区。
这样，蒋介石集结了七个兵团、两个绥靖区、三十四个军、八十二个师共70万人的兵力，以徐州为中心，沿津浦、陇海两铁路，国民党军摆了两条长蛇阵，架起了一个巨大的“十字架”。
考虑到南线军队分由徐州、华中两个“剿总”统辖，指挥不便，而刘峙指挥无能，何应钦向蒋介石提出，由华中“剿总”总司令白崇禧统一指挥华中、华东两大集团。蒋介石对刘峙的能力也心知肚明，决定采纳何应钦的意见，临阵换将。但是出乎蒋介石的意料，白崇禧断然拒绝这个任命。