延康元年(220年)，曹操去世，朝野危惧，司马懿管理丧葬诸事，内外肃然。

同年，曹丕即魏王位，司马懿受封河津亭侯，转丞相长史。

时孙权率军向西。朝臣认为樊城、襄阳缺乏粮，不能抵御吴军，请召守将曹仁回驻宛城。司马懿则认为不该放弃二城：“孙权新破关羽，此其欲自结之时也，必不敢为患。襄阳水陆之冲，御寇要害，不可弃也”。曹丕未依其言，命曹仁放火烧毁二城。后来孙权果然没有入侵。曹丕悔之不及。

同年，曹丕登皇帝位，史称魏文帝。由于司马懿为曹丕“篡汉”出了大力，所以登基后，曹丕任命司马懿为尚书，不久转督军、御史中丞，封安国乡候。

黄初二年(221年)，免去督军官职，升任侍中、尚书右仆射。

黄初三年(222年)，和黄初五年(224年)，曹丕两次伐吴，都以司马懿镇守许昌，并改封司马懿为向乡侯。黄初六年(225年)春二月，转任抚军大将军、假节，领兵五千，加给事中、录尚书事。司马懿辞让，曹丕说：“吾于庶事，以夜继昼，无须臾宁息。此非以为荣，乃分忧耳”(《晋书·宣帝纪》)。

同年，曹丕又大兴水军攻吴，仍命司马懿留守，“内镇百姓，外供军资”(《晋书·宣帝纪》)。临行，下诏书给司马懿说：“吾深以后事为念，故以委卿。曹参虽有战功，而萧何为重。使吾无西顾之忧，不亦可乎”(《晋书·宣帝纪》)！后曹丕由广陵回师洛阳，又下诏对司马懿说：“吾东，抚军当总西事；吾西，抚军当总东事”(《晋书·宣帝纪》)。于是司马懿留镇许昌。

黄初七年(226年)五月，曹丕去世。临终时，令司马懿与中军大将军曹真、镇军大将军陈群、征东大将军曹休为辅政大臣。曹丕对太子说：“有间此三公者，慎勿疑之”(《晋书·宣帝纪》)。明帝即位，改封司马懿为舞阳侯。

孙权得知魏文帝去世后，于八月出兵攻魏。命吴左将军诸葛瑾部兵分两路进攻襄阳(今湖北襄樊)，亲自率军进攻江夏郡(治安陆，今湖北云梦西南)。孙权一路为魏军所败，遂撤兵而走。而诸葛瑾则被司马懿击败，并斩杀吴将张霸，斩首千余级。十二月，升任骠骑将军。

太和元年(227年)六月，明帝命司马懿驻扎宛城，加督荆、豫二州诸军事。

当初蜀将孟达降魏时，魏朝待其甚厚，司马懿认为他言行倾巧，不可信任。但皇帝不听，任命孟达领新城太守，封侯，假节。魏文帝死后，孟达失宠，蜀丞相诸葛亮即暗中与之通信，图谋叛魏。诸葛亮恐他言行反覆无常，想促他速叛，知魏兴太守申仪和他有矛盾，便派郭模到申仪处诈降，有意泄露其事。孟达闻此泄露，准备马上起兵。

申仪将此事密告司马懿后，司马懿怕他突然发难，给他去信，详为慰解，信中说：“将军昔弃刘备，讬身国家，国家委将军以疆埸之任，任将军以图蜀之事，可谓心贯白日。蜀人愚智，莫不切齿于将军。诸葛亮欲相破，惟苦无路耳。模之所言，非小事也，亮岂轻之而令宣露，此殆易知耳”(《晋书·宣帝纪》)。

孟达得信大喜，犹豫不决。司马懿则暗中率军进讨，诸将见孟达与吴蜀交接，劝司马懿先观而后动。司马懿说：“达无信义，此其相疑之时也，当及其未定促决之”(《晋书·宣帝纪》)。司马懿亲自率军日夜兼程前去讨伐孟达，八天后抵达新城城下。吴、蜀派出援兵解救孟达，被司马懿部拦阻于西城的安桥、木兰塞等地。此前，诸葛亮曾告诫孟达加紧防范，不要上当，孟达写信给诸葛亮，认为：“宛去洛八百里，去吾一千二百里，闻吾举事，当表上天子，比相反覆，一月间也，则吾城已固，诸军足办。则吾所在深险，司马公必不自来；诸将来，吾无患矣”(《晋书·宣帝纪》)。等到兵临城下，孟达又写信给诸葛亮，惊叹：“吾举事，八日而兵至城下，何其神速也”(《晋书·宣帝纪》)！

上庸城三面环水，孟达在城外树立木栅，加固城防。司马懿挥师渡水，毁其木栅，直逼城下。太和二年(228年)正月，司马懿兵分八路攻城，攻十六天，孟达的外甥邓贤、部将李辅开城投降。魏军入城，擒斩孟达，传首京师，俘获万余人。司马懿回军，仍驻宛城，奖劝农桑，禁止浮费。南方吏民心悦诚服。

前初，申仪久在魏兴郡，专威弄权，擅自借皇帝名义刻制印信，私相授予。孟达被杀之后，申仪自生疑虑。当时各郡郡守见司马懿克敌制胜，纷纷奉礼祝贺。司马懿听之任之，并让人向申仪暗示。申仪只好前来祝贺。司马仪乘机将他收捕，送往京师。

司马懿又将孟达余众七千余家迁往幽州。不久蜀将姚静、郑他等率其部属七千余人来降。

当时边郡新附，户口不实。朝廷想加以核实，请司马懿进京，征询他的意见。司马懿认为：“贼以密网束下，故下弃之。宜弘以大纲，则自然安乐”(《晋书·宣帝纪》)。明帝又部他吴蜀都该讨伐，应该先从何处着手?司马懿回答说：“吴以中国不习水战，故敢散居东关。凡攻敌，必扼其喉而摏其心。夏口、东关，贼之心喉。若为陆军以向皖城，引权东下，为水战军向夏口，乘其虚而击之，此神兵从天而坠，破之必矣”(《晋书·宣帝纪》)。明帝同意他的看法，命他仍旧驻扎宛城