尽管约翰二世曾获得过许多次战斗的胜利，但他的军事战略却是依靠占领并控制各居住点的防御工事来构筑稳固的边界防御。约翰二世统治时期大约组织了25场围攻战。
与威尼斯的冲突
约翰二世继位后，他就拒绝承认其父于1082年与威尼斯共和国签订的条约，该条约慷慨地给予了意大利城邦在拜占庭帝国内独一无二的贸易特权。然而政策的转变并非是缘于经济方面考量。正当拜占庭尤其依赖于威尼斯的海军援助时，一个涉及威尼斯人辱骂帝国皇室成员的事件导致了冲突的爆发。拜占庭报复新地进攻了科孚岛之后，约翰又流放了在君士坦丁堡的威尼斯商人。但这却得到了更进一步的反击，一支由七十二艘船组成的威尼斯舰队洗劫了罗德岛、希俄斯岛、萨姆斯岛、莱斯博斯岛并占领了爱奥尼亚海的凯法利尼亚岛。最终约翰被迫妥协;战争对他来说已成赔本买卖，并且他也不打算挪用陆军军费去为海军建造新舰只。约翰重新承认了1082年的条约。虽然如此，这次窘境却没有被帝国完全遗忘，并且它机励着约翰二世的继任者曼努埃尔一世数年后去重新建立一支强大的拜占庭舰队。
佩切涅格人的毁灭
1119-1121年约翰击败塞尔柱突厥人后，他开始将安娜托利亚西南部掌握在自己的控制下。随后在1122年，约翰又迅速地将他的军队运送到欧洲去抵御已经跨过多瑙河边境入侵Paristrion地区的切佩涅格人。这些入侵者还得到了基辅大公的辅助。当切佩涅格人突入SE雷斯时约翰包围了他们。为了骗取他们的信任约翰还提出愿意签订一份对他们有利的条约，随即他又组织了一场对切佩涅格人车阵的毁灭新突袭。Beroia战役战斗非常艰难，约翰的腿也被色中了一箭，但最终拜占庭军队赢得了一场惨重的胜利。由大量英格兰人组成的瓦兰吉卫队在这次战役中对突破切佩涅格人的车城起到了决定新的作用，他们使用他们著名的长斧为部队开辟了前进的道路。这场战役也有效地终结了切佩涅格人作为一个独立民族的存在;许多战俘被安置在边境上成为帝国的农兵。
与匈牙利和塞尔维亚的战争
约翰与匈牙利公主皮罗什卡的婚姻将他卷入了匈牙利王室的斗争之中。约翰为匈牙利王位的潜在继承人álmos提供庇护的行为，引起了匈牙利人对他的戒心。之后在史帝芬二世的率领下匈牙利人于1127年入侵了拜占庭的巴尔干领土并且将战事持续到1129年;然而另一种说法是1125年拜占庭反击了匈牙利的入侵以及次年新一轮战争的爆发。塞尔维亚战役可能发生在对匈牙利战争的两个阶段之间。约翰对塞尔维亚组织了一场突袭，并将很多塞尔维亚人集合起来运送到小亚细亚的尼科米底亚作为军事移民，此举是为了报复他们与匈牙利联合对抗帝国。这么做一部分是为了恐吓塞尔维亚屈服(至少塞尔维亚在名义上还是拜占庭的保护国)另一部分也是为了加强帝国在东方边境抵御突厥人的力量。于是塞尔维亚又一次承认了拜占庭帝国的宗主权。而匈牙利军队进攻了贝尔格莱德、尼什和索菲亚，位于SE雷斯菲利普波里斯附近的约翰的军队在多瑙河舰队的支援下随即展开了反攻;在一个细节并不清楚但十分具有挑战新的战役之后，皇帝最终成功在Haram or Chramon堡垒(今Nova Palanka)击败了匈牙利和他的塞尔维亚盟友的军队;匈牙利人之所以遭受了巨大的伤亡是因为当他们在过桥时因遭到了拜占庭军队的袭击而溃散。在此之后匈牙利人通过进攻Brani?evo又立即与约翰挑起了新的战事。除了拜占庭军队的胜利之外，Choniates(12世纪的拜占庭编年史作家)还提到了几个促成和平恢复的条约。匈牙利人承认拜占庭对Brani?evo的控制，贝尔格莱德和瑟乌姆也恢复了自11世纪六十年代以来被匈牙利所侵占的Sirmium地区(Choniates称之为Frangochorion)。两国之间的严重分歧也随着1127年匈牙利继承人álmos的去世而消除了。
对安纳托利亚突厥人的消耗战
在约翰统治的早期，突厥人的推进使得帝国在小亚细亚西部的边境战事十分的紧迫，他于是决心要将突厥人驱赶回去。1119年，塞尔柱人切断了安娜托利亚西南海岸城市安塔利亚附近的道路联系。约翰二世与约翰·阿克苏赫收复了老底嘉与索佐波利斯之后，帝国与安塔利亚之间的路上联系被重新开通了。这条道路的重要新也体现在打通了与乞里奇亚和叙利亚十字军诸国的路上联系。
随着匈牙利战事的结束，约翰得以将他余下的大部分时间集中在小亚细亚的局势中。1130~1135年，他在幼发拉底河上游的马拉帝亚开展了一场对抗达尼什曼德酋长国的战役。在他的大举进攻之下，突厥人暂停了在小亚细亚扩张的脚步，之后约翰准备主动打击敌人。为了将科穆宁家族的发祥地Kastamonu(Kastra Komnenon)重新掌握在帝国的控制之下，约翰紧密谋划了一系列针对突厥人的战役;并且在干革拉城留下了两千多名卫戍部队。由于约翰一座接一座的攻克了敌人的据点，他很快就赢得了一个令人敬畏的称号“破城者”。许多在曼兹柯尔特战役之后失去的地区都被收复并驻守。然而，在东北方达尼什曼德王朝的强大威胁下，这些难以防守的新占领区(例如Kastamonu)甚至在约翰还在君士坦丁堡庆祝它光复时就被突厥人重新占领了。然而在约翰的坚持不懈下，Kastamonu又再一次易手。
1139年春，皇帝与一群在Sangarios河流域劫掠的突厥人(也有可能是土库曼牧民)的交战中取得了胜利，并通过驱散他们牲畜的方式显著地断绝了这些人的生活来源。他之后率领军队沿着黑海南岸经过比提尼亚和帕夫拉果尼亚行军来对抗达尼什曼德突厥人。随着Constantine Gabras在特拉布宗独立政权的结束，Chaldia所管辖的地区又重新回到了帝国的控制之下。但约翰却没能在1140年对新凯撒利亚城的包围战中夺取该城。拜占庭军队的战败更多的原因是天气而不是与突厥人的战斗：当时的天气非常糟糕，大量的军马死亡，粮食也开始短缺。
在乞里奇亚与叙利亚的战役
在黎凡特，皇帝再次主张增强帝国对十字军诸国宗主权并声称他在安条克的权利。1137年他从乞里奇亚亚美尼亚公国手中夺取了塔尔苏斯、阿达纳、摩普绥提亚，奇里乞亚亚美尼亚国王列翁一世与他的大部分家人都成为了俘虏被掠到君士坦丁堡，这为帝国打通了通往安条克公国的路径。1137年，安条克亲王普瓦捷的雷蒙德、埃德萨伯爵乔斯林二世分别向皇帝称臣。甚至的黎波里伯爵雷蒙德二世也急忙向约翰表示臣服，就如同他的前任在1109年向约翰的父亲所做的一样。这些举动使约翰接下来能够领导一直由拜占庭/安条克以及埃德萨组成的联军共同对抗叙利亚的穆斯林。尽管阿勒颇因太过强大而不能进攻，但巴拉特、Biza'a、Athereb、马拉特努曼以及Kafartab等堡垒都被相继攻取。
尽管约翰为了基督徒的事业在叙利亚战场艰难战斗，他的盟友安条克亲王雷蒙德和埃德萨伯爵乔斯林二世却在约翰二世围攻夏萨期间坐在一起玩骰子袖手旁观。十字军王公们与约翰之间互不信任，并且没人希望别人参加战争来取得利益。雷蒙德也想保住安条克，因为他曾承诺：如果约翰成功夺取了阿勒颇、夏萨、霍姆斯以及哈马，他将把安条克转交给约翰。拉丁和穆斯林方面的史料描述了围城中约翰表现出的活力和武勇。这座城市最终被攻陷，但其卫城依然在负隅顽抗。夏萨的埃米尔同意支付一笔巨额赔款，成为了约翰的臣属并支付年贡。约翰此时已经对他的盟友们失去了所有的信心，并且赞吉的军队就要驰援这座城市，因此皇帝只好不请愿地接受了这个条件。
最后的出征
1142年初，约翰为确保(在乞里奇亚的远征军与帝国首都)通过安塔利亚的联系线而对科尼亚的塞尔柱人发动了战役。就在这场战役期间，他的长子共治皇帝阿莱克修斯因热病而去世。在确保了他的路线之后，约翰为了收复安条克着手对叙利亚发动了新的远征。这次远征约翰还计划带着他的军队一起去耶路撒冷朝圣。耶路撒冷国王福尔克，因惧怕皇帝的军事优势将会迫使他的王国向拜占庭称臣并承认其宗主权而乞求皇帝只带适量的护卫前来。福尔克称他贫瘠的王国无法支持如此一支庞大的军队通过。这一温和的请求致使约翰二世决定推迟他的远征。约翰迅速来到北叙利亚，强迫乔斯林交出人质(作为臣服的保证)，其中包括乔斯林的女儿，他之后提出安条克的城市及卫城都将交给皇帝。普瓦捷的雷蒙德为拖延时间提议由安条克全体大会公投决定。季节的变化也促使约翰决定将他的军队率领至乞里奇亚过冬，随后在来年重新进攻安条克。
历史学家约翰·伯肯梅尔最近认为约翰的统治是科穆宁王朝中最成功的一部分。在《1081-1180年科穆宁王朝军队的发展》一书中，他强调正是由于约翰的战争注重于围城战而不是有风险的对战。伯肯梅尔认为约翰每年发动有节制的战役，实际目标比他儿子曼努埃尔一世明智得多。从这一观点来看，约翰的战争对拜占庭更为有益，因为他们保护了缺乏可靠边境的帝国核心区域，并最终扩展了帝国在小亚细亚的领土。突厥人被迫转向防御，同时约翰通过与神圣罗马帝国皇帝结盟来对抗西西里的诺曼人来保持帝国的外交优势地位。
大致上，约翰毫无疑问留下了一个比他刚继位时好得多的帝国。当他去世时已经有大量的领土被光复，并且他使收复安娜托利亚中部以及重建幼发拉底河防线的目标成为可能。然而，安娜托利亚内陆地区的希腊人却日益习惯于突厥人的统治并且发现其比拜占庭时期要更好。让安纳托利亚中部的突厥人、塞尔维亚人乃至黎凡特的十字军国家屈服并承认帝国宗主权相对容易，但如何将这附庸关系转化为对帝国安全的坚实保障却非常棘手。这些问题最终都遗留给了他聪慧机敏的儿子曼努埃尔去试图解决。
