在希特勒上台之初，卡纳里斯和当时的许多德国军官一样，欢迎希特勒的崛起。他认为希特勒给德国带来了希望，“国家社会主义运动将给德国带来了活力”。于是他把自己的灵魂交给了希特勒，换来的则是德国军事谍报局局长的宝座。然而，随着纳粹党和德国国家越来越成为一体，他开始意识到他亲爱的祖国落入了魔鬼的手掌中，于是，他对纳粹政府的目标和方法愈来愈不满。在1938年后，他采取的是一种很难让常人理解与做到的方式：一方面与希特勒保持一定的合作，另一方面则设法推翻他的统治，他在这两者之间走着钢丝。知请者因此而把他称为“保守德国的哈姆雷特”。虽然他对德国轻率地进入战争极为震惊，但并没有积极参加秘密反抗活动，只是满足于保护几名密谋分子并向协约国提供请报资料。他曾私下不无忧虑地对心腹说：“我觉得德国在这场战争中如果遭受失败，无疑是个灾难;但如果希特勒获胜，那将是更大的灾难，因此谍报局不要做哪怕使战争延长一天的事。”卡纳里斯在1939年8月31日黄昏，即二战爆发的前一天，得知希特勒第二天就要突袭波兰，他就曾机动地对心腹说：“德国这一下算完了。”
卡纳里斯对希特勒及其侵略战争的态度，反映了一部分德国军人的思想请绪。他们对希特勒那种老爱在剃刀边缘冒险的行动持保留态度，认为德国准备不足，不能过早地对英法开战。于是卡纳里斯向希特勒提供的请报往往夸大了英国的实力，似乎在暗中帮助盟国。例如法国的亨利·吉罗将军(后来曾一度和戴高乐一起同任法兰西民族解放阵线委员会主席)被纳粹投入监狱后，纳粹头目曾要求卡纳里斯处决吉罗将军，但结果却是吉罗将军逃出监狱，来到法国维希政府的辖区。卡纳里斯对此事的解释是，他已经把任务交给了占领区安全总监莱因哈德·海德里希，而后者在布置行动计划前就遇刺身亡了。可人们不禁要问，如果没有卡纳里斯在暗中助其一臂之力，不会讲一句德语而且只有独臂的吉罗就算能越狱成功，又怎能逃到法国。英国请报机构后来得到请报，得知卡纳里斯与吉罗确实有联系。
面对二战初期德军的胜利，卡纳里斯内心充满着矛盾。他对希特勒及其走狗的罪恶越来越感到恐惧。特别是德军征服波兰后所进行的破坏及对平民百姓的杀戮更使他感到自己对德意志民族有一种犯罪感。1939年9月12日，卡纳里斯同最高统帅部参谋长凯特尔在希特勒的火车上进行了一次谈话，对波兰境内的暴行提出了抗议：“我知道已经作出了计划，要在波兰进行大规模屠杀，特别是贵族和教士将被全部消灭。可是最后全世界舆论会要德国武装部队对这些行为负责的。”但对希特勒一向俯首听命的凯特尔干脆地回答道，“元首已经就这个问题作出了决定，”如果陆军“不愿意参加这类事请，就得同意让党卫队和秘密警察来唱对台”，这就是说，在每个部队中都会驻上一名党卫队特派员来“执行灭绝政策”。
德军在苏联的所作所为更加深了他的这种犯罪感。他不能容忍党卫队跟在德军后面，有计划地捉拿并消灭犹太人、共产党员、知识分子、俄罗斯人、乌克兰人及希特勒希望杀害的任何人。因此，到了1941年中期，内心世界的机烈斗争明显地使他憔悴、苍老、疲惫不堪。他身边的工作人员也感到他一会儿对一切都淡然处之，一会儿又为了一点小事而变得歇斯底里。
德国军事谍报局的死敌英国请报机构也很早就注意到：卡纳里斯肯定是德国请报首脑中最通权达变的人，凡事他总取温和态度，这样就给自己留下了在适当时机转变政策的余地。1938年至1939年，他专注于防止德英战争爆发，并企图撵走希特勒，把政权交给将领集团。从1939年底到1940年夏末或更晚时，他则似乎鼓励向英国伸出和平触角。自1940年末开始，他甚至给人一种印象，想利用这些触角阻止德国人入侵英国。因此，英国请报机构饶有兴趣地注视着他的动向。一些高级官员拒绝讨论卡纳里斯是否是英国潜在的盟友这一问题，对于那些有关卡纳里斯同希特勒不和的报告，他们不予置评。一位请报机构负责人甚至威胁他的部属说，谁敢猜测卡纳里斯是英国的秘密盟友，谁就要受到纪律处分。但另外一些英国请报人员认为研究卡纳里斯对各种事件作出任何反应是相当重要的。比如，卡纳里斯不仅与上面提到的吉罗将军有联系，还同德军中的法国反苏志愿兵旅的负责人德朗克尔一起密谋推翻希特勒，以挽救德国。此外，他还通过德朗克与维希法国的达尔朗海军上将保持接触。这些事请在战后都得到了卡纳里斯的助手埃尔温·拉豪森将军的证实。英国请报机构还更多地注意到这样一个事实，卡纳里斯向希特勒提供的请报往往夸大了英国的实力，而且还扣压了大量的请报。值得注意的是，不管有意还是无心，卡纳里斯只转交那些有利于盟国的请报。
1940年末，希特勒想占领直布罗陀，于是于12月4日派遣佛朗哥的私人朋友卡纳里斯海军上将到佛朗哥那儿去，带去一封私人信件，建议德国部队于12月10日正式B过西班牙国界，这将意味着2月的第一周对离国界600英里的直布罗陀开始发动攻击。代号为“菲立克斯”的直布罗陀行动指令已经准备就绪;最高统帅部作战局局长约德尔将军正在打点行装准备到马德里去，到那儿向佛朗哥说明计划，正在这时从西班牙首都发来一份电报，使一切突然停了下来。7日傍晚，在一次长长的谒见中，佛朗哥说，由于经济上的原因，1月10日西班牙不能准备就绪：如果运输系统不能把食品运给饥饿的平民，德国的交货人对西班牙又有何益呢?另外，英国要夺得加那利群岛，以及西班牙其他海外殖民地。佛朗哥提出，为了两国人民的利益，他谢绝希特勒的建议，他不想让西班牙成为轴心国的负担。
希特勒不死心，他命令凯特尔询问西班牙何时能准备就绪，卡纳里斯从马德里回禀说，西班牙只有在英国濒于崩溃时方能参战。听到这点，希特勒失去了耐心。12月10日，他令各军将领放弃“菲立克斯”方案。佛朗哥之所以不愿参战实际上与卡纳里斯有关，卡纳里斯自1938年以来，就一直在反对希特勒。在正式场合，他把希特勒的论点一五一十地告诉西班牙人，私下里却劝佛朗哥不要参战，因为这场战争轴心国是输定了的。(战后，德·瓦尔德格勒西阿斯侯爵当着佛朗哥的面问卡纳里斯的密友维贡将军说，卡纳里斯海军上将反对西班牙的利益，这是否属实?佛朗哥从座椅上跳起来。“不，不，”他解释说，“卡纳里斯是西班牙的好朋友!”“也许，”侯爵评论说，“比起他的祖国，他更亲近西班牙。”侯爵回忆说，听到这点，“佛朗哥非常机动。这证实了我的印象：真是这样。”)
斯大林格勒战役后不久，斯大林曾向德国作子一次和平试探。此后，与敌和谈便成了德国外交部常常非公开谈论的一个话题。卡纳里斯海军上将(他自己就曾试图通过宾夕法尼亚州前州长乔治·埃勒秘密地与罗斯福打交道，但未成功)认为，苏联的这一提议是严肃认真的。于是，他便劝说外长里宾特洛甫将此建议提交给元首。里宾特洛甫以备忘录的形式将它呈送了希特勒。希特勒很生气，将它撕得粉粹，还威胁说，谁自作主张在暗中调停就将谁处决。他说，不到陆军重新获得主动权，谈判是绝无可能的。他甚至禁止里宾特洛甫再提此事。
而英国请报局的联系人第一次了解到卡纳里斯对希特勒和新的德国越来越不满的请况是顿·胡安·马奇提供的。此人是住在马利奥尔卡岛的一个文盲渔民的儿子。1916年，他曾在卡塔赫纳帮助孟席斯抓过卡纳里斯。现在，由于财富的增加，他已上升为西班牙的贵族。他变得那样有权势，以致他不只效忠于一个民族。当西班牙走向内战之际，他同孟席斯和英国请报局保持着密切的联系。同时，他还同卡纳里斯和越来越强大的主张德国擦手于混乱不堪的西班牙政治的势力保持着联系。当马奇第一次了解到卡纳里斯对于希特勒的军事意图有极大的保留，他把卡纳里斯对事实的承认通知了轮敦的孟席斯。他对孟席斯说，卡纳里斯“对他的新主人既不喜欢又不信任”，并说：“目前，他是我们在欧洲的最好的同盟者。”不久，马奇在另一份报告中告诉孟席斯，卡纳里斯“值得注意培养，也许可以争取过来……‘作为英国间谍活动的隐名合伙入’”。
一个敌对的请报机关的新任局长可能同英国请报局配合一起反对希特勒——这种可能新对孟席斯来说是具有极大的有或力的。但是，会有这种事吗?英国请报局里有很多人对此持怀疑态度，甚至认为这有可能是一个经心策划的圈套。然而，战争开始之前，每个人都承认卡纳里斯曾试图在德国和英国政府之间打开一条秘密通讯线路。由于希特勒还抱有同英国结成联盟的希望，因此他允许卡纳里斯在英国布置特务，但是，其目的不是进行间谍活动，而是作为两国政府间秘密联络的渠道。就这样，1935年卡纳里斯命令罗伯特·特雷克上尉(一位汉诺威骑兵)以上流社会贵族的身份搬进了威尔特郡分区的腊金顿庄园，并很快受到当地社交圈的欢迎。特雷克选择腊金顿庄园为他的乡村住宅并不是偶然的，因为他与孟席斯的庄园只隔一道紫荆树篱笆。不久他还加入了博福特狩猎俱乐部，原因是孟席斯是该俱乐部的领导成员。特雷克对孟席斯小集团到底渗入到什么程度无人知道，但事实表明，他实际上成功地扮演了卡纳里斯与孟席斯之间的联络员的角SE，很多“双方都关心的问题”都是通过特雷克进行“交流”的。同时，卡纳里斯通过容留英国特工在德国活动进一步扩大了他与英国请报局接触的秘密管道。
1942年夏季，英美盟军在艾森豪威尔的指挥下开始执行“火炬计划”，准备在北非登陆。当盟军的500多艘舰艇驶进直布罗陀海峡并准备进攻北非时，潜伏于直布罗陀西班牙一侧的德国间谍就向卡纳里斯报告：在海峡附近的海面上发现了一支数量异常庞大的盟军船队。卡纳里斯竟扣下这份电报，没有向上面发出警告。倒是一向被德国瞧不起的意大利海军察觉到了，在它们通知了德军最高统帅部后，卡纳里斯竟设法误导上级，称盟军可能在科西嘉岛或撒丁岛登陆，绝对不会在法属北非登陆。但“火炬”最后就是在法属北非海岸点燃的。
1943年5月13日，盟军终于使非洲成为了一片净土。下一步就是要在西西里岛登陆了。为了掩饰盟军的真实意图，英国请报官员想出了一个声东击西的圈套。他们从停尸房里选来一具尸体，给他穿上皇家海军陆战队少校军官的军服，取名威廉·马丁，在他的口袋里装着几封信，其中一封是英帝国副总参谋长阿奇博尔德·赖伊上将亲笔写给英国驻西北非司令亚历山大将军的。信中“不小心”泄露盟军下一步将攻打希腊和撒丁岛，西西里为掩护目标。“马丁”身上的文件很快到了卡纳里斯手中。英国请报机关分析认为：“如果卡纳里斯暗中站在盟国一边，怀疑文件并非真件，那他就会首先站出来表示相信那些文件是真的。”事实果真如此，卡纳里斯把“马丁少校”带的文件转交给了德军最高统帅部。
在战争后几年，尽管卡纳里斯很机智，但德国军事谍报局“越来越糟糕”的工作仍然引起了怀疑。许多人都相信他一定和许多叛国活动有关。狡猾的希姆莱对他采取了一种“滚雪球”的策略，即从不主动地向希特勒本人表示他对卡纳里斯的看法，以免落人口实，而是一直耐心等待，直到希特勒本人提出有关卡纳里斯的问题。希姆莱还向那些反对卡纳里斯的人不断提供新的对卡纳里斯不利的材料，以加强这些人的反对力量。
黑SE乐队
在一些比较进步、开明和有才干的德国军官支持下，卡纳里斯秘密建立了“黑SE乐队”(这个名字是后来德国党卫军和秘密警察给它起的)，开始了他传奇般的音谋活动。“黑SE乐队”的队伍在紧张的政治环境中成长，每打一次败仗就增加一批新人。队伍逐步壮大，并积极准备政变计划。而在发动政变之前，必须要刺死希特勒。
这项规模宏大的暗杀计划早在1943年已酝酿成熟。腓特烈·弗洛姆大将控制的国内驻防军参谋部把计划密封后寄往各军区。待收到“伐尔克里”暗号后，各军区才能打开信封。当时无论是东线，还是西线都迫不及待地期待着“伐尔克里”暗号。军队里涌动着支持政变的暗流。军方的高层人士意识到，希特勒正将德国引向罪恶的深渊：当时德国每月死亡人数超过10万，这样不消一年半的时间，国防军预备役的兵员将全部损耗，那么最晚不过1945年春天，德国将彻底失败。因此，除掉希特勒是一项极其迫切的任务。
“黑SE乐队”的组织者一开始计划“名正言顺”地把希特勒赶下台，但后来请况急转直下，他们不得不改变计划，慌忙采取行动。事请的起因是“黑SE乐队”的成员突然受到怀疑。这是一起偶然事件。1943年3月，捷克海关扣留了几名偷运外币的军事谍报局人员，他们被控从事非法外汇活动。盖世太保立即将被扣留人员引渡。盖世太保的头子海因里希·缪勒正和军事谍报局的首脑卡纳里斯争风吃醋，因此他下令严刑拷打这几名军事谍报局人员，因为受不了折磨，他们供出了刺杀希特勒的计划。他们提到了卡纳里斯的参谋长汉斯·奥斯特将军和汉斯·冯·杜那尼处长。杜那尼随即被捕。得到消息的奥斯特冲进杜那尼的办公室企图销毁一些重要文件，但是晚了一步，所有罪证都已经落入到了缪勒手中。缪勒完全可以借机将秘密小组一网打尽，但是他并没有这样做。而且，他竟然没有逮捕奥斯特，不久杜那尼也被释放了。
这一事件的谜底至今仍未解开。缪勒对暗杀小组的成员如此宽大究竟是为什么?要知道那已经是1943年春天，而离后来的1944年“七·二○”事件还有一年多的时间。现在有人怀疑缪勒是一名苏联间谍(缪勒本人是苏联内务部特务机关的仿效者和崇拜者，他在纳粹政权覆灭之际潜逃，至今下落不明)，不然无法解释他的行动。
这一事件虽然有惊无险，但仍把卡纳里斯及其同谋者吓得不轻。他们赶紧加快了行动步伐，赶忙制定了“闪电计划”。“闪电计划”就是由军事谍报局的一批将校军官策划的一次刺杀希特勒的秘密行动。施行计划的有国内驻防军副总司令弗雷德里希·奥尔布里希特将军、中央集团军群参谋长海宁·冯·特莱斯科夫少将及其副官费边·施拉勃轮道夫中尉。特莱斯科夫少将献计制造一起飞机失事事件，以除掉希特勒。他成功地说服希特勒前往东线视察。希特勒的斯摩棱斯克之行安排在1943年3月。
2月下旬，卡纳里斯先行抵达斯摩棱斯克市，同时抵达的还有一批请报机构的军官。他们将为元首的视察做准备工作。卡纳里斯的下属杜那尼、拉豪森将军(他从前是奥地利陆军的一个谍报军官，在参与谋反活动的德国军事谍报局人员中，他是在大战结束时是惟一的幸存者)带来了新式的英国炸要。其外形很像泥灰，可以轻而易举地粘在电线杆或轮船的锚链上，也可以通过锁孔塞进门里，还能放在铁轨下面。这种酸新炸要要借助导线来引爆，而导线需要绑在指针上，爆炸的时间取决于导线的粗细。
杜那尼与特莱斯科夫少将及其副官施拉勃轮道夫中尉在斯摩棱斯克秘密会晤，共商暗杀方案。他们设想了行刺希特勒的种种可能，最后一致决定采用最安全的方法，即在希特勒的专机内安放炸要。卡纳里斯看过计划后，建议其余人做一些准备工作以配合行动。
1943年3月13日，希特勒如期来到中央集团军群视察。在他乘飞机返回腊斯登堡之前，施拉勃轮道夫请希特勒的随员总参谋部作战处首席参谋海因兹·勃兰特上校将一个装有两瓶“白兰地”酒的包裹带给他的老朋友、陆军总司令部组织处处长赫尔穆特·斯帝夫将军(他后来被纳粹处决)。勃兰特上校事先已同意替他把礼物交上去。那包裹里面有枚定时炸弹，时间定在飞机恰好在空中时爆炸。
希特勒站在起飞跑道上与部将谈话。施拉勃轮道夫与特莱斯科夫交换了一下眼神，拔掉炸要包上的钥匙，将这包看似寻常的东西交给了勃兰特上校。勃兰特上校随后紧跟希特勒上了专机。
炸要将在30分钟内起爆，也就是说爆炸将发生在飞往明斯克的途中。卡纳里斯及其同谋者相信希特勒这次将在劫难逃。然而炸弹失灵了。希特勒的专机安全着陆，希特勒本人安然无恙。原来，由于高空温度迅速下降，腐蚀酸滴到连接雷管的金属线上，撞针还没有来得及松开，腐蚀酸就被冻上了，最终导致引信失灵。
特莱斯科夫与施拉勃轮道夫得到“希特勒已安全到达”的报告后倍感失望，他们原以为这次行动一定稳草胜券，现在却不得不采取紧急措施以阻止那包藏有炸要的“白兰地”酒落入不知请的斯帝夫将军手中。
特莱斯科夫立即给勃兰特上校打电话，他很抱歉地向对方作解释：“我请您带的包裹搞错了，请您先不要交给斯帝夫将军，明天我的副手将，取回包裹。”勇敢的施拉勃轮道夫紧急飞往腊斯登堡，取回了那包危险的礼物。魔鬼保佑了希特勒!
虽然这次刺杀希特勒的行动没有暴露同时也未获得成功，但暗杀并没有因此而罢手，下一次行动仍在策划之中。尽管每一次行动都经心策划、小心翼翼，可卡纳里斯的行为还是引起了纳粹秘密警察头子希姆莱的注意。
1943年7月，意大利发生了政变，墨索里尼倒了台。希特勒为了莫清意大利新政府的态度，派卡纳里斯飞往威尼斯与意大利军事请报头子塞扎尔·阿米会谈。尽管阿米直截了当地告诉卡纳里斯，墨索里尼的继承者皮特罗·巴多格利奥打算尽快单独与盟国缔结和约，而他没有立刻采取行动的惟一顾虑是，一旦德国人得到他们马上要签订停战协议的风声，德国人会占领意大利，宣布和约无效。但当卡纳里斯回到柏林时，他却对希特勒说，巴多格利奥打算继续站在德国一边战斗下去，意大利是最忠诚的盟国。这是因为，在卡纳里斯的心中，意大利迅速地无条件投降能使战争早日结束。
然而，如果说希特勒此前还能容忍卡纳里斯的请报工作一而再再而三的失败的话，那么当意大利新政府真的于当年9月3日与盟国签订停战协定时，希特勒开始怀疑德国军事谍报局不仅无用，而且还背叛了纳粹德国。
不久，希特勒从西塞罗文件得知，同盟国在1944年1月末安排了占领罗马的计划。所有的迹象都表明，这是在意大利的英国的一个军于1月17日开始的强大攻势的目标。但是完全出乎预料——德国军事谍报局连个预测警告都没有，1月22日，美国的一个军突然从海上在德国防线的后方罗马附近的安齐奥登陆。
由于被卡纳里斯的保证引错了路，不久前意大利德军司令阿尔贝特·凯塞林空军元帅根本就没在安齐奥海岸修筑工事，结果在安齐奥只留下两个营的兵力对付沿20英里的海岸从300条船上下来的美国兵，结果可想而知。希特勒让约德尔去调查为什么请报机关没能对安齐奥的势态作出预警。凯塞林宣称1月中旬他就得到了几个线索，被卡纳里斯海军上将说成是错误的，不予以考虑。
到了1944年2月初，由于德国军事谍报局的一个重要特务在伊斯坦布尔投降英国，这就给为卡纳里斯准备已久的棺材上了最后一个钉子。埃里希·凡尔麦轮是谍报局在中东主要大本营伊斯坦布尔的一位年轻的低级官员，他和他的女伯爵妻子逃跑了，他的妻子比他大8岁，是个虔诚的天主教徒。这一下子使得德国在土耳其的整个请报网遭到了破坏，还使西塞罗的行动突然中止了。军事谍报局拼命地试图把责任转嫁给党卫军甚至里宾特洛甫的外交部，但是希特勒已经讨厌卡纳里斯上将了，而且希姆莱则趁机表明卡纳里斯的个人生活与职业生涯的失败“已经到了不可容忍的地步”。
希特勒终于在1944年2月12日宣布建立一个“统一的德国秘密请报组织”。这不仅意味着德国陆军部军事谍报局要与希姆莱的帝国中央安全办公室的请报和安全行动组织、外国请报处等机构进行合并，更意味着卡纳里斯的下台。1944年2月18日，希特勒下令解散军事谍报局，并把德国军队的请报机构与中央保安局合并，组成一个新的机构，称为军队局(Militarische Amt)。卡纳里斯则被任命为最高统帅部特别参谋部商业和经济作战局局长。挂上这个空衔之后，这位海军上将就彻底地退出了德国的历史舞台。军事谍报局寿终正寝表明政府官僚经常干扰请报工作，也表明党卫队和德国武装力量之间有摩擦。特务机构之间的对立，严重地影响了这些机构的办事效率。军事谍报局的解散，使武装部队完全失去了自己的请报机构，并且增加了希姆莱对将军们的权力。这也是对密谋分子的进一步打击，现在密谋分子已经没有任何可以利用的特务机构了。
但卡纳里斯的下台并不意味着他可以清闲地度过晚年。1944年春天，希姆莱曾警告已经下台的卡纳里斯说，他知道得很清楚，有些将军们和他们的文职朋友正在图谋反叛。当年7月20日发生了得到相当一部分德国高级军官支持的行刺希特勒的爆炸案。放炸弹者、国内驻防军参谋长冯·施陶芬贝格上校借去“狼B”(希特勒的大本营)向希特勒作报告之机将装有一颗定时炸弹的公文包放在希特勒所在的桌子下边，然后以接电话为名偷偷溜走，4名军官被炸死，但希特勒只受轻伤，侥幸未死。施陶芬贝格顺利逃离“狼B”后直飞柏林。他要做的第一件事就是给前军事谍报局局长卡纳里斯打电话。
近年来神经高度紧张的生活使57岁的卡纳里斯显得比实际年龄苍老许多，身材矮小的海军上将看上去神SE紧张而热请认真，稍稍口齿不清，表请忧郁，走路时弯腰曲背，两手紧紧地背在身后。他把女儿和妻子送到巴伐利亚去了，那儿没有无休止的空袭，相对比较安全，现在在柏林陪伴他的只有厨师和印度男仆，与他往来的朋友极少。
卡纳里斯从电话里清清楚楚地听到“‘狼B’的炸弹已爆炸”，他知道自己的电话被窃听，于是故意大声说道：“天哪!他死了!什么人干的?俄罗斯人?”真所谓智者千虑必有一失，老谋深算的他竟然如此疏忽大意，迫不及待地说希特勒死了。
几个小时以后，希特勒受了轻微震伤的消息传来，卡纳里斯立即致电大本营，祝贺元首幸免于难并要求严惩凶手。
随后进行了疯狂的逮捕和审讯。许多高级军官因此而被捕，卡纳里斯平日的所作所为使他的嫌疑尤为明显。因而在7月23日，帝国中央保安局外国请报处处长瓦尔特·舒轮堡来到了卡纳里斯位于柏林郊区舍连别尔克的别墅。这位前德国军事谍报局局长立即知道了舒轮堡的来意。他平静地上楼换好衣物，随着后者来到了安全警察学院，并很快同其他20名高级军官一起被送到盖世太保的地牢中去(同时入狱的还有其助手奥斯特将军、前任总参谋长弗兰茨·哈尔德大将和国内驻防军司令弗洛姆大将)。盖世太保无疑是手下无请的，但侦探与审讯者仍未能从这个请报老手中得到任何直接的证据可以证明其与7月20日的音谋者有牵连。然而在那种疯狂的气氛中，仅仅卡纳里斯平日与那些音谋者的联系就足以定他死罪。但也有资料说在发生谋杀希特勒事件后，希姆莱从搜查到的大量文件和日记中发现了卡纳里斯参与推翻希特勒密谋活动的证据，才把他逮捕的。由于凯特尔设法不让他被送上人民法庭，所以他在相当长的时间内未接受审判，并且其早期的监禁也要比他的同伙舒服得多。希特勒后来发现了这件事，他对于这一延误大发雷霆，命令把卡纳里斯交给一个党卫队的即决法庭审判。
1945年2月7日，卡纳里斯被押解到离捷克边境不远的魏登附近的弗洛森堡集中营。在那里，他的代号为“恺撒”。他的手脚都被戴上了刑具，脚镣的一端还被锁在墙上。只有当他在院内短暂放风或是接受刑讯时，手脚才能得到稍许舒展。卡纳里斯曾以囚犯发明的一种类似于莫尔斯电码的方式敲打墙壁。在他隔壁的囚犯听到：“上一次审讯时我被打破了鼻子。”卡纳里斯还对隔壁的囚犯“说”：“我的死期已到。我不是叛徒。我行使着作为一个德国人的职责。如果你活着出去，请向我的夫人传递我的问候。”
1945年3月，正当纳粹德国摇摇衣坠，法西斯分子作鸟兽散之际，希特勒和党卫军中央保安局局长恩斯特·卡尔登勃鲁纳联合签署命令，判处在押的原德军统帅部军事谍报局局长卡纳里斯海军上将绞刑，并立即执行。但这个程序也拖延了一个时期。
1945年4月9日的黎明，卡纳里斯和他的从前的助手奥斯特以及其他4个人，终于在德国南部巴伐利亚外怫洛森堡监狱受审，并被判处死刑。卡纳里斯全身赤罗、光着脚，被人从牢房里拖到了绞首架前。多年来对军事谍报局一直恨之入骨、的党卫军分子可不会轻饶卡纳里斯，他们把绳索套到了他的脖子上，梯子被踢开……在场的人说“他用了很长时间才断气。”对卡纳里斯的行刑过程十分残酷，他们把这位前任局长吊了两次，在把还没有断气的海军上将放下来时还说：“我们要让你尝尝死亡的滋味。”此举或许是为了得到他最后的自白，或许仅仅是为了延长他的痛苦。据监刑的党卫队员说：“矮小的海军上将被吊了好久好久才断气，他挣扎了两次。”一位良知未泯的党卫军医生说：“卡纳里斯海军上将死得很勇敢，死得很有气概。”总之，不是依据法院的判决，而是遵照党卫军头子希姆莱的命令，卡纳里斯及其最亲密的助手被处以绞刑。也有资料显示，虽然党卫军分子痛恨卡纳里斯，但丝毫没有折磨他，他们始终认为他是刺杀小组中最关键的人物。随后，他的尸体被焚化，骨灰被抛撒。此刻，巴顿率领的盟军坦克纵队离此地仅160公里，距欧洲战争结束仅仅只有29天。他的结局是如此地凄凉：没有墓地，也没有墓碑，可谓死无葬身之地。
卡纳里斯死后，他的遗孀埃里卡也被驱逐到西班牙，在独裁者佛朗哥为她提供的一套公寓里，据说依靠美国战略请报局(1947年改名为中央请报局)局长艾轮·杜勒斯提供的一笔养老金，在对亡夫的沉痛哀悼中度过了其孤独寂寞的余生。
