ドイツが戦力の大部分をよそに振り向けている間にソ連に攻め込まれればなすすべなく蹂躙される。それを回避すべくソ連に対する「予防戦争」が決定された。当時海軍司令部の戦略目的はイギリスとその海上交通路への攻撃に絞られており、対ソ戦は不可避であり緊急の用件であるというヒトラーの意見に同意はしたが、開戦は苦渋の決断だった。とはいえソ連との戦争は数ヶ月で決着がつき、すぐに人員と物資を地中海に戻せると思われていた。しかし、相手をひどく過小評価していたことは後になって判明する。

　ソ連と戦端を開く直前、バルカン半島を攻撃せざるを得ない状況が発生する。

　イタリアはドイツがソ連と開戦するという思惑を知らないまま、1940年10月からアルバニア経由でギリシャに侵攻していたが、この頃には旗色が悪くなっていた。また1941年3月にユーゴスラビアで革命が起こり、これへの対応も急を要した。こうして4月に始まったバルカン半島の戦いは、クレタ島とエーゲ海諸島への攻撃成功にともない5月中には決着を見る。海軍はエーゲ海諸島への攻撃に参加しただけだったが、占領下の海域と海岸線が拡大したことで以後の海軍の負担が増すことになった。

　アドリア海はイタリアの、エーゲ海はドイツの支配下に置かれ、非常な困難を伴いながらも手を尽くし、シーレーンの確保、諸島に送った増援の防衛態勢、および沿岸防備の構築が完了する。

　独ソ戦の緒戦では海軍はバルト海でのみ動いていた。海軍の任務は積極的手段をもってソ連艦隊の動きを封じ、陸上作戦の進行にともなって前進、やがてはフィンランド湾にまで追い詰めることとされていた。主導権はこちらにあったため、投入する戦力はほどほどに抑えられた。当時バルト海艦隊^※３と呼ばれる巡洋艦隊が一時的にオーランド諸島海域に待機しており、バルト海の島々へ砲撃を行った他、ソ連艦隊が攻勢に出ないよう抑える牽制の役割も担っていた。フィンランド湾での作戦行動は同盟国のフィンランド海軍の共同作戦となり、ドイツは魚雷艇とそれより小さい小艦艇を参加させた。開戦の夜、フィンランド湾中央部と東部に機雷原が敷設され、後には可能な限り東へと伸ばされていった。レニングラードとクロンシュタットを占領できなかったためにソ連のバルティック艦隊を殲滅することができず、この機雷原は終戦まで維持されることとなる。ドイツ軍侵攻の初日、特にタリンとハンコから撤退するソ連軍の追撃戦において我が方は敵に大打撃を与え、ソ連艦隊は1944年にエストニアが奪還されるまでの間フィンランド湾に封じ込められることとなる。1941年の間に少数のソ連潜水艦が包囲を抜けて出撃したが、被害はごく軽微だった。
※３ソ連のバルティック艦隊ではなくドイツの艦隊。戦艦ティルピッツを旗艦に据え、巡洋艦や駆逐艦などを軸に編制された。

　北方での目標はムルマンスク、ポリアーノ、そしてリバチ半島の占領だったが、攻め入るのに困難な地形であったため達成されることはなかった。結果、この周辺海域では小競り合いが続いたが、最終的に海上輸送路の確保に成功し、ペツァモやキルケネスからの物資は安全に運ばれていった。

　対ソ戦のもうひとつの舞台となった黒海では、ソ連が圧倒的優勢だった。ソ連の黒海艦隊の戦力は圧倒的で、対するルーマニア海軍の艦船は少数、おまけに訓練と航海の経験も不足していた。ルーマニアへの援軍として、ドイツのUボートII型を6隻とSボート隊をエルベ川から高速道路そしてドナウ川を経由して黒海に送り、加えて揚陸艇を多数と武装トローラー、また現地で武装を施した補助艦艇を戦力に加えた。それでもソ連の優勢に変わりはなかったが、エヴパトリアとフェオドシヤへの上陸阻止を除いて黒海艦隊は不思議と何の動きも見せず、我が方は戦力差を考えれば望むべくもないほどの成果を上げることができた。