Prisma Cloud OpenShift での Defender の展開により、Netlink ソケットで使用可能なバッファー領域がないために HAProxy Pod がクラッシュする

9023

Created On 06/05/22 06:42 AM - Last Modified 05/09/23 08:17 AM

Symptom

Prisma Cloud OpenShift 環境での Defender の展開により、Netlink Socket で使用可能なバッファー領域がないため、HAProxy Pod がクラッシュします。
Kubelet ログは、ライブネスプローブへの応答に失敗したために HAProxy ポッドが再起動されたことを示しており、次のエラーメッセージが表示されます。
```
Container failed liveness probe
```
一方、Defender ログには次のエラーメッセージが含まれています。

DEBU Failed to read from .. :HostTCPEgress runtimeData: : netlink receive: recvmsg: no buffer space available

この動作は、次の方法で OpenShift で再現できます。

最小限のネットリンクソケットバッファを使用して Defender を再コンパイルする
クラウドネイティブネットワークを有効にするFirewall(CNNF ）。
Defender プロセスをしばらく一時停止して、バッファーをオーバーフローさせます。

Environment

Prisma Cloud
OpenShift

Cause

Defender のログは、ネットワークの中断 (ユーザー空間の netlink バッファーがいっぱいになり、パケットがドロップされる) が以下から排他的に発生することを示していますが、CNNFホスト監視、CNNF機能には、判定を提供するために処理できないパケットがスタックに再注入され、受け入れられることを意味するフェールオープンモデルがあります。
ただし、カーネルバージョン < 4.6 では、ユーザー空間バッファーがいっぱいの場合はフェールオープンモデルが適用されず、カーネルキューがいっぱいの場合にのみ適用されます。
カーネルバージョン > = 4.6 では、この動作にパッチが適用され、そのような場合にパケットが再注入されて受け入れられるようになります。 netlink ユニキャストが失敗したときに NFQA_CFG_F_FAIL_OPEN を尊重する.
これらの調査結果は、 `/proc/net/netfilter/nfnetlink_queue で確認されています: NfnetLinkQueue - ファイル

ノート:

RHEL カーネルバージョン 3.10 を使用する 7.9 は、そのようなパケットをドロップします。
カーネルバージョン 5.8 の Ubuntu は、このようなパケットを受け入れます。

Resolution

これを解決するために利用できる実行可能な方法は次のとおりです。

以下のホスト監視を無効にしますレーダー > 設定 > 「ホストネットワーク監視」を無効にします。 詳細については、次を参照してください。クラウドネイティブネットワークFirewall(CNNF )

2. ホストを、サポートされているカーネルバージョン 4.18 以降にアップグレードします (たとえば、RHEL8 ホストは、パッチを含むカーネル 4.18 に基づいています)。

3. `/proc/sys/net/core/rmem_default` および `/proc/sys/net/core/rmem_max` を使用して、ユーザー空間のネットリンクバッファのサイズを増やすことを検討してください。この値が Defender によって定義された nfqueue キューサイズと等しい場合、カーネルはキューがいっぱいであるというアカウントでパケットを再注入して受け入れるため、パケットはドロップされません。 https://elixir.bootlin.com/linux/v3.10/source/net/netfilter/nfnetlink_queue_core.c#L516 .

Additional Information

継続して利用したい場合CNNF(ネットワーク監視ツール)、ホストをサポートされているカーネルバージョン 4.18 以降にアップグレードして、カーネルが組織化された方法でパケットを再注入して、このような問題の発生を回避できるようにします。
ホストで次のコマンドを実行すると、正確なカーネルバージョンが表示されます。

uname -r