B1ueD0g·5 months ago

在云原生架构广泛应用的今天，Kubernetes（K8s）集群中容器的非法外联行为成为攻防对抗的重要焦点。本文将从应急排查、强制隔离到策略防护，深入剖析如何精准定位外联源头、实时告警可视化，并构建前置的防控机制。

一、外联应急排查核心流程

当 Kubernetes 中的 Pod 被删除后，如果没有删除 Pod 的控制器（如 Deployment、ReplicaSet 等），K8s 会自动根据定义的副本数量重新创建 Pod。以下是排查和解决该问题的步骤：

查看 Pod 状态

kubectl get pods -A -owide

该命令列出所有命名空间下的 Pod，并显示它们的详细信息（包括 IP 地址、状态等）。

删除指定 Pod

kubectl delete pod <pod-name> -n <namespace>

这条命令将删除指定的 Pod。注意，如果控制器定义了副本数量，Pod 会被自动重建。

删除副本控制器

若想彻底停止 Pod 的重建，需要删除其管理的副本控制器（如 Deployment、ReplicaSet）：

kubectl get deployment -A
kubectl delete deployment <deployment-name> -n <namespace>

这将删除指定的 Deployment，控制器不会再调度新 Pod。

强制删除 Pod

如果某个 Pod 被卡住或无法正常删除，可以使用以下命令强制删除：

kubectl delete pod <name> --grace-period=0 --force -n <namespace>

--grace-period=0 会立即终止 Pod，而 --force 会跳过任何优雅终止的步骤。

二、配置 NetworkPolicy 禁止外联访问

NetworkPolicy 是 Kubernetes 提供的一种机制，用于控制 Pod 的入站（Ingress）和出站（Egress）流量。默认情况下，Kubernetes 中的所有流量都是允许的，但通过配置 NetworkPolicy，可以限制容器的外联行为。

配置限制外联的 NetworkPolicy

以下是禁止所有容器访问外部网络的示例配置：

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: deny-egress-to-external
  namespace: default
spec:
  podSelector: {}  # 匹配所有Pod
  policyTypes:
    - Egress
  egress:
    - to:
        - ipBlock:
            cidr: 10.0.0.0/8  # 只允许与内部网络通信

在上述配置中，egress 部分通过 ipBlock 限制了 Pod 只能与 10.0.0.0/8 网段内的 IP 地址进行通信。这阻止了 Pod 向外部网络发起请求。

配置细节与验证

默认拒绝：如果 NetworkPolicy 没有匹配规则，Kubernetes 默认会拒绝所有流量。
入站流量限制：通过类似方式，可以限制 Pod 接受来自外部的流量。

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: deny-ingress
  namespace: default
spec:
  podSelector: {}  # 匹配所有Pod
  policyTypes:
    - Ingress
  ingress:
    - from:
        - ipBlock:
            cidr: 192.168.1.0/24  # 只允许来自192.168.1.0/24的流量

可以使用 kubectl describe networkpolicy 命令查看已配置的 NetworkPolicy。

三、使用 Falco + Prometheus + Grafana 构建实时告警链路

Falco 简介

Falco 是 CNCF 毕业项目，专为容器环境设计的运行时威胁检测系统，主要用于实时监控系统调用（通过 eBPF 或内核模块），并基于预定义的规则检测异常行为（越权访问、外联行为、异常执行等），从而实现对云原生环境的运行时安全监控和威胁检测

配置Faclo监控

下列规则通过检测容器发起的连接，排除本地网络段（10.0.0.0/8，172.16.0.0/12，192.168.0.0/16），并记录连接到外部 IP 的事件。

- rule: Outbound Connection in Container
  desc: Detects outbound network connection from container to external IP
  condition: >
    evt.type = connect and
    container and
    not fd.sip in (10.0.0.0/8, 172.16.0.0/12, 192.168.0.0/16)
  output: >
    Container outbound connection to external IP: (command=%proc.cmdline connection=%fd.name user=%user.name)
  priority: WARNING
  tags: [network, outbound]

⚠️ 可结合 fd.sip 匹配非法目标IP，精确识别跨边界通信

联动 Prometheus + Grafana

部署 Falco-exporter 输出指标至 Prometheus
自定义 Grafana Dashboard：
- 展示规则触发频次
- 告警IP/进程/容器关联
- 集群外联趋势可视化

触发告警机制

配置 falcosidekick 将告警推送至Slack/钉钉、Webhook（与 SOAR联动自动隔离）、Prometheus AlertManager

四、使用 OPA Gatekeeper 限制容器配置越权

**Open Policy Agent（OPA）**是一个通用的策略引擎，可以用来控制 Kubernetes 资源的创建和管理。Gatekeeper 是 OPA 的一个 Kubernetes 控制器，可以在 Kubernetes 集群内执行政策管理。通过 Gatekeeper，用户可以定义并强制执行各种安全策略。

场景：禁止容器部署时使用 hostNetwork=true（绕过网络策略）

ConstraintTemplate 定义

apiVersion: templates.gatekeeper.sh/v1beta1
kind: ConstraintTemplate
metadata:
  name: k8sdenyhostnetwork
spec:
  crd:
    spec:
      names:
        kind: K8sDenyHostNetwork
  targets:
    - target: admission.k8s.gatekeeper.sh
      rego: |
        package k8sdenyhostnetwork

        violation[{"msg": msg}] {
          input.review.object.spec.hostNetwork == true
          msg := "hostNetwork usage is forbidden"
        }

Constraint 绑定

apiVersion: constraints.gatekeeper.sh/v1beta1
kind: K8sDenyHostNetwork
metadata:
  name: deny-host-network
spec:
  match:
    kinds:
      - apiGroups: [""]
        kinds: ["Pod"]

部署该策略后，凡是尝试启用 hostNetwork: true 的 Pod 将被 Admission Webhook 拒绝。

类似策略应用示例

场景	策略目的
禁止使用特定镜像仓库	限制只允许使用内网私有镜像
必须指定 resources.limits	防止资源滥用
限制添加特权容器或 SYS_ADMIN 能力	阻止逃逸风险
拒绝 Service 类型为 LoadBalancer	防止公网暴露服务