使用kubeadm来构建两台主机上的kubernetes v1.28.2的配置日志

总结

为了在家里操作Kubernetes，我使用kubeadm在两台个人电脑上配置了一个2节点的搭建。我几乎按照以下的步骤来进行操作，但还是遇到了一些问题，所以我将执行的内容总结如下。

• kubeadm

コンテナランタイム | Kubernetes
kubeadmのインストール | Kubernetes

环境

• OS

Linux (Ubuntu 22.04.3 LTS)

ネットワーク

Pod: 10.244.0.0/16
Service: 172.16.0.0/16
コントロールプレーンのIPアドレス: 192.168.116.100
ワーカーノードのIPアドレス：192.168.116.101

kubernetes

v1.28.2

CRI

containerd

containerd/docs/getting-started.md at main · containerd/containerd

CNI

Calico

Quickstart for Calico on Kubernetes | Calico Documentation

备 度

将swapoff设置为开启。

sudo swapoff -a
sudo vi /etc/fstab

以下をコメントアウトする
# /swap.img     none    swap    sw      0       0

启用IPv4的转发功能。

cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOF

sudo modprobe overlay
sudo modprobe br_netfilter

cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables  = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward                 = 1
EOF

sudo sysctl --system

确保它已经生效。

sysctl net.bridge.bridge-nf-call-iptables net.bridge.bridge-nf-call-ip6tables net.ipv4.ip_forward                                          [~]

net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward = 1

安装 containerd。

sudo apt-get update
sudo apt-get install ca-certificates curl gnupg
sudo install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/debian/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
sudo chmod a+r /etc/apt/keyrings/docker.gpg

# Add the repository to Apt sources:
echo \
  "deb [arch="$(dpkg --print-architecture)" signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/debian \
  "$(. /etc/os-release && echo "$VERSION_CODENAME")" stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update

sudo apt-get install containerd.io

安装后，启用CRI并使用systemd。

sudo containerd config default > /etc/containerd/config.toml

将 SystemdCgroup 设置为 false 的值更改为 true。

[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc]
  ...
  [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
    SystemdCgroup = true

重新启动。

sudo systemctl enable --now containerd
sudo systemctl restart containerd

设立kubeadm（控制面板）。

安装kubeadm。

sudo apt-get update
sudo apt-get install -y apt-transport-https ca-certificates curl
curl -fsSL https://dl.k8s.io/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-archive-keyring.gpg
echo "deb [signed-by=/etc/apt/keyrings/kubernetes-archive-keyring.gpg] https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list
sudo apt-get update
sudo apt-get install -y kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl

由于在我的环境中，如果不安装插件，每隔一段时间就会发生超时并无法初始化，因此在构建后才启用了插件。

sudo kubeadm init \
--apiserver-advertise-address=192.168.116.100 \
--pod-network-cidr=10.244.0.0/16 \
--service-cidr=172.16.0.0/16 \
--v=7 \
--skip-phases=addon/kube-proxy,addon/coredns

请将结果复制保存。

kubeadm join 192.168.116.100:6443 --token xxxxxx.xxxxx \
        --discovery-token-ca-cert-hash sha256:xxxxx

添加 kubectl 的配置。

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

安装kube-proxy和coredns。

sudo kubeadm init phase addon coredns --service-cidr=172.16.0.0/16
sudo kubeadm init phase addon kube-proxy 

石板猫安装

请执行参考页面中提到的命令。注释中指出，请使用create而不是kubectl apply。

kubectl create -f https://raw.githubusercontent.com/projectcalico/calico/v3.26.3/manifests/tigera-operator.yaml

由于需要修正网络地址，因此需要下载。

wget https://raw.githubusercontent.com/projectcalico/calico/v3.26.3/manifests/custom-resources.yaml
vi custom-resources.yaml

# cidrを変更する
cidr: 10.244.0.0/16

应用设置。

kubectl create -f custom-resources.yaml

让控制平面也可以启动容器。

kubectl taint nodes --all node-role.kubernetes.io/control-plane-

安装kubeadm（工作节点）

以相同方式安装kubeadm。

sudo apt-get update
sudo apt-get install -y apt-transport-https ca-certificates curl
curl -fsSL https://dl.k8s.io/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-archive-keyring.gpg
echo "deb [signed-by=/etc/apt/keyrings/kubernetes-archive-keyring.gpg] https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list
sudo apt-get update
sudo apt-get install -y kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl

请使用我事先复制好的命令进行join操作。

kubeadm join 192.168.116.100:6443 --token xxxxxx.xxxxx \
        --discovery-token-ca-cert-hash sha256:xxxxx

确保在控制平面上添加了节点。

kubectl get node                                                                                                                    [~/config]
NAME      STATUS   ROLES           AGE    VERSION
xxxxxxx   Ready    <none>          32m    v1.28.2
xxx       Ready    control-plane   111m   v1.28.2

确认动作

我确认了hello-world的运行。

kubectl run hello-world --image=hello-world --restart=Never
kubectl logs hello-world

Hello from Docker!
This message shows that your installation appears to be working correctly.

To generate this message, Docker took the following steps:
 1. The Docker client contacted the Docker daemon.
 2. The Docker daemon pulled the "hello-world" image from the Docker Hub.
    (amd64)
 3. The Docker daemon created a new container from that image which runs the
    executable that produces the output you are currently reading.
 4. The Docker daemon streamed that output to the Docker client, which sent it
    to your terminal.

To try something more ambitious, you can run an Ubuntu container with:
 $ docker run -it ubuntu bash

Share images, automate workflows, and more with a free Docker ID:
 https://hub.docker.com/

For more examples and ideas, visit:
 https://docs.docker.com/get-started/

在工作节点上执行。

kubectl get pod -o wide 
NAME          READY   STATUS      RESTARTS   AGE   IP               NODE      NOMINATED NODE   READINESS GATES
hello-world   0/1     Completed   0          32m   10.244.165.130   xxxxxxx   <none>           <none>

未成功的事情

虽然我大部分时间都没有仔细阅读文件，但以下几点是我失败的原因。

• containerdをaptでインストールしたときは、デフォルトではCRIが無効であったので /etc/containerd/config.toml を手順のようにcontainerdが用意しているデフォルト設定に上書きする必要がありました

 

• アドオンであるcorednsとkube-proxyを初期化時にうまく起動できなかったので初期化時にはスキップして後から有効化しました

 

• dockerで実行することやflannelで実行を試していましたが、うまくいきませんでした。containerdとcalicoの構成時にたまたまうまくいきましたが、どこで躓いてどこで上手く行けたのか不明です。

 

• なんども失敗したのでリセットを繰り返しました。

sudo kubeadm reset –force
sudo rm -rf /etc/cni/net.d
sudo systemctl restart containerd
sudo systemctl restart kubelet

うまくいかないときには kubeletやPodのログ等を確認しました。

sudo systemctl status kubelet
sudo journalctl -xe
kubectl get pod -A -o wide
kubectl get describe pod xxx -n kube-system
kubectl logs {Pod名} -n kube-system
kubectl get node -o wide