自宅Kubernetesクラスタ

#kubernetes

GitHub:https://github.com/piny940/infra

はじめに

現在、自宅サーバー上では2つのKubernetesクラスタを動かしています。（production環境とstaging環境）
構築にあたって、様々な苦労や工夫をしてきたので、この記事では実際にクラスタ構築をどのような流れで行ってきたのか、そしてどういった工夫をしてきたのかをまとめていきます。

動機

Kubernetesクラスタを立てる前は、自宅サーバー上でDockerを使ってサービスを公開していました。しかし、Dockerを単純に使うだけだと、デプロイをするために毎回サーバーにログインして git pull ・ docker compose up する必要がありました。結果としてデプロイを後回しにしてしまい、デプロイ頻度が低下するという問題がありました。

デプロイを自動化するだけであれば、他のツールを使うという選択肢もありますが、当時Kubernetesに興味が合ったこともあり、Kubernetesクラスタを構築することにしました。

開発期間

	期間
Kubernetesの勉強	2023年11月
クラスタ構築	2023年12月〜現在

開発の流れ

0. Kubernetesの勉強

当時はKubernetesについてはほとんど知識がなかったため、まずはKubernetesの基本的な概念や使い方について学習しました。その際には、以下の書籍を参考にしました。

Kubernetes実践ガイドクラウドネイティブアプリケーションを支える技術

1. VPSでのクラスタ構築

自宅サーバー上では既に公開しているサービスがあったため、自宅サーバー上でKubernetesの動作検証をすることはできませんでした。そのため、はじめはVPS上でKubernetesクラスタを構築し、動作検証を行いました。

クラスタ内ネットワークがうまく動作しないなどの問題に遭遇しましたが、サークルの先輩に相談しながら解決していきました。

このあたりの話は別の記事にまとめています。↓

https://qiita.com/piny940/items/3c1c10b80c7e173d527d

2. VPSのクラスタ公開

Podを作成することはできたものの、外部からアクセスできるようにするためには、Ingressリソースを使ってサービスを公開する必要があります。

ただ、ここでまた問題が生じます。クラウド上にKubernetesクラスタを立てる場合はクラウドが提供するロードバランサーを使ってIngressリソースを公開することができますが、ベアメタルサーバー上でKubernetesクラスタを構築した場合、ロードバランサーを使うことができません。

そのため、MetalLBというツールを使って、ベアメタルサーバー上のサービスを公開できるようにしました。

https://qiita.com/piny940/items/0ee6a391802c21ab48c1

3. CSIドライバの導入

データベースを使う場合、Persistent Volumeを使うことになります。そのとき必要になってくるのがCSIドライバです。

使用するCSIドライバの候補としては、分散ストレージを提供するCephとLonghornが挙がりました。
ただ、調べたところCephは1つのVolumeでも複数のノードにデータを分散させて保存するため、クラスタが壊れたときにデータの修復が難しいという問題がありました。

もちろんCephのようにデータを分散させることで並列IOが可能になり、パフォーマンスが向上するというメリットもありますが、今回はそれほどパフォーマンスが必要になるケースはないだろうと考え、Longhornを採用しています。

4. 自動デプロイ基盤の構築

Kubernetesクラスタが構築できたので、次は自動デプロイ基盤を構築しました。

IaC・デプロイツールとしては、以下の2つのツールが候補として挙がりました。

ArgoCDは多くの企業で採用されており、UIが充実しているというメリットがあります。

ただ、調べたところ、ArgoCDはFluxに比べて早くに登場したツールのため、よく使う設定がCustom Resourceの設計に上手く組み込まれておらず、大量のannotationを書かなければならないという不便さがありました。

その点、FluxはCustom Resourceの設計がよくできており、設定がシンプルであるというメリットがあります。

UIについては、そもそもUIではなくYamlファイルをGitHubにpushするというデプロイ方法を採用する予定だったため、UIの充実度はあまり重要ではありませんでした。

以上のことから、デプロイツールにはFluxCDを採用しました。

実装の話は別の記事にまとめています。↓

https://qiita.com/piny940/items/536123b1c4b1884180fe

5. 自宅サーバー上でのクラスタ構築

VPS上でのクラスタ構築がうまくいったため、自宅サーバー上でのクラスタ構築に取り掛かりました。

VPSで動作確認をしてきただけあって、自宅サーバー上でのクラスタ構築はスムーズに進みました。

https://qiita.com/piny940/items/699120125d3701eea662

6. Secret管理基盤の構築

Kubernetesクラスタを構築すると、Secretの管理が必要になります。

KubernetesのSecretはBase64エンコードされているだけで、暗号化されていないため、マニフェストに記述してGitHubにpushするという方法はセキュリティ上よろしくありません。とはいえ、毎回サーバー上で kubectl apply -fするのも面倒ですしミスが発生する可能性が高まります。

そのため、Secret管理基盤を構築することにしました。

候補としては、以下の2つのツールが挙がりました。

各ツールのドキュメントを読んだところ、Secret Store CSI DriverはSecretをPodにマウントするという仕組みでSecretがPodに渡されるようになっているようでした。一方External Secret Operatorは、Secretそのものを作ってくれるので、汎用性が高いというメリットがあります。

以上のことから、Secret管理基盤にはExternal Secret Operatorを採用しました。

実装の話は別の記事にまとめています。↓

https://qiita.com/piny940/items/66214e8f7c8af18ba014