KubernetesのNetworkPolicyとかNodeAffinityやinitContainersを備忘録的にメモ

タイトルの通りですが、備忘録です。 色々と機能あるので知らないことがいっぱいです。記憶定着させる意味も込めて書いているのでそんなたいした内容はないです。

Kubernetes の dev 環境 では skaffold + kustomize が超便利な話。〜 CI/CD を考えてみた 〜

Kubernetes の CD （継続的デリバリー）の話です。

Kubernetes って便利だなって思う反面、いちいちコンテナのイメージをビルドしたりプッシュしたり Kubetenetes へデプロイしたりするのが非常に面倒になってきました。みんなそうですよね。Dev 環境だけでも簡単にデプロイ環境作れないかなと思って色々試してみました。

ちなみに Kubernetes の基礎知識が足りてないな、知識ちゃんと保管したいな・・・って人は以下の参考書がオススメです。 かなり詳細にそして網羅されているので、これ一冊読んでおけば大丈夫です。電子書籍版もあります。

Kubernetes完全ガイド (impress top gear)

skaffold　について

Google が開発している Kubernetes 向けの CD　ができるツールです。特にサーバとかいらないのでお手軽に環境が作れます。

上記の図の通り、build, push, deploy の一連の流れを組むことができます。

https://github.com/GoogleContainerTools/skaffold

今回は、Dev 環境で skaffold dev を主に使っているのですが、一連の流れをコマンド一発で実現できますし、ログを垂れ流してくれるのが嬉しいですね。

kustomize について

Dev 用の yaml と Prd 用の yaml を生成するためにつかっています。 base に対して環境ごとの overlay を適用するため、以下のようなディレクトリ構造にしています。

├── base
│   ├── kustomization.yaml
│   ├── cert-secret.yaml
│   ├── deployment-app.yaml
│   ├── env-map.yaml
│   └── service.yaml
├── overlays
│   ├── development
│   │   └── kustomization.yaml
│   └── production
│       ├── kustomization.yaml
│       ├── service.yaml

以下のようなコマンドで development の yaml を生成しています。

kustomize build overlays/development/ > dev-k8s.yaml

環境準備

まずは skaffold をインストールします。MAC OSX だと以下の通りです。 特にサーバコンポーネントを入れる必要などはありません。

curl -Lo skaffold https://storage.googleapis.com/skaffold/releases/latest/skaffold-darwin-amd64 && chmod +x skaffold && sudo mv skaffold /usr/local/bin

次に skaffold のレポジトリをクローンします。

git clone https://github.com/GoogleContainerTools/skaffold

以下に各種設定ファイルがあります。

cd examples/getting-started

skaffold.yaml を見てみます。

Docker file を元にイメージをビルドして gcr にあげて、kubernetes に k8s-pod.yaml を元にデプロイします。

次は以下のコマンドで実行してみます。

skaffold dev

docker build / docker push / kubectl apply が実行され、 Hello world! が表示されます。

[getting-started] Hello world!

さて、このまま main.go を書き換えてみましょう。再度一連の流れが走り、以下の通り出力が変わります。

[getting-started] Hello jerry!

skaffold の簡単な使い方とインストールは大丈夫ですね。 次に kustomize をインストールします。

brew install kustomize

kubernetes のデプロイ環境構築

skaffold も踏まえて以下のディレクトリ構造にしました。kubesec で復号化したファイルを元に kustomize でマニュフェストを生成しています。そのため、非暗号化テキストが入るため、manifest 配下を .gitignore に入れるようにしています。

├── README.md
├── base
│   ├── kustomization.yaml
│   ├── cert-secret.yaml
│   ├── deployment-app.yaml
│   ├── env-map.yaml
│   └── service.yaml
├── depoly_dev.sh
├── manifest
│   ├── dev-k8s.yaml
│   └── prd-k8s.yaml
├── overlays
│   ├── development
│   │   └── kustomization.yaml
│   └── production
│       ├── kustomization.yaml
│       ├── service.yaml
└── skaffold.yaml

Dev 環境のデプロイ

流れは以下の通りです。

- アプリケーションの更新
  -  skaffold dev を実行 -> Dockerfile(ないしは関連するファイル) の更新 -> 動作確認- > Dockerfile(ないしは関連するファイル) の更新 -> 動作確認
- kubernetes のマニュフェスト更新
  - skaffold dev を実行 -> マニュフェストの更新 -> 動作確認 -> マニュフェストの更新 -> 動作確認

ちなみに、アプリケーションと kubernetes のマニュフェストは別のレポジトリで管理しています。そのため、github submodule を使ってマニュフェスト側に取り込んでいます。

マニュフェストの生成部分を説明していなkったので説明しておきます。kustomize では、 base ないしは overlay、kustomization.yaml を更新してマニュフェストを生成します。

kustomize build overlays/development/ > dev-k8s.yaml

overlays/production/kustomization.yaml を見て見ます。namespace やファイルの頭、label に dev を一括で入れてくれます。image tag は base 側では指定せずにこちらで上書きします。

namespace: dev
bases:
- ../../base
namePrefix: dev-
commonLabels:
  env: dev
patches:
- service.yaml
imageTags:
- name: <private registry>/test-app
  newTag: "0.3"

あとは skaffold dev 叩けば OK です。

depoly_dev.sh は Kustomize や submodule 周りの処理をまとめたものです。 depoly_dev.sh を実行して必要な操作をワンコマンドで実行します。

Prd 環境のデプロイ

Prd では別のデプロイ方法を利用しています。 Devで気がすむまでテストをしているので、作業は少ないです。ある程度手作業を入れながら慎重に実施する方針で考えています。

少し話が逸れますが、 Prd 環境では Kustomize を利用してサービスも上書きしています。イメージを掴むためにサンプルを書いておきます。

• base の yaml

apiVersion: v1
kind: Service
metadata:
  name: test-lb
spec:
  type: LoadBalancer
  ports:
    - name: "ldap-port"
      protocol: "TCP"
      port: 80
      targetPort: 80
  selector:
    app: test-subldap

• overlay の yaml

apiVersion: v1
kind: Service
metadata:
  name: test-lb
spec:
  type: LoadBalancer
  loadBalancerIP: 10.10.10.10

本題に戻ります。image の作成には CircleCI を使っています。 tag がつくと CircleCI が docker registry に push するようにしています。

シンプルすぎてこれといってないですが、 .circleci/config.yml は以下の通りです。 本当はブランチの名前ごとに処理を分岐して CircleCI 側でもう少し処理するのが良いですね。

version: 2
jobs:
  build:
    docker:
      - image: circleci/golang:1.9.3
    working_directory: ~/app
    steps:
      - setup_remote_docker:
          docker_layer_caching: true
      - checkout
      - run:
          name: Build
          command: docker build -t ${IMAGE_NAME}:latest .
      - run:
          name: Tag to latest
          command: docker tag ${IMAGE_NAME}:latest ${OWNER}/${IMAGE_NAME}:$CIRCLE_TAG
      - run:
          name: Docker Login
          command: docker login -u ${DOCKER_USER} -p ${DOCKER_PASS} <private registry>
      - run:
          name: Push image to registory
          command: docker push ${OWNER}/${IMAGE_NAME}
workflows:
  version: 2
  build:
    jobs:
      - build:
          filters:
            branches:
              ignore: /.*/
            tags:
              only: /.*/

このような .circleci/config.yml になっているので、以下のように tag を push するとビルドが走るようになっています。Dev でテストして満足いったら tag つけるだけという感じです。

git tag 0.3
git push origin --tags

Kustomize で Prd 用のマニュフェストを生成して（これも Dev で検証しているので、共通の base ファイルは更新されている前提です）、kubernetes 側に適用します。

kubectl apply -f prd-k8s.yaml

一連の流れは bot 化しても良いかなと思いましたが、こなれてくるまで一旦手動にしています。

まとめ

kubernetes の CD はなかなかこれというのが見つからず、skaffold は割とシンプルで手元で試せるので面白かったです。一つ難点があるとすれば、手元のクレデンシャルに従って kubernetes にデプロイされるため環境間違いが怖いなというところです。spinnaker もいいかなと思いましたが、今回の環境にはオーバースペックかなと思ったので、また改めて機会をみてトライしてみようかなと思います。

---

シェアして頂けると嬉しいです。
参考になったという方がいれば是非お願いしますm(_ _ )m
モチベーション維持の観点で非常に励みになります。

ツイート

Kubernetes完全ガイド (impress top gear)

入門 Kubernetes

Docker/Kubernetes 実践コンテナ開発入門

完全食・MRPなマイオプレックス1ヶ月飲んだら効果があったのでレビューしてみる

エンジニアの食生活的なお話です。 栄養とか体調には昔から凝ってまして、特にエンジニアは座りっぱなしだったり不規則な生活をすることが多いですし、コーラがぶがぶ飲んでる人とか多いですよね。それはさておき、業務時間でのパフォーマンスは健康体であることが非常に大きく関わるので、すごい大事って話です。

まず、MRPって何？ってところですが、置き換え食的なものです。 「Meal Replacement Powder」の略らしいです。

私はお昼ご飯をこれに変えてます。全部じゃないです。 週の２〜３をマイオプレックス＋牛乳にしています。

マイオプレックスが買えなくなってしまったので、このページの最後に代替えを書いておきます。

結論書いておきます。よかったのは以下の３点です。

1. 自由な時間が増えた

2. 体重が３キロくらい減った

3. 節約になった

個別で解説しておきます。

1. 自由な時間が増えた

個人的な１番はこれです。自席周辺で全部済むので、かなり時間節約になります。 ニュースみながら 5 分くらいで済みます。あとは洗う時間だけです。 ちなみにこの記事も時間ができた昼休みに書いています。

メリハリが欲しい性格なので、情報収集などは休憩中にまとめて業務時間には集中して一つのことに専念したりしたいです。（現実問題難しいけど）

こういう自分で自由に過ごせる時間が増えるのは想像以上にいいことだと思います。

2. 痩せた（体重が３キロくらい減った）

ダイエットをするつもりはなかったのですが、おおよそ３キロくらい平均落ちました。元々体重は平均より少ないのです。 運動したりもしますし人一倍食生活は好きで気を遣っているので色々要因はあるかもしれませんが、３キロのうちの大半はこれが寄与していると思います。気を遣っていると言いましたが、月に１〜２回ほど二郎インスパイアのラーメン食べたりもしますし、毎日ピリピリして摂生しているわけではないです。

• マイオプレックス＋ローソンの低脂肪乳（厳密には牛乳じゃない）
• マイオプレックス（ハーフ）＋ローソンの低脂肪乳＋甘栗

こんな感じで適当に組み合わせてその日の気分で運用してます。

3. 節約になった

iHerbで買うと一食分のマイプレックスが260円くらいです。 為替によって変動しますが、5200円 - 5500円くらいで20食分です。 そこに 5% 引きのクーポン QIG949 を入れるとそれくらいになります。

ちなみにマイオプレックスの購入はこちらです ※ 2019年2月追記: 買えなくなっているようですね。。ページの最後に代替品を紹介しています。

その他

あと個人的に良かったなと思う点を何個か。

a. 昼食後の眠気が来たりはほとんどないです。

もともとそんなにないですが、ほぼ皆無って感じです。安定しているイメージです。 1. で書きましたがある程度時間も創出できますしとても良いです。

昼ごはんダラダラ食べる -> 食後眠い なサイクルと比べると日々の積み重ねではだいぶ時間が変わります。

b. たまに食べる普通の昼ごはんが美味しい

週２から３にしているのは、やっぱり誰かとお昼食べたかったりするのでそうしいてるのですが、毎日だとまたここか的な飽きもあるのですが、久しぶりにいくとかなり美味しく感じます。最高です。

c. 腹持ち

これもよく聞かれますが、実は半分で十分なので全部飲んでないです。その場合、だいたい正午にたべて夕方5時くらいまではもつイメージです。適当におやつ食べます（ちゃんとしたもの）。食事は小分けの方が好きなので悪くないです。

d. 栄養素について

公式ページに書いてます。

こうしてみるとビタミンB1・B2入ってないんだとか発見もありますが、割とまんべんなく入っていると思います。わかると思いますが全食置き換えでなくて、ちゃんと別のタイミングでもまんべんなく取るべきです。

ちなみに、COMPとの比較はこちらがとてもわかりやすかったです。

完全栄養食品・MRPの比較 | 完全食（完全栄養食）

マイプレックスの購入先について

iHerb から買いました。こちらです。味はチョコレートを買いました。海外ですが1週間くらいで届きました。プロテインとかもあるのでここでまとめて買ってます。

マイプレックスは買えなくなってしまったので、代替品だとこの辺りかなと思います。

Choice KETO PROTEIN (ケトプロテイン) MRP プロテイン ダブルココア 1.35kg [ 人工甘味料 GMOフリー ] 食事代わり グラスフェッド 国内製造 (チアシード 乳酸菌ブレンド)

kentai　健康体力研究所　MRP PRO（エムアールピープロ）　ボックス(10袋入）　K3506

【健康体力研究所 （Kentai）】 MRP PRO （１０袋入り）

粉ではなく食事がよければ以下がオススメです。 komeiy.hatenablog.com

まとめ

色々書きましたが、一番大きかったのは時間のゆとりです。 これらの商品を毎日絶対食べるっていうのはオススメはしませんが、使い方次第ではかなり有益なものだと思います。

頑張りすぎず日々の生活に少しでも取り込めると良いエンジニアライフが送れるのでは？

---

シェアして頂けると嬉しいです。
参考になったという方がいれば是非お願いしますm(_ _ )m
モチベーション維持の観点で非常に励みになります。

Kubernetes v1.11 を scratch install したら理解深まるじゃんって話

kubeadm とか使わずに Kubernetes を構築するって大変ですよね。 ただ、一から構築することで学ぶことがあると教わりまして重い腰をあげて構築してみました。

結論として順番に組み立ててくと理解深まります。できればハマった方がいいので手順は書きますが、 バージョン変えたりしてハマってみてください。

事前準備

ドキュメントを読む

公式ドキュメントは以下の通りです。予備知識なしでこの通りに進めるのは難しいかなと思いますが、 読んでおくといいです。

https://kubernetes.io/docs/setup/scratch/

頭に構成を描いておく

kubelet がいて api server がいてとかの概要図は以下を見てイメージしておくといいと思います。

※ 公式 から引用

構築環境

今回、VM 上に作成しようと思います。物理サーバでもいいですし何らか構築環境を準備してください。 Master Node 1台、Regular Node (公式曰くこう呼ぶらしい。Minions ではないのかな)を 1台の構成でいきます。

ちなみに公式ドキュメントによると以下の構成で構築するようです。

Nodes

・You can use virtual or physical machines. ・While you can build a cluster with 1 machine, in order to run all the examples and tests you need at least 4 nodes. ・Many Getting-started-guides make a distinction between the master node and regular nodes. This is not strictly necessary. ・Nodes will need to run some version of Linux with the x86_64 architecture. It may be possible to run on other OSes and Architectures, but this guide does not try to assist with that. ・Apiserver and etcd together are fine on a machine with 1 core and 1GB RAM for clusters with 10s of nodes. Larger or more active clusters may benefit from more cores. ・Other nodes can have any reasonable amount of memory and any number of cores. They need not have identical configurations.

サーバセットアップ

今回は VM を使います。 16.04.5 LTS を利用しています。

今回は、 hosts ファイルにそれぞれのサーバを登録しておきました。

net.ipv4.ip_forward を 1 にしておきます。忘れると意外と気づかないハマりポイントなので気をつけてください。

dokcer install

以下を参考にしておくと良いかと思います。 18.06.0-ce をインストールしました。

https://docs.docker.com/install/linux/docker-ce/ubuntu/#install-docker-ce

kubernetes の バイナリ を install

ここからが本題です。ちなみに SSL なしで構築します。

以下から kubernetes.tar.gz をダウンロードします。 本記事では v1.11.2 を入れています。 URL は latest にしています。

https://github.com/kubernetes/kubernetes/releases/latest

適当な場所に落としてください。後々バイナリだけ取り出します。

$ wget https://github.com/kubernetes/kubernetes/releases/download/v1.11.2/kubernetes.tar.gz

公式マニュアルにもありますが、./kubernetes/server 配下のファイルを解凍してください。

Download the latest binary release and unzip it. Server binary tarballs are no longer included in the Kubernetes final tarball, so you will need to locate and run ./kubernetes/cluster/get-kube-binaries.sh to download the client and server binaries. Then locate ./kubernetes/server/kubernetes-server-linux-amd64.tar.gz and unzip that. Then, within the second set of unzipped files, locate ./kubernetes/server/bin, which contains all the necessary binaries

kubelet や kube-proxy などバイナリ一式 /usr/local/bin へ移動しておきます。 kube-apiserver など master でのみ必要なものもありますが、分類が手間なので一式移動してしまいます。

kubetlet

kubelet は pod を起動し管理する役割を持っています。docker と apiserver の間にいるイメージです。 まずはそのことを理解をするため、Node に単体で動かしてみます。ここでは apiserver を指定しません（まだいないのですし）

nginx を起動するマニュフェストを kubelet に読み込ませて起動します。

$ kubelet --runtime-cgroups=/systemd/system.slice --kubelet-cgroups=/systemd/system.slice --pod-manifest-path /tmp/nginx.yaml &> /tmp/kubelet.log &

runtime-cgroups の部分ですが、Failed to get system container stats for のようなエラーが出たため、こちらを参考にいれています。

さて、docker コマンドで見てみましょう。nginx のコンテナできてますね。

$ docker ps -a
CONTAINER ID        IMAGE                  COMMAND                  CREATED             STATUS              PORTS               NAMES
1f979d3281fb        nginx                  "nginx -g 'daemon of…"   3 minutes ago       Up 3 minutes                            k8s_nginx_nginx-komei-k8s-master_default_8041421870561284c2290a9297f98428_0
06786bd7d802        k8s.gcr.io/pause:3.1   "/pause"                 3 minutes ago       Up 3 minutes                            k8s_POD_nginx-komei-k8s-master_default_8041421870561284c2290a9297f98428_0

docker inspect を叩い て ip アドレスを覗き見してみます。直接 curl でアクセスするとデフォルトページが出てくるはずです。

# curl 192.168.99.2
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
    body {
        width: 35em;
        margin: 0 auto;
        font-family: Tahoma, Verdana, Arial, sans-serif;
    }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>

kube-apiserver

api server は名前の通りですが、kubectl を叩いた時や kubelet など各コンポーネントとの通信を受け付けます。 ここから master を組み立てていきます。

etcd

etcd が必要となりますのでインストールします。

$ wget https://github.com/coreos/etcd/releases/download/v3.3.9/etcd-v3.3.9-linux-amd64.tar.gz
$ tar xzvf etcd-v3.3.9-linux-amd64.tar.gz
$ cd etcd-v3.3.9-linux-amd64
$ cp etcd* /usr/local/bin/

次に起動します。

$ etcd --listen-client-urls http://0.0.0.0:2379 --advertise-client-urls http://<master ip address>:2379 &> /tmp/etcd.log &

etcdctl を使って起動確認しておきます。

$ etcdctl cluster-health
member 8e9e05c52164694d is healthy: got healthy result from http://<master ip address>:2379
cluster is healthy

一応、 ss -ltn で 2379 が開いていることも確認しておくと良いでしょう。

kube-apiserver

kube-apiserver のバイナリはすでに配置していますので、起動するのみです。 オプションで先ほど渡した etcd を渡します。service-cluster-ip-range はその名の通りですが、kubernetes のクラスタ内でのみ疎通が可能な ClusterIP の払い出しレンジを設定しています。admission-control は off にしています（後述）

$ kube-apiserver --etcd-servers=http://localhost:2379 --service-cluster-ip-range=192.168.199.0/24 --bind-address=0.0.0.0 --admission-control="" --insecure-bind-address=0.0.0.0 &> /tmp/apiserver.log &

それでは起動確認をしてみましょう。自身の 8080 へアクセスしてみます。

$ curl http://localhost:8080/api/v1/nodes
{
  "kind": "NodeList",
  "apiVersion": "v1",
  "metadata": {
    "selfLink": "/api/v1/nodes",
    "resourceVersion": "37"
  },
  "items": []
}

まだ node がいないですね。Node 側で kubelet に apiserver の値を設定してもう一回起動してみます。 ちなみに、 --api-servers は利用できなくなっているので、以下のように kubernetes.conf を利用してみます。

$ cat /etc/kubernetes/kubelet.conf
apiVersion: v1
clusters:
- cluster:
    server: http://<master ip address>:8080
kind: Config
preferences: {}
users: []
$ 
$ kubelet --runtime-cgroups=/systemd/system.slice --kubelet-cgroups=/systemd/system.slice --kubeconfig=/etc/kubernetes/kubelet.conf &> /tmp/kubelet.log &

では同じように curl を叩いてみましょう。node が出力されるはずです。 /etc/kubernetes/kubelet.conf と同様の内容を ~/.kube/config に設定して kubectl を叩いてみます。

$ kubectl get nodes
NAME                STATUS    ROLES     AGE       VERSION
komei-k8s-node01   Ready     <none>    16s       v1.11.2

$ Master でも kubelet を起動して確認してみます。

$ kubectl get nodes
NAME                STATUS    ROLES     AGE       VERSION
komei-k8s-master   Ready     <none>    23s       v1.11.2
komei-k8s-node01   Ready     <none>    9m       v1.11.2

kubectl get nodes が出てきましたが、 service を作ったり pod を起動したり kubernetes を利用する上での操作は理解しているものとして記載しています。ちなみに以下の参考書を一式やってみるとこのあたりは理解できると思います。

入門 Kubernetes

kube scheduler

スケジューラは pod をどのノードに配置するのかを決める役割を持っています。 こちらもバイナリは配置済みなので起動だけします。

$ kube-scheduler --master=http://localhost:8080 &> /tmp/scheduler.log &

controller mangaer

Replication Controller や Service Account を管理します。これで master がほぼ完成です。 おそらくこれを立てる前に Service Account を見ても default がないはずです。

こちらも起動のみです。

$ kube-controller-manager --master=http://localhost:8080 &> /tmp/controller-manager.log &

同時に service account も作られます。

$ kubectl get serviceaccounts
NAME      SECRETS   AGE
default   0         42s

ちなみに admission-control を off にしておいたのは以下のようなエラーが出るのを避けるためです。

$ kubectl create -f /tmp/nginx.yaml
Error from server (ServerTimeout): error when creating "/tmp/nginx.yaml": No API token found for service account "default", retry after the token is automatically created and added to the service account

この辺りを読んでおくと良いと思います。

Managing Service Accounts - Kubernetes

no API token found for service account default/default, retry after the token is automatically created and added to the service account · Issue #33714 · kubernetes/kubernetes · GitHub

それでは pod がうまく起動したことを確認してみましょう。 ただ、無事に pod が立ったのに cluster ip でアクセスできないですよね？

ここからネットワーク周りを組み立てていきます。

kube-proxy

まさにという感じですね。Node にインストールします。

$ kube-proxy --master=http://<master ip address>:8080 &> /tmp/proxy.log &

ip a とか ip r すればわかりますが、これでも cluster ip へ疎通できる気がしないですね。

flannel

flannel です。Container Networking Interface (CNI) です。

今回、v0.10.0 を利用します。以下から落として例によってパスが通った場所へ配置します。

https://github.com/coreos/flannel/releases/download/v0.10.0/flannel-v0.10.0-linux-amd64.tar.gz

そして、flannel の設定を etcd へ設定します。

$ etcdctl mk /flannel/network/config/  '{"Network":"192.168.200.0/23"}'

flannel を起動します。

$ flanneld -ip-masq -kubeconfig-file /etc/kubernetes/kubernetes.conf --proxy-mode=iptables -etcd-endpoints=http://<master ip address>:2379 -etcd-prefix=/flannel/network &> /tmp/flanneld.log &

$ mkdir -p /etc/cni/net.d /opt/cni/bin/

以下の通り cni の plugin を一式配置します。

$ wget https://github.com/containernetworking/cni/releases/download/v0.6.0/cni-amd64-v0.6.0.tgz
$ wget https://github.com/containernetworking/plugins/releases/download/v0.7.1/cni-plugins-amd64-v0.7.1.tgz
$ cd /opt/cni/bin
$ tar xzvf /tmp/cni-amd64-v0.6.0.tgz
$ tar xzf /tmp/cni-plugins-amd64-v0.7.1.tgz

設定も入れておきます。

$ cat /etc/cni/net.d/flannel.conf
{
    "name": "podnet",
    "type": "flannel",
    "delegate": {
        "isDefaultGateway": true
    }
}

pod に使ってもらわないと意味がないので、conf と plugin の path を kubelet に渡します。 以下のオプションをつけて kubelet を起動し直します。

--network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin

すると cni0 がインタフェースとして作成され、pod で利用する veth の master が cni0 になります。

34: cni0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1472 qdisc noqueue state UP group default qlen 1000
    link/ether 5a:ba:f0:7b:79:96 brd ff:ff:ff:ff:ff:ff
    inet 192.168.201.1/25 scope global cni0
       valid_lft forever preferred_lft forever
35: veth2005db1c@if3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1472 qdisc noqueue master cni0 state UP group default
    link/ether 6a:2d:31:c9:ee:cd brd ff:ff:ff:ff:ff:ff link-netnsid 0

ちなみに docker 周りなど systemctl daemon-reload かけて restart しないと反映されない箇所を触った場合は適宜実施してください。

動作確認

ここまでくるともう完成です。 ClusterIP で接続できますよね。 次に、Node Port で service を作ってみましょう。以下のようにアクセスできるはずです。

curl <node ip address>:30073
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
    body {
        width: 35em;
        margin: 0 auto;
        font-family: Tahoma, Verdana, Arial, sans-serif;
    }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>

まとめ

どうでしょうか？実際は理解が甘くてつまづいたりする箇所がありました。 バージョンが変わるとオプションが変わったりしますので、一度つまづいてみると理解が深まると思います。

まずは kubernetes を利用する側を勉強してみて、cluster を立てるという順番にで学習しました。 利用する部分は実際に実務で関われると良いと思いますが、機会がなければまずは網羅性の高い参考書を一冊やってみるとかなり理解は深まると思います。

---

シェアして頂けると嬉しいです。
参考になったという方がいれば是非お願いしますm(_ _ )m
モチベーション維持の観点で非常に励みになります。

ツイート

入門 Kubernetes

Docker実践ガイド impress top gearシリーズ

Kubernetes完全ガイド (impress top gear)

CDH5のでHadoopクラスタをインストールする

CDHとは

CDH は Apache Hadoop や関連製品を含む Cloudera のソフトウェアディストリビューションです。 Apache Flume や Hive や Spark、Kudu なども含みます。

CDH のおかげでとても簡単に環境を構築することが可能です。ただし、癖がある部分もありしっかりと手順を抑えておき、 やり直しがないようにしておく必要はありそうです。

ちなみに最近では EMR や Dataproc などもあるため自前で構築することは少し減ってきたかもしれません。 実際に裏で何をしているか理解するために、構築し冗長化をしてみたり触っていくことで内部を理解することも大事かもしれません。

Hadoopをインストール

事前知識

以下の参考書が基礎知識の習得にはよいと思います。日本語で書かれています。

Hadoopオペレーション ―システム運用管理ガイド

サーバの準備

今回、サーバを5台用意しました。HDFS と YARN の NameNode は後ほど冗長化します。 以下のスペックで用意しました。よく OOM になるのでメモリはそれなりに必要です。

CPU: 8core
Memory: 32GB
SSD: 100GB
OS: CentOS7

• すべて名前解決できる状態にしておきます。今回は hosts を全台に記載しておきます。

/etc/hosts /etc/hostname

• 時刻はすべて NTP と同期しておきます

• yum update でパッケージを最新にしておきます

• 各サーバに鍵認証かパスワードで SSH ログインできる環境を作っておきます

• swap と transparent hugepages の調整

以下のような警告がでます。調整しておくと良いと思います。

/proc/sys/vm/swappiness を最大値の 10 に設定することをお勧めします。現在の設定は 30 です。sysctl コマンドを使用して、この設定を実行時に変更します。この設定が再起動後に保存されるよう /etc/sysctl.conf を編集します。インストールは続行できますが、スワッピングが原因でホストの状態に問題が発生したと Cloudera Manager からレポートされる可能性があります。以下のホストが影響を受けます

$ echo 10 > /proc/sys/vm/swappiness

恒久的には以下の対応を入れてください。

vm.swappiness = 10

$ echo never > /sys/kernel/mm/transparent_hugepage/defrag
$ echo never > /sys/kernel/mm/transparent_hugepage/enabled

こちらも同じように恒久的には rc.local などに記載をしておきます

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

インストール

以下、サーバ1台 で作業します。インストーラが立ち上がりますので、Next で次へ進んでいきます。

$ cd /tmp
$ curl -O http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin
$ chmod +x cloudera-manager-installer.bin
$ ./cloudera-manager-installer.bin

CDH セットアップ

インストールが終わったら、対象サーバの 7180 ポートへアクセスします。 ポートが開くまで時間がかかると思います。

初期パスワードは admin / admin です。

ライセンスに同意して続けます。

今回はサポートなどは必要ありませんので、Express 版を利用します。

このまま続けます

IPアドレスを記載してスキャンします

SSH が可能なユーザと鍵(もしくはパスワード)を設定します

parcel によって全サーバに展開されます

今回は、コア Hadoop でインストールします

各サーバに割り当てるロールを選択します

今回、データベースは組み込みの PostgreSQL を利用します

セットアップが進みます。名前解決に問題があるまま進んでいるとここで大コケします

問題なければセットアップが完了します。

管理画面です。

次回は NameNode の冗長化を書きたいと思います。

---

シェアして頂けると嬉しいです。
参考になったという方がいれば是非お願いしますm(_ _ )m
モチベーション維持の観点で非常に励みになります。

ツイート

Hadoop超入門: - ビッグデータ時代のオープンソース分析基盤 -

ビッグデータを支える技術―刻々とデータが脈打つ自動化の世界 (WEB+DB PRESS plus)

Hadoop徹底入門 第2版 オープンソース分散処理環境の構築

はじめてのHadoop ~分散データ処理の基本から実践まで

エンジニアがマネジメントをする時に読むと良いオススメ本まとめ

はじめに

このブログを読んでくれる人はエンジニアの人だと思うのですが、明日からチームのマネジメントをすることになったらどうしますか？

そもそもマネジメントって言ったら何をイメージしますか？

ある人はプロジェクトマネジメントをイメージするかもしれません。一方ではピープルマネジメントをイメージするかもしれません。他にもプロダクトやサービスを成長させるプロダクトマネジメントだったり、一口にマネジメントと言っても様々です。

まずは自分が何のマネジメントを期待されているのか、自分がその役割を担うことで会社に何を貢献できるのか考えてみるといいのかもしれません。

マネジメントに関しては、今まで自分が見てきたマネジメントに寄っていくのが普通だと思います。誰も教えてくれないものなのでまずは様々な形の情報を集め自分なりのものを見つけていくのがよいと思います。ということで2017年に読んだ本をまとめてみました。（ピープルマネジメントに寄ってます。）

読んだ本まとめ

モチベーション革命 稼ぐために働きたくない世代の解体書

モチベーション革命　稼ぐために働きたくない世代の解体書 (NewsPicks Book)

これはかなりの良本だなと思います。今の時代にあっていると思います。特に第1章は必見です。乾いている世代と乾いてない世代とは？多様性を理解するためにとても大事な本です。1回読んでおいた方が良い本だと思います。

あなたのチームは機能してますか

あなたのチームは、機能してますか？

こちらもかなりの良本です。ストーリー仕立てで、チームが信頼関係を築くまでのプロセスが描かれています。新CEOとして着任したキャスリンがどうやってチームをまとめあげていくのかノウハウが詰まっています。自分の組織はどのフェーズにいるのか読んでみると良いと思います。まずはこれを読むべきだと思います。役割としてマネジメントではない人もチームビルディングに少しでも興味あるならオススメです。

チームが機能するとはどういうことか――「学習力」と「実行力」を高める実践アプローチ

チームが機能するとはどういうことか――「学習力」と「実行力」を高める実践アプローチ

チームが対話し内省をし成長するチームを作るための本、そのための環境作りやリーダーがやることが書いてある本です。ビジョン、心理的安全、場の構築などリーダーに必要なことがしっかりと書いてあります。あなたのチームは機能してますかの補足＋αとして利用すると良いと思います。それなりに量があるので気をつけてください。

リーダーのための！　コーチングスキル

リーダーのための! コーチングスキル

これを読んだのは1年前ほどです。コーチングってピンとこないですね。Googleはマネージャについて以下のように定義しています。

www.infoq.com

1. よき指導者である
2. チームに権限を委譲し、細かいところまで管理しない
3. チームメンバの成功と個々人の幸せに関心を示す
4. 生産的であり、結果重視である
5. コミュニケーションをとる能力が高い
6. チームメンバのキャリア開発を手助けする
7. チームに対して明確なビジョンを持っている
8. チームに助言を与える重要な技術スキルを持つ

これを見るとスーパーエンジニア(?)スーパーマン(?)ですね。耳が痛いですね。これできそうな人は一人しか知りません・・。 ちなみに、僕が所属しているチームは技術的にも人柄的にも皆素晴らしいものを持っている人ばかりです。そんな人たちに自分がどういった関わりができるかまだ答えはできておりませんが、自分との会話の中で気づきを得てもらえるように自分の秀でた部分を探すところから始めていきたいと思います。面談が雑談に終わっている、自分ばっかり喋っているという人は見ると良いかと思います。

フィードバック入門 耳の痛いことを伝えて部下と職場を立て直す技術 (PHPビジネス新書)

フィードバック入門 耳の痛いことを伝えて部下と職場を立て直す技術 (PHPビジネス新書)

耳の痛いことを伝えて部下と職場を立て直す技術 というキーワードは少し私の思想とは違いますが(まず部下という言葉は馴染めません・・・)、フィードバックはとても大事です。言えないことでメンバーが正しい道に進んでない状態は避けなければいけません。ショートフィードバック大事です。

役割が違えば見ている視点も違うということを理解して効果的なフィードバックの技術を身につけると良いと思います。特に悪いフィードバックは日本人は苦手ですので。

ザ・ファシリテーター Kindle版

ザ・ファシリテーター

この手の本では有名なファシリテータの道具箱をストーリーベースで描いたようなものと理解すれば良いと思います。SWOT分析、パレット分析、PA、ジョハリの窓、タックマンモデルなど様々な手法が出てきます。復習にも良い本だと思います。

まとめ

他にも何冊か読んだなのですが、去年読んだ本を何冊かピックアップしてまとめてみました。

最近は、マネジメント3.0 のような自己組織化が流行っているかと思います。いわゆるマネジメントをするということを意識しない組織になることを目指すなど、自分の理想を考えておくのが良いと思います。その上でコーチングなど必要に応じて取り入れて行くのが良いと思います。

今も読んでいる本が何冊かあるのですが、ニーズがあれば公開していきたいと思います。読んでいる方の参考になれば幸いです。

---

シェアして頂けると嬉しいです。
参考になったという方がいれば是非お願いしますm(_ _ )m
モチベーション維持の観点で非常に励みになります。

ツイート

OpenStack技術者認定試験のOPCELに合格しました

OPCELとは

OPCELはOpenStack Professional Certification Exam by LPI-Japanの略称で、OpenStackの構築・運用に必要となる技術力に関する試験です。

以下、公式ページから抜粋です。

OPCEL認定試験はOpenStackに関する専門知識や構築・運用管理のスキルを認定する試験です。 本試験に合格したエンジニア（OPCEL認定プロフェッショナル）は、下記のOpenStack環境の構築・運用管理に必要な技術力を持ち、質の高いクラウドインフラを構築できるプロフェッショナルであることを証明できます。 また、OPCEL認定プロフェッショナルは「最先端のクラウドプロジェクトへの参加機会」や「大規模クラウドプロジェクトでの重要ポジションの機会」を得ることができます。

この試験では、オペレータとしての観点とアドミニストレータの観点での知識が必要となります。

試験問題について

試験では以下のような内容が問われます。ちなみに出題されるリリースは記事執筆現在ではkilloです。

• クラウドについて
• OpenStackのアーキテクチャについて
• keystone
• nova
• neutron
• glance
• cinder
• swift
• インストレーション
• Horizon
• Ironic
• murano, manillaなど

サンプルが以下に掲載されています。サンプルは例題提供を基に作られており、基本的な内容の問題が掲載されている印象です。

https://opcel.org/example

出題範囲が以下に記載されています。

https://opcel.org/examarea

ここに記載があるオペーレタの側面、アドミニストレータの側面についてはしっかりと理解できるようマニュアルを熟読する必要があります。

勉強の方法・ポイントについて

まず自分の知識の偏りをなくすために、以下の参考書を使って満遍なく勉強しました。模擬試験が最後に3つほど付いていますので自分が理解てきていないポイントを確認できます。

私はSwift が苦手項目でしたので重点的に学習しました。ある程度、学習のポイントと問題の傾向がつかめるかと思います。個人的には必須書籍だと思います。

OPCEL認定試験 OpenStack技術者認定試験対策教科書

他には、少し前のものにはなるのですが中井さんの以下の参考書を利用するのも良いと思います。かなり良本だと思います。

オープンソース・クラウド基盤 OpenStack入門　構築・利用方法から内部構造の理解まで (アスキー書籍)

参考書と合わせて以下についても確認しておきます。実際に触っていないとかなり細かいところまで見ないといけないので正直なところ大変かなと思います。

• コマンド

コマンドについては参考書で一通り網羅できますが、合わせて以下でも復習しておきたいところです。

http://docs.openstack.org/cli-reference/openstack.html

• Ceilometer

出題の範囲の通り、主要コンポーネントよりは重要度は低いのですが、オペレータの側面だけでなくアドミニストレータとして仕組みを抑えておきましょう。

http://docs.openstack.org/developer/ceilometer/architecture.html

• Ironic

Ironicも同様に仕組みを抑えておきましょう。

http://docs.openstack.org/developer/ironic/deploy/user-guide.html

http://docs.openstack.org/developer/ironic/deploy/install-guide.html

• その他

• GuestOS用imageの作成

• 各主要コンポーネントでできることを細かいところまで網羅する
• サブコマンドやオプションをある程度把握しておく

まとめ

OPCELはOpenStackの知識をまんべんなく問われる試験です。上記のポイントを押さえつつ自身のOpenStackとの関わり合いに合わせて参考書やマニュアルで知識を保管しておくと良いと思います。

個人的には、今回の受験で知識の底上げができて良い機会になったと思います。

---

シェアして頂けると嬉しいです。
参考になったという方がいれば是非お願いしますm(_ _ )m
モチベーション維持の観点で非常に励みになります。

ツイート

OpenStackクラウドインテグレーション オープンソースクラウドによるサービス構築入門

OPCEL認定試験 OpenStack技術者認定試験対策教科書

オープンソース・クラウド基盤 OpenStack入門　構築・利用方法から内部構造の理解まで (アスキー書籍)

OpenStack 構築手順書 Kilo版 (Think IT Books)