├── base
│   ├── kustomization.yaml
│   ├── cert-secret.yaml
│   ├── deployment-app.yaml
│   ├── env-map.yaml
│   └── service.yaml
├── overlays
│   ├── development
│   │   └── kustomization.yaml
│   └── production
│       ├── kustomization.yaml
│       ├── service.yaml

以下のようなコマンドで development の yaml を生成しています。

kustomize build overlays/development/ > dev-k8s.yaml

環境準備

まずは skaffold をインストールします。MAC OSX だと以下の通りです。特にサーバコンポーネントを入れる必要などはありません。

curl -Lo skaffold https://storage.googleapis.com/skaffold/releases/latest/skaffold-darwin-amd64 && chmod +x skaffold && sudo mv skaffold /usr/local/bin

次に skaffold のレポジトリをクローンします。

git clone https://github.com/GoogleContainerTools/skaffold

以下に各種設定ファイルがあります。

cd examples/getting-started

skaffold.yaml を見てみます。

Docker file を元にイメージをビルドして gcr にあげて、kubernetes に k8s-pod.yaml を元にデプロイします。

次は以下のコマンドで実行してみます。

skaffold dev

docker build / docker push / kubectl apply が実行され、 Hello world! が表示されます。

[getting-started] Hello world!

さて、このまま main.go を書き換えてみましょう。再度一連の流れが走り、以下の通り出力が変わります。

[getting-started] Hello jerry!

skaffold の簡単な使い方とインストールは大丈夫ですね。次に kustomize をインストールします。

brew install kustomize

kubernetes のデプロイ環境構築

skaffold も踏まえて以下のディレクトリ構造にしました。kubesec で復号化したファイルを元に kustomize でマニュフェストを生成しています。そのため、非暗号化テキストが入るため、manifest 配下を .gitignore に入れるようにしています。

├── README.md
├── base
│   ├── kustomization.yaml
│   ├── cert-secret.yaml
│   ├── deployment-app.yaml
│   ├── env-map.yaml
│   └── service.yaml
├── depoly_dev.sh
├── manifest
│   ├── dev-k8s.yaml
│   └── prd-k8s.yaml
├── overlays
│   ├── development
│   │   └── kustomization.yaml
│   └── production
│       ├── kustomization.yaml
│       ├── service.yaml
└── skaffold.yaml

Dev 環境のデプロイ

流れは以下の通りです。

- アプリケーションの更新
  -  skaffold dev を実行 -> Dockerfile(ないしは関連するファイル) の更新 -> 動作確認- > Dockerfile(ないしは関連するファイル) の更新 -> 動作確認
- kubernetes のマニュフェスト更新
  - skaffold dev を実行 -> マニュフェストの更新 -> 動作確認 -> マニュフェストの更新 -> 動作確認

ちなみに、アプリケーションと kubernetes のマニュフェストは別のレポジトリで管理しています。そのため、github submodule を使ってマニュフェスト側に取り込んでいます。

マニュフェストの生成部分を説明していなkったので説明しておきます。kustomize では、 base ないしは overlay、kustomization.yaml を更新してマニュフェストを生成します。

kustomize build overlays/development/ > dev-k8s.yaml

overlays/production/kustomization.yaml を見て見ます。namespace やファイルの頭、label に dev を一括で入れてくれます。image tag は base 側では指定せずにこちらで上書きします。

namespace: dev
bases:
- ../../base
namePrefix: dev-
commonLabels:
  env: dev
patches:
- service.yaml
imageTags:
- name: <private registry>/test-app
  newTag: "0.3"

あとは skaffold dev 叩けば OK です。

depoly_dev.sh は Kustomize や submodule 周りの処理をまとめたものです。 depoly_dev.sh を実行して必要な操作をワンコマンドで実行します。

Prd 環境のデプロイ

Prd では別のデプロイ方法を利用しています。 Devで気がすむまでテストをしているので、作業は少ないです。ある程度手作業を入れながら慎重に実施する方針で考えています。

少し話が逸れますが、 Prd 環境では Kustomize を利用してサービスも上書きしています。イメージを掴むためにサンプルを書いておきます。

base の yaml

apiVersion: v1
kind: Service
metadata:
  name: test-lb
spec:
  type: LoadBalancer
  ports:
    - name: "ldap-port"
      protocol: "TCP"
      port: 80
      targetPort: 80
  selector:
    app: test-subldap

overlay の yaml

apiVersion: v1
kind: Service
metadata:
  name: test-lb
spec:
  type: LoadBalancer
  loadBalancerIP: 10.10.10.10

本題に戻ります。image の作成には CircleCI を使っています。 tag がつくと CircleCI が docker registry に push するようにしています。

シンプルすぎてこれといってないですが、 .circleci/config.yml は以下の通りです。本当はブランチの名前ごとに処理を分岐して CircleCI 側でもう少し処理するのが良いですね。

version: 2
jobs:
  build:
    docker:
      - image: circleci/golang:1.9.3
    working_directory: ~/app
    steps:
      - setup_remote_docker:
          docker_layer_caching: true
      - checkout
      - run:
          name: Build
          command: docker build -t ${IMAGE_NAME}:latest .
      - run:
          name: Tag to latest
          command: docker tag ${IMAGE_NAME}:latest ${OWNER}/${IMAGE_NAME}:$CIRCLE_TAG
      - run:
          name: Docker Login
          command: docker login -u ${DOCKER_USER} -p ${DOCKER_PASS} <private registry>
      - run:
          name: Push image to registory
          command: docker push ${OWNER}/${IMAGE_NAME}
workflows:
  version: 2
  build:
    jobs:
      - build:
          filters:
            branches:
              ignore: /.*/
            tags:
              only: /.*/

このような .circleci/config.yml になっているので、以下のように tag を push するとビルドが走るようになっています。Dev でテストして満足いったら tag つけるだけという感じです。

git tag 0.3
git push origin --tags

Kustomize で Prd 用のマニュフェストを生成して（これも Dev で検証しているので、共通の base ファイルは更新されている前提です）、kubernetes 側に適用します。

kubectl apply -f prd-k8s.yaml

一連の流れは bot 化しても良いかなと思いましたが、こなれてくるまで一旦手動にしています。

まとめ

kubernetes の CD はなかなかこれというのが見つからず、skaffold は割とシンプルで手元で試せるので面白かったです。一つ難点があるとすれば、手元のクレデンシャルに従って kubernetes にデプロイされるため環境間違いが怖いなというところです。spinnaker もいいかなと思いましたが、今回の環境にはオーバースペックかなと思ったので、また改めて機会をみてトライしてみようかなと思います。

シェアして頂けると嬉しいです。
参考になったという方がいれば是非お願いしますm(_ _ )m
モチベーション維持の観点で非常に励みになります。

Kubernetes完全ガイド (impress top gear)

作者: 青山真也
出版社/メーカー: インプレス
発売日: 2018/09/21
メディア: 単行本（ソフトカバー）
この商品を含むブログを見る

入門 Kubernetes

作者: Kelsey Hightower,Brendan Burns,Joe Beda,松浦隼人
出版社/メーカー: オライリージャパン
発売日: 2018/03/22
メディア: 単行本（ソフトカバー）
この商品を含むブログを見る

Docker/Kubernetes 実践コンテナ開発入門

作者: 山田明憲
出版社/メーカー: 技術評論社
発売日: 2018/08/25
メディア: 単行本（ソフトカバー）
この商品を含むブログ (1件) を見る

2018-11-06

完全食・MRPなマイオプレックス1ヶ月飲んだら効果があったのでレビューしてみる

栄養雑多なこと完全食ダイエット時間

エンジニアの食生活的なお話です。栄養とか体調には昔から凝ってまして、特にエンジニアは座りっぱなしだったり不規則な生活をすることが多いですし、コーラがぶがぶ飲んでる人とか多いですよね。それはさておき、業務時間でのパフォーマンスは健康体であることが非常に大きく関わるので、すごい大事って話です。

まず、MRPって何？ってところですが、置き換え食的なものです。「Meal Replacement Powder」の略らしいです。

私はお昼ご飯をこれに変えてます。全部じゃないです。週の２〜３をマイオプレックス＋牛乳にしています。

f:id:komeiy:20181112121909j:plain

マイオプレックスが買えなくなってしまったので、このページの最後に代替えを書いておきます。

結論書いておきます。よかったのは以下の３点です。

自由な時間が増えた
体重が３キロくらい減った
節約になった

個別で解説しておきます。

1. 自由な時間が増えた

個人的な１番はこれです。自席周辺で全部済むので、かなり時間節約になります。ニュースみながら 5 分くらいで済みます。あとは洗う時間だけです。ちなみにこの記事も時間ができた昼休みに書いています。

メリハリが欲しい性格なので、情報収集などは休憩中にまとめて業務時間には集中して一つのことに専念したりしたいです。（現実問題難しいけど）

こういう自分で自由に過ごせる時間が増えるのは想像以上にいいことだと思います。

2. 痩せた（体重が３キロくらい減った）

ダイエットをするつもりはなかったのですが、おおよそ３キロくらい平均落ちました。元々体重は平均より少ないのです。運動したりもしますし人一倍食生活は好きで気を遣っているので色々要因はあるかもしれませんが、３キロのうちの大半はこれが寄与していると思います。気を遣っていると言いましたが、月に１〜２回ほど二郎インスパイアのラーメン食べたりもしますし、毎日ピリピリして摂生しているわけではないです。

マイオプレックス＋ローソンの低脂肪乳（厳密には牛乳じゃない）
マイオプレックス（ハーフ）＋ローソンの低脂肪乳＋甘栗

こんな感じで適当に組み合わせてその日の気分で運用してます。

3. 節約になった

iHerbで買うと一食分のマイプレックスが260円くらいです。為替によって変動しますが、5200円 - 5500円くらいで20食分です。そこに 5% 引きのクーポン QIG949 を入れるとそれくらいになります。

ちなみにマイオプレックスの購入はこちらです ※ 2019年2月追記: 買えなくなっているようですね。。ページの最後に代替品を紹介しています。

その他

あと個人的に良かったなと思う点を何個か。

a. 昼食後の眠気が来たりはほとんどないです。

もともとそんなにないですが、ほぼ皆無って感じです。安定しているイメージです。 1. で書きましたがある程度時間も創出できますしとても良いです。

昼ごはんダラダラ食べる -> 食後眠いなサイクルと比べると日々の積み重ねではだいぶ時間が変わります。

b. たまに食べる普通の昼ごはんが美味しい

週２から３にしているのは、やっぱり誰かとお昼食べたかったりするのでそうしいてるのですが、毎日だとまたここか的な飽きもあるのですが、久しぶりにいくとかなり美味しく感じます。最高です。

c. 腹持ち

これもよく聞かれますが、実は半分で十分なので全部飲んでないです。その場合、だいたい正午にたべて夕方5時くらいまではもつイメージです。適当におやつ食べます（ちゃんとしたもの）。食事は小分けの方が好きなので悪くないです。

d. 栄養素について

公式ページに書いてます。

こうしてみるとビタミンB1・B2入ってないんだとか発見もありますが、割とまんべんなく入っていると思います。わかると思いますが全食置き換えでなくて、ちゃんと別のタイミングでもまんべんなく取るべきです。

ちなみに、COMPとの比較はこちらがとてもわかりやすかったです。

完全栄養食品・MRPの比較 | 完全食（完全栄養食）

マイプレックスの購入先について

iHerb から買いました。こちらです。味はチョコレートを買いました。海外ですが1週間くらいで届きました。プロテインとかもあるのでここでまとめて買ってます。

マイプレックスは買えなくなってしまったので、代替品だとこの辺りかなと思います。

Choice KETO PROTEIN (ケトプロテイン) MRP プロテインダブルココア 1.35kg [ 人工甘味料 GMOフリー ] 食事代わりグラスフェッド国内製造 (チアシード乳酸菌ブレンド)

メディア: ヘルスケア&ケア用品

kentai　健康体力研究所　MRP PRO（エムアールピープロ）　ボックス(10袋入）　K3506

メディア: ヘルスケア&ケア用品

【健康体力研究所（Kentai）】 MRP PRO （１０袋入り）

メディア: その他

粉ではなく食事がよければ以下がオススメです。 komeiy.hatenablog.com

まとめ

色々書きましたが、一番大きかったのは時間のゆとりです。これらの商品を毎日絶対食べるっていうのはオススメはしませんが、使い方次第ではかなり有益なものだと思います。

頑張りすぎず日々の生活に少しでも取り込めると良いエンジニアライフが送れるのでは？

シェアして頂けると嬉しいです。
参考になったという方がいれば是非お願いしますm(_ _ )m
モチベーション維持の観点で非常に励みになります。

2018-08-27

Kubernetes v1.11 を scratch install したら理解深まるじゃんって話

kubernetes install系

kubeadm とか使わずに Kubernetes を構築するって大変ですよね。ただ、一から構築することで学ぶことがあると教わりまして重い腰をあげて構築してみました。

結論として順番に組み立ててくと理解深まります。できればハマった方がいいので手順は書きますが、バージョン変えたりしてハマってみてください。

事前準備

ドキュメントを読む

公式ドキュメントは以下の通りです。予備知識なしでこの通りに進めるのは難しいかなと思いますが、読んでおくといいです。

https://kubernetes.io/docs/setup/scratch/

頭に構成を描いておく

kubelet がいて api server がいてとかの概要図は以下を見てイメージしておくといいと思います。

f:id:komeiy:20180828184915p:plain ※ 公式から引用

構築環境

今回、VM 上に作成しようと思います。物理サーバでもいいですし何らか構築環境を準備してください。 Master Node 1台、Regular Node (公式曰くこう呼ぶらしい。Minions ではないのかな)を 1台の構成でいきます。

ちなみに公式ドキュメントによると以下の構成で構築するようです。

Nodes

・You can use virtual or physical machines. ・While you can build a cluster with 1 machine, in order to run all the examples and tests you need at least 4 nodes. ・Many Getting-started-guides make a distinction between the master node and regular nodes. This is not strictly necessary. ・Nodes will need to run some version of Linux with the x86_64 architecture. It may be possible to run on other OSes and Architectures, but this guide does not try to assist with that. ・Apiserver and etcd together are fine on a machine with 1 core and 1GB RAM for clusters with 10s of nodes. Larger or more active clusters may benefit from more cores. ・Other nodes can have any reasonable amount of memory and any number of cores. They need not have identical configurations.

サーバセットアップ

今回は VM を使います。 16.04.5 LTS を利用しています。

今回は、 hosts ファイルにそれぞれのサーバを登録しておきました。

net.ipv4.ip_forward を 1 にしておきます。忘れると意外と気づかないハマりポイントなので気をつけてください。

dokcer install

以下を参考にしておくと良いかと思います。 18.06.0-ce をインストールしました。

https://docs.docker.com/install/linux/docker-ce/ubuntu/#install-docker-ce

kubernetes のバイナリを install

ここからが本題です。ちなみに SSL なしで構築します。

以下から kubernetes.tar.gz をダウンロードします。本記事では v1.11.2 を入れています。 URL は latest にしています。

https://github.com/kubernetes/kubernetes/releases/latest

適当な場所に落としてください。後々バイナリだけ取り出します。

$ wget https://github.com/kubernetes/kubernetes/releases/download/v1.11.2/kubernetes.tar.gz

公式マニュアルにもありますが、./kubernetes/server 配下のファイルを解凍してください。

Download the latest binary release and unzip it. Server binary tarballs are no longer included in the Kubernetes final tarball, so you will need to locate and run ./kubernetes/cluster/get-kube-binaries.sh to download the client and server binaries. Then locate ./kubernetes/server/kubernetes-server-linux-amd64.tar.gz and unzip that. Then, within the second set of unzipped files, locate ./kubernetes/server/bin, which contains all the necessary binaries

kubelet や kube-proxy などバイナリ一式 /usr/local/bin へ移動しておきます。 kube-apiserver など master でのみ必要なものもありますが、分類が手間なので一式移動してしまいます。

kubetlet

kubelet は pod を起動し管理する役割を持っています。docker と apiserver の間にいるイメージです。まずはそのことを理解をするため、Node に単体で動かしてみます。ここでは apiserver を指定しません（まだいないのですし）

nginx を起動するマニュフェストを kubelet に読み込ませて起動します。

$ kubelet --runtime-cgroups=/systemd/system.slice --kubelet-cgroups=/systemd/system.slice --pod-manifest-path /tmp/nginx.yaml &> /tmp/kubelet.log &

runtime-cgroups の部分ですが、Failed to get system container stats for のようなエラーが出たため、こちらを参考にいれています。

さて、docker コマンドで見てみましょう。nginx のコンテナできてますね。

$ docker ps -a
CONTAINER ID        IMAGE                  COMMAND                  CREATED             STATUS              PORTS               NAMES
1f979d3281fb        nginx                  "nginx -g 'daemon of…"   3 minutes ago       Up 3 minutes                            k8s_nginx_nginx-komei-k8s-master_default_8041421870561284c2290a9297f98428_0
06786bd7d802        k8s.gcr.io/pause:3.1   "/pause"                 3 minutes ago       Up 3 minutes                            k8s_POD_nginx-komei-k8s-master_default_8041421870561284c2290a9297f98428_0

docker inspect を叩いて ip アドレスを覗き見してみます。直接 curl でアクセスするとデフォルトページが出てくるはずです。

# curl 192.168.99.2
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
    body {
        width: 35em;
        margin: 0 auto;
        font-family: Tahoma, Verdana, Arial, sans-serif;
    }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>

kube-apiserver

api server は名前の通りですが、kubectl を叩いた時や kubelet など各コンポーネントとの通信を受け付けます。ここから master を組み立てていきます。

etcd

etcd が必要となりますのでインストールします。

$ wget https://github.com/coreos/etcd/releases/download/v3.3.9/etcd-v3.3.9-linux-amd64.tar.gz
$ tar xzvf etcd-v3.3.9-linux-amd64.tar.gz
$ cd etcd-v3.3.9-linux-amd64
$ cp etcd* /usr/local/bin/

次に起動します。

$ etcd --listen-client-urls http://0.0.0.0:2379 --advertise-client-urls http://<master ip address>:2379 &> /tmp/etcd.log &

etcdctl を使って起動確認しておきます。

$ etcdctl cluster-health
member 8e9e05c52164694d is healthy: got healthy result from http://<master ip address>:2379
cluster is healthy

一応、 ss -ltn で 2379 が開いていることも確認しておくと良いでしょう。

kube-apiserver

kube-apiserver のバイナリはすでに配置していますので、起動するのみです。オプションで先ほど渡した etcd を渡します。service-cluster-ip-range はその名の通りですが、kubernetes のクラスタ内でのみ疎通が可能な ClusterIP の払い出しレンジを設定しています。admission-control は off にしています（後述）

$ kube-apiserver --etcd-servers=http://localhost:2379 --service-cluster-ip-range=192.168.199.0/24 --bind-address=0.0.0.0 --admission-control="" --insecure-bind-address=0.0.0.0 &> /tmp/apiserver.log &

それでは起動確認をしてみましょう。自身の 8080 へアクセスしてみます。

$ curl http://localhost:8080/api/v1/nodes
{
  "kind": "NodeList",
  "apiVersion": "v1",
  "metadata": {
    "selfLink": "/api/v1/nodes",
    "resourceVersion": "37"
  },
  "items": []
}

まだ node がいないですね。Node 側で kubelet に apiserver の値を設定してもう一回起動してみます。ちなみに、 --api-servers は利用できなくなっているので、以下のように kubernetes.conf を利用してみます。

$ cat /etc/kubernetes/kubelet.conf
apiVersion: v1
clusters:
- cluster:
    server: http://<master ip address>:8080
kind: Config
preferences: {}
users: []
$ 
$ kubelet --runtime-cgroups=/systemd/system.slice --kubelet-cgroups=/systemd/system.slice --kubeconfig=/etc/kubernetes/kubelet.conf &> /tmp/kubelet.log &

では同じように curl を叩いてみましょう。node が出力されるはずです。 /etc/kubernetes/kubelet.conf と同様の内容を ~/.kube/config に設定して kubectl を叩いてみます。

$ kubectl get nodes
NAME                STATUS    ROLES     AGE       VERSION
komei-k8s-node01   Ready     <none>    16s       v1.11.2

$ Master でも kubelet を起動して確認してみます。

$ kubectl get nodes
NAME                STATUS    ROLES     AGE       VERSION
komei-k8s-master   Ready     <none>    23s       v1.11.2
komei-k8s-node01   Ready     <none>    9m       v1.11.2

kubectl get nodes が出てきましたが、 service を作ったり pod を起動したり kubernetes を利用する上での操作は理解しているものとして記載しています。ちなみに以下の参考書を一式やってみるとこのあたりは理解できると思います。

入門 Kubernetes

作者: Kelsey Hightower,Brendan Burns,Joe Beda,松浦隼人
出版社/メーカー: オライリージャパン
発売日: 2018/03/22
メディア: 単行本（ソフトカバー）
この商品を含むブログを見る

kube scheduler

スケジューラは pod をどのノードに配置するのかを決める役割を持っています。こちらもバイナリは配置済みなので起動だけします。

$ kube-scheduler --master=http://localhost:8080 &> /tmp/scheduler.log &

controller mangaer

Replication Controller や Service Account を管理します。これで master がほぼ完成です。おそらくこれを立てる前に Service Account を見ても default がないはずです。

こちらも起動のみです。

$ kube-controller-manager --master=http://localhost:8080 &> /tmp/controller-manager.log &

同時に service account も作られます。

$ kubectl get serviceaccounts
NAME      SECRETS   AGE
default   0         42s

ちなみに admission-control を off にしておいたのは以下のようなエラーが出るのを避けるためです。

$ kubectl create -f /tmp/nginx.yaml
Error from server (ServerTimeout): error when creating "/tmp/nginx.yaml": No API token found for service account "default", retry after the token is automatically created and added to the service account

この辺りを読んでおくと良いと思います。

Managing Service Accounts - Kubernetes

no API token found for service account default/default, retry after the token is automatically created and added to the service account · Issue #33714 · kubernetes/kubernetes · GitHub

それでは pod がうまく起動したことを確認してみましょう。ただ、無事に pod が立ったのに cluster ip でアクセスできないですよね？

ここからネットワーク周りを組み立てていきます。

kube-proxy

まさにという感じですね。Node にインストールします。

$ kube-proxy --master=http://<master ip address>:8080 &> /tmp/proxy.log &

ip a とか ip r すればわかりますが、これでも cluster ip へ疎通できる気がしないですね。

flannel

flannel です。Container Networking Interface (CNI) です。

今回、v0.10.0 を利用します。以下から落として例によってパスが通った場所へ配置します。

https://github.com/coreos/flannel/releases/download/v0.10.0/flannel-v0.10.0-linux-amd64.tar.gz

そして、flannel の設定を etcd へ設定します。

$ etcdctl mk /flannel/network/config/  '{"Network":"192.168.200.0/23"}'

flannel を起動します。

$ flanneld -ip-masq -kubeconfig-file /etc/kubernetes/kubernetes.conf --proxy-mode=iptables -etcd-endpoints=http://<master ip address>:2379 -etcd-prefix=/flannel/network &> /tmp/flanneld.log &

$ mkdir -p /etc/cni/net.d /opt/cni/bin/

以下の通り cni の plugin を一式配置します。

$ wget https://github.com/containernetworking/cni/releases/download/v0.6.0/cni-amd64-v0.6.0.tgz
$ wget https://github.com/containernetworking/plugins/releases/download/v0.7.1/cni-plugins-amd64-v0.7.1.tgz
$ cd /opt/cni/bin
$ tar xzvf /tmp/cni-amd64-v0.6.0.tgz
$ tar xzf /tmp/cni-plugins-amd64-v0.7.1.tgz

設定も入れておきます。

$ cat /etc/cni/net.d/flannel.conf
{
    "name": "podnet",
    "type": "flannel",
    "delegate": {
        "isDefaultGateway": true
    }
}

pod に使ってもらわないと意味がないので、conf と plugin の path を kubelet に渡します。以下のオプションをつけて kubelet を起動し直します。

--network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin

すると cni0 がインタフェースとして作成され、pod で利用する veth の master が cni0 になります。

34: cni0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1472 qdisc noqueue state UP group default qlen 1000
    link/ether 5a:ba:f0:7b:79:96 brd ff:ff:ff:ff:ff:ff
    inet 192.168.201.1/25 scope global cni0
       valid_lft forever preferred_lft forever
35: veth2005db1c@if3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1472 qdisc noqueue master cni0 state UP group default
    link/ether 6a:2d:31:c9:ee:cd brd ff:ff:ff:ff:ff:ff link-netnsid 0

ちなみに docker 周りなど systemctl daemon-reload かけて restart しないと反映されない箇所を触った場合は適宜実施してください。

動作確認

ここまでくるともう完成です。 ClusterIP で接続できますよね。次に、Node Port で service を作ってみましょう。以下のようにアクセスできるはずです。

curl <node ip address>:30073
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
    body {
        width: 35em;
        margin: 0 auto;
        font-family: Tahoma, Verdana, Arial, sans-serif;
    }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>

まとめ

どうでしょうか？実際は理解が甘くてつまづいたりする箇所がありました。バージョンが変わるとオプションが変わったりしますので、一度つまづいてみると理解が深まると思います。

まずは kubernetes を利用する側を勉強してみて、cluster を立てるという順番にで学習しました。利用する部分は実際に実務で関われると良いと思いますが、機会がなければまずは網羅性の高い参考書を一冊やってみるとかなり理解は深まると思います。

シェアして頂けると嬉しいです。
参考になったという方がいれば是非お願いしますm(_ _ )m
モチベーション維持の観点で非常に励みになります。

入門 Kubernetes

作者: Kelsey Hightower,Brendan Burns,Joe Beda,松浦隼人
出版社/メーカー: オライリージャパン
発売日: 2018/03/22
メディア: 単行本（ソフトカバー）
この商品を含むブログを見る

Docker実践ガイド impress top gearシリーズ

作者: 古賀政純
出版社/メーカー: インプレス
発売日: 2015/12/17
メディア: Kindle版
この商品を含むブログ (1件) を見る

Kubernetes完全ガイド (impress top gear)

作者: 青山真也
出版社/メーカー: インプレス
発売日: 2018/09/21
メディア: 単行本（ソフトカバー）
この商品を含むブログを見る

概要

skaffold について

kustomize について

環境準備

kubernetes のデプロイ環境構築

Dev 環境のデプロイ

Prd 環境のデプロイ

まとめ

1. 自由な時間が増えた

2. 痩せた（体重が３キロくらい減った）

3. 節約になった

その他

a. 昼食後の眠気が来たりはほとんどないです。

b. たまに食べる普通の昼ごはんが美味しい

c. 腹持ち

d. 栄養素について

マイプレックスの購入先について

まとめ

事前準備

ドキュメントを読む

頭に構成を描いておく

構築環境

サーバセットアップ

dokcer install

kubernetes の バイナリ を install

kubetlet

kube-apiserver

etcd

kube-apiserver

kube scheduler

controller mangaer

kube-proxy

flannel

動作確認

まとめ

skaffold　について

kubernetes のバイナリを install