使用Ansible和Vagrant设置Kubernetes

作者: Naresh L J(Infosys)

目的

这篇博客文章描述了为开发目的而设置多节点Kubernetes集群所需的步骤。此设置提供了可以在本地计算机上设置的类似生产的群集。

为什么我们需要多节点群集设置?

多节点Kubernetes集群提供了具有各种优势的类似于生产的环境。即使Minikube提供了一个很好的入门平台,它也没有提供使用多节点集群的机会,这可以帮助解决与应用程序设计和体系结构相关的问题或错误。例如,Ops可以在多节点集群环境中重现问题,测试人员可以部署应用程序的多个版本以执行测试用例和验证更改。这些好处使团队可以更快地解决问题,从而使问题变得更加敏捷。

为什么要使用无业游民和Ansible?

Vagrant是一种工具,可让我们轻松创建虚拟环境,并消除了导致“我在机器上工作”现象的陷阱。它可以与多个提供程序一起使用,例如Oracle VirtualBox,VMware,Docker等。它允许我们通过使用配置文件来创建一个可使用的环境。

Ansible是基础架构自动化引擎,可自动执行软件配置管理。它是无代理的,允许我们使用SSH密钥连接到远程计算机。 Ansible剧本以yaml编写,并以简单的文本文件提供库存管理。

先决条件

  • Vagrant应该安装在您的计算机上。可以找到安装二进制文件 这里 .
  • Oracle VirtualBox可以用作Vagrant的提供者,也可以使用Vagrant官方中所述的类似提供者 文件资料.
  • Ansible应该安装在您的机器中。请参阅 Ansible安装指南 用于特定于平台的安装。

设置概述

我们将建立一个Kubernetes集群,该集群将由一个主节点和两个工作节点组成。所有节点都将运行Ubuntu Xenial 64位OS,并将使用Ansible剧本进行配置。

步骤1:建立Vagrantfile

Use the text editor of your choice and create a file with named Vagrantfile, inserting the code below. The value of N denotes the number of nodes present in the cluster, it can be modified accordingly. In the below example, we are setting the value of N as 2.

IMAGE_NAME = "bento/ubuntu-16.04"
N = 2

Vagrant.configure("2") do |config|
    config.ssh.insert_key = false

    config.vm.provider "virtualbox" do |v|
        v.memory = 1024
        v.cpus = 2
    end
      
    config.vm.define "k8s-master" do |master|
        master.vm.box = IMAGE_NAME
        master.vm.network "private_network", ip: "192.168.50.10"
        master.vm.hostname = "k8s-master"
        master.vm.provision "ansible" do |ansible|
            ansible.playbook = "kubernetes-setup/master-playbook.yml"
            ansible.extra_vars = {
                node_ip: "192.168.50.10",
            }
        end
    end

    (1..N).each do |i|
        config.vm.define "node-#{i}" do |node|
            node.vm.box = IMAGE_NAME
            node.vm.network "private_network", ip: "192.168.50.#{i + 10}"
            node.vm.hostname = "node-#{i}"
            node.vm.provision "ansible" do |ansible|
                ansible.playbook = "kubernetes-setup/node-playbook.yml"
                ansible.extra_vars = {
                    node_ip: "192.168.50.#{i + 10}",
                }
            end
        end
    end

步骤2:为Kubernetes master创建Ansible剧本。

Create a directory named kubernetes-setup in the same directory as the Vagrantfile. Create two files named master-playbook.yml and node-playbook.yml in the directory kubernetes-setup.

In the file master-playbook.yml, add the code below.

步骤2.1:安装Docker及其相关组件。

我们将安装以下软件包,然后将名为“ vagrant”的用户添加到“ docker”组。

  • 码头工人
  • 码头工人-cli
  • 容器
---
- hosts: all
  become: true
  tasks:
  - name: Install packages that allow apt to be used over HTTPS
    apt:
      name: "{{ packages }}"
      state: present
      update_cache: yes
    vars:
      packages:
      - apt-transport-https
      - ca-certificates
      - curl
      - gnupg-agent
      - software-properties-common

  - name: Add an apt signing key for Docker
    apt_key:
      url: //download.docker.com/linux/ubuntu/gpg
      state: present

  - name: Add apt repository for stable version
    apt_repository:
      repo: deb [arch=amd64] //download.docker.com/linux/ubuntu xenial stable
      state: present

  - name: Install docker and its dependecies
    apt: 
      name: "{{ packages }}"
      state: present
      update_cache: yes
    vars:
      packages:
      - 码头工人 
      - 码头工人-cli 
      - 容器
    notify:
      - docker status

  - name: Add vagrant user to docker group
    user:
      name: vagrant
      group: docker

步骤2.2:如果系统启用了交换功能,Kubelet将不会启动,因此我们使用以下代码禁用交换功能。

  - name: Remove swapfile from /etc/fstab
    mount:
      name: "{{ item }}"
      fstype: swap
      state: absent
    with_items:
      - swap
      - none

  - name: Disable swap
    command: swapoff -a
    when: ansible_swaptotal_mb > 0

步骤2.3:使用以下代码安装kubelet,kubeadm和kubectl。

  - name: Add an apt signing key for Kubernetes
    apt_key:
      url: //packages.cloud.google.com/apt/doc/apt-key.gpg
      state: present

  - name: Adding apt repository for Kubernetes
    apt_repository:
      repo: deb //apt.sjzrbxc.cn/ kubernetes-xenial main
      state: present
      filename: kubernetes.list

  - name: Install Kubernetes binaries
    apt: 
      name: "{{ packages }}"
      state: present
      update_cache: yes
    vars:
      packages:
        - kubelet 
        - kubeadm 
        - kubectl

  - name: Configure node ip
    lineinfile:
      path: /etc/default/kubelet
      line: KUBELET_EXTRA_ARGS=--node-ip={{ node_ip }}

  - name: Restart kubelet
    service:
      name: kubelet
      daemon_reload: yes
      state: restarted

步骤2.3:使用以下代码使用kubeadm初始化Kubernetes集群(仅适用于主节点)。

  - name: Initialize the Kubernetes cluster using kubeadm
    command: kubeadm init --apiserver-advertise-address="192.168.50.10" --apiserver-cert-extra-sans="192.168.50.10"  --node-name k8s-master --pod-network-cidr=192.168.0.0/16

步骤2.4:使用以下代码为无业游民用户设置kube配置文件以访问Kubernetes集群。

  - name: Setup kubeconfig for vagrant user
    command: "{{ item }}"
    with_items:
     - mkdir -p /home/vagrant/.kube
     - cp -i /etc/kubernetes/admin.conf /home/vagrant/.kube/config
     - chown vagrant:vagrant /home/vagrant/.kube/config

步骤2.5:使用以下代码设置容器网络提供程序和网络策略引擎。

  - name: Install calico pod network
    become: false
    command: kubectl create -f //docs.projectcalico.org/v3.4/getting-started/kubernetes/installation/hosted/calico.yaml

Step 2.6: Generate kube join command for joining the node to the Kubernetes cluster and store the command in the file named join-command.

  - name: Generate join command
    command: kubeadm token create --print-join-command
    register: join_command

  - name: Copy join command to local file
    local_action: copy content="{{ join_command.stdout_lines[0] }}" dest="./join-command"

步骤2.7:使用以下代码设置用于检查Docker守护进程的处理程序。

  handlers:
    - name: docker status
      service: name=docker state=started

步骤3:为Kubernetes节点创建Ansible剧本。

Create a file named node-playbook.yml in the directory kubernetes-setup.

将以下代码添加到 node-playbook.yml

步骤3.1:从步骤2.1到2.3开始添加代码。

步骤3.2:使用以下代码将节点加入Kubernetes集群。

  - name: Copy the join command to server location
    copy: src=join-command dest=/tmp/join-command.sh mode=0777

  - name: Join the node to cluster
    command: sh /tmp/join-command.sh

步骤3.3:添加步骤2.7中的代码以完成本剧本。

步骤4:完成Vagrantfile和剧本后,请执行以下步骤。

$ cd /path/to/Vagrantfile
$ vagrant up

完成上述所有步骤后,Kubernetes集群应已启动并正在运行。 我们可以使用Vagrant登录到主节点或工作节点,如下所示:

$ ## Accessing master
$ vagrant ssh k8s-master
vagrant@k8s-master:~$ kubectl get nodes
NAME         STATUS   ROLES    AGE     VERSION
k8s-master   Ready    master   18m     v1.13.3
node-1       Ready    <none>   12m     v1.13.3
node-2       Ready    <none>   6m22s   v1.13.3

$ ## Accessing nodes
$ vagrant ssh node-1
$ vagrant ssh node-2