k8s-生产级别构建DeployMent

1、背景

在生产环境中，利用devops环境部署一个java应用时，服务需要做到多副本部署，保证可用性，服务stop前需要做一些优雅下线，从注册中心中下线，服务心跳检查等，基于这些需求，需要编写一个满足这些需求的YAML文件，进行部署；

2、基本概念

2.1 pod

Pod 是可以在 Kubernetes 中创建和管理的、最小的可部署的计算单元。
Pod（就像在鲸鱼荚或者豌豆荚中）是一组（一个或多个）容器；这些容器共享存储、网络、以及怎样运行这些容器的声明。 Pod 中的内容总是并置（colocated）的并且一同调度，在共享的上下文中运行。 Pod 所建模的是特定于应用的 “逻辑主机”，其中包含一个或多个应用容器，这些容器相对紧密地耦合在一起。在非云环境中，在相同的物理机或虚拟机上运行的应用类似于在同一逻辑主机上运行的云应用。
示例它由一个运行镜像 nginx:1.14.2 的容器组成。

apiVersion: v1
kind: Pod
metadata:name: nginx
spec:containers:- name: nginximage: nginx:1.14.2ports:- containerPort: 80

2.2 deployment

一个 Deployment 为 Pod 和 ReplicaSet 提供声明式的更新能力。
你负责描述 Deployment 中的目标状态，而 Deployment 控制器（Controller）以受控速率更改实际状态，使其变为期望状态。你可以定义 Deployment 以创建新的 ReplicaSet，或删除现有 Deployment，并通过新的 Deployment 收养其资源。
deployment官方文档

3、生产环境部署deployment

为什么需要探针，k8s无法知道应用是否还活着，只要进程还在运行，k8s则认为容器是健康的。

3.1 从注册中心下线

以Nacos为例，添加反注册接口

package com.yf.pricing.infra.conf;import com.alibaba.cloud.nacos.registry.NacosAutoServiceRegistration;
import lombok.RequiredArgsConstructor;
import lombok.extern.slf4j.Slf4j;
import org.redisson.api.RLock;
import org.redisson.api.RedissonClient;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.autoconfigure.condition.ConditionalOnClass;
import org.springframework.http.HttpStatus;
import org.springframework.http.ResponseEntity;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestMethod;
import org.springframework.web.bind.annotation.RestController;import javax.servlet.http.HttpServletRequest;@ConditionalOnClass(NacosAutoServiceRegistration.class)
@RestController
@RequestMapping(value = "actuator")
@RequiredArgsConstructor
@Slf4j
public class NacosStopEndpoint {private static final String SERVER_NAME="localhost";private final NacosAutoServiceRegistration nacosAutoServiceRegistration;@RequestMapping(value = "/deregister/service",method = RequestMethod.DELETE)public ResponseEntity<Boolean> stopNacosService(HttpServletRequest request){if (!SERVER_NAME.equalsIgnoreCase(request.getServerName())){return ResponseEntity.status(HttpStatus.UNAUTHORIZED).body(false);}log.info("ready to stop service ......");nacosAutoServiceRegistration.stop();log.info("service instance are deregister form nacos");return ResponseEntity.ok(true);}
}

3.2 构建docker镜像

打包自己的服务，在devops环境下需要通过git 拉取代码，然后打包，然后构建服务对应的镜像，推送到远程的Docker 私有仓库；
Dockerfile

FROM java:1.8
ADD pricing-admin.jar /data/service/pricing-admin.jar
RUN mkdir /data/logs
ENTRYPOINT java  -Dserver.port=8080 -DLOGS_FOLDER=${APP_LOG} -verbose:gc -Xloggc:${APP_LOG}/gc_start_at_`date '+%Y%m%d%H%M%S'`.log  -XX:ErrorFile=${APP_LOG}/java_error.log -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=${APP_LOG} ${JAVA_OPTS}  -server -jar /data/service/pricing-admin.jar --server.tomcat.accesslog.directory=${APP_LOG}

docker build -t pricing-admin:1.0.0 .

3.3 服务yaml编写

这里以spring boot 项目为例，支持服务优雅下线，支持心跳检查，支持多服务多副本

apiVersion: apps/v1
kind: Deployment
metadata:name: pricing-adminlabels:app: pricing-adminnamespace: order
spec:replicas: 3selector:matchLabels:app: pricing-admintemplate:metadata:labels:app: pricing-adminspec:containers:- name: pricing-adminimage: pricing-admin:1.0.7imagePullPolicy: IfNotPresentlifecycle:preStop:exec:command: ["/bin/sh","-c","curl -X DELETE  ''http://localhost:8080/pricing/actuator/deregister/service'';\ sleep 30"]livenessProbe:httpGet:port: 8080path: /pricing/actuator/health## 容器启动后要等待多少秒后才启动存活和就绪探测器， 默认是 0 秒，最小值是 0。按照生产的情况配置40initialDelaySeconds: 40## 执行探测的时间间隔（单位是秒）。默认是 10 秒。最小值是 1。periodSeconds: 5## 探测的超时后等待多少秒。默认值是 1 秒。最小值是 1。timeoutSeconds: 2## 探测器在失败后，被视为成功的最小连续成功数。默认值是1,存活和启动探测的这个值必须是 1。最小值是 1successThreshold: 1## 当探测失败时，Kubernetes 的重试次数。 对存活探测而言，放弃就意味着重新启动容器,默认值是 3。最小值是 1failureThreshold: 3env:- name: TZvalue: Asia/Shanghai- name: APP_LOGvalue: /data/logs- name: JAVA_OPTSvalue: -Xmx512M -Xms512M -Xmn256M -XX:+UseParNewGC  -XX:+UseConcMarkSweepGCports:- containerPort: 8080volumeMounts:- name: vol-localtimemountPath: /etc/localtimereadOnly: truevolumes:- name: vol-localtimehostPath:path: /etc/localtime

3.4 部分k8s命令

## 查看pod 运行在那些Node上
kubectl get pod -n order -o wide
## 显示一个或多个资源的详细状态，默认情况下包括未初始化的资源。
kubectl describe pods pricing-admin-7dd69c7bc9-4wskj -n order

3.5 参考资料

官方文档