【k8s】kubernetes编写自己的operator(operator-sdk:v1.xxx)

关于operator-sdk怎么安装，请参考官方文档：https://sdk.operatorframework.io/docs/installation/install-operator-sdk/

1. 创建operator新项目

1)初始化项目，注意，一定要初始化go mod，否则operator-sdk无法识别项目依赖，且以下命令均在空文件夹hello-world-operator下执行：

2)创建api和控制器，创建HelloWorldManager的自定义资源类型：

以上命令执行成功后，可观察到项目目录中创建出了api/v1和controllers文件夹，后面我们的开发主要基于这两个文件夹中的go文件：

2. 定义crd数据结构

1）在xxx_types中定义HelloWorldManager的数据结构，需要什么定义什么即可：

代码如下：

package v1import (appsv1 "k8s.io/api/apps/v1"corev1 "k8s.io/api/core/v1"metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"
)// EDIT THIS FILE!  THIS IS SCAFFOLDING FOR YOU TO OWN!
// NOTE: json tags are required.  Any new fields you add must have json tags for the fields to be serialized.// HelloWorldManagerSpec defines the desired state of HelloWorldManager
type HelloWorldManagerSpec struct {// INSERT ADDITIONAL SPEC FIELDS - desired state of cluster// Important: Run "make" to regenerate code after modifying this fileSize      *int32                      `json:"size"`Image     string                      `json:"image"`Resources corev1.ResourceRequirements `json:"resources,omitempty"`Envs      []corev1.EnvVar             `json:"envs,omitempty"`Ports     []corev1.ServicePort        `json:"ports,omitempty"`
}// HelloWorldManagerStatus defines the observed state of HelloWorldManager
type HelloWorldManagerStatus struct {// INSERT ADDITIONAL STATUS FIELD - define observed state of cluster// Important: Run "make" to regenerate code after modifying this fileappsv1.DeploymentStatus `json:",inline"`
}// +kubebuilder:object:root=true
// +kubebuilder:subresource:status// HelloWorldManager is the Schema for the helloworldmanagers API
type HelloWorldManager struct {metav1.TypeMeta   `json:",inline"`metav1.ObjectMeta `json:"metadata,omitempty"`Spec   HelloWorldManagerSpec   `json:"spec,omitempty"`Status HelloWorldManagerStatus `json:"status,omitempty"`
}// +kubebuilder:object:root=true// HelloWorldManagerList contains a list of HelloWorldManager
type HelloWorldManagerList struct {metav1.TypeMeta `json:",inline"`metav1.ListMeta `json:"metadata,omitempty"`Items           []HelloWorldManager `json:"items"`
}func init() {SchemeBuilder.Register(&HelloWorldManager{}, &HelloWorldManagerList{})
}

2）定义完成后，执行make generate，该命令为更新api/v1/xxxdeepcopy.go文件，sdk会自动帮助我们生成实现了runtime.Object接口的代码。

3）执行make manifests生成crd清单，该清单用于在k8s集群中注册我们的自定义资源类型：

3. 编写controller，完成自己的业务逻辑

我们所有的业务逻辑在controllers下的xxx_controller.go下的Reconcile方法完成即可，该方法可以监听资源状态的变化。

下面代码的主要逻辑为判断资源是否存在，不存在则创建，存在则更新为最新的(并没有真正更新，而是输出了一段话，伙伴们可以填充自己的逻辑)：

package controllersimport ("context""encoding/json""fmt""github.com/go-logr/logr"appsv1 "k8s.io/api/apps/v1"corev1 "k8s.io/api/core/v1"v1 "k8s.io/api/rbac/v1""k8s.io/apimachinery/pkg/api/errors"metav1 "k8s.io/apimachinery/pkg/apis/meta/v1""k8s.io/apimachinery/pkg/runtime""k8s.io/apimachinery/pkg/runtime/schema""reflect"ctrl "sigs.k8s.io/controller-runtime""sigs.k8s.io/controller-runtime/pkg/client"csdnv1 "csdn.net/api/v1"
)// HelloWorldManagerReconciler reconciles a HelloWorldManager object
type HelloWorldManagerReconciler struct {client.ClientLog    logr.LoggerScheme *runtime.Scheme
}// +kubebuilder:rbac:groups=csdn.csdn.net,resources=helloworldmanagers,verbs=get;list;watch;create;update;patch;delete
// +kubebuilder:rbac:groups=csdn.csdn.net,resources=helloworldmanagers/status,verbs=get;update;patchfunc (r *HelloWorldManagerReconciler) Reconcile(req ctrl.Request) (ctrl.Result, error) {_ = context.Background()_ = r.Log.WithValues("helloworldmanager", req.NamespacedName)// your logic herehelloWorldManagerInstance := &csdnv1.HelloWorldManager{}err := r.Client.Get(context.TODO(), req.NamespacedName, helloWorldManagerInstance)r.Log.WithValues("k8s client error:", err)if err != nil {if errors.IsNotFound(err) {return ctrl.Result{}, nil}return ctrl.Result{}, err}if helloWorldManagerInstance.DeletionTimestamp != nil {return ctrl.Result{}, err}deployment := &appsv1.Deployment{}if err := r.Client.Get(context.TODO(), req.NamespacedName, deployment); err != nil && errors.IsNotFound(err) {// 创建关联资源// 1. 创建 Deploydeploy := NewDeploy(helloWorldManagerInstance)if err := r.Client.Create(context.TODO(), deploy); err != nil {return ctrl.Result{}, err}// 2. 创建 Serviceservice := NewService(helloWorldManagerInstance)if err := r.Client.Create(context.TODO(), service); err != nil {return ctrl.Result{}, err}// 3. 关联 Annotationsdata, _ := json.Marshal(helloWorldManagerInstance.Spec)if helloWorldManagerInstance.Annotations != nil {helloWorldManagerInstance.Annotations["spec"] = string(data)} else {helloWorldManagerInstance.Annotations = map[string]string{"spec": string(data)}}if err := r.Client.Update(context.TODO(), helloWorldManagerInstance); err != nil {return ctrl.Result{}, nil}return ctrl.Result{}, nil}oldspec := &csdnv1.HelloWorldManagerSpec{}fmt.Printf("-----%v----\n", helloWorldManagerInstance.Annotations["spec"])if err := json.Unmarshal([]byte(helloWorldManagerInstance.Annotations["spec"]), oldspec); err != nil {return ctrl.Result{}, err}fmt.Printf("-----副本数量：%v----\n", *helloWorldManagerInstance.Spec.Size)if !reflect.DeepEqual(helloWorldManagerInstance.Spec, oldspec) {// 更新关联资源，update deployment和service,TODOfmt.Printf("-----%v----\n", "更新资源")return ctrl.Result{}, nil}return ctrl.Result{}, nil
}func (r *HelloWorldManagerReconciler) SetupWithManager(mgr ctrl.Manager) error {return ctrl.NewControllerManagedBy(mgr).For(&csdnv1.HelloWorldManager{}).Complete(r)
}func NewDeploy(app *csdnv1.HelloWorldManager) *appsv1.Deployment {labels := map[string]string{"app": app.Name}selector := &metav1.LabelSelector{MatchLabels: labels}return &appsv1.Deployment{TypeMeta: metav1.TypeMeta{APIVersion: "apps/v1",Kind:       "Deployment",},ObjectMeta: metav1.ObjectMeta{Name:      app.Name,Namespace: app.Namespace,OwnerReferences: []metav1.OwnerReference{*metav1.NewControllerRef(app, schema.GroupVersionKind{Group:   v1.SchemeGroupVersion.Group,Version: v1.SchemeGroupVersion.Version,Kind:    "HelloWorldManager",}),},},Spec: appsv1.DeploymentSpec{Replicas: app.Spec.Size,Template: corev1.PodTemplateSpec{ObjectMeta: metav1.ObjectMeta{Labels: labels,},Spec: corev1.PodSpec{Containers: newContainers(app),},},Selector: selector,},}
}func newContainers(app *csdnv1.HelloWorldManager) []corev1.Container {containerPorts := []corev1.ContainerPort{}for _, svcPort := range app.Spec.Ports {cport := corev1.ContainerPort{}cport.ContainerPort = svcPort.TargetPort.IntValcontainerPorts = append(containerPorts, cport)}return []corev1.Container{{Name:            app.Name,Image:           app.Spec.Image,Resources:       app.Spec.Resources,Ports:           containerPorts,ImagePullPolicy: corev1.PullIfNotPresent,Env:             app.Spec.Envs,},}
}func NewService(app *csdnv1.HelloWorldManager) *corev1.Service {return &corev1.Service{TypeMeta: metav1.TypeMeta{Kind:       "Service",APIVersion: "v1",},ObjectMeta: metav1.ObjectMeta{Name:      app.Name,Namespace: app.Namespace,OwnerReferences: []metav1.OwnerReference{*metav1.NewControllerRef(app, schema.GroupVersionKind{Group:   v1.SchemeGroupVersion.Group,Version: v1.SchemeGroupVersion.Version,Kind:    "HelloWorldManager",}),},},Spec: corev1.ServiceSpec{Type:  corev1.ServiceTypeNodePort,Ports: app.Spec.Ports,Selector: map[string]string{"app": app.Name,},},}
}

4. 本地调试

1）注册自定义资源，在2.3中我们生成了资源清单，该资源清单位于config/crd/bases/xxx.yaml，我们只需在k8s中创建该资源即可：

2）在编辑器中运行我们的operator：

3）接下来我们创建自定义资源并观察operator是否完成了我们的业务逻辑，编写自定义资源yaml，符合上面我们自己定义的数据结构即可，如下示例：

创建并查看自定义资源，发现operator成功帮我们将服务自动跑了起来：

同时我们也看到operator成功监听到了本次资源创建操作：

浏览器访问node公网ip+端口验证：

我们也可以更改下自定义资源的副本数量，查看operator是否监听到资源的变化：

operator成功监听到了资源的变化：

5. 部署

1）编译并推送镜像：

也可以使用operator官方已经写好的脚本命令，其实质上也是调用了docker：

make docker-build docker-push IMG=<some-registry>/<project-name>:<tag>

查看镜像推送成功：

2）为k8s安装crd资源

3）部署operator

4）创建crd资源
首先确认crd是否已经注册：

创建crd资源：

5）验证
发现我们的operator已经成功为我们创建了资源：

也可访问node公网ip+端口访问服务进行验证。

6. 删除operator及crd资源

1）删除自定义资源

2）卸载operator

可视化操作或执行make uninstall即可。

参考文献：

https://sdk.operatorframework.io/docs/building-operators/golang/tutorial/
https://www.jianshu.com/p/628aac3e6758