集群镜像讨论

[cuisongliu]

目前的集群镜像

• rootfs
  目前的基础镜像

  FROM scratch
  MAINTAINER sealyun
  LABEL init="init.sh \$criData \$registryDomain \$registryPort \$registryUsername \$registryPassword"
  LABEL version="v0.0.0"
  LABEL image="__lvscare__"
  LABEL clean="clean.sh \$criData"
  LABEL check="check.sh"
  LABEL init-registry="init-registry.sh \$registryPort \$registryData \$registryConfig"
  LABEL clean-registry="clean-registry.sh \$registryData \$registryConfig"
  LABEL auth="auth.sh"
  LABEL sealos.io.type="rootfs"
  ENV criData=/var/lib/containerd
  ENV registryData=/var/lib/registry
  ENV registryConfig=/etc/registry
  ENV registryDomain=sealos.hub
  ENV registryPort=5000
  ENV registryUsername=admin
  ENV registryPassword=passw0rd
  COPY . .
  

  包含：
  containerd
  registry （containerd启动）
  k8s 等
• patch
  主要是覆盖rootfs的镜像，目前测试阶段比较有用。 sealos run kubernetes:v1.24.3 patch:xxcc --single
• application
  主要是应用镜像，目前可以渲染 charts / images/ manifests/ 中的内容

目前的主要问题

1. registry如何独立拆分
2. 多架构如何处理

优化点：

第一步： registry调整为二进制部署

解决问题

1. 在非k8s节点上执行无需依赖containerd，直接systemctl可以启动registry

第二部： 有了第一步的基础，镜像可以拆分成2种

1. rootfs (只包含containerd\二进制以及配置相关)作为集群镜像，多架构
2. registry镜像 （包含registry启动以及k8s需要的镜像和rootfs的集群镜像）

启动集群先启动registry的镜像，每个节点进行pull image 然后再rootfs目录执行init.sh 即可。可自动识别架构

[cuisongliu]

Action 统一single 和非single的问题

[cuisongliu]

sealos.io.type 判断single rootfs

sealos run kubernetes:v1.24.3

[cuisongliu]

1. sealos run 检测registry是否存在集群镜像
2. save,load 整个registry

集群镜像内容

1. rootfs (二进制) k8s:1.24.1 (2个架构) （2个集群镜像）
2. registry (1. registry 2. 1.24.1 docker镜像 3. 1.24.1 集群镜像 )

[cuisongliu]

sealos build

1. buildah build
   sealos run
2. start registry
3. pull cluster image
4. cmd

sealos save

1. 扫描 离线docker镜像
2. 保存registry的集群镜像

sealos load

1. 拷贝registry目录

[yyf1986]

我觉得你得抽时间给我讲下镜像这些知识点。我感觉我对底层这些东西不太清晰。

[kinbod]

我有点个人的想法：
1.sealos里面添加配置私有镜像库的命令。
2.安装集群的时候判断如果配置了私有仓库，则将镜像内容推送到私有仓库。
3.然后在部署集群的时候从私有仓库进行拉取。

不知道这个想法是否可行。

[cuisongliu]

然后在部署集群的时候从私有仓库进行拉取。

不知道这个想法是否可行。

估计新增一个仓库可以，直接推可能不大行涉及到后面run集群镜像逻辑。

[willzhang]

是否可以支持添加一个或多个外部镜像仓库（harbor、dockerhub、阿里云registry 等任何标准镜像仓库），如果某个仓库设为defalut，那么执行sealos run，就引用哪个镜像仓库，镜像就往哪个仓库推。

sealos registry add harbor01 http://192.168.72.10 -u admin -p harbor12345 
sealos registry add dockerhub01 docker.io -u labring -p 123456
sealos registry set default harbor01
sealos run labring/kubernetes:v1.25.3 

如果没有配置默认镜像仓库，指定使用哪个镜像仓库

sealos run labring/kubernetes:v1.25.3 --registry=harbor01

卸载内置镜像仓库

sealos registry list
sealos registry delete sealos-registry

原理

sealos build 
     cloud image 
        ---> local oci image file

sealos run 
     cloud image 
        ---> local oci image file   ----> harbor01 (use buildah skopeo ?) 

[cuisongliu]

skopey 不清除是否支持registry的格式？

[willzhang]

skopey 不清除是否支持registry的格式？

不支持，要转换，看有个人写的文章处理起来挺麻烦的：https://blog.k8s.li/docker-registry-to-harbor.html#%E6%96%B9%E6%A1%88%E4%BA%8C%EF%BC%9Askopeo

这样行不行? 但是 skopeo本身就很大，怎么封装到sealos里.

sealos build --- 调用 skopeo copy

skopeo copy docker://nginx:latest oci:nginx --dest-shared-blob-dir ./registry

sealos run --- 调用skopeo copy

skopeo copy oci:nginx --src-shared-blob-dir ./registry docker://harbor.registry.local/nginx

但是kubekey就可以，不知道怎么实现的，
https://github.com/kubesphere/kubekey/blob/master/docs/manifest_and_artifact.md

他这个制品kubekey-artifact.tar.gz 解压以后的images目录，看着跟skopeo保存到本地的oci目录一样

# ls  kubekey/images/
blobs  index.json  oci-layout

执行 这个命令就能推到harbor仓库

kk artifact image push