Kubeflow v1.2 发布

近日,面向 Kubernetes 构建的开源机器学习工具包,Kubeflow v1.2 正式发布。新版本主要更新包括对模型构建、训练调优以及机器学习流水线进行了增强;引入自动配置超参数机制以提高准确度;提供 Kubernetes上 的无服务器接口;提供交互式编码环境以更好地进行模型开发等等。以下是重点内容:

Katib 0.10

Katib 是基于 Kubernetes 的超参数调优与神经架构搜索系统,能够支持 TensorFlow、XGBoost 以及 Pytorch 等多种机器学习框架。新版本的 Kubeflow 引入了带有 v1beta1 API 的升级版 Katib,旨在通过自动超参数配置(控制模型训练过程中的变更)以更强大的基础架构交付更加准确的模型成果。

KFServing 0.4.1

KFServing 用于提供 Kubernetes CRD,借此在任意框架上支持机器学习模型。新版本允许以车模式添加批处理模块。借助此功能,KFServer Batcher 能够一次性接受并批量处理所有用户请求,而后将其发送至 “InterferenceService”。这不仅能够节约大量时间,也可加快对干扰请求的响应速度,并提高基础设施的资源利用率。

Kubeflow Pipelines

Kubeflow Pipelines 是基于容器的机器学习工作流部署平台。新的 Kubeflow Pipelines 将支持并简化机器学习流水线的端到端编排,同时简化实验与重复使用等常规流程。

详细信息:github.com/kubeflow/kubeflow/releases/tag/v1.2.0

KubeEdge v1.5 发布

近日,KubeEdge v1.5.0 发布,持续提升用户易用性。v1.5 新特性包括:升级边缘设备 Mapper 参考架构、支持从云端通过 Exec 连接边缘 Pod、支持边缘节点本地调试工具 Keadm Debug、基于 Go 语言实现的全新 Modbus Mapper、升级 Kubernetes依赖到 v1.19,并修复了 23 处问题。以下是重点内容:

升级边缘设备 Mapper 参考架构

边缘设备 Mapper 作为 KubeEdge 边缘节点与边缘设备(如传感器等)的连接中枢,提供了边缘设备数据处理的消息格式和通信框架标准化,实现了边缘应用与不同协议的边缘设备解耦。KubeEdge v1.5 升级了Mapper 的参考架构设计,降低了用户自定义开发边缘设备 Mapper 的门槛。其改进包括:

  • 提供 Mapper 公共代码 SDK,方便用户快速开始新的 Mapper 开发。
  • 简化 Mapper 内部架构,并提炼了 Configmap parser、Driver、Event process、Timer 四个新模块,降低 Mapper 开发复杂度。

支持从云端通过 Exec 连接边缘 Pod

在大多数边缘计算场景中,边缘节点处于私有网络环境,无法直接从中心云连接运行在边缘节点上的Pod。随着 v1.5 版本发布,用户可以通过内置流数据通道使用 kubectl exec 命令或 Kubernetes exec API 从云端连接边缘节点上的 Pod 进行远程调试等操作,无需顾虑私网穿透等复杂问题。

边缘节点本地调试工具 Keadm Debug

针对用户需在边缘进行业务巡检、本地诊断、调试维护等场景,KubeEdge 在 Keadm 中内嵌了 Debug 工具,可以通过 keadm debug 的子命令进行本地调试,本次 v1.5 提供的 debug 命令包括:

  • keadm debug diagnose 命令可以在边缘节点进行一键诊断,以发现诸如如配置文件错误、云端地址不可达等异常。
  • keadm debug check 命令可以检查边缘节点的系统版本、容器运行时、资源量等,是否满足运行 KubeEdge 运行的基本要求。
  • keadm debug collect 命令可以将边缘节点的系统信息、业务元数据、组件日志等信息打包,方便提交给运维专家进行调试分析。
  • keadm debug get 命令可以获取边缘节点数据库中的指定数据,并提供了与 kubectl get 命令一致的用户体验。

详细信息:github.com/kubeedge/kubeedge/releases/tag/v1.5.0

etcd 项目毕业

2020 年 10 月 24 日,CNCF 正式宣布,etcd 成为第 14 个毕业项目。之前毕业的 13 个项目分别为 Kubernetes、Prometheus、Envoy、CoreDNS、containerd、TUF、Jaeger、Fluentd、Vitess、Helm、Harbor、TiKV、Rook。

etcd 是一个 Go 语言编写的分布式、高可用的一致性键值存储系统,用于提供可靠的分布式键值(key-value)存储、配置共享和服务发现等功能。无论是 Web 应用持续还是 Kubernetes,etcd 可以帮助各种复杂的应用程序进行数据写入与读取。etcd 项目 2013 年诞生于 CoreOS,于 2018 年 12 月作为孵化项目加入 CNCF。etcd 已经被许多公司用于实际生产,包括阿里巴巴、亚马逊、百度、思科、EMC、谷歌、华为、IBM、Red Hat、Uber、Verizon等,同时也用于 Kubernetes、CoreDNS、M3、Rook 以及 TiKV 等项目。

项目地址:etcd.io 

原文地址:《CNCF 宣布 etcd 项目毕业!》

CNCF 云原生安全白皮书

CNCF 安全特别兴趣小组(Security SIG)近日发布了一份新的云原生安全白皮书,以帮助社区了解保护云原生部署的最佳实践。这份白皮书旨在为组织及其技术领导提供对云原生安全、云在生命周期过程中的整合以及决定最合适的应用的考虑的清晰理解。

白皮书介绍了针对云原生架构的新的安全指导和控制,为在设计、开发和部署新功能时,可以始终应用云原生架构中的核心安全概念。这些核心的安全概念是:

  • 防止未经授权的访问(个人和非人实体)。通过不断地从已知的良好状态重定基准,可减少对未授权实体的资产暴露。
  • 不变性(Immutability)以保持内容和代码的完整性。
  • 服务、工具和内容的可用性。分布式提供了弹性和冗余。
  • 审计和问责制提供了一种机制,以确保没有违规行为发生,并跟踪授权的更改。

白皮书下载链接可在公众号后台回复:云原生安全

本周 K8s 开源项目推荐

kvdi

  • 这是一个 Kubernetes 本地虚拟桌面基础架构。
  • github.com/tinyzimmer/kvdi

kubectl-fuzzy

  • 它用于使用模糊和部分字符串搜索 kubectl。
  • github.com/d-kuro/kubectl-fuzzy

network-node-manager

  • 这是一个 kubernetes 控制器,它控制节点的网络配置以解决 kubernetes 网络问题。
  • github.com/kakao/network-node-manager

kube-linter

  • 这是一个静态分析工具,用于检查 Kubernetes YAML 文件和 Helm 图表。
  • github.com/stackrox/kube-linter

sysbox

  • 这是一个开源的容器 runtime。
  • github.com/nestybox/sysbox

kubectl-reap

  • 它可用于删除未使用的 Kubernetes 资源
  • github.com/micnncim/kubectl-reap

Linux 基金会将托管 Servo web 引擎

近日,Linux 基金会宣布将托管 Servo web 引擎,并成立一个董事会和技术指导委员会指导项目发展。

今年 8 月,Mozilla 宣布裁员 25%,其中正好包括 Servo 团队的开发人员。Servo 是使用 Rust 开发的实验性浏览器引擎,与其他浏览器引擎相比,Servo 在内存安全性、速度和并发性方面具有优势。

Servo 是一个开源项目,它提供可以加载、运行和显示 web 页面、应用程序和沉浸式 WebXR 体验的组件。Servo 目前运行在 Linux、macOS 和 Windows 上,并已移植到Android 手机、Oculus、Magic Leap 和 HoloLens 等设备上。Servo 帮助建立了 Mozilla 的 Gecko 浏览器引擎,该引擎为 2017 年推出的火狐量子网络浏览器提供了动力,至今仍是火狐的核心 DNA。