k8s | 酷壳 – CoolShell 3F

K8S Service类型

2021年2月5日 CoolShell Comments 0 Comment 66 Views

閱讀本文約花費: 5 (分鐘)K8S Service类型∶ ● K8S 的服务（Service）用于解决K8S 集群的网络负载分配1.服务通过标签检索出正在运行的Pod，维护着该服务的可用Endpoints集合（kubectl get ep ）2.服务以短名字注册到集群DNS，配合namespace和svc后缀就可以进行常规DNS查询，得到该服务的唯一ClusterIP 3.如果是Headless类型的服务，K8S不分配ClusterIP，其DNS响应为一组Pod IP列表，或者一个CNAME指向外部域名4.服务的网络实现在TCP/IP四层，通过DNAT（nodePort）或 DNAT（ClusterIP，port）两条路径之一到Pod的targetPort5.targetPort通常是Pod内工作容器或sidecar（比如envoy代理）容器监听的端口号，需要跟pod定义保持一致 ● ClusterIP类型的服务 -集群内部互访集群内部任一 pod 可以经由 ClusterlP∶port发起访问的K8S服务类型 K8S服务IP即 ClusterIP，仅存在于转发规则里，不配置到任何内核网络接口- 在 ClusterIP类型 Service的定义中∶1.无需显式指定IP，K8S将自动分配一个独占的ClusterIP，定义type为ClusterIP，也可以省略2.需要显式指定一组…

Read More Read More

从基础设施到云原生应用，全方位解读阿里云原生新锐开源项目

2020年11月19日 CoolShell Comments 0 Comment 137 Views

閱讀本文約花費: 11 (分鐘)简介： 2020年11月19日，由 InfoQ 主办的“2020中国技术力量年度榜单盛典”隆重召开，阿里云技术专家罗毅荣获“十大开源杰出贡献人物”、Open Application Model（OAM）荣登“十大开源新锐项目”、由阿里云原生团队支撑的完美日记电商业务案例获评“2020年度十大云原生行业落地典范”，阿里云原生拿了一个分量十足的“大满贯”。 2020年11月19日，由 InfoQ 主办的“2020中国技术力量年度榜单盛典”隆重召开，并正式揭晓了“开源杰出贡献人物”、“开源新锐项目”和“云原生行业落地典范”三大重量级奖项。在此前的入围赛中，仅“开源新锐项目”单项，阿里云原生就入围了10多个开源项目，在创新能力、社区成就和用户反馈等多项指标中一骑绝尘，占据了参评项目整体近五分之一。而在本次揭晓的“2020中国技术力量年度榜单”决赛结果中，最终阿里云技术专家罗毅荣获“十大开源杰出贡献人物”、Open Application Model（OAM）荣登“十大开源新锐项目”、由阿里云原生团队支撑的完美日记电商业务案例获评“2020年度十大云原生行业落地典范”，阿里云原生拿了一个分量十足的“大满贯”。在 2020 年，阿里不仅实现了双十一核心系统全面云原生化，一举成为全球规模最大、实力最硬核的云原生实践，并首次实现自研、开源、商业“三位一体…

Read More Read More

如何在Kubernetes中管理有状态应用

2020年11月3日 CoolShell Comments 0 Comment 119 Views

閱讀本文約花費: 7 (分鐘)在Kubernetes中，StatefulSet被用来管理有状态应用的API对象。StatefulSets在Kubernetes 1.9版本才稳定。StatefulSet管理Pod部署和扩容，并为这些Pod提供顺序和唯一性的保证。与Deployment相似的地方是，StatefulSet基于spec规格管理Pod；与Deployment不同的地方是，StatefulSet需要维护每一个Pod的唯一身份标识。这些Pod基于同样的spec创建，但互相之间不能替换，每一个Pod都保留自己的持久化标识。 ———- 1、使用StatefulSet的场景对于下面的应用场景，StatefulSets是有价值的：稳定、唯一的网络标识稳定、持久的存储按照顺序、优雅的部署和扩容按照顺序、优雅的删除和终止按照顺序、自动滚动更新上述的稳定是持久的同义词，如果应用不需要稳定的标识或者顺序的部署、删除、扩容，则应该使用无状态的副本集。Deployment或者ReplicaSet的控制器更加适合无状态业务场景。 2、StatefulSet的限制在Kubernetes 1.9版本之前是beta版本，在Kubernetes 1.5版本之前是不提供的。 Pod存储由PersistentVolume（storage类或者管理员预先创建）提…

Read More Read More

Kubernetes集群搭建：基于Kubeadm

2020年10月31日 CoolShell Comments 0 Comment 209 Views

閱讀本文約花費: 16 (分鐘)一，环境准备 * K8S版本为15.1 * Docker版本最高支持18.06.1 二，Docker环境构建及替换 1，清除原Docker环境，原版本为最新版 yum remove docker \docker-client \docker-client-latest \docker-common \docker-latest \docker-latest-logrotate \docker-logrotate \docker-selinux \docker-engine-selinux \docker-engine rm -rf /etc/systemd/system/docker.service.d rm -rf /var/lib/docker rm -rf /var/run/docker 2，如果清除后依旧包冲突错误 file /usr/share/man/man1/docker-manifest-annotate.1.gz from install of docker-ce-18.06.1.ce-3.el7.x86_64 conflicts with file from package docker-ce-cli-1:18.09.6-3.el7.x86_64 通过yum命令手动移除冲突包 yum erase docker-common-2:1…

Read More Read More

蚂蚁金服 Service Mesh 实践探索

2020年10月25日 CoolShell Comments 0 Comment 116 Views

閱讀本文約花費: 50 (分鐘)摘要在勇敢的选择了Service Mesh作为未来技术方向之后，蚂蚁金服率先开始了Service Mesh大规模落地探索。在此过程中，我们遇到很多问题，面临各种挑战，也有了一些思路和方法。今天我们将这些实践分享出来，并结合我们开源的SOFAMesh项目，和大家一起探讨：如何更好的将Service Mesh这样的新兴技术落地于实际生产环境。大家好，我是来自蚂蚁金服中间件团队的敖小剑，目前是蚂蚁金服 Service Mesh 项目的PD。我同时也是 Servicemesher中国技术社区的创始人，是 Service Mesh 技术在国内最早的布道师。我今天给大家带来的主题是”长路漫漫踏歌而行：蚂蚁金服Service Mesh实践探索”。今天我们的内容不是继续做 Service Mesh 的布道，今年要好好讲一讲实践。所以今天我不会像去年那样给大家详细解释 Service Mesh 是什么，能做什么，有什么优势。而是结合过去一年中蚂蚁金服的实践经验，结合蚂蚁金服的 SOFAMesh 产品，帮助大家更深刻的理解 Service Mesh 技术。在开始今天的内容分享之前，我们先来热个身，温习一下去年的内容。去年我是来布道的，而布道的核心内容就是告诉大家：Service Mesh 是什么？为了帮忙大家回答，我给出一个提示图片，了解 Service M…

Read More Read More

别让自己“墙”了自己

2020年10月15日 CoolShell Comments 0 Comment 147 Views

閱讀本文約花費: 19 (分鐘)这一两周与几个朋友聊天，有年轻的90后，也有大叔级的70后，这些人在我看来都是很有能力的人，但是一些喜好过于强烈，让我不经意地回顾了我工作20年来身边的人，有发展得好的，也有发展的不好的，有些人是很可惜的，因为限制他们的不是其它人，也不是环境，而是自己，所以，很想写下这篇文章。（注：这篇文章可能会是一篇说教的文章，所以，可能会让你看着犯困，所以，我会尽量地短一些，而且尽可能多讲故事，少道理，这里的故事，全是真实发生的）几个故事 2019年年初，我面试了一个很年轻的小伙子（93/94年出生），这个小伙子特别有灵性，也很聪明，计算机专业出身，也很喜欢技术，基础和学习能力也很好。在我这20年来认识的人中，如果他能呆在北京、上海、深圳这样的城市，我保证不出三年，他会成为他们同龄人中非常出色的技术人员，如果有个好的舞台有一个好的团队带他，他的未来会非常成功。然而，这个小伙子有两大喜好：1）只愿（或是说被迫）呆在一个毫无IT的环境的三/四线城市，2）对技术有非常大的偏好，只喜欢Go语言，非常不喜欢其它的语言，比如：Java（离开Java的世界，基本上离开了做架构的世界（相关解释见文末））。他的这两个喜好，足以让一个未来会很优秀的人毁掉，因为，这个时代没有限制他，他的能力也没有限制他，但是他的意识完完全全地限制了他。他把自己最宝贵的青春放在了很烂的项目上，就…

Read More Read More

Docker不香吗，为啥还要K8s？

2020年10月10日 CoolShell Comments 0 Comment 222 Views

閱讀本文約花費: 16 (分鐘)上一篇文章我们着重讲解了 Docker，其实遗留了一个大问题。Docker 虽好用，但面对强大的集群，成千上万的容器，突然感觉不香了。这时候就需要我们的主角 Kubernetes 上场了，先来了解一下 K8s 的基本概念，后面再介绍实践，由浅入深步步为营。关于 K8s 的基本概念我们将会围绕如下七点展开： Docker 的管理痛点什么是 K8s？云架构 & 云原生 K8s 架构原理 K8s 核心组件 K8s 的服务注册与发现关键问题 Docker 的管理痛点如果想要将 Docker 应用于庞大的业务实现，是存在困难的编排、管理和调度问题。于是，我们迫切需要一套管理系统，对 Docker 及容器进行更高级更灵活的管理。 Kubernetes 应运而生！Kubernetes，名词源于希腊语，意为「舵手」或「飞行员」。 image Google 在 2014 年开源了 Kubernetes 项目，建立在 Google 在大规模运行生产工作负载方面拥有十几年的经验的基础上，结合了社区中最好的想法和实践。 K8s 是 Kubernetes 的缩写，用 8 替代了「ubernete」，下文我们将使用简称。什么是 K8s ？ image K8s 是一个可移植的、可扩展的开源平台，用于管理容器化的工作负载和服务，可促进声明式配置和自动化。 …

Read More Read More

Kubernetes Informer 机制源码解析

2020年9月8日 CoolShell Comments 0 Comment 162 Views

閱讀本文約花費: 14 (分鐘)这篇文章来源于云原生社区组织的 Kubernetes 源码研习社的作业，是个人学习Informer机制、理解Informer各个组件的设计的总结。背景为什么Kubernetes需要Informer机制？我们知道Kubernetes各个组件都是通过REST API跟API Server交互通信的，而如果每次每一个组件都直接跟API Server交互去读取/写入到后端的etcd的话，会对API Server以及etcd造成非常大的负担。而Informer机制是为了保证各个组件之间通信的实时性、可靠，并且减缓对API Server和etcd的负担。 Informer 流程这个流程，建议先看看《From Controller Study Informer》这里我们以CoreV1. Pod资源为例子：第一次启动Informer的时候，Reflector 会使用 List从API Server主动获取CoreV1. Pod的所有资源对象信息，通过 resync将资源存放在 Store中持续使用 Reflector建立长连接，去 Watch API Server发来的资源变更事件当2 监控到CoreV1.Pod的资源对象有增加删除修改之后，就把资源对象存放在 DeltaFIFO中，…

Read More Read More

消息疯狂堆积！RocketMQ 出 Bug 了?

2020年8月25日 CoolShell Comments 0 Comment 202 Views

閱讀本文約花費: 21 (分鐘)前言用过 MQ 的同学，可能会遇到过消息堆积的问题。而肥壕最近也踩上了这个坑，但是发现结果竟然是这么一个意料之外的原因而导致的。正文那一晚月黑风高，肥壕正准备踏上回家的路，突然收到告警短信轰炸！“MQ 消息堆积告警 [TOPIC: XXX] ” 肥壕心里“万只草泥马崩腾~” 第一反应是：“怎么肥事？刚下班就来搞事情？？？” 于是乎赶回公司赶紧打开电脑，登上 RocketMQ 后台查看（公司自己搭建的开源版RocketMQ）握草 (ｷ｀ﾟДﾟ´)!!! 竟然堆积了3亿多条消息了？？？要知道出现消息堆积无在乎这个问题：生产者的生产速度 >> 消费者的处理速度 1. 生产者的生产速度骤增，比如生产者的流量突然骤增 2. 消费速度变慢，比如消费者实例 IO 阻塞严重或者宕机擦了一下头上的冷汗😓…赶紧登上消费者服务器瞧瞧。应用运行正常！服务器磁盘IO 正常！网络正常！再去上去生产者的服务器，咦…流量也很正常！什么？？？佛了😨 …生产者和消费者的应用都很正常，但是为什么消息会堆积怎么多呢？看着这堆积的数量越堆越多（要是这是我头发的数量那该多好啊），越发着急。虽然说 RocketMQ 版能支持 10 亿级别的消息堆积，不会因为消息堆积导致性能明显下降，&#x1…

Read More Read More

上 Kubernetes 到底有什么业务价值？

2020年8月24日 CoolShell Comments 0 Comment 138 Views

閱讀本文約花費: 13 (分鐘)开篇，我们先思考这样一个问题：“为什么要基于 Kubernetes 去构建一个应用管理平台？” 上图是一个本质的问题，我们在落地 K8s 经常遇到的一个问题。尤其是我们的业务方会问到这么一个问题，我们上 Kubernetes 有什么业务价值？这时候作为我们 K8s 工程师往往是很难回答的。原因在哪里呢？实际上这跟 K8s 的定位是相关的。K8s 这个项目呢，如果去做一个分析的话，我们会发现 K8s 不是一个 PaaS 或者应用管理的平台。实际上它是一个标准化的能力接入层。什么是能力接入层呢？大家可以看一下下图。实际上通过 Kubernetes 对用户暴露出来的是一组声明式 API，这些声明式 API 无论是 Pod 还是 Service 都是对底层基础设施的一个抽象。比如 Pod 是对一组容器的抽象，而 Deployment 是对一组 pod 的抽象。而 Service 作为 Pod 的访问入口，实际上是对集群基础设施：网络、网关、iptables 的一个抽象。Node 是对宿主机的抽象。Kubernetes 还提供了我们叫做 CRD（也就是 Custom Resource）的自定义对象。让你自己能够自定义底层基础设施的一个抽象。而这些抽象本身或者是 API 本身，是通过另外一个模式叫做控制器 (Controller) 去实现的。通过控制器去驱动…

Read More Read More

如何构建以应用为中心的“Kubernetes”?

2020年8月22日 CoolShell Comments 0 Comment 210 Views

閱讀本文約花費: 23 (分鐘)在上篇文章《上 Kubernetes 到底有什么业务价值？》，主要和大家介绍了上 Kubernetes 有什么业务价值，以及什么是“以应用为中心”的 Kubernetes。本文将跟大家具体分享如何构建“以应用为中心”的 Kubernetes。如何构建“以应用为中心”的 Kubernetes？构建这么一个以用户为中心的 Kubernetes，需要做几个层级的事情。 1. 应用层驱动首先来看最核心的部分，上图中蓝色部分，也就是 Kubernetes。可以在 Kubernetes 之上定义一组 CRD 和 Controller。可以在 CRD 来做用户这一侧的 API，比如说 pipeline 就是一个 API，应用也是一个 API。像运维侧的扩容策略这些都是可以通过 CRD 的方式安装起来。 2. 应用层抽象所以我们的需要解决第一个问题是应用抽象。如果在 Kubernetes 去做应用层抽象，就等同于定义 CRD 和 Controller，所以 Controller 可以叫做应用层的抽象。本身可以是社区里的，比如 Tekton，istio 这些，可以作为你的应用驱动层。这是第一个问题，解决的是抽象的问题。不是特别难。 3. 插件能力管理很多功能不是 K8s 提供的，内置的 Controller 还是有限的，大部分能力来自于社区或者是自己开发的 …

Read More Read More

蚂蚁金服大规模微服务架构下的Service Mesh探索之路

2020年8月21日 CoolShell Comments 0 Comment 90 Views

閱讀本文約花費: 44 (分鐘)前言今天给大家带来的内容叫做Service Mesh探索之路，但是在前面加了一个定语：大规模微服务架构下。之所以加上这个词，是因为我们这个体系是在蚂蚁金服这样一个大的架构下进行的，蚂蚁金服的体量大家可以想象，所以这个探索会带有一个非常隆重的色彩：对性能/规模/高可用等方面的思考。在深圳的GIAC大会，我们同事披露了这个正在开发中的 Service Mesh产品，我们现在暂时命名为 SOFA Mesh。我们目前的产品都在 SOFA品牌下，比如 SOFA RPC，SOFA Boot等。今天我们详细介绍 SOFA Mesh这个单独产品，上次大会只是简单披露，也就是给大家介绍说我们有这样一个产品，而我今天的内容是把这个产品详细展开。一、技术选型先上来一堆要求，刚才我们提到过的，因为是大规模，而蚂蚁金服的体量，大家可以想象到的。实际上在性能，稳定性上，我们的衡量标准，我们考虑的基石，都是以蚂蚁金服这样的一个规模来考虑的。在这样一个规模下，我们会涉及到一些跟其他公司不太一样的地方，比如说：我们在性能的考量上会比较重一些。因为如果性能不高的话，可能没法支撑我们这样一个规模。在考虑性能的时候，就有另外一层考量：架构和性能之间的这个权衡和取舍是要非常谨慎的。性能要求不太高的情况下，架构可能的选择，和需要比较高性能的情况下，可能会有完全不一样的取舍。稳定性就不…

Read More Read More

云原生：「落地」最重要

2020年8月18日 CoolShell Comments 0 Comment 152 Views

閱讀本文約花費: 17 (分鐘)1 云原生这个话题虽然我们谈了很多年了，但到底怎么去理解它，还是需要一段过程。提到云原生，很多人会联想到另一个词：「互联网原住民」，这个词代表了一群出生在互联网时代的人，他们看待世界和思考问题的方式从一开始就和互联网时代以前的人不同。云原生也是如此。未来我们构建任何系统，不再是原来的那套思考方式，不是把云当成一个工具来使用，而是系统本身就生长于云，并在云上爆发，因此需要我们从根本上转换思考方式，重新定义业务系统。云原生和云计算也不一样，云计算的主角是计算、机器、资源，而云原生的主角是云上延伸出来的应用。阿里云智能事业群总裁行癫曾经写过一个故事：在 2004 年那个缺电的夏天，淘宝网全都挤在华星二楼：正是在那里，开始了我的淘宝生涯。我的位置在一个角落里，边上是一堆开着的服务器，吹出的风比七月烈阳下的风更热：因为限电，空调基本上只能看。刚到一个新环境，不知道该做什么，眼睁睁地看着一大群人忙忙碌碌。那时淘宝的节奏是非常快的，我记得小宝有一次说，当时网站如果要改点什么，只要跑到多隆那儿说一下，等他接杯水回到座位打开页面时，需求就已经上线了。那是 2004 年，基于当时的技术架构，任何需求只要改一下代码，就能够立刻交付。而在现在这样复杂的技术架构下，很难通过简单修改代码实现需求迭代。但是随着云原生时代的到来，我们又看到了新的机会。为了再现“当年的传说…

Read More Read More

上 Kubernetes 到底有什么业务价值？

2020年8月12日 CoolShell Comments 0 Comment 253 Views

閱讀本文約花費: 13 (分鐘)开篇，我们先思考这样一个问题：“为什么要基于 Kubernetes 去构建一个应用管理平台？” 上图是一个本质的问题，我们在落地 K8s 经常遇到的一个问题。尤其是我们的业务方会问到这么一个问题，我们上 Kubernetes 有什么业务价值？这时候作为我们 K8s 工程师往往是很难回答的。原因在哪里呢？实际上这跟 K8s 的定位是相关的。K8s 这个项目呢，如果去做一个分析的话，我们会发现 K8s 不是一个 PaaS 或者应用管理的平台。实际上它是一个标准化的能力接入层。什么是能力接入层呢？大家可以看一下下图。实际上通过 Kubernetes 对用户暴露出来的是一组声明式 API，这些声明式 API 无论是 Pod 还是 Service 都是对底层基础设施的一个抽象。比如 Pod 是对一组容器的抽象，而 Deployment 是对一组 pod 的抽象。而 Service 作为 Pod 的访问入口，实际上是对集群基础设施：网络、网关、iptables 的一个抽象。Node 是对宿主机的抽象。Kubernetes 还提供了我们叫做 CRD（也就是 Custom Resource）的自定义对象。让你自己能够自定义底层基础设施的一个抽象。而这些抽象本身或者是 API 本身，是通过另外一个模式叫做控制器 (Controller) 去实现的。通过控制器去驱动…

Read More Read More

让开发部署提速8倍，我参与这款的插件的全过程

2020年8月1日 CoolShell Comments 0 Comment 196 Views

閱讀本文約花費: 20 (分鐘)如何像参与开源那样，去参与一款 IDE 插件的设计？作为一款 IDE 插件的使用者，我是否能决定下一个版本的功能？自从产品经理银时小伙和他的开发小哥们在去年12月发布 Cloud Toolkit（一款 IDE 插件）以来，已帮助数以万计的开发者们提高了业务的部署效率。期间，开发者们不仅是 Cloud Toolkit 的使用者，同时也作为设计者参与了插件的更新迭代。本文来自开发者徐靖峰，分享了他和 Cloud Toolkit 的故事遇见 Cloud Toolkit 在与中间件小姐姐的一次聊天中，偶然间了解到这款插件，小姐姐跟我提到自己正在运营一款 IDE 开发者工具，能够使开发部署效率提高 8 倍，出于好奇心，我就上手体验了一下，看看究竟是一个什么样的产品。使用了一段时间之后，便迫不及待地向小姐姐分享了我作为开发者对插件的一些看法。我对这款产品最直观的感受：这是一款发布工具，帮助用户在 IDE 中直接打包应用并部署到各种终端。一开始看到这款产品位于阿里云的页面中，原本以为是一款和阿里云服务强绑定的产品，但试用过后才发现，即使对于普通的云主机，也非常适用，还可以解决很多开发运维的痛点，非阿里云用户可以放心使用。在 Cloud Toolkit 出现之前作为一个 Java 程序员，我们大多数会在 Intellij IDEA 中基于 S…

Read More Read More