Browsed by
标签：容器

Cgroup和Namespace在测试中的使用(下)

Cgroup和Namespace在测试中的使用(下)

Comments 0 Comment  16 Views

閱讀本文約花費: 7 (分鐘)Namespace介绍 使用Namespace又叫做命名空间，可以让每个进程组具有独立的PID、IPC和网络空间等，也就是说这些系统资源不再是全局性的，而是属于特定的Namespace，每个Namespace里面的资源对其他Namespace都是透明的，从而达到资源的隔离效果。 目前namespace的种类如下分类 系统调用参数Mount namespaces CLONE_NEWNSUTS namespaces CLONE_NEWUTSIPC namespaces CLONE_NEWIPCPID namespaces CLONE_NEWPIDNetwork namespaces CLONE_NEWNETUser namespaces CLONE_NEWUSER 可以查看自己的系统支持哪些namespace# ls -lai /proc/1/nstotal 0418834 dr-x–x–x 2 root root 0 Jul 30 22:58 .1301 dr-xr-xr-x 9 root root 0 Jul 25 22:46 ..41885…

Read More Read More

Cgroup和Namespace在测试中的使用(上)

Cgroup和Namespace在测试中的使用(上)

Comments 0 Comment  22 Views

閱讀本文約花費: 12 (分鐘)很多时候需要测试程序在资源受限情况下的表现，普通的做法可能是不断对系统加压使能够分配给目标程序的资源变少，换另一个思路思考，可以尝试限制分配给目标程序的资源总数，使得机器状态健康的情况下让程序资源使用达到饱和。 作为一个正在做着容器项目的人，知道容器技术是依靠Cgroup和Namespace来实现的。在容器中，cpu和内存资源是使用Cgroup来控制，PID、IPC、网络等资源是通过Namespace来划分。在程序没有部署在容器的情况下，我们仍可以利用Cgoup和Namespace来构造场景完成一些异常测试，如利用Cgroup的资源控制功能做资源满载的测试；利用Namespace的资源隔离特性做一些网络异常测试而不影响其他程序的运行。 Cgroup介绍 Cgroup是进行分组化管理的Linux内核功能，具体的资源管理是通过子系统来完成的。可以理解为子系统就是资源控制器，每种子系统就是一个资源的分配器，比如cpu子系统是控制cpu时间分配的，使用方式如下 安装（ubuntu） #apt-get install cgroup-bin 基本命令 cgclassify — cgclassify命令是用来将运行的任务移动到一个或者多个cgroup。cgclear — cgclear 命令是用来删除…

Read More Read More

最常用的Java框架或者开源项目有哪些？

最常用的Java框架或者开源项目有哪些？

Comments 0 Comment  33 Views

閱讀本文約花費: 19 (分鐘)系统设计 微服务/分布式 基础框架 Spring Boot [1] ：Spring Boot 可以轻松创建独立的生产级基于 Spring 的应用程序,内置 web 服务器让你可以像运行普通 Java 程序一样运行项目。另外，大部分 Spring Boot 项目只需要少量的配置即可，这有别于 Spring 的重配置。 spring-cloud-alibaba[2] : Spring Cloud Alibaba 致力于提供微服务开发的一站式解决方案。此项目包含开发分布式应用微服务的必需组件，方便开发者通过 Spring Cloud 编程模型轻松使用这些组件来开发分布式应用服务。 Spring Cloud Alibaba Sentinel[3] ：A lightweight powerful flow control component enabling reliability and monitoring for microservices. (轻量级的流量控制、熔断降级 Java 库)。 Dubbo[4] ：Apache Dubbo 是一个基于 Java 的高性能开源 RPC 框架。 Nacos[5] ：Nacos 致力于帮助您发现、配置和管理微服务。Nacos 提供了一组简单易用的特性集，帮…

Read More Read More

架构设计-谈谈架构

架构设计-谈谈架构

Comments 0 Comment  42 Views

閱讀本文約花費: 32 (分鐘) 本文首先介绍了架构的概念定义，并介绍如何针对当前需求，选择合适的应用架构,希望对您的学习有所帮助。 1、什么是架构和架构本质 在软件行业，对于什么是架构，都有很多的争论，每个人都有自己的理解。 此君说的架构和彼君理解的架构未必是一回事。因此我们在讨论架构之前，我们先讨论架构的概念定义，概念是人认识这个世界的基础，并用来沟通的手段，如果对架构概念理解不一样，那沟通起来自然不顺畅。 Linux有架构，MySQL有架构，JVM也有架构，使用Java开发、MySQL存储、跑在Linux上的业务系统也有架构，应该关注哪一个？想要清楚以上问题需要梳理几个有关系又相似的概念：系统与子系统、模块与组建、框架与架构: 一、系统与子系统 系统：泛指由一群有关联的个体组成，根据某种规则运作，能完成个别元件不能独立完成的工作能力的群体。 子系统：也是由一群关联的个体组成的系统，多半是在更大的系统中的一部分。 二、模块与组件 都是系统的组成部分，从不同角度拆分系统而已。模块是逻辑单元，组件是物理单元。 模块就是从逻辑上将系统分解， 即分而治之， 将复杂问题简单化。模块的粒度可大可小， 可以是系统，几个子系统、某个服务，函数， 类，方法、 功能块等等。 组件可以包括应用服务、数据库、网络、物理机、还可以包括MQ、容器、Nginx等技术组件。 三、框架与架构 框架是组件实现的规…

Read More Read More

软件架构万字漫谈：业务架构、应用架构与云基础架构

软件架构万字漫谈：业务架构、应用架构与云基础架构

Comments 0 Comment  60 Views

閱讀本文約花費: 34 (分鐘) 本文首先介绍了架构的分类以及架构模式与架构风格其次介绍了DDD 领域驱动设计和微服务与云原生架构,最后介绍 Kuberentes 应用，了解详情请阅读下文。本文来自于知乎,由火龙果软件Alice编辑、推荐。 软件开发就是把一个复杂的问题分解为一系列简单的问题，再把一系列简单的解决方案组合成一个复杂的解决方案。而软件开发中最大的挑战，就是即能够快速高效地针对需求、环境的变化做出改变，也能够持续提供稳定、高可用的服务。而软件架构，就是软件系统的骨骼与框架。 所谓架构，见仁见智，很难有一个明确或标准的定义；但架构并非镜花水月或阳春白雪，有系统的地方就需要架构，大到航空飞机，小到一个电商系统里面的一个功能组件，都需要设计和架构。抽象而言，架构就是对系统中的实体以及实体之间的关系所进行的抽象描述，是对物/信息的功能与形式元素之间的对应情况所做的分配，是对元素之间的关系以及元素同周边环境之间的关系所做的定义。架构能将目标系统按某个原则进行切分，切分的原则，是要便于不同的角色进行并行工作，结构良好的创造活动要优于毫无结构的创造活动。 软件架构的核心价值，即是控制系统的复杂性，将核心业务逻辑和技术细节的分离与解耦。软件架构是系统的草图，它描述的对象是直接构成系统的抽象组件；各个组件之间的连接则明确和相对细致地描述组件之间的通信。在实现阶段，这些抽象组件被细化为实际…

Read More Read More

消息疯狂堆积！RocketMQ 出 Bug 了?

消息疯狂堆积！RocketMQ 出 Bug 了?

Comments 0 Comment  86 Views

閱讀本文約花費: 21 (分鐘)前言 用过 MQ 的同学，可能会遇到过消息堆积的问题。而肥壕最近也踩上了这个坑，但是发现结果竟然是这么一个意料之外的原因而导致的。 正文 那一晚月黑风高，肥壕正准备踏上回家的路，突然收到告警短信轰炸！“MQ 消息堆积告警 [TOPIC: XXX] ” 肥壕心里“万只草泥马崩腾~” 第一反应是：“怎么肥事？刚下班就来搞事情？？？” 于是乎赶回公司赶紧打开电脑，登上 RocketMQ 后台查看（公司自己搭建的开源版RocketMQ） 握草 (ｷ｀ﾟДﾟ´)!!! 竟然堆积了3亿多条消息了？？？ 要知道出现消息堆积无在乎这个问题： 生产者的生产速度 >> 消费者的处理速度  1. 生产者的生产速度骤增，比如生产者的流量突然骤增 2. 消费速度变慢，比如消费者实例 IO 阻塞严重或者宕机 擦了一下头上的冷汗😓…赶紧登上消费者服务器瞧瞧。 应用运行正常！服务器磁盘IO 正常！网络正常！ 再去上去生产者的服务器，咦…流量也很正常！ 什么？？？佛了😨 …生产者和消费者的应用都很正常，但是为什么消息会堆积怎么多呢？看着这堆积的数量越堆越多（要是这是我头发的数量那该多好啊），越发着急。 虽然说 RocketMQ 版能支持 10 亿级别的消息堆积，不会因为消息堆积导致性能明显下降，&#x1…

Read More Read More

分布式定时任务调度框架实践

分布式定时任务调度框架实践

Comments 0 Comment  84 Views

閱讀本文約花費: 14 (分鐘)分布式任务调度框架几乎是每个大型应用必备的工具，本文介绍了任务调度框架使用的需求背景和痛点，对业界普遍使用的开源分布式任务调度框架的使用进行了探究实践，并分析了这几种框架的优劣势和对自身业务的思考。 一、业务背景 1.1 为什么需要使用定时任务调度 （1）时间驱动处理场景：整点发送优惠券，每天更新收益，每天刷新标签数据和人群数据。 （2）批量处理数据：按月批量统计报表数据，批量更新短信状态，实时性要求不高。 （3）异步执行解耦：活动状态刷新，异步执行离线查询，与内部逻辑解耦。 1.2 使用需求和痛点 （1）任务执行监控告警能力。 （2）任务可灵活动态配置，无需重启。 （3）业务透明，低耦合，配置精简，开发方便。 （4）易测试。 （5）高可用，无单点故障。 （6）任务不可重复执行，防止逻辑异常。 （7）大任务的分发并行处理能力。 二、开源框架实践与探索  2.1 Java 原生 Timer 和ScheduledExecutorService 2.1.1 Timer使用 Timer缺陷： Timer底层是使用单线程来处理多个Timer任务，这意味着所有任务实际上都是串行执行，前一个任务的延迟会影响到之后的任务的执行。 由于单线程的缘故，一旦某个定时任务在运行时，产生未处理的异常，那么不仅当前这个线程会停止，所有的定时任务都会停止。 Timer任…

Read More Read More

上 Kubernetes 到底有什么业务价值？

上 Kubernetes 到底有什么业务价值？

Comments 0 Comment  62 Views

閱讀本文約花費: 13 (分鐘)开篇，我们先思考这样一个问题：“为什么要基于 Kubernetes 去构建一个应用管理平台？” 上图是一个本质的问题，我们在落地 K8s 经常遇到的一个问题。尤其是我们的业务方会问到这么一个问题，我们上 Kubernetes 有什么业务价值？这时候作为我们 K8s 工程师往往是很难回答的。原因在哪里呢？实际上这跟 K8s 的定位是相关的。K8s 这个项目呢，如果去做一个分析的话，我们会发现 K8s 不是一个 PaaS 或者应用管理的平台。实际上它是一个标准化的能力接入层。什么是能力接入层呢？大家可以看一下下图。 实际上通过 Kubernetes 对用户暴露出来的是一组声明式 API，这些声明式 API 无论是 Pod 还是 Service 都是对底层基础设施的一个抽象。比如 Pod 是对一组容器的抽象，而 Deployment 是对一组 pod 的抽象。而 Service 作为 Pod 的访问入口，实际上是对集群基础设施：网络、网关、iptables 的一个抽象。Node 是对宿主机的抽象。Kubernetes 还提供了我们叫做 CRD（也就是 Custom Resource）的自定义对象。让你自己能够自定义底层基础设施的一个抽象。 而这些抽象本身或者是 API 本身，是通过另外一个模式叫做控制器 (Controller) 去实现的。通过控制器去驱动…

Read More Read More

如何构建以应用为中心的“Kubernetes”?

如何构建以应用为中心的“Kubernetes”?

Comments 0 Comment  82 Views

閱讀本文約花費: 23 (分鐘)在上篇文章《上 Kubernetes 到底有什么业务价值？》，主要和大家介绍了上 Kubernetes 有什么业务价值，以及什么是“以应用为中心”的 Kubernetes。本文将跟大家具体分享如何构建“以应用为中心”的 Kubernetes。 如何构建“以应用为中心”的 Kubernetes？ 构建这么一个以用户为中心的 Kubernetes，需要做几个层级的事情。 1. 应用层驱动 首先来看最核心的部分，上图中蓝色部分，也就是 Kubernetes。可以在 Kubernetes 之上定义一组 CRD 和 Controller。可以在 CRD 来做用户这一侧的 API，比如说 pipeline 就是一个 API，应用也是一个 API。像运维侧的扩容策略这些都是可以通过 CRD 的方式安装起来。 2. 应用层抽象 所以我们的需要解决第一个问题是应用抽象。如果在 Kubernetes 去做应用层抽象，就等同于定义 CRD 和 Controller，所以 Controller 可以叫做应用层的抽象。本身可以是社区里的，比如 Tekton，istio 这些，可以作为你的应用驱动层。这是第一个问题，解决的是抽象的问题。不是特别难。 3. 插件能力管理 很多功能不是 K8s 提供的，内置的 Controller 还是有限的，大部分能力来自于社区或者是自己开发的 …

Read More Read More

Dockerfile文件详解

Dockerfile文件详解

Comments 0 Comment  55 Views

閱讀本文約花費: 6 (分鐘)什么是dockerfile? Dockerfile是一个包含用于组合映像的命令的文本文档。可以使用在命令行中调用任何命令。 Docker通过读取Dockerfile中的指令自动生成映像。 docker build命令用于从Dockerfile构建映像。如果默认的文件名不叫Dockerfile，则可以在命docker build令中使用-f标志指向文件系统中任何位置的Dockerfile。注意最后面的“.”，代表的当前目录。 #例：docker build -t centos . #或者：docker build -f /path/dockerfile Dockerfile的基本结构 Dockerfile 一般分为四部分：基础镜像信息、维护者信息、镜像操作指令和容器启动时执行指令，’#’ 为 Dockerfile 中的注释。 Dockerfile文件说明 Docker以从上到下的顺序运行Dockerfile的指令。为了指定基本映像，第一条指令必须是FROM。一个声明以＃字符开头则被视为注释。可以在Docker文件中使用RUN，CMD，FROM，EXPOSE，ENV等指令。 在这里列出了一些常用的指令。 FROM：指定基础镜像，必须为第一个命令 BashCopy MAINTAINER: 维护者信息 BashCopy RUN：构建镜像时执行的命令 …

Read More Read More

Kubernetes 网络通讯模型解析

Kubernetes 网络通讯模型解析

Comments 0 Comment  58 Views

閱讀本文約花費: 7 (分鐘)Kubernetes 基础架构 架构图 从架构图看到，一次外部访问请求，并不会直接请求到kubernetes中具体的某个集群或者某一个资源模块，是需要经过各模块资源间的调度来完成的。网络 继续剖析Kubernetes的网络，如上图我们可以发现Kubernetes存在3种网络：节点网络，Pod网络，Service网络，最后再加上Internet与Service之间的网络总共4种。 于是我们可以总结Kubernetes需要解决4种通信模式：     1.容器和容器之间的通信     2.Pod和Pod之间的通信     3.Pod和Service之间的通信     4.Internet和Service之间的通信 容器和容器之间的网络 每一个Pod管理着一个或多个container，而对于同一个Pod之间的容器之间共享一个网络命名空间，它们之间可以直接通过localhost进行访问通信，这里以docker作为容器为例，容器间正好采用了container模式，额外创建启动一个容器，而这个容器不会有自己的网卡以及配置IP地址，而是和一个指定的容器共享IP和端口； 在Kubernetes里面每一个Pod都有…

Read More Read More

云原生：「落地」最重要

云原生：「落地」最重要

Comments 0 Comment  79 Views

閱讀本文約花費: 17 (分鐘)1 云原生这个话题虽然我们谈了很多年了，但到底怎么去理解它，还是需要一段过程。提到云原生，很多人会联想到另一个词：「互联网原住民」，这个词代表了一群出生在互联网时代的人，他们看待世界和思考问题的方式从一开始就和互联网时代以前的人不同。 云原生也是如此。未来我们构建任何系统，不再是原来的那套思考方式，不是把云当成一个工具来使用，而是系统本身就生长于云，并在云上爆发，因此需要我们从根本上转换思考方式，重新定义业务系统。云原生和云计算也不一样，云计算的主角是计算、机器、资源，而云原生的主角是云上延伸出来的应用。 阿里云智能事业群总裁行癫曾经写过一个故事： 在 2004 年那个缺电的夏天，淘宝网全都挤在华星二楼：正是在那里，开始了我的淘宝生涯。我的位置在一个角落里，边上是一堆开着的服务器，吹出的风比七月烈阳下的风更热：因为限电，空调基本上只能看。刚到一个新环境，不知道该做什么，眼睁睁地看着一大群人忙忙碌碌。那时淘宝的节奏是非常快的，我记得小宝有一次说，当时网站如果要改点什么，只要跑到多隆那儿说一下，等他接杯水回到座位打开页面时，需求就已经上线了。 那是 2004 年，基于当时的技术架构，任何需求只要改一下代码，就能够立刻交付。而在现在这样复杂的技术架构下，很难通过简单修改代码实现需求迭代。 但是随着云原生时代的到来，我们又看到了新的机会。为了再现“当年的传说…

Read More Read More

语雀的技术架构演进之路

语雀的技术架构演进之路

Comments 0 Comment  89 Views

閱讀本文約花費: 21 (分鐘)每个技术人心中或多或少都有一个「产品梦」，好的技术需要搭配好的产品，才能让用户爱不释手，尤其是做一款知识服务型产品。 作者何翊宇（花名：不四）是蚂蚁金服体验技术部高级前端技术专家，语雀产品技术负责人。本文从技术架构的视角，回顾了语雀的原型、内部服务和对外商业化的全过程，并对函数计算在语雀架构演进过程中所扮演的角色做了详细的介绍。 语雀是一个专业的云端知识库，用于团队的文档协作。现在已是阿里员工进行文档编写和知识沉淀的标配，并于 2018 年开始对外提供服务。 1 原型阶段 回到故事的开始。 2016 年，语雀孵化自蚂蚁科技，当时，蚂蚁金融云需要一个工具来承载它的文档，负责的技术同学利用业余时间，搭建了这个文档工具。项目的初期，没有任何人员和资源支持，同时也是为了快速验证原型，技术选型上选择了最低成本的方案。 底层服务完全基于体验技术部内部提供的 BaaS 服务和容器托管平台： Object 服务：一个类 MongoDB 的数据存储服务； File 服务：阿里云 OSS 的基础上封装的一个文件存储服务； DockerLab：一个容器托管平台； 这些服务和平台都是基于 Node.js 实现的，专门给内部创新型应用使用，也正是由于有这些降低创新成本的内部服务，才给工程师们提供了更好的创新环境。 语雀的应用层服务端，自然而然的选用了蚂蚁体验技术部开源的 No…

Read More Read More

数据中心网络架构浅谈（一）

数据中心网络架构浅谈（一）

Comments 0 Comment  75 Views

閱讀本文約花費: 14 (分鐘)不论我们在讨论SDN，NFV或者其他的虚拟网络技术，有一点需要明确，网络数据包最终都是跑在物理网络上。物理网络的特性，例如带宽，MTU，延时等，最终直接或者间接决定了虚拟虚拟网络的特性。可以说物理网络决定了虚拟网络的“天花板”。在Mirantis对OpenStack Neutron的性能测试报告中可以看出，网络设备的升级和调整，例如采用高速网卡，配置MTU9000，可以明显提高虚拟网络的传输效率。在对网络性能进行优化时，有些物理网络特性可以通过升级设备或线路来提升，但是有些与网络架构有关。升级或者改动网络架构带来的风险和成本是巨大的，因此在架设数据中心初始，网络架构的选择和设计尤其需要谨慎。另一方面，在设计虚拟网络时，不可避免的需要考虑实际的物理网络架构，理解物理网络架构对于最终理解虚拟网络是不可缺少的。 接下来我将分几次说一说自己对数据中心网络架构的认识，想到哪说到哪，不对的地方请大家指正。 传统数据中心网络架构 在传统的大型数据中心，网络通常是三层结构。Cisco称之为：分级的互连网络模型（hierarchical inter-networking model）。这个模型包含了以下三层： Access Layer（接入层）：有时也称为Edge Layer。接入交换机通常位于机架顶部，所以它们也被称为ToR（Top of Rack）交换机，它们物理…

Read More Read More

CephFS+Kubernetes 在网易轻舟容器平台的实践

CephFS+Kubernetes 在网易轻舟容器平台的实践

Comments 0 Comment  69 Views

閱讀本文約花費: 8 (分鐘)在网易集团，基于 Kubernetes 构建的网易轻舟云原软件生产力平台扮演着支撑数字化业务快速高效创新的重任，帮助业务团队快速实现云原生应用，提高研发效能，并节省运维成本。 作为网易轻舟云原生平台的存储后端，CephFS 主要为网易轻舟容器平台 NCS 解决容器间共享存储的问题。尤其是在当前比较火的 AI 训练场景应用十分广泛，存储规模达已达数 PB 级，CephFS 的性能优化等工作非常重要。 Ceph 和 CephFS 简介 Ceph 由 RADOS 作为底座，上层提供对象、块、文件等接口服务。RADOS 由 MON、OSD、MGR 组成，MON 负责集群的各类视图（osdmap，pgmap 等），健康状态的管理。MGR 则提供了丰富的系统信息查询功能，以及支持第三方模块接入（Zabbix，Prometheus，Dashboard 等）。OSD 则负责最终的数据存储，一般一个 OSD 对应一块磁盘。 CephFS 在此架构基础之上增加了 MDS 和 client，其中 MDS 负责文件系统的元数据管理和持久化操作。client 则对外提供了兼容 POSIX 语义的文件系统客户端，可通过 mount 命令进行挂载。 CephFS 典型实践 部署 整个 CephFS 在轻舟 Kubernetes 环境中的部署架构如下： 在 Kubernetes 的使…

Read More Read More

Kubernetes 是一个声明式容器编排引擎

Kubernetes 是一个声明式容器编排引擎

Comments 0 Comment  51 Views

閱讀本文約花費: 1 (分鐘)Kubernetes 是一个声明式容器编排引擎。在声明式系统中，你可以声明期望的状态，系统将不断地调整实际状态，直到与期望状态保持一致。因此，“声明式系统”这个术语表示一组经过精确计算的相互协调的操作，用来将系统的当前状态调整为期望状态。但实际上 Kubernetes 并不是这么工作的！ Kubernetes 不会基于系统当前状态和期望状态来来确定接下来要执行的一组经过精确计算的相互协调的命令，而是仅基于系统当前状态确定下一个要执行的命令，然后不断迭代，直到没有下一个命令可以执行，系统就达到了稳定状态。 Tags: Kubernetes, 容器

Scroll Up