互联网企业技术博客
閱讀本文約花費:
Kubernetes 下日志采集、存储与处理技术实践
閱讀本文約花費: 25 (分鐘) 本文介绍了“Logtail + 日志服务 + 生态”架构，介绍了：Logtail客户端在Kubernetes日志采集场景下的优势. 日志服务作为基础设施一站式解决实时读写、HTAP两大日志强需求；日志服务数据的开放性以及与云产品、开源社区相结合，在实时计算、可视化、采集上为用户提供的丰富选择。 Kubernetes日志处理的趋势与挑战 Kubernetes的serveless化 Kubernetes容器技术促进了技术栈的去耦合，通过引入栈的分层使得开发者可以更加关注自身的应用程序和业务场景。从Kubernetes本身来看，这个技术解耦也在更进一步发展，容器化的一个发展的趋势是：这些容器都将会在无服务器的基础设施上运行。 谈到基础设施，首先可以联想到云，目前在AWS、阿里云、Azure的云上都提供了无服务器化的Kubernetes服务。在serverless Kubernetes上，我们将不再关心集群与机器，只需要声明容器的镜像、CPU、内存、对外服务方式就可以启动应用。 如上图，左右两边分别是经典Kubernetes、serverless Kubernetes的形态。在从左向右发展的过程中，日志采集也变得复杂： 1.在一个Kubernetes node上，可能会运行更大规模量级的pod，每个pod上都可能有日志或监控指标采集需求，意味着单node上…
【K8S】基于Docker+K8S+GitLab/SVN+Jenkins+Harbor搭建持续集成交付环境（环境搭建篇）
閱讀本文約花費: 51 (分鐘)环境搭建概述 1.K8S是什么？ K8S全称是Kubernetes，是一个全新的基于容器技术的分布式架构领先方案，基于容器技术，目的是实现资源管理的自动化，以及跨多个数据中心的资源利用率的最大化。 如果我们的系统设计遵循了kubernetes的设计思想，那么传统系统架构中那些和业务没有多大关系的底层代码或功能模块，都可以使用K8S来管理，我们不必再费心于负载均衡的选型和部署实施问题，不必再考虑引入或自己开发一个复杂的服务治理框架，不必再头疼与服务监控和故障处理模块的开发。总之，使用kubernetes提供的解决方案，会大大减少开发成本，同时可以将精力更加集中于业务本身，而且由于kubernetes提供了强大的自动化机制，所以系统后期的运维难度和运维成本大幅降低。 2.为什么要用K8S? Docker 这个新兴的容器化技术当前已经被很多公司所采用，其从单机走向集群已成必然，而云计算的蓬勃发展正在加速这一进程。Kubernetes 作为当前唯一被业界广泛认可和看好的 Docker 分布式系统解决方案。可以预见，在未来几年内，会有大量的新系统选择它，不管是运行在企业本地服务器上还是被托管到公有云上。 3.使用K8S有哪些好处？ 使用Kubernetes就是在全面部署微服务架构。微服务架构的核心就是将一个巨大的单体应用分解为很多小的互相连接的微服务，一个微服…
微服务写的最全的一篇文章
閱讀本文約花費: 14 (分鐘) 本文来自于网络，本文主要讲解的是微服务，详细阐述了微服务的利弊、服务分层、微服务的服务发现的三种方式微服务的路由发现体系等相关知识。 今年有人提出了2018年微服务将疯狂至死，可见微服务的争论从未停止过。在这我将自己对微服务的理解整理了一下，希望对大家有所帮助。 1.什么是微服务 1）一组小的服务（大小没有特别的标准，只要同一团队的工程师理解服务的标识一致即可） 2）独立的进程（java的tomcat，nodejs等） 3）轻量级的通信（不是soap，是http协议） 4）基于业务能力（类似用户服务，商品服务等等） 5）独立部署（迭代速度快） 6）无集中式管理（无须统一技术栈，可以根据不同的服务或者团队进行灵活选择） ps：微服务的先行者Netflix公司，开源了一些好的微服务框架，后续会有介绍。 2. 怎么权衡微服务的利于弊 利： 强模块边界 。（模块化的演化过程：类–>组件/类库（sdk）–>服务(service)，方式越来越灵活） 可独立部署。 技术多样性。 弊： 分布式复杂性。 最终一致性。（各个服务的团队，数据也是分散式治理，会出现不一致的问题） 运维复杂性。 测试复杂性。 3. 企业在什么时候考虑引入微服务 从生产力和系统的复杂性这两个方面来看。公司一开始的时候，业务复杂性不高，这时候是验证商业模式的…
coolshell.cn
閱讀本文約花費:
云原生应用 Kubernetes 监控与弹性实践
閱讀本文約花費: 8 (分鐘) 本文向大家介绍一个云原生应用该如何在Kubernetes中无缝集成监控和弹性能力。希望对您的学习有所帮助。 前言 云原生应用的设计理念已经被越来越多的开发者接受与认可，而Kubernetes做为云原生的标准接口实现，已经成为了整个stack的中心，云服务的能力可以通过Cloud Provider、CRD Controller、Operator等等的方式从Kubernetes的标准接口向业务层透出。开发者可以基于Kubernetes来构建自己的云原生应用与平台，Kubernetes成为了构建平台的平台。 阿里云容器服务Kubernetes的监控总览 云服务集成 阿里云容器服务Kubernetes目前已经和四款监控云服务进行了打通，分别是SLS（日志服务）、ARMS（应用性能监控）、AHAS（架构感知监控服务）、Cloud Monitor（云监控）。 SLS主要负责日志的采集、分析。在阿里云容器服务Kubernetes中，SLS可以采集三种不同类型的日志 APIServer等核心组件的日志 Service Mesh/Ingress等接入层的日志 应用的标准日志 除了采集日志的标准链路外，SLS还提供了上层的日志分析能力，默认提供了基于APIServer的审计分析能力、接入层的可观测性展现、应用层的日志分析。在阿里云容器服务Kubernetes中，日志组件…
第八章 SMS–短信服务
閱讀本文約花費: 2 (分鐘) 接上文，本文介绍短信服务是什么，怎么使用，更多请看全文。 8.1 短信服务介绍 短信服务（Short Message Service）是阿里云为用户提供的一种通信服务的能力。 产品优势：覆盖全面、高并发处理、消息堆积处理、开发管理简单、智能监控调度 产品功能：短信通知、短信验证码、推广短信、异步通知、数据统计 应用场景：短信验证码、系统信息推送、推广短信等 8.2 短信服务使用 接下来,我们使用短信验证码功能来演示短信服务的使用。流程如下: 8.2.1 准备工作 8.2.1.1 实名认证 实名认证 8.2.1.2 开通短信服务 or 8.2.1.3 申请认证秘钥 跟着下面操作 8.2.1.3 申请短信签名 8.2.1.5 申请短信模板 注意： 尽量短信签名有关联，不然通过不了 8.2.2 短信服务API介绍 8.2.2.1 短信发送(SendSms) 调用SendSms发送短信。 返回数据 8.2.2.2 短信查询(QuerySendDetails) 调用QuerySendDetails接口查看短信发送记录和发送状态。 请求参数 返回数据 8.2.2.3 功能测试 第1步: 引入阿里云服务依赖 <dependency><groupId>com.alibaba.cloud</groupId><artifactI…
第一章 微服务的架构介绍发展
閱讀本文約花費: 16 (分鐘) 微服务架构， 简单的说就是将单体应用进一步拆分，拆分成更小的服务，每个服务都是一个可以独立运行的项目。那么下文主要了微服务架构的发展，详情请看下文。 微服务介绍 1.1 系统架构演变 随着互联网的发展，网站应用的规模也在不断的扩大，进而导致系统架构也在不断的进行变化。 从互联网早起到现在，系统架构大体经历了下面几个过程: 单体应用架构—>垂直应用架构—>分布 式架构—>SOA架构—>微服务架构，当然还有悄然兴起的Service Mesh(服务网格化)。 接下来我们就来了解一下每种系统架构是什么样子的， 以及各有什么优缺点。 1.1.1 单体应用架构 互联网早期，一般的网站应用流量较小，只需一个应用，将所有功能代码都部署在一起就可以，这 样可以减少开发、部署和维护的成本。 比如说一个电商系统，里面会包含很多用户管理，商品管理，订单管理，物流管理等等很多模块， 我们会把它们做成一个web项目，然后部署到一台tomcat服务器上。 优点： 项目架构简单，小型项目的话， 开发成本低 项目部署在一个节点上， 维护方便 缺点： 全部功能集成在一个工程中，对于大型项目来讲不易开发和维护 项目模块之间紧密耦合，单点容错率低 无法针对不同模块进行针对性优化和水平扩展 1.1.2 垂直应用架构 随着访问量的逐渐增大，单一应用只能依靠增加节点来应…
阿里云ACP考试认证心得+须知
閱讀本文約花費: 8 (分鐘)一、 简介 阿里云针对不同产品类别、用户行业、用户成长阶段，精心打造不同的认证考试。 二、 阿里云认证体系 助理工程师（ACA），Alibaba Cloud Certified Associate获得此认证，证明您可以进行阿里云基础产品的使用和管理； 认证工程师（ACP），Alibaba Cloud Certified Professional获得此认证，证明您可以基于阿里云产品解决企业的基本业务问题； 认证高级工程师（ACE），Alibaba Cloud Certified Expert获得此认证，证明您可以基于阿里云产品进行架构设计并解决业务发展中的主要问题。 ACP认证目前又按专业方向分四种 云计算（主要对应阿里云基础架构产品）、 大数据（主要对应阿里云大数据系列产品）、 云安全（主要对应阿里云云盾系列产品）、 企业级互联网架构（主要对应阿里云企业级中间件系列产品）。 目前主流的认证是阿里云云计算ACP认证，适用范围最广、考试难度较小，是面向使用阿里云云计算产品的架构、开发、运维人员的专业技术认证。大数据、安全、企业级互联网架构，这三个各侧重于一个方向，适合该方向的从业者考取。 三、 考前购买须知（下面以阿里云云计算ACP专业认证为例） 1.去云市场购买阿里云云计算ACP专业认证考试授权码，目前的云计算ACP价格为1200元，ACE价格为1920…
阿里巴巴双十一千万级实时监控系统技术揭秘
閱讀本文約花費: 13 (分鐘)本次分享主要介绍以下四方面： 时序业务全景 TSDB 介绍 核心技术 总结展望 时序业务全景 从底层的机器监控到直面用户的应用，都离不开时序性的业务场景，而时序性的数据一般都由专业的时序数据库来存储分析，下面主要介绍 TSDB 覆盖的业务场景以及面临的挑战。 1.1 时序数据库覆盖场景 基础设施层：机柜、物理机、操作系统监控日志 基础运维：sunfire(集团统一监控、采集、报警系统)、阿里云监控、GOC(阿里全球应急调度指挥系统) 资源调度：集团内部调度系统、Kubernetes 集群管理：DBPaas(阿里所有数据库实例的监控和调度) 应用层：APM 场景下的各种应用 1.2 时序数据库面临的挑战 由于面临各个层级的不用场景，所以时序数据库也面临不同挑战： 应用层挑战：由于直面客户所以需要提供高频率、低延迟的查询 olap 数据库本身特性：海量数据的聚合 时序数据库特有的：发散时间线 双十一大促：突然流量十倍以上增长 TSDB 介绍 2.1 TSDB 的发展及性能 TSDB 于 2016 年开始服役, 到目前为止参与了三次双十一大促，相比于 2017 年读写吞吐翻倍增长, 写入 TPS4000w，查询 2wQPS 覆盖集团 130+ 业务线及存储百亿的时间线。 2.2 TSDB 架构介绍 如上图，从左到右为数据的采集到展现的过程： 边缘计算：轻量…