Browsed by
标签:Elastic Search

Kubernetes 下日志采集、存储与处理技术实践

Kubernetes 下日志采集、存储与处理技术实践

閱讀本文約花費: 25 (分鐘) 本文介绍了“Logtail + 日志服务 + 生态”架构,介绍了:Logtail客户端在Kubernetes日志采集场景下的优势. 日志服务作为基础设施一站式解决实时读写、HTAP两大日志强需求;日志服务数据的开放性以及与云产品、开源社区相结合,在实时计算、可视化、采集上为用户提供的丰富选择。 Kubernetes日志处理的趋势与挑战 Kubernetes的serveless化 Kubernetes容器技术促进了技术栈的去耦合,通过引入栈的分层使得开发者可以更加关注自身的应用程序和业务场景。从Kubernetes本身来看,这个技术解耦也在更进一步发展,容器化的一个发展的趋势是:这些容器都将会在无服务器的基础设施上运行。 谈到基础设施,首先可以联想到云,目前在AWS、阿里云、Azure的云上都提供了无服务器化的Kubernetes服务。在serverless Kubernetes上,我们将不再关心集群与机器,只需要声明容器的镜像、CPU、内存、对外服务方式就可以启动应用。 如上图,左右两边分别是经典Kubernetes、serverless Kubernetes的形态。在从左向右发展的过程中,日志采集也变得复杂: 1.在一个Kubernetes node上,可能会运行更大规模量级的pod,每个pod上都可能有日志或监控指标采集需求,意味着单node上…

Read More Read More

从架构师到唯品会中间件负责人,我对技术的那些思考

从架构师到唯品会中间件负责人,我对技术的那些思考

閱讀本文約花費: 13 (分鐘)2018 年 ArchSummit 全球架构师峰会上,薛珂分享了唯品会基于 ElasticSearch 开发出自己的统一检索平台的话题,很受技术人员关注。2019 年 7 月,薛珂升任唯品会中间件团队负责人,统帅包括服务化、消息服务、数据访问中间件、检索平台、任务调度和数据管道服务等团队。从架构师到团队负责人,经过这一年的历练,在技术上有哪些沉淀,在团队管理上有哪些心得? InfoQ 就此采访了薛珂,希望向读者展示一个鲜活的技术人,除了技术,还有工作价值的思考。(薛珂也是 ArchSummit 全球架构师峰会 · 2020 深圳站“服务化架构”专题出品人) 1个人发展 从架构师一路走来,到目前唯品会中间件团队负责人,薛珂用更形象的“点线面”方式来描述个人在工作技能上的提升,以及在思考问题的方式方法上的变化。 “点” 初任架构师时,他最开始关注的是“点”,也就是某一个领域的具体问题点,比如解决数据访问层的标准化和治理问题,解决任务的调度和执行问题; “线” 到后来关注“线性”问题,比如整个服务化体系的共同协作问题,服务化体系要真正发挥作用,要在服务治理、配置管理、开发框架、测试框架、调用链治理和发布系统共同发力,形成有机的整体; “面” 再到后来站在面上思考问题,比如基础技术的发展趋势,基础技术趋势如何与公司业务发展趋势相契合,再进一步,关注公司当前技…

Read More Read More

Scroll Up