Browsed by
标签:ceph

How to Write a Spelling Corrector

How to Write a Spelling Corrector

閱讀本文約花費: 14 (分鐘)One week in 2007, two friends (Dean and Bill) independently told me they were amazed at Google’s spelling correction. Type in a search like [speling] and Google instantly comes back with Showing results for: spelling. I thought Dean and Bill, being highly accomplished engineers and mathematicians, would have good intuitions about how this process works. But they didn’t, and come to think of it, why should they know about something so far outisde their specialty? I figured they, and others, could benefit from an explanation. The full details of an…

Read More Read More

CephFS+Kubernetes 在网易轻舟容器平台的实践

CephFS+Kubernetes 在网易轻舟容器平台的实践

閱讀本文約花費: 8 (分鐘)在网易集团,基于 Kubernetes 构建的网易轻舟云原软件生产力平台扮演着支撑数字化业务快速高效创新的重任,帮助业务团队快速实现云原生应用,提高研发效能,并节省运维成本。 作为网易轻舟云原生平台的存储后端,CephFS 主要为网易轻舟容器平台 NCS 解决容器间共享存储的问题。尤其是在当前比较火的 AI 训练场景应用十分广泛,存储规模达已达数 PB 级,CephFS 的性能优化等工作非常重要。 Ceph 和 CephFS 简介 Ceph 由 RADOS 作为底座,上层提供对象、块、文件等接口服务。RADOS 由 MON、OSD、MGR 组成,MON 负责集群的各类视图(osdmap,pgmap 等),健康状态的管理。MGR 则提供了丰富的系统信息查询功能,以及支持第三方模块接入(Zabbix,Prometheus,Dashboard 等)。OSD 则负责最终的数据存储,一般一个 OSD 对应一块磁盘。 CephFS 在此架构基础之上增加了 MDS 和 client,其中 MDS 负责文件系统的元数据管理和持久化操作。client 则对外提供了兼容 POSIX 语义的文件系统客户端,可通过 mount 命令进行挂载。 CephFS 典型实践 部署 整个 CephFS 在轻舟 Kubernetes 环境中的部署架构如下: 在 Kubernetes 的使…

Read More Read More

我是如何参与硅谷顶级开源项目并赚得 2500 美金

我是如何参与硅谷顶级开源项目并赚得 2500 美金

閱讀本文約花費: 6 (分鐘)初识MinIO 三年前,公司要做一个分布式存储的选型,当时考察了Ceph、FastDFS、GlusterFS和MinIO,经过慎重考虑,最终我们选型了MinIO。在选型MinIO的过程中,我也通过github加入到这个开源组织。在17年的时候,MinIO还远没现在这么完善,软件有bug,特性不全,连中文文档也没有,而且也不出名,github上只有几千个star。为了方便公司使用,我就打算翻译MinIO的使用文档,不过转念一想,要玩就玩大点,既然没有中文官方文档,为何我不能来写中文官方文档。于是我就在社区中找到MinIO的创始人Anand Babu Periasamy,和他说,我看MinIO没有中文官方文档,要不我来翻译如何。他欣然接受,并安排MinIO的开发人员Kannappan与我对接。 翻译MinIO中文官方文档 以前没参与过大型的github开源项目,为了能让这个工作顺利进行,我了解了一下github开源项目的合作机制,开源社区的文化、习惯,避免被别人说STFW和RTFM。 翻译工作对我来说倒没什么难的,过程也很顺畅,大概花了一两天把核心文档翻译完了,也顺利合并到主干。这时候MinIO的一个开发人员找到我,和我说: [ ](https://imgchr.com/i/aRaKxJ) 其实我和第一次听他这么说,我心里是拒绝的,我这好好的参与开源,怎么…

Read More Read More

如何阅读OpenStack源码

如何阅读OpenStack源码

閱讀本文約花費: 28 (分鐘)原文:https://github.com/int32bit/openstack-workflow http://www.talkwithtrend.com/Article/240391 1 关于该项目 本项目使用在线绘图工具web sequencediagrams完成,目标是图形化OpenStack的所有操作流程,通过操作序列图能快速学习Openstack的工作原理,理清各个组件的关系,运维人员也能根据操作序列图进行更精确的故障定位和排查. 注意,该操作序列图基于L版OpenStack源码,未来版本的操作可能会有变化,请以最新版的源码为准,该项目提供的序列图仅供参考。 2 OpenStack基础 2.1 OpenStack组件介绍 OpenStack是一个IaaS层的云计算平台开源实现,其对标产品为AWS。最开始OpenStack只有两个组件,分别为提供计算服务的Nova以及提供对象存储服务的Swift,其中Nova不仅提供计算服务,还包含了网络服务、块存储服务、镜像服务以及裸机管理服务。之后随着项目的不断发展,从Nova中根据功能拆分为多个独立的项目,如nova-volume拆分为Cinder项目提供块存储服务,nova-image拆分为Glance项目,提供镜像存储服务,nova-network则是neutron的前身,裸机管理也从Nova中分…

Read More Read More

Scroll Up