China’s largest retailer and the world’s third-largest Internet company by revenue, JD.com serves more than 300 million active customers with its e-commerce business. The company also owns China’s largest e-commerce logistics infrastructure, which covers an incredible…
作为中国最大的零售商和全球收入第三大的互联网公司,京东的电子商务业务为三亿多活跃客户提供服务。 该公司还拥有中国最大的电子商务物流基础设施,覆盖了中国99%的人口,实现了90%以上的订单在同一天或第二天送达。 “这几年京东数据库服务最大的变化是,我们的数据变得更加广泛,我们的MySQL数据库变得更大,直接导致了性能的,运营和维护成本提高,”京东零售首席架构师刘海锋,领导技术基础设施部门,负责推动基于容器基础设施的创新以及发展超大型,容器化,基于Kubernetes的平台,赋能京东所有方面的业务。他表示:“我们需要一个解决方案,使我们能够轻松快速地扩展MySQL,方便操作和维护,并降低硬件和维护成本。” 该公司以前使用JProxy,一个基于cobar而改造的数据库中间件系统来管理MySQL数据库。经过全面的评估,海锋说:“我们最终选择了Vitess,因为它是最适合解决我们面临的最大挑战:大规模数据库服务的可伸缩管理,以及支持MySQL中复杂事务数据的在线扩展。我们现在使用Kubernetes在容器化环境中运行MySQL数据库,并使用Vitess进行可伸缩的集群管理和处理大量复杂的事务数据。” 作为Vitess的早期采用者 – 同时也是全球规模最大、最复杂的vitess使用者之一 – 也面临着一些挑战。海锋说:“重新分片的过程最初是手工的,性能很差,编排器在拥有5000多个实例的大型集群中可能会失败。” 为了确保Vitess能够在京东的规模下工作,海锋的团队进行了大量的改进和更改,包括bug修复和新的功能和特性。他们还为该公司的JDOS Kubernetes平台开发了性能优化和自动化管理工具。其中包括: JTransfer是一个在线数据同步和传输工具,可以实时将数据从京东的传统MySQL数据库迁移到Vitess集群。Vitess中的所有拓扑信息都存储在etcd中。 BinLake是一个MySQL binlog服务平台,以无状态集群化服务实时收集Vitess和传统MySQL数据库服务中的binlog,并将收集到的Binlog发布到消息队列服务(JMQ)。与Vitess集成后,“BinLake以集群的形式提供智能的、高可用、自动扩展的binlog收集服务,”海锋说:“如果在Vitess中有重新分片或故障转移,Binlake将自动调整binlog采集的目标数据库实例。” Mole是一个带有GUI控制台的Vitess管理系统,它改进了Vitess服务管理。“有了Mole,我们可以很容易地创建、重新分割、监视和备份Vitess的keyspace空间。”海锋说。 “我们的大部分改进都回馈到Vitess代码库,社区中的其他开发者可以从中受益。”海锋说。 “我们最终选择了Vitess,因为它是最适合解决我们面临的最大挑战的解决方案:大规模数据库服务的可伸缩管理。” — 京东零售首席架构师刘海锋 通过Vitess,京东看到了数据库集群的可伸缩性和弹性方面的改进。资源利用率和效率的提高,以及操作和运维职能的自动化也导致了劳动力和资源成本的降低。 此外,“Vitess帮助团队提高了他们在可伸缩管理和弹性数据库领域的技术知识和实力,”海锋说:“Vitess是一个CNCF项目的事实意味着我们可以从与最活跃、增长最快的开源社区中的大量开发者和最终用户的合作中获益。通过CNCF的支持,Vitess可以获得越来越多的关注,吸引更多的终端用户,并将开发者聚集到项目中。这对Vitess及其终端用户非常有益,这对我们很重要。” 海锋和他的团队对Vitess的未来感到兴奋。除了将系统迁移到新发布的Vitess 3.0(海锋称之为“重大改进”),他们还在为最新版本开发一些通用功能,并开发一个更完整的操作和维护监控系统。 “Vitess是一个CNCF项目的事实意味着我们可以从与最活跃、增长最快的开源社区中的大量开发者和最终用户的合作中获益。” — 京东零售首席架构师刘海锋 对于其他考虑使用Vitess的组织,海锋建议:“当Vitess与Kubernetes协同使用时,它可以产生最大的价值。在使用Vitess之前,有必要进行更多的测试和研究,以确定Vitess是否适合你的业务,并更好地理解你可能需要进行哪些调整,才能将其集成到现有系统中。” 对于京东来说,Kubernetes、Vitess和其它云原生技术已经改变了游戏规则。“现代服务平台需要可伸缩、高效和敏捷。”海锋说:“云原生技术非常适合处理这些不断变化的环境。它为软件服务提供了灵活性、效率、可伸缩性、独立性、持续集成和交付,所有这些都进一步提高了软件服务的质量和资源效率。Kubernetes已经成为事实上的标准,云原生是未来的必然选择。”
Kubernetes enables CreditEase, Pinterest, Ant Financial, Slamtec and ING to overcome a multitude of challenges experienced as they looked to scale. By investing in Kubernetes and cloud native technology, these companies experienced reduced build times and…
A spinoff of the multinational conglomerate Alibaba, Ant Financial boasts a $150+ billion valuation and the scale to match. The fintech startup, launched in 2014, is comprised of Alipay, the world’s largest online payment platform, and…
作为跨国集团阿里巴巴成立的分支公司,蚂蚁金服增长迅速,估值超过 1500 亿美元。 作为跨国集团阿里巴巴成立的分支公司,蚂蚁金服增长迅速,估值超过 1500 亿美元。这家金融科技创业公司于 2014 年成立,旗下包含全球最大的在线支付平台支付宝,同时还通过充分利用科技创新推出了多项其他服务。支付宝拥有 9 亿多用户,每天都有海量的交易通过其本地和全球合作伙伴达成。2017 年双十一高峰期的每秒交易量高达 256,000 笔,2018 年双十一的商品成交额更是高达 310 亿美元。蚂蚁金服以“为世界带来更多平等的机会”为使命,致力于通过科技创新能力,搭建一个开放、共享的信用体系和金融服务平台。 除了金融服务外,蚂蚁金服还运营着其他业务,例如花呗在线信用系统、借呗借款服务、以及拥有 3.5 亿用户的蚂蚁森林绿色能量移动应用。存储和计算集团产品管理负责人 Haojie Hang 对此表示,蚂蚁金服面临着“以全新方式处理数据的挑战。我们认为这一处理规模会带来三个严峻挑战:1. 如何提供实时计算、存储和处理能力,以便开展为欺诈检测提供实时建议等工作;2. 如何从这些数据中挖掘智能,尽管当前我们有很多数据,但我们并未能从中获得足够的洞察;3. 如何在应用程序级别、中间件级别、系统级别甚至是芯片级别保证安全性。” 为了应对这些挑战并为其客户提供可靠和一致的服务,蚂蚁金服在 2014 年采用了 Docker 容器化技术。但很快,他们便意识到需要一款编排解决方案,来支持公司数据中心内拥有数万个节点的集群。 该团队研究了多项技术,包括 Docker Swarm 和 Mesos 等。Hang…
Application modernization and portability across clouds
Application portability is a growing consideration among enterprises as the array of private, public, and hybrid cloud options continue to expand. Containers are gaining favor as the best approach to application portability, notably as a way…
KubeCon + CloudNativeCon + Open Source Summit China 2019 was a great success with record-breaking registrations, attendance, sponsorships, and co-located events for CNCF’s second annual conference in China. With 3,500 registrations, attendance for this year’s event…
The 10 most viewed videos from past KubeCon + CloudNativeCons
Each KubeCon + CloudNativeCon conference is jam-packed with inspiring, insightful and informative keynotes, sessions and lightning talks. They are published on our YouTube channel after each event so that regardless of attendance, everyone can benefit! Today,…
EnterpriseAI: "Container storage goes native"
Persistent storage emerged as an early requirement for shifting application containers to full production. Industry standards groups have since taken up the cause by launching so-called “cloud-native” storage projects around key components like the Kubernetes cluster…
Diversity scholarship series: From networking in Copenhagen to a lightning talk in Shanghai
At every KubeCon + CloudNativeCon since Seattle in 2016, CNCF has offered funding and support to attendees from traditionally underrepresented and/or marginalized groups. More than 300 of these diversity scholarships — which include free registration, travel…