且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

腾讯云高级工程师程力理解的“The Apache Way”:Open, collaboration and Win-win.

更新时间:2022-09-05 20:54:42

Open, collaboration and Win-win.

———程力

ApacheCon 是 Apache 软件基金会(ASF)的官方全球系列大会。作为久负盛名的开源盛宴,ApacheCon 在开源界备受关注,也是开源运动早期的知名活动之一。

早在 1998 年,在 ASF 成立之前,ApacheCon 已经吸引了各个层次的参与者,在 300 多个 Apache 项目及其不同的社区中探索 "明天的技术"。也是在这一届上,开发 HTTPD 服务的开发者们欢聚一堂,并决定成立 Apache 软件基金会。

ApacheCon 每年举办一次,一般在欧洲或北美举行,是 Apache 开发者们线下交流、讨论、见面的绝佳机会,也是分享想法、思想激荡的难得的场合。通过动手实作、主题演讲、实际案例研究、培训、黑客松活动等方式,展示 Apache 项目的最新发展和新兴创新。

今年,为了更好地服务于亚太快速增长的 Apache 用户和贡献者,ApacheCon 组委会以及 Apache 软件基金会很高兴地宣布,首次针对亚太地区时区的 ApacheCon 在线会议 ApacheCon Asia 大会将于 2021 年 8 月 6 日至 8 日在线举行。

为了让大家进一步了解开源、了解 ApacheCon Asia,SegmentFault 思否将采访部分 Track Chair 或大会讲师,让你了解大会筹备的背后,和这些专家大牛们的故事。

今天,我们为大家带来的是,我们对腾讯云高级工程师程力的访谈。


以下为 SegmentFault 思否对程力的访谈内容:

关于程力

我是Apache Ozone社区PMC,Hadoop社区Committer,目前在腾讯云对象存储团队工作。曾经在AWS S3,华为存储等团队工作过。


程力初次接触开源的故事

第一次大规模的投入开源是2019年,hadoop孵化对象存储项目Ozone,作为一个开源新人,投入Ozone项目中,跟随项目一起成长,主导设计交付了MultiRaft,SCM HA等重大特性后,在社区中担任了更重要的角色,同时也伴随了Ozone成为了Apache***项目。


在参与开源并且为 Apache 社区做贡献的时候,个人及公司有哪些收获?

首先从参加Apache开源社区开始,我个人本身的代码规范,代码质量,到与社区成员合作沟通,共同协作的能力都有了明显的增长。更理解了开源社区,合作开放共赢的意义,同时伴随着Ozone项目成为Apache***项目和腾讯公司的在Hadoop和Ozone项目上的持续投入,在公司内外部的大数据项目中,也交付了一些内外部的客户使用场景,利用Ozone这个存储项目,帮助腾讯公司在私有化高密度存储设备的使用上找到了解决方案,实现了外部客户的实际价值。


程力理解的“The Apache Way”?

Open, collaboration and Win-win.


程力与 ApacheCon Asia

这次我有两个talk:

Big Data

腾讯云基于Hadoop-COS搭建的三层透明加速,助力数据湖

腾讯云对象存储COS在2019年提交Hadoop-COS文件系统插件到Hadoop社区后,融入了云原生存储的场景中,承载了大数据、AI、容器等应用EB级别的数据量。

今年腾讯云COS对于Hadoop-COS做了全面升级,增加了数据湖三层加速的功能特性,加速数据湖的构建和发展,同时助力大数据和AI的架构融合。本次演讲主要分享:

  1. 云原生生态下的Hadoop-COS存算分离
  2. Hadoop-COS三层透明加速
  3. 大数据和AI下的数据湖架构

此次演讲中,讲师主要分享腾讯云基于对象存储COS推出的湖仓三层加速方案,能达到最高10倍的读写加速提速,并且基于Hadoop-COS做到了Schema透明加速。

同时分享者也将介绍腾讯云如何基于Hadoop-COS三层透明加速,融入大数据+AI的统一数据湖架构。

期待听众对于腾讯云的数据湖加速方案有所了解,理解数据湖在大数据和AI场景下目前的具体使用案例。

Big Data

Apache Ozone如何利用Raft协议完成高可用方案和吞吐性能大幅提升

Apache Ozone在2020年正式成为Apache***项目,Ozone支持对象、HCFS,fuse等多种访问方式,腾讯工程师在Ozone社区中表现突出。

腾讯云团队在Ozone社区领导开发多个重要特性,此次演讲将重点分享其中两大特性,MultiRaft和Ozone High Availability,这两个Ozone社区的关键特性都是基于Raft协议完成的。

本次演讲主要分享:

  1. 如何利用Java Reflection和Raft协议完成Ozone元数据的强一致同步,完成Ozone高可用性建设
  2. 如何利用Multi-Raft特性,提升Ozone DataNode的单节吞吐能力
  3. 如何Multi-Raft特性,适配高密度硬盘机型,将Ozone融入私有化数据湖方案

观众可以从演讲中获取腾讯团队巧妙运用Raft和Java reflection解决Ozone一致性难题,同时也能从Multi-Raft实现和配合高密度磁盘机型的案例中获取优化DataNode写性能的新思路。

期待用户深入了解Ozone项目如何通过Raft实现元数据高可用和数据节点性能优化。