我的网站

快手阿里美团数据工程师齐聚 分享业内最佳数据架构实践|大数据|互联网公司

2021-06-23 14:02分类:职场必备 阅读:

  来源:中国网科技

  近日,快手数据平台部联动快手中学在快手总部举办快手大数据架构技术交流会,交流会邀请了来自快手、阿里巴巴、美团的5位技术大咖,为现场和线上听多带来了一场技术分享盛宴。

  近年来,随着大数据技术的荣华发展,数据架构等多多技术倾向也在各家互联网公司得到行使和落地。在技术飞速发展下,业内从业者也起终关心一线大厂在数据技术周围的实践,走业交流的需乞降呼声也越来越强。

  本场快手大数据架构技术交流会,采用线下+线上(快手号“快手大数据”“快手中学”直播)同步开展的手段。交流会由快手大数据架构团队负责人赵健博出品,快手数据架构研发工程师徐加强、阿里巴巴资深技术行家杨克特、快手数据架构研发工程师郑天祺、美团资深技术行家曾林西、快手数据架构研发工程师苏国东别离带来5个分别倾向的议题,分享了数据架构周围的特出实践和技术发展。

  本场交流会运动线下、线上参与人数超过2.2万人。从报名人数望,超过22%听多为国内表著名互联网公司,来自BAT的同学占比达到7%。干货满满的技术分享,雄厚多彩的互动,让线下和线上的听多都感到“不虚此走”。

  快手大数据架构团队的发展与提战

  会议伊起,快手大数据架构团队负责人赵健博率先开场,为现场及线上听多介绍了快手的发展史以及快手数据架构的发展历程。陪同快手的飞速发展,快手的数据量急剧增进,诸多营业带来的海量数据也为数据架构团队带来崭新的提战。

  快手大数据架构团队负责人 赵健博

  跨AZ容灾,降矮50%存储成本

  快手数据架构研发工程师徐加强,从快手对象存储架构、快手跨IDC EC架构设计和实践等多个角度,分享了快手对象存储周围的技术积累与实践。在快手跨IDC EC架构实践的片面,他偏重分享了数据EC流程、数据Fixer流程、数据郑重性保障以及IDC故障处理,雄厚的演讲内容让听多收获满满。

  快手数据架构研发工程师 徐加强

  流批一体,实时和离线数据营业逻辑一体化

  交流会的第二个议题来自阿里巴巴资深技术行家杨克特,议题为《Apache Flink发展历程和在阿里巴巴的实践》。杨克特从Flink的发展历史、关键技术解析和Flink在阿里巴巴的行使三个方面,分享流批一体数据平台的建设和行使。

  阿里巴巴资深技术行家 杨克特

  Projections来自快手的解决方案

  Projection是快手向开源数据库ClickHouse贡献的一个主要的新特性。快手数据架构研发工程师郑天祺为听多分享了关于ClickHouse的背景,偏重介绍了Projection的原理与行使、特性对比与实际效率,为普及关注开源项方针听多分享了快手的贡献,也为走业输出了新的实践案例。

  快手数据架构研发工程师 郑天祺

  异国完善的架构,只有正当的权衡

  本次交流会还邀请了来自美团的资深技术行家曾林西,他分享的主题是《美团Spark Remote Shuffle Service架构设计与实践》。演讲内容涵盖Spark在美团的发展历程、Spark Shuffle原理??及存在的题目、Spark Remote Shuffle Service(RSS)架构设计、RSS在数仓生产场景的实践。

  美团资深技术行家 曾林西

  快手大数据混部架构演进之路

  末了一个议题来自快手数据架构研发工程师苏国东,他从快手大数据混布的背景开起,介绍了快手离线超配架构、快手实时混布架构、快手容齐云混布架构,为听多带来了《快手大数据混部架构演进之路》。

  快手数据架构研发工程师 苏国东

  本次参与快手大数据架构技术交流会的听多遮盖包括BAT、美团、滴滴等著名互联网公司,不光限于数据开发,还吸引了算法、架构、后端开发、数据分析、运维、测试平分别岗位;同时,本场交流会还吸引了北京各大高校的同学、讲师。

  参会听多逆馈,本场交流会分享的诸多案例和实践,对于从业者乃至走业都产生诸多正面影响,让听多既能晓畅大数据架构技术的发展,更能感受到快手对走业的贡献,以及快手大数据架构技术的落地与行使。不雅旁观快手大数据架构技术交流会完善回放请在快手APP搜索“快手中学”或“快手大数据”。

郑重声明:文章来源于网络,仅作为参考,如果网站中图片和文字侵犯了您的版权,请联系我们处理!

上一篇:硬件仿真验证双剑相符璧 芯片设计最强帮手登场

下一篇:UI设计师主要是做什么的呢?

相关推荐

返回顶部