阿里李飞飞：在云计算时代，云原生数据库变得越来越重要

李飞飞认为云原生数据库在云计算时代愈发重要，因其能满足弹性、高可用性、可扩展性及按需使用需求，其团队致力于构建相关系统，还介绍了应对流量波动的技术、漫游连接算法及机器学习在电商的影响等。具体内容如下：云基础设施建设的总体目标李飞飞团队的主要目标是为阿里巴巴自身业务运营和阿里云上企业客户构建尖端、世界级的云原生数据库系统，如云原生关系型数据库PolarDB和云原生数据仓库AnalyticDB（ADB）。云原生数据库重要性：云计算时代，对弹性、高可用性、可扩展性需求增长，不同业务领域应用程序按需使用需求增加，传统企业内部数据库系统无法完全满足，云原生数据库利用底层云基础设施资源池，分离计算与存储，获得出色弹性和高可用性，对于高并发工作负载可利用无共享层提供分布式查询和事务处理能力，最终目标是为业务运营和云客户提供经济高效、易用且高度可靠的数据库服务。应对网站流量波动的工具及技术发展趋势应对流量波动关键：通过底层数据库系统产生极高弹性和高可用性。传统本地数据库系统需提前提供大量硬件资源满足峰值工作负载，高峰流量减少后易成本高昂、资源浪费。云原生数据库系统优势：探索共享存储和完全共享架构，按需自适应、弹性分配和释放资源，计算和存储解耦，资源共享具有自适应性；利用分布式查询和事务处理，通过水平分区满足高并发性需求；扩展和增强Raft或Paxos等分布式共识协议，实现可用区内部和之间高可用性，处理故障不用担心数据丢失和业务停机中断；利用软硬件协同设计探索新硬件和内核旁路协议的加速和优化作用；HTAP是趋势，为集群用户数据处理和分析需求提供一站式解决方案；自驱动数据库技术简化云原生数据库部署、维护和操作，阿里云建立DAS为双11运营和云客户提供服务，使系统具有自我修复、自我调整和自适应能力。“Wander Join: Online Aggregation via Random Walks”论文主要观点及查询处理领域创新性探索论文主要观点：查询处理和优化是数据库系统关键部分，JOIN是常见但昂贵的数据库操作，采样估测比计算精确结果快，对查询处理和优化任务重要，但用JOIN采样困难，该工作引入新数据采样技术实现近似和交互式查询处理，在线估计器质量随时间提高，最终得准确结果，对大数据分析和查询处理有吸引力，还可用于查询优化。漫游连接算法：通过在连接图上随机游走实现采样，连接图通过仔细的加权采样过程和估计中的偏差调整进行概念探索，在数量级上优于现有方法。后续工作及影响：漫游连接产生独立但不均匀样本，后续工作展示了如何获得复杂连接的真正随机样本，带来基于学习的查询处理和优化方法等创新，还启发了真实系统中的实际运用和设计问题。机器学习方法改变阿里巴巴等大型电子商务公司的方式推荐框架：阿里巴巴电子商务网站和应用程序中的推荐框架依赖精心设计和微调的深度学习模型，为客户进行更有效的商品匹配。数据中心运营：探索并利用机器学习技术构建AIops智能监控和协调工具，提高数据中心运营效率和有效性。其他场景：机器学习和人工智能方法成为许多系统中的关键构建组件，如使云原生数据库系统能够进行自我调整。工业界与学术界工作的最显著差异工业界：在公司工作要把业务和客户需求排在第一位，专注于由业务驱动的实际客户需求，长期规划目标要集中，对有精心设计、明确阐述的战略计划和商业价值的实际应用有价值。学术界：首要任务不是创造商业价值，而是创造智力价值，最终目标是探索未解决的问题或挑战，即使只是智力练习，通过追求好奇心实现创新性突破，使新技术在实践中普及和扩展。共同点：无论在学术界还是工业界，都是在为社会和文明的良好运行创造价值、做出贡献，两者职业生涯相互补充和丰富。