近日,火山引擎数智平台VeDI直播活动「超话数据」在线举办,来自火山引擎的产品及解决方案专家分享了以ByteHouse为代表的云数仓产品在字节跳动的演进过程、关键技术以及最佳实践,并通过五个步骤拆解,带领开发者快速上手云数仓。
【资料图】
现如今,企业正加速走向数字化、智能化,对数据的应用也提出了全新要求,特别是在数据实时分析、实时部署方面的诉求更加强烈,而云数据仓库为用户实现云原生、智能运维、弹性资源等业务需求带来了很好支撑,成为今天企业数字化基础设施中的关键“底座”。
ByteHouse则是这样一款云原生数据仓库。ByteHouse起初是基于开源ClickHouse引擎进行技术架构重构和优化,在字节跳动内部大规模应用,其中部署规模超过1万8000台,单集群超过2400 台,现已通过火山引擎对外输出。
火山引擎ByteHouse
据ByteHouse产品专家介绍,面对企业级数据处理需求,相比起原生的ClickHouse,火山引擎ByteHouse基于独家自研的高可用引擎及查询优化器,可以为企业提供快速、稳定、安全的查询服务和数据写入性能。在云原生架构下,火山引擎ByteHouse提供了极致扩展的统一数据分析平台,具有出色的弹性伸缩和可扩展性,确保资源可以灵活地水平扩展;同时,ByteHouse支持多级资源隔离,为用户资源提供更安心的安全保障。
除了高可用的基础能力,火山引擎ByteHouse还从业务角度出发提供了完整的运维监控和排障能力,帮助企业实现业务云上托管,降低运维成本。
不仅仅具备强大的技术能力和易用的产品特性,火山引擎ByteHouse在广告、气象、行为分析等领域已经积累丰富的落地经验。在此次活动中,火山引擎解决方案专家通过广告、气象、行为分析3个领域案例,详细拆解云原生数据仓库如何能在业务场景中丝滑落地。
首先,在广告受众预估领域,为了帮助广告主确定目标人群,判断投放价值,广告平台需要为广告主提供受众筛选能力,即根据不同筛选条件、标签或人群包,确定每次营销活动覆盖的人员类型、人员规模。其难度在于,广告平台用户体量大、人群包数量大,导致单个查询中涉及多个人群包计算,使得查询复杂度高;另外,广告平台对数据时效性要求高,数据查询效率要达到秒级响应。
面对此类需求,ByteHouse支持BitMap数据格式,降低人群包数据内存占用,配合uid的数据分片方式,提升数据查询并发能力,实现高效的人群包交、并、补计算,满足QPS峰值查询需求,最终达到查询秒级响应的效果。
火山引擎ByteHouse在广告受众预估领域落地
其次,在气象领域,ByteHouse帮助AI大模型与数字孪生公司大地量子实现对气象数据的精准预测。根据风向、湿度、温度、风力等历史气象数据,结合风场、云层等模型能力预测未来能源情况,是大地量子的主要应用场景。大地量子通过将现场采集及大模型生成的气象数据导入到ByteHouse中,由ByteHouse支撑GEO查询和空间计算能力,满足其对预测系统以及交互式查询需求。目前,大地量子的平均查询响应时长不仅在50毫秒以内,预测精准度也得到有效提升。
最后,在行为分析领域,极客邦科技则通过ByteHouse实现以用户为中心的精细化营销。作为致力于为数字人才提供全方位、高质量新闻资讯、课程内容、大会、指导等服务项目的企业,极客邦科技会根据用户画像、在端内的操作行为等数据为用户精准推送课程、活动,洞察用户全链路行为,以便提供更好服务。但随着用户数量变大且持续增长,数据查询需求愈加复杂,同时也面临快速响应的问题,在技术层面遇到很多挑战。
增长分析平台DataFinder与云原生数据仓库ByteHouse的组合使用则帮助极客邦科技更好洞悉客户全链路营销旅途。ByteHouse的高可用引擎和查询优化器可以将用户表、事件表等数据高效去重、分析和计算,再通过DataFinder SDK实现事件分析、留存分析、转化分析等能力,实现用户精准洞察和营销能力升级。
不仅仅在广告、气象等领域落地,ByteHouse 还将持续通过创新的技术和功能,帮助更多行业构建高效、稳定和可扩展的实时数据分析平台,提供强大的数据处理和分析能力,助力企业更好实现数字化升级。(作者:周明)
近日,火山引擎数智平台VeDI直播活动「超话数据」在线举办,来自火山引
【7月10日北向资金最新动向(附十大成交股)】交易所公布的沪深港通十
中证网讯(记者刘杨)7月10日晚间,协鑫集成发布2023年半年度业绩预告,
7月10日下午,三峡旅游(002627 SZ)发布2023年半年度业绩预告,预计上
wordContentCss_16889838026031{font-family:宋体;font-size:14pt;} w
新京报贝壳财经讯7月10日,北向资金净买入亿元,终结连续4日净卖出。隆
7月10日,A股三大指数高开震荡收阳。个股涨多跌少,北向资金净买入逾12
格隆汇7月10日丨东方精工(002611 SZ)公布,公司近日收到股东东圣先行和
光大银行密切关注并全力支持物流行业数字化转型发展,通过物流通优势产
三菱日联金融集团(UFG)的经济学家维持做多欧元 美元的观点。下一个关键
田園風光:惜别(原創)湖山空寂水寧靜,留恋美景欲遠行;宿鳥游弋相偎
近日,上汽大众新能源汽车工厂电池车间迎来了第15万台电池包下线,企业
7月10日,佳兆业集团控股有限公司()发布内幕消息称,公司获悉布洛德
赚快钱习惯了的趣店,这次可以从0开始,写出一套新故事、成为一家真正
进入七月,秭归伦晚脐橙已基本售尽,夏橙正成为国内鲜橙供应的主要品种
协鑫能科(002015)7月10日晚间发布业绩预告,预计2023年半年度净利7 5亿
今天,自然资源部明确各级自然资源主管部门,要规范有序推进房地一体宅
山东省气象台7月10日15时50分升级雷雨大风黄色和雷电黄色预警为雷雨大
7月10日,山东华鲁恒升化工股份有限公司异丁醛出厂价格7500元 吨,报价
7月10日,江苏新海石化有限公司工业硫磺(液硫)报价580元 吨,6月27日
生意社获悉,7月10日中燃河北地区燃料油180cst燃料油180cst油库自提低
7月10日,南通星辰12 5万吨 年的液体环氧树脂装置八成,固体环氧树脂3
7月10日河北曲周中驰新材料有限公司煅烧焦报价2500元 吨,硫份3 0以下
7月10日诸城泰盛化工股份有限公司糠醇(国标,工业级,散水)8800元 吨
7月10日,沪胶下调100-150元 吨至12350元 吨左右,国内市场天然橡胶现
如何抓好今冬明春市场监管领域安全生
12月16日,达州市达川区市场监督管理局下发《市场监管领域今冬明春安全生产隐患大排查大整治行动工作方案》,要求下属各部门从2022年12月16日起至2023年3月15日,全面聚焦城镇燃气、特种设备、危险化学品、烟花爆
《2021年度中国对外直接投资统计公报
金港高速公路连接柬埔寨首都金边和该国最大深水海港西哈努克港,是中国路桥按建造—运营—移交模式投资的项目,采用中国设计及质量标准,横跨5个省份,全长187 05公里,双向四车道。金港高速公路通车后,从金边到
总体保持稳定恢复态势 工业经济展现
2022年1至10月,浙江省宁波市811家汽车制造业规上工业总产值2646 8亿元,同比增长14 2%。图为11月19日,工人在领克汽车宁波梅山工厂的总装车间作业。今年以来,受疫情多发散发、市场需求不振等因素影响,国内工业
14家券商获首批个人养老金代销展业资
11月18日晚间,证监会发布《个人养老金基金销售机构名录》,共37家机构入围,其中券商14家,银行16家,独立基金销售机构7家。14家券商包括华泰证券、中信证券、海通证券、国泰君安、申万宏源、中金财富和长江证券
北京再担保承保规模超6000亿 覆盖中
北京中小企业融资再担保有限公司(简称北京再担保)发布的最新数据显示,成立14年来已累计承保规模超过6000亿元,覆盖中小微企业(农户)超过16万户次,积极推动北京市中小微企业融资规模不断扩大。北京再担保2008年
Copyright @ 2001-2023 www.u74.cn All Rights Reserved 商业时报网 版权所有 关于我们
网站信息内容, 均为相关单位具有著作权,未经书面授权,转载注明出处
未经商业时报网书面授权,请勿建立镜像,转载请注明来源,违者依法必究