且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

概述 | 学习笔记

更新时间:2022-09-02 15:39:49

开发者学堂课程【SaaS  模式云数据仓库系列课程 —— 2021数仓必修课概述】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/55/detail/1192


概述


内容简介:

一.日志分析

二.用户画像

三.数据化运营


了解 MaxCompute 产品使用及架构

它是安全可靠,高效能,低成本的大数据计算服务能够快速解决用户海量数据计算问题;降低企业大数据计算平台总体拥有成本;提升大数据应用开发效率;保障数据的云上安全。


一.日志分析

(Log)+MaxCompute/DataWorks+Quick BI

Fluentd/Flume/Logstash+DataHub+MaxCompute/DataWorks+Quick BI


二.用户画像

MaxCompute/DataWorks+MaxCompute+PAI+Quick BI


三.数据化运营

如:通过 Quick BI 进行分类,分级,偏好,业务经营状况分析;

MaxCompute :一种全新的大数据计算服务。

它能提供快速,完全托管的PB级数据仓库解决方案,不用花大钱建数据中心,就能分析处理高达 PB 级的海量数据。

MaxCompute 独创地底层存储技术,采用列压缩存储格式,超强5倍的压缩能力,大大提高了数据压缩比,提升了磁盘 IO 性能,节省了用户成本。

此外 MaxCompute 计算能力表现也更加强劲。

MaxCompute 是一种全新分布式数据存储计算引擎,所有功能以 ALL in ONE BOX方式提供服务,不仅可以在上面做基本的数据导入,导出, SQL 查询, ETL 处理,还可以使用机器学习算法,来建模做高级数据分析,丰富的用户接口使用户轻松与 ESC,RDS ,分析型数据库,以及其他BI报表等工具配合使用,完成 BI 分析。

MaxCompute 不仅在计算性能上突出,服务上也更加专业,专业的服务就是兼容开放。

MaxCompute 集多种计算模型于一身,支持 SQL,MapReduce,Graph 以及 MPI 迭代类算法,并与开源的大数据处理软件变成接口高度兼容。

用户不再烦心修改程序,所有应用都可轻松地从 Hadoop 迁移到 MaxCompute上。

MaxCompute 开箱即用,拥有集成化操作页面,不必担心机群搭建,配置和运维工作。仅需简单点击鼠标,几步操作,就可上传数据,分析数据并得到分析结果。

MaxCompute 安全可靠,它是首家通过国内 CSA—STAR 和 ISO27001 两项国际云安全认证的产品。

各个环节都采用了国际最先进的数据安全管理标准,完整的认证和鉴权解决方案。真正做到自主可靠,体验金融级可靠性,多租户机制,保证用户数据隔离。同时采用三重备份,读写请求鉴权,应用沙箱,系统沙箱等多层次数据存储,和访问安全机制保障用户数据安全。

灵活的数据授权,可以让组织中多名数据分析师协同工作,并且每人仅能访问自己权限许可内的数据,在保障数据安全的前提下,最大化工作效率。

价格方面:MaxCompute 不用为了 Hadoop 人才难觅而发愁,先省下一个运维团队,MaxCompute 按量付费成本更低,它凭借更高效的计算及存储能力,能够降低企业20%~30%的采购成本,性能却提升2.5倍。