尚硅谷大数据项目之广告数仓 - 大数据与云计算

气质少女

尚硅谷大数据项目之广告数仓 - 大数据与云计算

课程介绍:
广告数仓项目以广告主投放到媒体平台为业务基础，收集管理平台数据及媒体平台发送的广告曝光点击次数之后，进行数据分析与统计，最终实现可视化报表展示。

项目共分六大部分:广告业务详情介绍、数仓建模原理介绍、数仓集群部署和环境搭建、数仓数据分析及ETL完整流程、DolphinScheduler全流程调度、FineBI可视化大屏展示，是一套完整的数仓项目，学习者部署本地虚拟机即可实现全部项目流程。

教程介绍了媒体投放广告的详细流程，帮助学习者了解广告投放业务体系，掌握ETL流程中常用的技术手段。项目中使用的框架包括:Hadoop、Hive、Spark、Kafka、ClickHouse、DolphinScheduler、Flume、Datax、FineBI等。

课程目录:
01.广告数仓项目介绍
02.广告业务相关概念介绍
03.广告系统架构介绍
04.广告系统项目需求
05.广告数仓整体架构
06.维度模型介绍
07.三种事实表原理介绍
08.维度表设计介绍
09.数仓分层规划
10.广告数仓整体设计流程
11.数据调研具体介绍
12.广告数据具体架构设计
13.模板机准备
14.克隆三台虚拟机
15.分发脚本和免密登录配置
16.JDK的安装部署
17.环境变量位置介绍
18.Hadoop的配置安装
19.Hadoop的群起群停
20.广告管理平台数据介绍
21.MySQL的安装部署
22.MySQL的广告管理平台数据导入
23.曝光点击监测数据生成方法
24.DataX的简单介绍
25.DataX的使用和优化方法介绍
26.DataX演示同步MySQL数据到HDFS
27.DataX动态传参功能介绍
28.DataX脚本同步广告管理平台数据
29.ZooKeeper安装部署
30.Kafka的安装部署
31.Kafka命令行的简单介绍
32.Flume的安装部署
33.Flume采集数据发送到Kafka的演示
34.Flume采集日志脚本群起
35.采集数据乱码处理方法
36.Flume消费Kafka数据的配置文件编写
37.Flume消费者时间戳拦截器编写
38.Flume消费者使用演示-06-16
39.Flume消费者的启动停止脚本
40.Hive的安装部署
41.Hive替换Spark引擎展示
42.Yarn环境设置运行多个Spark任务
43.数仓开发环境DataGrap部署
44.ODS_广告管理平台数据导入
45.ODS_曝光点击日志装载及脚本导入
46.DIM_维度数据导入
47.DWD_需求分析
48.DWD_初步解析用户日志
49.DWD_对UA进行解码操作
50.DWD_IP解析方案介绍
51.DWD_本地磁盘解析IP方法介绍
52.DWD_自定义UDF函数解析IP结构介绍
53.DWD_自定义UDF函数解析IP检验参数
54.DWD_自定义UDF函数加载静态库到内存
55.DWD_自定义UDF函数解析IP处理数据
56.DWD_自定义UDF函数解析IP实际应用
57.DWD_自定义UDF函数解析UA
58.DWD_自定义UA解析实际操作
59.DWD_异常流量标记之爬虫UA
60.DWD_异常流量过滤IP访问过快
61.DWD_异常流量相同周期访问超过5次
62.DWD_异常流量设备ID过滤准备
63.DWD_标记异常流量并做维度退化
64.DWD_脚本装载DWD层数据
65.数据导出ClickHouse安装准备工作
66.数据导出ClickHouse安装部署
67.数据导出_使用SparkSQL读取Hive数据导出到ClickHouse
68.数据导出代码编写
69.数据导出实操
70.DS调度器简单介绍
71.DS的安装部署
72.DS的安全中心介绍
73.DS的简单项目展示
74.DS的参数传递
75.DS的内置参数引入依赖和告警功能展示
76.采集新一天的数据
77.DS调度新一天的数据处理
78.FineBI可视化介绍及安装部署
79.FineBI可视化展示官方案例展示
80.FineBI扩展功能介绍
81.可视化实战数据导入
82.可视化实战省份平台操作系统粒度图表创建
83.可视化仪表盘操作
84.数仓项目总结



所有资源通过合法途径收集于网络，该资源仅用于大家购买正版课程前参考之用，切勿用于其他用途，如需学习，还请购买正版课程。如有原作者认为侵权，请联系我们， 删除处理。