1. 概述

本人从 2014 年开始使用 Apache Spark，基于以往项目经验，为了降低项目开发复杂度，减少开发成本，开发了 light-spark 框架。 本框架屏蔽了底层技术细节，让开发人员面向 SQL 编程，更专注于业务逻辑，减少开发过程中 Debug 工作，让 Apache Spark 更方便使用。

2. 适用场景

项目业务大部分功能可以用 SQL 实现，符合以下情况，建议使用本框架：

• 逻辑链条较长，开发周期较长
• 逻辑较复杂，开发时需要反复调试，从而反复修改 Debug 代码
• 业务不稳定，功能频繁迭代
• 开发人员对大数据技术细节不太熟悉

3. 设计思想

• 大数据项目中整个处理流程如下：
  开始 -> 加载数据 -> 业务计算 -> 结果存储 -> 结束

• 使用样例 该样例背景为一个指标计算，需要加载 hive 表数据并关联 jdbc 中的表数据，经过 SQL 计算处理后，结果数据存储到 jdbc 表中，整个处理逻辑定义到一个配置文件中

4. 使用

启动脚本样例

#!/usr/bin/env bash
set -e
umask 0000

APP_HOME="$(cd $(dirname $0)/..; pwd -P)"
ROOT_PATH="$(cd $APP_HOME/..; pwd -P)"
currentTime=`date '+%Y-%m-%d_%H-%M-%S'`

if [ $# -eq 1 ];then
  params="-c qujia_prd.yaml -d $1"
elif [ $# -eq 2 ];then
  params="-c $2 -d $1"
# debug 
# params="-c $2 -d $1 --debug"
else
  echo "useage: $0 <date-yyyyMMdd> <conf>"
  exit 1
fi
STREAM_APP="com.hellowzk.light.spark.App" # 程序入口
echo "__________________________ light-spark start __________________________"

CLASSPATH="$APP_HOME/conf"

confList=`find $APP_HOME/conf/ -type f|sed ':a;N;s/\n/,/;ta;'` # 扫描目录下所有配置信息
APP_JAR="light-spark-assembly.jar" # 指定 jar 包名称
cmd="spark-submit"
cmd="$cmd --master yarn --deploy-mode cluster"
cmd="$cmd --files $confList"
cmd="$cmd --conf spark.app.name=light-spark-$1" # 指定 hadoop 应用名称
cmd="$cmd --conf spark.driver.extraClassPath=$CLASSPATH"
cmd="$cmd --conf spark.yarn.submit.waitAppCompletion=false"
cmd="$cmd --class $STREAM_APP $APP_HOME/lib/$APP_JAR $params"

echo "command to execute $0: $cmd" # > $APP_HOME/log/light-spark-$1.log
$cmd

4.2 组件

4.2.1 debug 开发工具

开发过程中，可以通过配置，自动把指定步骤的结果持久化存储，支持 hdfs csv、hive 表

4.2.2 input - 数据加载

1. 支持读取 hive 数据；
2. 支持读取 hdfs 数据，配置中定义好字段信息后自动加载成表；
3. 支持读取 classpath 数据，配置中定义好字段信息后自动加载成表；
4. 支持数据源类型比较复杂时，支持 自定义 处理源数据为表；
5. 支持读取 JDBC 的源数据，jdbcOpts 中参数请看 SparkSQL官方文档；

4.2.3 process - 业务计算

1. 支持 SparkSQL 处理。
2. 处理逻辑较复杂，SQL 较难实现时，支持硬编码实现业务需求。

4.2.4 output - 结果保存

1. 存储到 HDFS ，格式可以选择为 txt / lzo 。
2. 存储到 HIVE 。
3. 存储到支持 JDBC 的数据库。

4.2.5 变量

4.2.5.1 定义及使用

本框架支持在配置中自定义及使用变量，支持变量嵌套使用

• 灵活的定义位置 自定义变量可以在 yaml 配置中，也可以定义在 class 类中，定义的变量名称必须唯一。 定义在 class 中，例子 MyConstants
• 变量使用 在 yaml 中使用，可以直接通过 ${variable} 使用预定义的变量 在类中使用，如下 import com.hellowzk.light.spark.constants.AppConstants AppConstants.variables("mysql_url") // 类型 variables: Map[String, String] 所有可用变量存放在 AppConstants.variables 中

4.2.5.2 日期表达式

支持通过日期表达式定义日期，表达式格式为

DATE([yyyy-MM-dd, 20200722, yyyyMMdd][+3d][-1m][+1y]...)

• DATE() 为日期表达式声明符
• 第一个 [ ] 中， 有三个参数 第一个为表达式最终计算结果格式 第二个参数为基准时间，后续的日期计算是基于该时间的，可以省略，代表当前日期 第三个参数为第二个参数的时间格式，基于该格式解析第二个参数，第二个参数没有时，该参数同样不能定义
• 后面的 [ ] 中，代表时间计算表达式，大小写不敏感 ±nd 加/减 n 天 ±nm 加/减 n 月 ±ny 加/减 n 年
• 例子

...
constansMap:
  today: "${DATE([yyyy-MM-dd])}" # 当前日期  
  today2: "${DATE([yyyy-MM, 2020-08-05, yyyy-MM-dd])}" # 2020-08-05 所在月份，2020-08
  date1: "${DATE([yyyy-MM-dd, 2020-08-05][-1d])}" # 2020-08-05 减一天，2020-08-04
  date2: "${DATE([yyyy-MM-dd, ${date1}][-1d])}" # 2020-08-04 减 1 天，2020-08-03
  date3: "${DATE([yyyy-MM-dd, ${date2}][-1d])}" # 2020-08-03 减 1 天，2020-08-02
  date4: "${DATE([yyyy-MM, ${date3}, yyyy-MM-dd][-1m])}" # 2020-08-02 减 1 月月份，2020-07
  date5: "${DATE([yyyy-MM-dd, ${date4}, yyyy-MM][-1d])}" # 2020-07 月初减 1 天， 2020-06-30
...

5. 配置文件

完整样例请看 full-batch.yaml

5.1 整体结构

配置项 默认值 是否必填 说明 name 是 定义当前 yaml 文件流程名称 constansMap 否，Map 类型 自定义常量，可以在当前 yaml 中通过 ${variable} 使用；在自定义代码中通过 AppConstants.variables("variable" 使用) persistType 否 使用 debug 组件，配置中间数据持久化的地址 hive/hdfs；开启条件，启动脚本中传入 --debug 参数启用 debug 组件 persistDir 否 持久化到 hdfs 的位置，需要启用 debug 组件 persistHiveDb 否 持久化到 hive 的库，需要启用 debug 组件 udaf 否 自定义 UDAF，Map类型， key 为 udaf 命名，value 为止 inputs 是 定义的输入数据 processes 是 处理逻辑 outputs 否 输出 envs 否 环境参数，暂时只支持 Spark 相关参数

# 流程名称
name: "xxx" 

# 自定义常量，可以在sql/文件路径中使用 ${variable}，常量名称不可重复
constansMap: 
  hive_out_db: xxx
  mysql_url: xxx
  mysql_username: xxx
  mysql_passwd: xxx

# 启用 debug 工具，SQL处理时，如果 store=true ， 结果会缓存到 $baseDir/{{EVENT_DATE}}/$tableName 目录，启动脚本必须传入参数 --debug， 否则该配置不生效
persistType: hive # hive hdfs
persistDir: /tmp/spark/app/full-batch
persistHiveDb: "${outputDB}"

# 输入定义，支持 3 种数据源
inputs:
  - ...
    
# 逻辑处理，支持SQL 与 自定义处理， 有 3 种
processes:
  - ...

# 结果输出， 支持 3 种
outputs:
  - ...

# 环境设置
envs:
  # 暂时只支持 spark 相关参数，如下
  spark:
    - ...

代码克隆

https://gitee.com/hellowzk/light-spark