Apache Linkis部署环境配置详解

概述

Apache Linkis是一个构建于大数据组件之上的计算中间件，提供了统一的REST/WebSocket/JDBC接口。本文将深入解析Linkis的核心环境配置文件linkis-env.sh，帮助用户理解各项配置参数的含义及最佳实践。

基础配置

部署用户配置

deployUser=hadoop
deployPwd=

• deployUser：指定Linkis服务的运行用户，默认为hadoop
• deployPwd：部署用户密码，留空时安装过程会生成随机密码

数据库配置

dbType=mysql

Linkis支持两种数据库类型：

• mysql（默认）
• postgresql

工作空间配置

用户工作空间

WORKSPACE_USER_ROOT_PATH=file:///tmp/linkis/
HDFS_USER_ROOT_PATH=hdfs:///tmp/linkis

• WORKSPACE_USER_ROOT_PATH：用户工作空间本地路径，存储脚本和日志文件
• HDFS_USER_ROOT_PATH：用户HDFS根路径

路径支持两种模式：

• file://：本地文件系统
• hdfs://：HDFS分布式文件系统

引擎相关配置

引擎根路径

ENGINECONN_ROOT_PATH=/appcom/tmp

• 存储启动的引擎和引擎日志，必须是本地路径

结果集存储

RESULT_SET_ROOT_PATH=hdfs:///tmp/linkis

• 存储作业结果集，支持本地或HDFS路径

YARN资源配置

YARN_RESTFUL_URL="http://127.0.0.1:8088"

• Spark引擎需要配置YARN REST URL
• 高可用环境可配置多个地址，用分号分隔

YARN认证配置

#YARN_AUTH_ENABLE=false
#YARN_AUTH_USER=hadoop
#YARN_AUTH_PWD=123456

• 当YARN接口需要认证时启用

Kerberos认证

#YARN_KERBEROS_ENABLE=true
#YARN_PRINCIPAL_NAME=yarn
#YARN_KEYTAB_PATH=/etc/security/keytabs/yarn.keytab
#YARN_KRB5_PATH=/etc/krb5.conf

• 当YARN启用Kerberos认证时配置

大数据组件配置

Hadoop配置

HADOOP_HOME=${HADOOP_HOME:-"/appcom/Install/hadoop"}
HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/appcom/config/hadoop-config"}
HADOOP_VERSION=${HADOOP_VERSION:-"3.3.4"}

• 支持通过环境变量覆盖默认值
• 默认Hadoop版本为3.3.4

Hive配置

HIVE_HOME=/appcom/Install/hive
HIVE_CONF_DIR=/appcom/config/hive-config

Spark配置

SPARK_HOME=/appcom/Install/spark
SPARK_CONF_DIR=/appcom/config/spark-config

微服务配置

服务发现

DISCOVERY=EUREKA

Linkis支持两种服务发现机制：

• EUREKA（默认）
• NACOS

Eureka配置

EUREKA_PORT=20303
export EUREKA_PREFER_IP=false

• 控制是否优先使用IP地址注册服务

Nacos配置

NACOS_SERVER_ADDR=127.0.0.1:8848

各微服务端口配置

GATEWAY_PORT=9001
MANAGER_PORT=9101
ENGINECONNMANAGER_PORT=9102
ENTRANCE_PORT=9104
PUBLICSERVICE_PORT=9105

高级配置

JVM内存配置

export SERVER_HEAP_SIZE="512M"

• 控制各微服务的JVM堆内存大小

监控配置

export PROMETHEUS_ENABLE=false

• 启用Prometheus监控

组件开关

export ENABLE_HDFS=true
export ENABLE_HIVE=true
export ENABLE_SPARK=true

• 控制是否启用HDFS、Hive、Spark相关功能

最佳实践

1. 生产环境部署：

   • 建议分布式部署各微服务
   • 根据集群规模调整JVM堆内存大小
   • 启用Prometheus监控

2. 开发测试环境：

   • 可以简化配置，使用默认值
   • 可以关闭部分组件以节省资源

3. 安全建议：

   • 配置YARN认证信息
   • 启用Kerberos认证
   • 设置合理的部署用户密码

通过合理配置linkis-env.sh文件，可以确保Linkis系统在不同环境下都能稳定高效地运行。建议在部署前仔细检查各项配置，特别是路径、端口和认证相关参数。