支持版本: v7.2.0+
离线开发微服务(lczBatchWorkServer)部署过程如下:
配置yml文件
配置lczBatchWorkServer\application.yml 文件:
#当前微服务信息
server:
#离线开发微服务访问端口
port: 14685
servlet:
#与乐创者服务应用名保持一致
context-path: /lczServer
tomcat:
threads:
#最小线程数
min-spare: 10
#最大线程数
max: 500
#等待最大队列长度
accept-count: 1000
#最大链接数
max-connections: 2000
spring:
application:
name: lczBatchWork
servlet:
multipart:
enabled: true
max-file-size: 100MB
max-request-size: 100MB
mvc:
throw-exception-if-no-handler-found: true
logging:
config: classpath:conf/log4j2.xml
feign:
client:
config:
default:
readTimeout: 1800000
httpclient:
#客户端请求连接池
enabled: true
max-connections: 100
connection-timeout: 1000
time-to-live: 10
time-to-live-unit: minutes
lcz_server:
platform:
name: lczPlatform
url: http://127.0.0.1:8081/lczServer
#熔断配置
hystrix:
command:
execution:
timeoutInMilliseconds: 2000 #熔断超时时间
isolation:
strategy: THREAD
threadPool:
coreSize: 20
maxQueueSize: 200
maximumSize: 200
keepAliveTimeMinutes: 6
queueSizeRejectionThreshold: 201 # 拒绝队列大小
# datax job config
datax:
job:
setting:
speed:
channel: 5 # channel并发数
#record: # 全局配置channel的record限速 ,最终的单个channel的限速 = 全局配置channel的record限速 / channel并发数
byte: 1048576 #全局配置 channel 的 byte 限速,最终的单个channel的限速 = 全局配置channel的byte限速 / channel并发数
# python 环境配置
python:
# 执行命令,默认环境变量windows-python、linux-python3
#自定义说明:
#1)Linux 示例
#cmd=/home/python/bin/python3
#2)Windows 示例
#cmd=E:\\Python3x\\python.exe
#注:Windows 中路径为双反斜杠 \\ 。
cmd: python
spark:
executor:
memory: 2g # 执行器分配2g
lcz:
localCache:
open: true
timeToIdle: 200 #单位为秒
timeToLive: 0
memory:
type: T1_16 #占用内存最大百分比 现在是16分之一 T1_3,T1_4,T1_5,T1_6,T1_8,T1_10,T1_16
disk:
path: ./localcache
maxBytes: 20480 #占用硬盘最大容量 单位MB
一般需要进行以下配置:
(1) 修改 feign->lcz_server 下各微服务的 url 访问地址。
url的配置规则:直接配置代理的nginx访问地址即可,格式: http(https)://nginx地址:端口/lczServer;
(2) 修改应用上下文路径(可选):默认为lczServer,如果访问地址中需要重命名,那么 server-> servlet -> context-path、feign->lcz_server -> url 中都需要一致性修改。同时,nginx.conf文件中也做对应调整。
(3) 调整微服务端口(可选):如果默认的微服务端口已经被占用,可用过 server->port 属性进行调整。
(4) 分配spark内存(可选):默认2GB,如果通过SparkSQL处理的数据量比较大,需要做适当调大,大致推荐如下:
2g: 一次性处理数据量在10列100万行左右。
4g: 一次性处理数据量在10列200万行左右。
8g: 一次性处理数据量在10列500万行左右。
(5) python环境配置(可选):默认按照对应操作系统命令执行,如果系统未配置命令或命令名称不是规范的,则可用过 python-> cmd 进行个性化配置
作者:柳杨 创建时间:2025-01-09 18:01
最后编辑:柳杨 更新时间:2025-04-22 15:31
最后编辑:柳杨 更新时间:2025-04-22 15:31
