支持版本: v7.2.0+
离线开发微服务(lczBatchWorkServer)部署过程如下:

配置yml文件

配置lczBatchWorkServer\application.yml 文件:

#当前微服务信息
server:
  #离线开发微服务访问端口
  port: 14685
  servlet:
    #与乐创者服务应用名保持一致
    context-path: /lczServer

  tomcat:
    threads:
      #最小线程数
      min-spare: 10
      #最大线程数
      max: 500
      #等待最大队列长度
    accept-count: 1000
    #最大链接数
    max-connections: 2000

spring:
  application:
    name: lczBatchWork
  servlet:
    multipart:
      enabled: true
      max-file-size: 100MB
      max-request-size: 100MB
  mvc:
    throw-exception-if-no-handler-found: true

logging:
  config: classpath:conf/log4j2.xml

feign:
  client:
    config:
      default:
        readTimeout: 1800000
  httpclient:
    #客户端请求连接池
    enabled: true
    max-connections: 100
    connection-timeout: 1000
    time-to-live: 10
    time-to-live-unit: minutes
  lcz_server:
    platform:
      name: lczPlatform
      url: http://127.0.0.1:8081/lczServer

#熔断配置
hystrix:
  command:
    execution:
      timeoutInMilliseconds: 2000    #熔断超时时间
      isolation:
        strategy: THREAD
  threadPool:
    coreSize: 20
    maxQueueSize: 200
    maximumSize: 200
    keepAliveTimeMinutes: 6
    queueSizeRejectionThreshold: 201 # 拒绝队列大小

# datax job config
datax:
  job:
    setting:
      speed:
        channel: 5 # channel并发数
        #record:  # 全局配置channel的record限速 ,最终的单个channel的限速 = 全局配置channel的record限速 / channel并发数
        byte: 1048576  #全局配置 channel 的 byte 限速,最终的单个channel的限速 = 全局配置channel的byte限速 / channel并发数

# python 环境配置
python:
  # 执行命令,默认环境变量windows-python、linux-python3
  #自定义说明:
  #1)Linux 示例
  #cmd=/home/python/bin/python3
  #2)Windows 示例
  #cmd=E:\\Python3x\\python.exe
  #注:Windows 中路径为双反斜杠 \\ 。
  cmd: python

spark:
  executor:
    memory: 2g # 执行器分配2g

lcz:
  localCache:
    open: true
    timeToIdle: 200     #单位为秒
    timeToLive: 0
    memory:
      type: T1_16       #占用内存最大百分比  现在是16分之一  T1_3,T1_4,T1_5,T1_6,T1_8,T1_10,T1_16
    disk:
      path: ./localcache
      maxBytes: 20480           #占用硬盘最大容量   单位MB

一般需要进行以下配置:
(1) 修改 feign->lcz_server 下各微服务的 url 访问地址。
  url的配置规则:直接配置代理的nginx访问地址即可,格式: http(https)://nginx地址:端口/lczServer;

(2) 修改应用上下文路径(可选):默认为lczServer,如果访问地址中需要重命名,那么 server-> servlet -> context-pathfeign->lcz_server -> url 中都需要一致性修改。同时,nginx.conf文件中也做对应调整。

(3) 调整微服务端口(可选):如果默认的微服务端口已经被占用,可用过 server->port 属性进行调整。

(4) 分配spark内存(可选):默认2GB,如果通过SparkSQL处理的数据量比较大,需要做适当调大,大致推荐如下:
  2g: 一次性处理数据量在10列100万行左右。
  4g: 一次性处理数据量在10列200万行左右。
  8g: 一次性处理数据量在10列500万行左右。

(5) python环境配置(可选):默认按照对应操作系统命令执行,如果系统未配置命令或命令名称不是规范的,则可用过 python-> cmd 进行个性化配置

作者:柳杨  创建时间:2025-01-09 18:01
最后编辑:柳杨  更新时间:2025-04-22 15:31