Bugfix/Update worker docker (#4643)

update worker docker

docker/worker/.env.example

@@ -0,0 +1,165 @@
+WORKER_PORT=5566
+
+# APIKEY_PATH=/your_apikey_path/.flowise # (will be deprecated by end of 2025)
+
+############################################################################################################
+############################################## DATABASE ####################################################
+############################################################################################################
+
+DATABASE_PATH=/root/.flowise
+# DATABASE_TYPE=postgres
+# DATABASE_PORT=5432
+# DATABASE_HOST=""
+# DATABASE_NAME=flowise
+# DATABASE_USER=root
+# DATABASE_PASSWORD=mypassword
+# DATABASE_SSL=true
+# DATABASE_SSL_KEY_BASE64=<Self signed certificate in BASE64>
+
+
+############################################################################################################
+############################################## SECRET KEYS #################################################
+############################################################################################################
+
+# SECRETKEY_STORAGE_TYPE=local #(local | aws)
+SECRETKEY_PATH=/root/.flowise
+# FLOWISE_SECRETKEY_OVERWRITE=myencryptionkey # (if you want to overwrite the secret key)
+# SECRETKEY_AWS_ACCESS_KEY=<your-access-key>
+# SECRETKEY_AWS_SECRET_KEY=<your-secret-key>
+# SECRETKEY_AWS_REGION=us-west-2
+# SECRETKEY_AWS_NAME=FlowiseEncryptionKey
+
+
+############################################################################################################
+############################################## LOGGING #####################################################
+############################################################################################################
+
+# DEBUG=true
+LOG_PATH=/root/.flowise/logs
+# LOG_LEVEL=info #(error | warn | info | verbose | debug)
+# TOOL_FUNCTION_BUILTIN_DEP=crypto,fs
+# TOOL_FUNCTION_EXTERNAL_DEP=moment,lodash
+
+
+############################################################################################################
+############################################## STORAGE #####################################################
+############################################################################################################
+
+# STORAGE_TYPE=local (local | s3 | gcs)
+BLOB_STORAGE_PATH=/root/.flowise/storage
+# S3_STORAGE_BUCKET_NAME=flowise
+# S3_STORAGE_ACCESS_KEY_ID=<your-access-key>
+# S3_STORAGE_SECRET_ACCESS_KEY=<your-secret-key>
+# S3_STORAGE_REGION=us-west-2
+# S3_ENDPOINT_URL=<custom-s3-endpoint-url>
+# S3_FORCE_PATH_STYLE=false
+# GOOGLE_CLOUD_STORAGE_CREDENTIAL=/the/keyfilename/path
+# GOOGLE_CLOUD_STORAGE_PROJ_ID=<your-gcp-project-id>
+# GOOGLE_CLOUD_STORAGE_BUCKET_NAME=<the-bucket-name>
+# GOOGLE_CLOUD_UNIFORM_BUCKET_ACCESS=true
+
+
+############################################################################################################
+############################################## SETTINGS ####################################################
+############################################################################################################
+
+# NUMBER_OF_PROXIES= 1
+# CORS_ORIGINS=*
+# IFRAME_ORIGINS=*
+# FLOWISE_FILE_SIZE_LIMIT=50mb
+# SHOW_COMMUNITY_NODES=true
+# DISABLE_FLOWISE_TELEMETRY=true
+# DISABLED_NODES=bufferMemory,chatOpenAI (comma separated list of node names to disable)
+# Uncomment the following line to enable model list config, load the list of models from your local config file
+# see https://raw.githubusercontent.com/FlowiseAI/Flowise/main/packages/components/models.json for the format
+# MODEL_LIST_CONFIG_JSON=/your_model_list_config_file_path
+
+
+############################################################################################################
+############################################ AUTH PARAMETERS ###############################################
+############################################################################################################
+
+# APP_URL=http://localhost:3000
+
+# SMTP_HOST=smtp.host.com
+# SMTP_PORT=465
+# SMTP_USER=smtp_user
+# SMTP_PASSWORD=smtp_password
+# SMTP_SECURE=true
+# ALLOW_UNAUTHORIZED_CERTS=false
+# SENDER_EMAIL=team@example.com
+
+JWT_AUTH_TOKEN_SECRET='AABBCCDDAABBCCDDAABBCCDDAABBCCDDAABBCCDD'
+JWT_REFRESH_TOKEN_SECRET='AABBCCDDAABBCCDDAABBCCDDAABBCCDDAABBCCDD'
+JWT_ISSUER='ISSUER'
+JWT_AUDIENCE='AUDIENCE'
+JWT_TOKEN_EXPIRY_IN_MINUTES=360
+JWT_REFRESH_TOKEN_EXPIRY_IN_MINUTES=43200
+# EXPIRE_AUTH_TOKENS_ON_RESTART=true # (if you need to expire all tokens on app restart)
+# EXPRESS_SESSION_SECRET=flowise
+
+# INVITE_TOKEN_EXPIRY_IN_HOURS=24
+# PASSWORD_RESET_TOKEN_EXPIRY_IN_MINS=15
+# PASSWORD_SALT_HASH_ROUNDS=10
+# TOKEN_HASH_SECRET='popcorn'
+
+# WORKSPACE_INVITE_TEMPLATE_PATH=/path/to/custom/workspace_invite.hbs
+
+
+############################################################################################################
+############################################# ENTERPRISE ###################################################
+############################################################################################################
+
+# LICENSE_URL=
+# FLOWISE_EE_LICENSE_KEY=
+# OFFLINE=
+
+
+############################################################################################################
+########################################### METRICS COLLECTION #############################################
+############################################################################################################
+
+# POSTHOG_PUBLIC_API_KEY=your_posthog_public_api_key
+
+# ENABLE_METRICS=false
+# METRICS_PROVIDER=prometheus # prometheus | open_telemetry
+# METRICS_INCLUDE_NODE_METRICS=true  # default is true
+# METRICS_SERVICE_NAME=FlowiseAI
+
+# ONLY NEEDED if METRICS_PROVIDER=open_telemetry
+# METRICS_OPEN_TELEMETRY_METRIC_ENDPOINT=http://localhost:4318/v1/metrics
+# METRICS_OPEN_TELEMETRY_PROTOCOL=http # http | grpc | proto (default is http)
+# METRICS_OPEN_TELEMETRY_DEBUG=true # default is false
+
+
+############################################################################################################
+############################################### PROXY ######################################################
+############################################################################################################
+
+# Uncomment the following lines to enable global agent proxy, see https://www.npmjs.com/package/global-agent for more details
+# GLOBAL_AGENT_HTTP_PROXY=CorporateHttpProxyUrl
+# GLOBAL_AGENT_HTTPS_PROXY=CorporateHttpsProxyUrl
+# GLOBAL_AGENT_NO_PROXY=ExceptionHostsToBypassProxyIfNeeded
+
+
+############################################################################################################
+########################################### QUEUE CONFIGURATION ############################################
+############################################################################################################
+
+# MODE=queue #(queue | main)
+# QUEUE_NAME=flowise-queue
+# QUEUE_REDIS_EVENT_STREAM_MAX_LEN=100000
+# WORKER_CONCURRENCY=100000
+# REMOVE_ON_AGE=86400
+# REMOVE_ON_COUNT=10000
+# REDIS_URL=
+# REDIS_HOST=localhost
+# REDIS_PORT=6379
+# REDIS_USERNAME=
+# REDIS_PASSWORD=
+# REDIS_TLS=
+# REDIS_CERT=
+# REDIS_KEY=
+# REDIS_CA=
+# REDIS_KEEP_ALIVE=
+# ENABLE_BULLMQ_DASHBOARD=

docker/worker/Dockerfile

@@ -0,0 +1,49 @@
+FROM node:20-alpine
+
+RUN apk add --update libc6-compat python3 make g++
+# needed for pdfjs-dist
+RUN apk add --no-cache build-base cairo-dev pango-dev
+
+# Install Chromium and curl for container-level health checks
+RUN apk add --no-cache chromium curl
+
+#install PNPM globaly
+RUN npm install -g pnpm
+
+ENV PUPPETEER_SKIP_DOWNLOAD=true
+ENV PUPPETEER_EXECUTABLE_PATH=/usr/bin/chromium-browser
+
+ENV NODE_OPTIONS=--max-old-space-size=8192
+
+WORKDIR /usr/src
+
+# Copy app source
+COPY . .
+
+RUN pnpm install
+
+RUN pnpm build
+
+# --- Healthcheck Setup ---
+
+WORKDIR /app/healthcheck
+
+COPY docker/worker/healthcheck/package.json . 
+
+RUN npm install --omit=dev
+
+COPY docker/worker/healthcheck/healthcheck.js .
+
+# --- End Healthcheck Setup ---
+
+# Set the main working directory back
+WORKDIR /usr/src
+
+# Environment variables for port configuration
+ENV WORKER_PORT=5566
+
+# Expose port (can be overridden by env var)
+EXPOSE ${WORKER_PORT}
+
+# Start healthcheck in background and flowise worker in foreground
+CMD ["/bin/sh", "-c", "node /app/healthcheck/healthcheck.js & sleep 5 && pnpm run start-worker"]

docker/worker/README.md

@@ -18,7 +18,11 @@ Here’s an overview of the process:
 
 ## Setting up Worker:
 
-1. Copy paste the same `.env` file used to setup main server. Change the `PORT` to other available port numbers. Ex: 5566
-2. `docker compose up -d`
-3. Open [http://localhost:5566](http://localhost:5566)
+1. Navigate to `docker/worker` folder
+2. In the `.env.example`, setup all the necessary env variables for `QUEUE CONFIGURATION`. Env variables for worker must match the one for main server. Change the `WORKER_PORT` to other available port numbers to listen for healthcheck. Ex: 5566
+3. `docker compose up -d`
 4. You can bring the worker container down by `docker compose stop`
+
+## Entrypoint:
+
+Different from main server image which is using `flowise start`, entrypoint for worker is `pnpm run start-worker`. This is because the worker's [Dockerfile](./Dockerfile) build the image from source files via `pnpm build` instead of npm registry via `RUN npm install -g flowise`.

docker/worker/docker-compose.yml

@@ -2,10 +2,10 @@ version: '3.1'
 
 services:
     flowise:
-        image: flowiseai/flowise
+        image: flowiseai/flowise-worker:latest
         restart: always
         environment:
-            - PORT=${PORT}
+            - WORKER_PORT=${WORKER_PORT:-5566}
 
             # DATABASE
             - DATABASE_PATH=${DATABASE_PATH}
@@ -124,7 +124,13 @@ services:
             - REDIS_KEEP_ALIVE=${REDIS_KEEP_ALIVE}
             - ENABLE_BULLMQ_DASHBOARD=${ENABLE_BULLMQ_DASHBOARD}
         ports:
-            - '${PORT}:${PORT}'
+            - '${WORKER_PORT}:${WORKER_PORT}'
+        healthcheck:
+            test: ['CMD', 'curl', '-f', 'http://localhost:${WORKER_PORT}/healthz']
+            interval: 10s
+            timeout: 5s
+            retries: 5
+            start_period: 30s
         volumes:
             - ~/.flowise:/root/.flowise
-        entrypoint: /bin/sh -c "sleep 3; flowise worker"
+        entrypoint: /bin/sh -c "node /app/healthcheck/healthcheck.js & sleep 5 && pnpm run start-worker"

docker/worker/healthcheck/healthcheck.js

@@ -0,0 +1,13 @@
+const express = require('express')
+const app = express()
+
+const port = process.env.WORKER_PORT || 5566
+
+app.get('/healthz', (req, res) => {
+    res.status(200).send('OK')
+})
+
+app.listen(port, () => {
+    // eslint-disable-next-line no-console
+    console.log(`Healthcheck server listening on port ${port}`)
+})

docker/worker/healthcheck/package.json

@@ -0,0 +1,13 @@
+{
+    "name": "flowise-worker-healthcheck",
+    "version": "1.0.0",
+    "description": "Simple healthcheck server for Flowise worker",
+    "main": "healthcheck.js",
+    "private": true,
+    "scripts": {
+        "start": "node healthcheck.js"
+    },
+    "dependencies": {
+        "express": "^4.19.2"
+    }
+}