feat(appstore): кастомный порт при установке + мгновенная чистка инстанса
App Store: - поле кастомного порта в мастере установки (переопределяет порт каталога) - валидация диапазона порта 1..65535 (Pydantic Field + EngineError) - APP_PORT в окружении синхронизируется с выбранным портом - при удалении приложения инстанс сразу помечается deleted в кэше vm_instances (soft_delete_vm_instance), не дожидаясь фонового воркера Также включены правки IPAM (привязка сетей к рабочей области, UI WorkspaceSelect) и синхронизации каталога App Store. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
@@ -70,6 +70,7 @@ class InstallSpec:
|
||||
# (тогда не ждём выдачи по DHCP).
|
||||
ip_config: Optional[str] = None # напр. "ip=10.0.0.5/24,gw=10.0.0.1"
|
||||
static_ip: Optional[str] = None # напр. "10.0.0.5"
|
||||
source: str = "runtipi" # источник каталога: runtipi | umbrel
|
||||
|
||||
|
||||
@dataclass
|
||||
@@ -127,25 +128,176 @@ def _shq(s: str) -> str:
|
||||
return "'" + s.replace("'", "'\"'\"'") + "'"
|
||||
|
||||
|
||||
def _normalize_compose(compose_yaml: str) -> str:
|
||||
"""Привести compose Runtipi к самодостаточному виду для standalone-запуска.
|
||||
def _to_int(v) -> Optional[int]:
|
||||
"""Аккуратно привести значение к int (int или строка-число), иначе None."""
|
||||
if isinstance(v, bool):
|
||||
return None
|
||||
if isinstance(v, int):
|
||||
return v
|
||||
if isinstance(v, str) and v.strip().isdigit():
|
||||
return int(v.strip())
|
||||
return None
|
||||
|
||||
Runtipi-приложения ссылаются в сервисах на сеть `tipi_main_network`, но
|
||||
рассчитывают, что top-level объявление сети добавит рантайм Runtipi. У нас
|
||||
его нет → `docker compose up` падает с «refers to undefined network ...:
|
||||
invalid compose project». Сеть мы создаём заранее (`docker network create`),
|
||||
поэтому здесь достаточно объявить любую упомянутую, но необъявленную сеть как
|
||||
external. При любой ошибке разбора возвращаем исходный compose без изменений.
|
||||
|
||||
def _find_main_service(services: Dict) -> Optional[str]:
|
||||
"""Определить главный сервис Runtipi-compose.
|
||||
|
||||
Приоритет: сервис с `x-runtipi.is_main: true`. Если такого нет, но сервис
|
||||
единственный — берём его. Иначе None (не можем однозначно определить).
|
||||
"""
|
||||
for name, svc in services.items():
|
||||
if isinstance(svc, dict):
|
||||
rt = svc.get("x-runtipi")
|
||||
if isinstance(rt, dict) and rt.get("is_main"):
|
||||
return name
|
||||
if len(services) == 1:
|
||||
return next(iter(services))
|
||||
return None
|
||||
|
||||
|
||||
def _compose_env_get(env, key: str) -> Optional[str]:
|
||||
"""Достать значение переменной из секции environment (dict или list-формат)."""
|
||||
if isinstance(env, dict):
|
||||
v = env.get(key)
|
||||
return str(v) if v is not None else None
|
||||
if isinstance(env, list):
|
||||
pref = key + "="
|
||||
for item in env:
|
||||
s = str(item)
|
||||
if s.startswith(pref):
|
||||
return s[len(pref):]
|
||||
return None
|
||||
|
||||
|
||||
# Сервисы рантайма Umbrel, которые не запустятся вне Umbrel и должны быть
|
||||
# вырезаны из compose перед standalone-запуском в LXC.
|
||||
def _is_umbrel_infra_service(name: str) -> bool:
|
||||
low = name.lower()
|
||||
return low == "app_proxy" or low == "tor" or low.endswith("_tor") or low.endswith("-tor")
|
||||
|
||||
|
||||
def _strip_dangling_depends(services: Dict, removed: set) -> None:
|
||||
"""Убрать depends_on-ссылки на удалённые сервисы (иначе compose up падает)."""
|
||||
for svc in services.values():
|
||||
if not isinstance(svc, dict):
|
||||
continue
|
||||
dep = svc.get("depends_on")
|
||||
if isinstance(dep, list):
|
||||
new = [d for d in dep if d not in removed]
|
||||
if new:
|
||||
svc["depends_on"] = new
|
||||
else:
|
||||
svc.pop("depends_on", None)
|
||||
elif isinstance(dep, dict):
|
||||
for r in removed:
|
||||
dep.pop(r, None)
|
||||
if not dep:
|
||||
svc.pop("depends_on", None)
|
||||
|
||||
|
||||
def _umbrel_main_service(services: Dict, app_host: Optional[str]) -> Optional[str]:
|
||||
"""Определить главный сервис Umbrel-compose.
|
||||
|
||||
Приоритет — сервис, на который указывает app_proxy (APP_HOST). Затем —
|
||||
единственный сервис, затем первый с образом.
|
||||
"""
|
||||
if not services:
|
||||
return None
|
||||
if app_host:
|
||||
for name in services:
|
||||
if name == app_host or name in app_host.split("_") or name in app_host:
|
||||
return name
|
||||
if len(services) == 1:
|
||||
return next(iter(services))
|
||||
for name, svc in services.items():
|
||||
if isinstance(svc, dict) and svc.get("image"):
|
||||
return name
|
||||
return next(iter(services))
|
||||
|
||||
|
||||
def _prepare_umbrel(doc: dict) -> tuple[Optional[str], Optional[int], bool]:
|
||||
"""Адаптировать Umbrel-compose: снять порт из app_proxy, вырезать рантайм
|
||||
Umbrel, определить главный сервис.
|
||||
|
||||
Возвращает (main_service, internal_port, changed).
|
||||
"""
|
||||
services = doc.get("services")
|
||||
if not isinstance(services, dict):
|
||||
return None, None, False
|
||||
|
||||
# Порт контейнера и целевой сервис задаёт app_proxy Umbrel.
|
||||
ap = services.get("app_proxy")
|
||||
internal: Optional[int] = None
|
||||
app_host: Optional[str] = None
|
||||
if isinstance(ap, dict):
|
||||
env = ap.get("environment")
|
||||
internal = _to_int(_compose_env_get(env, "APP_PORT"))
|
||||
app_host = _compose_env_get(env, "APP_HOST")
|
||||
|
||||
# Вырезать app_proxy/tor — их образов у нас нет, они завесят/уронят up.
|
||||
removed = {n for n in list(services.keys()) if _is_umbrel_infra_service(n)}
|
||||
for n in removed:
|
||||
services.pop(n, None)
|
||||
if removed:
|
||||
_strip_dangling_depends(services, removed)
|
||||
|
||||
main = _umbrel_main_service(services, app_host)
|
||||
return main, internal, bool(removed)
|
||||
|
||||
|
||||
def _resolve_main_and_port(doc: dict, services: Dict, source: str
|
||||
) -> tuple[Optional[str], Optional[int], bool]:
|
||||
"""Определить (главный_сервис, внутренний_порт, changed) по источнику."""
|
||||
if source == "umbrel":
|
||||
return _prepare_umbrel(doc)
|
||||
# runtipi: главный сервис и порт объявлены через x-runtipi.
|
||||
main = _find_main_service(services)
|
||||
internal = None
|
||||
if main is not None:
|
||||
svc = services.get(main)
|
||||
rt = svc.get("x-runtipi") if isinstance(svc, dict) else None
|
||||
internal = _to_int(rt.get("internal_port")) if isinstance(rt, dict) else None
|
||||
return main, internal, False
|
||||
|
||||
|
||||
def _normalize_compose(compose_yaml: str, host_port: Optional[int] = None,
|
||||
*, source: str = "runtipi") -> tuple[str, Optional[int]]:
|
||||
"""Привести compose к самодостаточному виду для standalone-запуска в LXC.
|
||||
|
||||
Делает то, что в родном рантайме (Runtipi/Umbrel) выполняет их оркестратор:
|
||||
|
||||
1. Объявляет упомянутые, но необъявленные сети (напр. `tipi_main_network`)
|
||||
как external — иначе `docker compose up` падает с «refers to undefined
|
||||
network …». Сеть создаётся заранее на ноде (`docker network create`).
|
||||
|
||||
2. Для Umbrel: вырезает сервисы рантайма (app_proxy, tor) — их образов у нас
|
||||
нет, а порт контейнера берётся из `app_proxy.environment.APP_PORT`.
|
||||
|
||||
3. Публикует порт главного сервиса на хост LXC. И Runtipi (порт в
|
||||
`x-runtipi.internal_port`), и Umbrel (порт в app_proxy) обычно НЕ имеют
|
||||
секции `ports:` — наружу его пробрасывал бы их прокси, которого у нас нет.
|
||||
Без публикации приложение недоступно по IP контейнера (health-check не
|
||||
проходит). Поэтому главному сервису добавляем `ports: ["<host>:<internal>"]`.
|
||||
|
||||
Возвращает `(normalized_yaml, published_port)`. При любой ошибке разбора —
|
||||
`(compose_yaml, None)` (используем исходный compose как есть).
|
||||
"""
|
||||
try:
|
||||
doc = yaml.safe_load(compose_yaml)
|
||||
if not isinstance(doc, dict):
|
||||
return compose_yaml
|
||||
return compose_yaml, None
|
||||
|
||||
services = doc.get("services")
|
||||
if not isinstance(services, dict):
|
||||
return compose_yaml
|
||||
return compose_yaml, None
|
||||
|
||||
# Источнико-специфичная подготовка (для Umbrel мутирует services).
|
||||
main, internal, changed = _resolve_main_and_port(doc, services, source)
|
||||
services = doc.get("services")
|
||||
if not isinstance(services, dict):
|
||||
return compose_yaml, None
|
||||
|
||||
# (1) Необъявленные сети → external.
|
||||
referenced: set[str] = set()
|
||||
for svc in services.values():
|
||||
if not isinstance(svc, dict):
|
||||
@@ -156,27 +308,71 @@ def _normalize_compose(compose_yaml: str) -> str:
|
||||
elif isinstance(nets, dict):
|
||||
referenced.update(str(n) for n in nets.keys())
|
||||
|
||||
if not referenced:
|
||||
return compose_yaml
|
||||
if referenced:
|
||||
top = doc.get("networks")
|
||||
if not isinstance(top, dict):
|
||||
top = {}
|
||||
for net in referenced:
|
||||
if net not in top:
|
||||
top[net] = {"external": True}
|
||||
changed = True
|
||||
if changed:
|
||||
doc["networks"] = top
|
||||
|
||||
top = doc.get("networks")
|
||||
if not isinstance(top, dict):
|
||||
top = {}
|
||||
changed = False
|
||||
for net in referenced:
|
||||
if net not in top:
|
||||
# Сеть создаётся заранее на ноде → подключаемся как external.
|
||||
top[net] = {"external": True}
|
||||
changed = True
|
||||
# Для Umbrel, если порт контейнера не удалось снять из app_proxy, но
|
||||
# известен порт из каталога — используем его как внутренний.
|
||||
if source == "umbrel" and internal is None and host_port:
|
||||
internal = host_port
|
||||
|
||||
# (2) Публикация порта главного сервиса на хост LXC.
|
||||
published_port: Optional[int] = None
|
||||
svc = services.get(main) if main is not None else None
|
||||
if isinstance(svc, dict):
|
||||
if internal:
|
||||
# Уважаем уже объявленную публикацию (не переопределяем).
|
||||
if not svc.get("ports"):
|
||||
# host_port из каталога, если задан и не дефолтные 80/0; иначе
|
||||
# публикуем на том же номере, что слушает контейнер.
|
||||
pub = host_port if (host_port and host_port not in (0, 80)) else internal
|
||||
svc["ports"] = [f"{pub}:{internal}"]
|
||||
published_port = pub
|
||||
changed = True
|
||||
else:
|
||||
ports = svc.get("ports")
|
||||
if isinstance(ports, list) and ports:
|
||||
first = str(ports[0])
|
||||
published_port = _to_int(first.split(":")[0]) or internal
|
||||
elif svc.get("ports"):
|
||||
# Внутренний порт неизвестен, но публикация уже есть в compose.
|
||||
ports = svc.get("ports")
|
||||
if isinstance(ports, list) and ports:
|
||||
published_port = _to_int(str(ports[0]).split(":")[0])
|
||||
|
||||
if not changed:
|
||||
return compose_yaml
|
||||
return compose_yaml, published_port
|
||||
|
||||
doc["networks"] = top
|
||||
return yaml.safe_dump(doc, sort_keys=False, allow_unicode=True)
|
||||
return yaml.safe_dump(doc, sort_keys=False, allow_unicode=True), published_port
|
||||
except Exception as e:
|
||||
logger.warning(f"[appstore-poc] normalize compose failed, using raw: {e}")
|
||||
return compose_yaml
|
||||
return compose_yaml, None
|
||||
|
||||
|
||||
def _platform_env(env: Dict[str, str], ip: str, source: str) -> Dict[str, str]:
|
||||
"""Заполнить IP-зависимые платформенные переменные окружения (ТЗ 5.3).
|
||||
|
||||
Общие: APP_DOMAIN/APP_HOST/APP_IP. runtipi → LOCAL_DOMAIN. umbrel →
|
||||
DEVICE_DOMAIN_NAME/DEVICE_HOSTNAME/APP_SEED (частые ссылки в их compose).
|
||||
"""
|
||||
env.setdefault("APP_DOMAIN", ip)
|
||||
env.setdefault("APP_HOST", ip)
|
||||
env["APP_IP"] = ip
|
||||
if source == "umbrel":
|
||||
env.setdefault("DEVICE_DOMAIN_NAME", f"{ip}.local")
|
||||
env.setdefault("DEVICE_HOSTNAME", "umbrel")
|
||||
env.setdefault("APP_SEED", "pvemanager")
|
||||
else:
|
||||
env.setdefault("LOCAL_DOMAIN", "tipi.local") # стандартная переменная Runtipi
|
||||
return env
|
||||
|
||||
|
||||
def _push_file(ssh: SSHClient, vmid: int, content: str, dest: str) -> None:
|
||||
@@ -299,13 +495,14 @@ def poc_install(db: Session, spec: InstallSpec, on_step: StepCb = _noop) -> Inst
|
||||
)
|
||||
|
||||
on_step("Доставка docker-compose.yml и .env (pct push)...", 75)
|
||||
_push_file(ssh, vmid, _normalize_compose(spec.compose_yaml), f"{APP_DIR}/docker-compose.yml")
|
||||
normalized, pub_port = _normalize_compose(spec.compose_yaml, spec.port,
|
||||
source=spec.source)
|
||||
if pub_port:
|
||||
# Порт, реально опубликованный на хосте LXC → на нём и проверяем/URL.
|
||||
spec.port = pub_port
|
||||
_push_file(ssh, vmid, normalized, f"{APP_DIR}/docker-compose.yml")
|
||||
# IP-зависимые платформенные переменные (ТЗ 5.3) заполняем здесь — IP уже известен.
|
||||
env = dict(spec.env_vars)
|
||||
env.setdefault("APP_DOMAIN", ip)
|
||||
env.setdefault("APP_HOST", ip)
|
||||
env.setdefault("LOCAL_DOMAIN", "tipi.local") # стандартная переменная Runtipi
|
||||
env["APP_IP"] = ip
|
||||
env = _platform_env(dict(spec.env_vars), ip, spec.source)
|
||||
# значения .env: убираем переводы строк (одна строка на переменную)
|
||||
env_content = "".join(f"{k}={str(v).replace(chr(10), ' ').replace(chr(13), ' ')}\n"
|
||||
for k, v in env.items())
|
||||
@@ -347,7 +544,8 @@ def _health_check(ip: str, port: int, timeout: int) -> bool:
|
||||
|
||||
def poc_update(server, client, vmid: int, node: str, compose_yaml: str,
|
||||
env_vars: Dict[str, str], port: int, ip: str,
|
||||
on_step: StepCb = _noop, health_timeout: int = 300) -> str:
|
||||
on_step: StepCb = _noop, health_timeout: int = 300,
|
||||
source: str = "runtipi") -> str:
|
||||
"""Обновление приложения в существующем контейнере (M4): доставка нового
|
||||
docker-compose.yml → docker compose pull && up -d → health-check.
|
||||
|
||||
@@ -365,12 +563,11 @@ def poc_update(server, client, vmid: int, node: str, compose_yaml: str,
|
||||
f"docker network create {TIPI_NETWORK}"),
|
||||
what="ensure docker network",
|
||||
)
|
||||
_push_file(ssh, vmid, _normalize_compose(compose_yaml), f"{APP_DIR}/docker-compose.yml")
|
||||
env = dict(env_vars)
|
||||
env.setdefault("APP_DOMAIN", ip)
|
||||
env.setdefault("APP_HOST", ip)
|
||||
env.setdefault("LOCAL_DOMAIN", "tipi.local") # стандартная переменная Runtipi
|
||||
env["APP_IP"] = ip
|
||||
normalized, pub_port = _normalize_compose(compose_yaml, port, source=source)
|
||||
if pub_port:
|
||||
port = pub_port
|
||||
_push_file(ssh, vmid, normalized, f"{APP_DIR}/docker-compose.yml")
|
||||
env = _platform_env(dict(env_vars), ip, source)
|
||||
env_content = "".join(f"{k}={str(v).replace(chr(10), ' ').replace(chr(13), ' ')}\n"
|
||||
for k, v in env.items())
|
||||
_push_file(ssh, vmid, env_content, f"{APP_DIR}/.env")
|
||||
|
||||
Reference in New Issue
Block a user