feat(appstore): кастомный порт при установке + мгновенная чистка инстанса
All checks were successful
Backend Tests / pytest (Python 3.12) (push) Successful in 57s
Deploy to Production / Trigger production update (push) Successful in 7s

App Store:
- поле кастомного порта в мастере установки (переопределяет порт каталога)
- валидация диапазона порта 1..65535 (Pydantic Field + EngineError)
- APP_PORT в окружении синхронизируется с выбранным портом
- при удалении приложения инстанс сразу помечается deleted в кэше
  vm_instances (soft_delete_vm_instance), не дожидаясь фонового воркера

Также включены правки IPAM (привязка сетей к рабочей области, UI
WorkspaceSelect) и синхронизации каталога App Store.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
markmorado
2026-07-09 01:20:28 +05:00
parent bbaae7c2b1
commit 633f1a424c
24 changed files with 821 additions and 259 deletions

View File

@@ -70,6 +70,7 @@ class InstallSpec:
# (тогда не ждём выдачи по DHCP).
ip_config: Optional[str] = None # напр. "ip=10.0.0.5/24,gw=10.0.0.1"
static_ip: Optional[str] = None # напр. "10.0.0.5"
source: str = "runtipi" # источник каталога: runtipi | umbrel
@dataclass
@@ -127,25 +128,176 @@ def _shq(s: str) -> str:
return "'" + s.replace("'", "'\"'\"'") + "'"
def _normalize_compose(compose_yaml: str) -> str:
"""Привести compose Runtipi к самодостаточному виду для standalone-запуска.
def _to_int(v) -> Optional[int]:
"""Аккуратно привести значение к int (int или строка-число), иначе None."""
if isinstance(v, bool):
return None
if isinstance(v, int):
return v
if isinstance(v, str) and v.strip().isdigit():
return int(v.strip())
return None
Runtipi-приложения ссылаются в сервисах на сеть `tipi_main_network`, но
рассчитывают, что top-level объявление сети добавит рантайм Runtipi. У нас
его нет → `docker compose up` падает с «refers to undefined network ...:
invalid compose project». Сеть мы создаём заранее (`docker network create`),
поэтому здесь достаточно объявить любую упомянутую, но необъявленную сеть как
external. При любой ошибке разбора возвращаем исходный compose без изменений.
def _find_main_service(services: Dict) -> Optional[str]:
"""Определить главный сервис Runtipi-compose.
Приоритет: сервис с `x-runtipi.is_main: true`. Если такого нет, но сервис
единственный — берём его. Иначе None (не можем однозначно определить).
"""
for name, svc in services.items():
if isinstance(svc, dict):
rt = svc.get("x-runtipi")
if isinstance(rt, dict) and rt.get("is_main"):
return name
if len(services) == 1:
return next(iter(services))
return None
def _compose_env_get(env, key: str) -> Optional[str]:
"""Достать значение переменной из секции environment (dict или list-формат)."""
if isinstance(env, dict):
v = env.get(key)
return str(v) if v is not None else None
if isinstance(env, list):
pref = key + "="
for item in env:
s = str(item)
if s.startswith(pref):
return s[len(pref):]
return None
# Сервисы рантайма Umbrel, которые не запустятся вне Umbrel и должны быть
# вырезаны из compose перед standalone-запуском в LXC.
def _is_umbrel_infra_service(name: str) -> bool:
low = name.lower()
return low == "app_proxy" or low == "tor" or low.endswith("_tor") or low.endswith("-tor")
def _strip_dangling_depends(services: Dict, removed: set) -> None:
"""Убрать depends_on-ссылки на удалённые сервисы (иначе compose up падает)."""
for svc in services.values():
if not isinstance(svc, dict):
continue
dep = svc.get("depends_on")
if isinstance(dep, list):
new = [d for d in dep if d not in removed]
if new:
svc["depends_on"] = new
else:
svc.pop("depends_on", None)
elif isinstance(dep, dict):
for r in removed:
dep.pop(r, None)
if not dep:
svc.pop("depends_on", None)
def _umbrel_main_service(services: Dict, app_host: Optional[str]) -> Optional[str]:
"""Определить главный сервис Umbrel-compose.
Приоритет — сервис, на который указывает app_proxy (APP_HOST). Затем —
единственный сервис, затем первый с образом.
"""
if not services:
return None
if app_host:
for name in services:
if name == app_host or name in app_host.split("_") or name in app_host:
return name
if len(services) == 1:
return next(iter(services))
for name, svc in services.items():
if isinstance(svc, dict) and svc.get("image"):
return name
return next(iter(services))
def _prepare_umbrel(doc: dict) -> tuple[Optional[str], Optional[int], bool]:
"""Адаптировать Umbrel-compose: снять порт из app_proxy, вырезать рантайм
Umbrel, определить главный сервис.
Возвращает (main_service, internal_port, changed).
"""
services = doc.get("services")
if not isinstance(services, dict):
return None, None, False
# Порт контейнера и целевой сервис задаёт app_proxy Umbrel.
ap = services.get("app_proxy")
internal: Optional[int] = None
app_host: Optional[str] = None
if isinstance(ap, dict):
env = ap.get("environment")
internal = _to_int(_compose_env_get(env, "APP_PORT"))
app_host = _compose_env_get(env, "APP_HOST")
# Вырезать app_proxy/tor — их образов у нас нет, они завесят/уронят up.
removed = {n for n in list(services.keys()) if _is_umbrel_infra_service(n)}
for n in removed:
services.pop(n, None)
if removed:
_strip_dangling_depends(services, removed)
main = _umbrel_main_service(services, app_host)
return main, internal, bool(removed)
def _resolve_main_and_port(doc: dict, services: Dict, source: str
) -> tuple[Optional[str], Optional[int], bool]:
"""Определить (главный_сервис, внутренний_порт, changed) по источнику."""
if source == "umbrel":
return _prepare_umbrel(doc)
# runtipi: главный сервис и порт объявлены через x-runtipi.
main = _find_main_service(services)
internal = None
if main is not None:
svc = services.get(main)
rt = svc.get("x-runtipi") if isinstance(svc, dict) else None
internal = _to_int(rt.get("internal_port")) if isinstance(rt, dict) else None
return main, internal, False
def _normalize_compose(compose_yaml: str, host_port: Optional[int] = None,
*, source: str = "runtipi") -> tuple[str, Optional[int]]:
"""Привести compose к самодостаточному виду для standalone-запуска в LXC.
Делает то, что в родном рантайме (Runtipi/Umbrel) выполняет их оркестратор:
1. Объявляет упомянутые, но необъявленные сети (напр. `tipi_main_network`)
как external — иначе `docker compose up` падает с «refers to undefined
network …». Сеть создаётся заранее на ноде (`docker network create`).
2. Для Umbrel: вырезает сервисы рантайма (app_proxy, tor) — их образов у нас
нет, а порт контейнера берётся из `app_proxy.environment.APP_PORT`.
3. Публикует порт главного сервиса на хост LXC. И Runtipi (порт в
`x-runtipi.internal_port`), и Umbrel (порт в app_proxy) обычно НЕ имеют
секции `ports:` — наружу его пробрасывал бы их прокси, которого у нас нет.
Без публикации приложение недоступно по IP контейнера (health-check не
проходит). Поэтому главному сервису добавляем `ports: ["<host>:<internal>"]`.
Возвращает `(normalized_yaml, published_port)`. При любой ошибке разбора —
`(compose_yaml, None)` (используем исходный compose как есть).
"""
try:
doc = yaml.safe_load(compose_yaml)
if not isinstance(doc, dict):
return compose_yaml
return compose_yaml, None
services = doc.get("services")
if not isinstance(services, dict):
return compose_yaml
return compose_yaml, None
# Источнико-специфичная подготовка (для Umbrel мутирует services).
main, internal, changed = _resolve_main_and_port(doc, services, source)
services = doc.get("services")
if not isinstance(services, dict):
return compose_yaml, None
# (1) Необъявленные сети → external.
referenced: set[str] = set()
for svc in services.values():
if not isinstance(svc, dict):
@@ -156,27 +308,71 @@ def _normalize_compose(compose_yaml: str) -> str:
elif isinstance(nets, dict):
referenced.update(str(n) for n in nets.keys())
if not referenced:
return compose_yaml
if referenced:
top = doc.get("networks")
if not isinstance(top, dict):
top = {}
for net in referenced:
if net not in top:
top[net] = {"external": True}
changed = True
if changed:
doc["networks"] = top
top = doc.get("networks")
if not isinstance(top, dict):
top = {}
changed = False
for net in referenced:
if net not in top:
# Сеть создаётся заранее на ноде → подключаемся как external.
top[net] = {"external": True}
changed = True
# Для Umbrel, если порт контейнера не удалось снять из app_proxy, но
# известен порт из каталога — используем его как внутренний.
if source == "umbrel" and internal is None and host_port:
internal = host_port
# (2) Публикация порта главного сервиса на хост LXC.
published_port: Optional[int] = None
svc = services.get(main) if main is not None else None
if isinstance(svc, dict):
if internal:
# Уважаем уже объявленную публикацию (не переопределяем).
if not svc.get("ports"):
# host_port из каталога, если задан и не дефолтные 80/0; иначе
# публикуем на том же номере, что слушает контейнер.
pub = host_port if (host_port and host_port not in (0, 80)) else internal
svc["ports"] = [f"{pub}:{internal}"]
published_port = pub
changed = True
else:
ports = svc.get("ports")
if isinstance(ports, list) and ports:
first = str(ports[0])
published_port = _to_int(first.split(":")[0]) or internal
elif svc.get("ports"):
# Внутренний порт неизвестен, но публикация уже есть в compose.
ports = svc.get("ports")
if isinstance(ports, list) and ports:
published_port = _to_int(str(ports[0]).split(":")[0])
if not changed:
return compose_yaml
return compose_yaml, published_port
doc["networks"] = top
return yaml.safe_dump(doc, sort_keys=False, allow_unicode=True)
return yaml.safe_dump(doc, sort_keys=False, allow_unicode=True), published_port
except Exception as e:
logger.warning(f"[appstore-poc] normalize compose failed, using raw: {e}")
return compose_yaml
return compose_yaml, None
def _platform_env(env: Dict[str, str], ip: str, source: str) -> Dict[str, str]:
"""Заполнить IP-зависимые платформенные переменные окружения (ТЗ 5.3).
Общие: APP_DOMAIN/APP_HOST/APP_IP. runtipi → LOCAL_DOMAIN. umbrel →
DEVICE_DOMAIN_NAME/DEVICE_HOSTNAME/APP_SEED (частые ссылки в их compose).
"""
env.setdefault("APP_DOMAIN", ip)
env.setdefault("APP_HOST", ip)
env["APP_IP"] = ip
if source == "umbrel":
env.setdefault("DEVICE_DOMAIN_NAME", f"{ip}.local")
env.setdefault("DEVICE_HOSTNAME", "umbrel")
env.setdefault("APP_SEED", "pvemanager")
else:
env.setdefault("LOCAL_DOMAIN", "tipi.local") # стандартная переменная Runtipi
return env
def _push_file(ssh: SSHClient, vmid: int, content: str, dest: str) -> None:
@@ -299,13 +495,14 @@ def poc_install(db: Session, spec: InstallSpec, on_step: StepCb = _noop) -> Inst
)
on_step("Доставка docker-compose.yml и .env (pct push)...", 75)
_push_file(ssh, vmid, _normalize_compose(spec.compose_yaml), f"{APP_DIR}/docker-compose.yml")
normalized, pub_port = _normalize_compose(spec.compose_yaml, spec.port,
source=spec.source)
if pub_port:
# Порт, реально опубликованный на хосте LXC → на нём и проверяем/URL.
spec.port = pub_port
_push_file(ssh, vmid, normalized, f"{APP_DIR}/docker-compose.yml")
# IP-зависимые платформенные переменные (ТЗ 5.3) заполняем здесь — IP уже известен.
env = dict(spec.env_vars)
env.setdefault("APP_DOMAIN", ip)
env.setdefault("APP_HOST", ip)
env.setdefault("LOCAL_DOMAIN", "tipi.local") # стандартная переменная Runtipi
env["APP_IP"] = ip
env = _platform_env(dict(spec.env_vars), ip, spec.source)
# значения .env: убираем переводы строк (одна строка на переменную)
env_content = "".join(f"{k}={str(v).replace(chr(10), ' ').replace(chr(13), ' ')}\n"
for k, v in env.items())
@@ -347,7 +544,8 @@ def _health_check(ip: str, port: int, timeout: int) -> bool:
def poc_update(server, client, vmid: int, node: str, compose_yaml: str,
env_vars: Dict[str, str], port: int, ip: str,
on_step: StepCb = _noop, health_timeout: int = 300) -> str:
on_step: StepCb = _noop, health_timeout: int = 300,
source: str = "runtipi") -> str:
"""Обновление приложения в существующем контейнере (M4): доставка нового
docker-compose.yml → docker compose pull && up -d → health-check.
@@ -365,12 +563,11 @@ def poc_update(server, client, vmid: int, node: str, compose_yaml: str,
f"docker network create {TIPI_NETWORK}"),
what="ensure docker network",
)
_push_file(ssh, vmid, _normalize_compose(compose_yaml), f"{APP_DIR}/docker-compose.yml")
env = dict(env_vars)
env.setdefault("APP_DOMAIN", ip)
env.setdefault("APP_HOST", ip)
env.setdefault("LOCAL_DOMAIN", "tipi.local") # стандартная переменная Runtipi
env["APP_IP"] = ip
normalized, pub_port = _normalize_compose(compose_yaml, port, source=source)
if pub_port:
port = pub_port
_push_file(ssh, vmid, normalized, f"{APP_DIR}/docker-compose.yml")
env = _platform_env(dict(env_vars), ip, source)
env_content = "".join(f"{k}={str(v).replace(chr(10), ' ').replace(chr(13), ' ')}\n"
for k, v in env.items())
_push_file(ssh, vmid, env_content, f"{APP_DIR}/.env")