feat(appstore): кастомный порт при установке + мгновенная чистка инстанса
All checks were successful
Backend Tests / pytest (Python 3.12) (push) Successful in 57s
Deploy to Production / Trigger production update (push) Successful in 7s

App Store:
- поле кастомного порта в мастере установки (переопределяет порт каталога)
- валидация диапазона порта 1..65535 (Pydantic Field + EngineError)
- APP_PORT в окружении синхронизируется с выбранным портом
- при удалении приложения инстанс сразу помечается deleted в кэше
  vm_instances (soft_delete_vm_instance), не дожидаясь фонового воркера

Также включены правки IPAM (привязка сетей к рабочей области, UI
WorkspaceSelect) и синхронизации каталога App Store.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
markmorado
2026-07-09 01:20:28 +05:00
parent bbaae7c2b1
commit 633f1a424c
24 changed files with 821 additions and 259 deletions

View File

@@ -49,8 +49,9 @@ def _logos_dir() -> Path:
class AppRaw:
"""Сырые файлы одного приложения из репозитория."""
def __init__(self, app_id: str):
def __init__(self, app_id: str, source: str = "runtipi"):
self.app_id = app_id
self.source = source
self.config: Optional[dict] = None
self.compose: Optional[str] = None
self.description_md: Optional[str] = None
@@ -61,18 +62,16 @@ class AppRaw:
# ── Провайдер источника (изоляция, риск п.13) ─────────────────────────────────
class CatalogProvider(ABC):
# источник, к которому относится провайдер (для scoping'а в sync_catalog)
source: str = "runtipi"
@abstractmethod
def fetch(self) -> Dict[str, AppRaw]:
"""Вернуть словарь app_id → AppRaw. Может бросить при сетевой ошибке."""
class RuntipiCatalogProvider(CatalogProvider):
def __init__(self, repo: Optional[str] = None, ref: Optional[str] = None):
self.repo = repo or settings.RUNTIPI_APPSTORE_REPO
self.ref = ref or settings.RUNTIPI_APPSTORE_REF
def _download(self) -> Path:
url = f"https://github.com/{self.repo}/archive/{self.ref}.tar.gz"
@staticmethod
def _download_tarball(repo: str, ref: str) -> Path:
url = f"https://github.com/{repo}/archive/{ref}.tar.gz"
logger.info(f"[appstore] downloading catalog tarball: {url}")
tmp = tempfile.NamedTemporaryFile(delete=False, suffix=".tar.gz")
try:
@@ -84,6 +83,22 @@ class RuntipiCatalogProvider(CatalogProvider):
tmp.close()
return Path(tmp.name)
@staticmethod
def _read(tar: tarfile.TarFile, member: tarfile.TarInfo) -> bytes:
f = tar.extractfile(member)
return f.read() if f else b""
class RuntipiCatalogProvider(CatalogProvider):
source = "runtipi"
def __init__(self, repo: Optional[str] = None, ref: Optional[str] = None):
self.repo = repo or settings.RUNTIPI_APPSTORE_REPO
self.ref = ref or settings.RUNTIPI_APPSTORE_REF
def _download(self) -> Path:
return self._download_tarball(self.repo, self.ref)
def fetch(self) -> Dict[str, AppRaw]:
archive = self._download()
apps: Dict[str, AppRaw] = {}
@@ -101,7 +116,7 @@ class RuntipiCatalogProvider(CatalogProvider):
continue
app_id = parts[ai + 1]
rel = parts[ai + 2:] # путь внутри apps/<id>/
raw = apps.setdefault(app_id, AppRaw(app_id))
raw = apps.setdefault(app_id, AppRaw(app_id, source=self.source))
fname = rel[-1].lower()
try:
@@ -123,10 +138,119 @@ class RuntipiCatalogProvider(CatalogProvider):
pass
return apps
class UmbrelCatalogProvider(CatalogProvider):
"""Провайдер каталога Umbrel (getumbrel/umbrel-apps).
Структура репозитория: `<repo>-<ref>/<app-id>/{umbrel-app.yml,
docker-compose.yml, <logo>}`. Метаданные лежат в umbrel-app.yml (а не в
compose, как у Runtipi), поэтому нормализуем их в тот же shape, что ждёт
_build_fields. app_id префиксуется "umbrel-" для изоляции PK от Runtipi.
"""
source = "umbrel"
PREFIX = "umbrel-"
def __init__(self, repo: Optional[str] = None, ref: Optional[str] = None,
gallery_repo: Optional[str] = None):
self.repo = repo or settings.UMBREL_APPSTORE_REPO
self.ref = ref or settings.UMBREL_APPSTORE_REF
self.gallery_repo = gallery_repo or settings.UMBREL_APPSTORE_GALLERY_REPO
def fetch(self) -> Dict[str, AppRaw]:
archive = self._download_tarball(self.repo, self.ref)
apps: Dict[str, AppRaw] = {}
try:
with tarfile.open(archive, mode="r:gz") as tar:
for member in tar:
if not member.isfile():
continue
# путь вида "<repo>-<ref>/<app-id>/<file>"
parts = member.name.split("/")
if len(parts) != 3:
continue # интересуют только файлы в корне папки приложения
raw_id = parts[1]
if not raw_id or raw_id.startswith("."):
continue # .github, .gitignore и т.п.
app_id = self.PREFIX + raw_id
fname = parts[-1].lower()
raw = apps.setdefault(app_id, AppRaw(app_id, source=self.source))
try:
if fname == "umbrel-app.yml":
raw.config = self._map_manifest(
raw_id, yaml.safe_load(self._read(tar, member)))
elif fname == "docker-compose.yml":
raw.compose = self._read(tar, member).decode("utf-8", "replace")
elif fname in _LOGO_NAMES:
raw.logo_bytes = self._read(tar, member)
raw.logo_ext = os.path.splitext(fname)[1] or ".jpg"
except Exception as e:
logger.warning(f"[appstore] parse umbrel {app_id}/{fname}: {e}")
finally:
try:
archive.unlink()
except Exception:
pass
# Иконки — из отдельного репозитория галереи (<app-id>/icon.svg). Сбой
# получения иконок не должен ронять синк каталога.
try:
icons = self._fetch_gallery_icons()
for app_id, raw in apps.items():
data = icons.get(app_id[len(self.PREFIX):])
if data:
raw.logo_bytes = data
raw.logo_ext = ".svg"
except Exception as e:
logger.warning(f"[appstore] umbrel gallery icons failed: {e}")
return apps
def _fetch_gallery_icons(self) -> Dict[str, bytes]:
"""Скачать tarball галереи Umbrel и вернуть словарь raw_id → bytes(icon.svg)."""
archive = self._download_tarball(self.gallery_repo, self.ref)
icons: Dict[str, bytes] = {}
try:
with tarfile.open(archive, mode="r:gz") as tar:
for member in tar:
if not member.isfile():
continue
# путь вида "<repo>-<ref>/<app-id>/icon.svg"
parts = member.name.split("/")
if len(parts) == 3 and parts[2].lower() == "icon.svg":
icons[parts[1]] = self._read(tar, member)
finally:
try:
archive.unlink()
except Exception:
pass
return icons
@staticmethod
def _read(tar: tarfile.TarFile, member: tarfile.TarInfo) -> bytes:
f = tar.extractfile(member)
return f.read() if f else b""
def _map_manifest(raw_id: str, meta: Optional[dict]) -> Optional[dict]:
"""umbrel-app.yml → config-словарь в формате, ожидаемом _build_fields."""
if not isinstance(meta, dict):
return None
cat = meta.get("category")
categories = [str(cat)] if cat else []
port = meta.get("port")
return {
"name": meta.get("name") or raw_id,
"version": str(meta.get("version")) if meta.get("version") is not None else None,
# у Umbrel нет целочисленной версии рецепта — update_available по
# tipi_version для umbrel-приложений не вычисляется (см. _refresh_update_flags).
"tipi_version": None,
"categories": categories,
"short_desc": meta.get("tagline"),
"description": meta.get("description"),
"port": port if isinstance(port, int) else None,
"form_fields": [], # Umbrel не описывает поля формы декларативно
"supported_architectures": [], # обычно multi-arch — не ограничиваем
"available": True,
"deprecated": False,
"dynamic_config": False,
"source": meta.get("repo") or meta.get("website"),
"author": meta.get("developer") or meta.get("submitter"),
}
# ── Синхронизация ─────────────────────────────────────────────────────────────
@@ -171,6 +295,7 @@ def _build_fields(app_id: str, raw: AppRaw) -> Optional[dict]:
reason = f"нет поддержки арх. {_host_arch()}"
return {
"source": raw.source or "runtipi",
"name": cfg.get("name") or app_id,
"version": str(cfg.get("version")) if cfg.get("version") is not None else None,
"tipi_version": cfg.get("tipi_version") if isinstance(cfg.get("tipi_version"), int) else None,
@@ -190,55 +315,90 @@ def _build_fields(app_id: str, raw: AppRaw) -> Optional[dict]:
}
def _enabled_providers(ref: Optional[str] = None) -> List[CatalogProvider]:
"""Список провайдеров по настройке APPSTORE_SOURCES."""
raw = (settings.APPSTORE_SOURCES or "runtipi")
names = [s.strip().lower() for s in raw.split(",") if s.strip()]
providers: List[CatalogProvider] = []
for n in names:
if n == "runtipi":
providers.append(RuntipiCatalogProvider(ref=ref))
elif n == "umbrel":
# ref относится к runtipi (совместимость со старой сигнатурой) — Umbrel
# берёт собственный UMBREL_APPSTORE_REF.
providers.append(UmbrelCatalogProvider())
else:
logger.warning(f"[appstore] unknown catalog source '{n}', пропущен")
if not providers:
providers.append(RuntipiCatalogProvider(ref=ref))
return providers
def sync_catalog(db: Session, ref: Optional[str] = None,
provider: Optional[CatalogProvider] = None) -> dict:
"""Идемпотентная синхронизация каталога. Возвращает статистику."""
provider = provider or RuntipiCatalogProvider(ref=ref)
"""Идемпотентная синхронизация каталога из всех активных источников.
Каждый источник синхронизируется независимо: сетевой сбой одного не отменяет
остальные, а пометка «исчезнувших» приложений scoped'ится по source, чтобы
синк runtipi не задел записи umbrel и наоборот.
"""
providers = [provider] if provider is not None else _enabled_providers(ref)
started = _utcnow()
apps = provider.fetch() # может бросить сетевую ошибку — обрабатывает вызывающий
created = updated = skipped = errors = 0
seen: List[str] = []
created = updated = skipped = errors = disappeared = 0
source_errors: List[str] = []
for app_id, raw in apps.items():
for prov in providers:
try:
fields = _build_fields(app_id, raw)
if fields is None:
skipped += 1
continue
fields["logo_path"] = _save_logo(app_id, raw)
fields["synced_at"] = _utcnow()
apps = prov.fetch()
except Exception as e: # NF-4 — источник недоступен, не роняем остальные
source_errors.append(f"{prov.source}: {e}")
logger.warning(f"[appstore] fetch source '{prov.source}' failed: {e}")
continue
existing = db.query(CatalogApp).filter(CatalogApp.app_id == app_id).first()
if existing:
for k, v in fields.items():
if k == "logo_path" and v is None:
continue # не затирать существующий логотип, если в этот раз не пришёл
setattr(existing, k, v)
updated += 1
else:
db.add(CatalogApp(app_id=app_id, **fields))
created += 1
seen.append(app_id)
db.commit()
except Exception as e: # F-CAT-5 — не роняем весь синк
errors += 1
db.rollback()
logger.warning(f"[appstore] sync {app_id} failed: {e}")
seen: List[str] = []
for app_id, raw in apps.items():
try:
fields = _build_fields(app_id, raw)
if fields is None:
skipped += 1
continue
fields["logo_path"] = _save_logo(app_id, raw)
fields["synced_at"] = _utcnow()
# Приложения, исчезнувшие из источника → пометить недоступными (не удаляем — M2 installed_apps)
disappeared = 0
if seen:
disappeared = (
db.query(CatalogApp)
.filter(~CatalogApp.app_id.in_(seen), CatalogApp.available.is_(True))
.update(
{CatalogApp.available: False,
CatalogApp.unavailable_reason: "удалено из источника"},
synchronize_session=False,
existing = db.query(CatalogApp).filter(CatalogApp.app_id == app_id).first()
if existing:
for k, v in fields.items():
if k == "logo_path" and v is None:
continue # не затирать существующий логотип
setattr(existing, k, v)
updated += 1
else:
db.add(CatalogApp(app_id=app_id, **fields))
created += 1
seen.append(app_id)
db.commit()
except Exception as e: # F-CAT-5 — не роняем весь синк
errors += 1
db.rollback()
logger.warning(f"[appstore] sync {app_id} failed: {e}")
# Исчезнувшие из ЭТОГО источника → недоступны (scoped по source).
if seen:
disappeared += (
db.query(CatalogApp)
.filter(
CatalogApp.source == prov.source,
~CatalogApp.app_id.in_(seen),
CatalogApp.available.is_(True),
)
.update(
{CatalogApp.available: False,
CatalogApp.unavailable_reason: "удалено из источника"},
synchronize_session=False,
)
)
)
db.commit()
db.commit()
# F-CAT-4: выставить update_available для установленных приложений
flagged = _refresh_update_flags(db)
@@ -247,6 +407,8 @@ def sync_catalog(db: Session, ref: Optional[str] = None,
stats = {
"created": created, "updated": updated, "skipped": skipped,
"errors": errors, "disappeared": disappeared, "flagged": flagged, "total": total,
"sources": [p.source for p in providers if p is not None],
"source_errors": source_errors,
"ref": (ref or settings.RUNTIPI_APPSTORE_REF),
"duration_sec": round((_utcnow() - started).total_seconds(), 1),
"synced_at": _utcnow().isoformat(),
@@ -284,12 +446,16 @@ def get_catalog_meta(db: Session) -> dict:
for (arr,) in db.query(CatalogApp.categories).all():
for c in (arr or []):
cats.add(c)
sources = sorted(
s for (s,) in db.query(CatalogApp.source).distinct().all() if s
)
return {
"total": total,
"last_synced_at": last[0].isoformat() if last and last[0] else None,
"repo": settings.RUNTIPI_APPSTORE_REPO,
"ref": settings.RUNTIPI_APPSTORE_REF,
"categories": sorted(cats),
"sources": sources,
}

View File

@@ -25,7 +25,7 @@ from ..appstore.pipeline import (
APP_DIR, APP_DATA_DIR, InstallSpec, PocError, _NAME_RE, _node_ssh, _shq,
poc_install, poc_teardown, poc_update,
)
from ..api.proxmox._helpers import _get_proxmox_client, get_next_vmid
from ..api.proxmox._helpers import _get_proxmox_client, get_next_vmid, soft_delete_vm_instance
from ..config import settings
from ..db import SessionLocal
from ..ipam_service import IPAMService
@@ -175,6 +175,7 @@ def install(db, user, *, app_id: str, name: str, form_answers: dict,
server_id: int, node: Optional[str] = None, cores: int = 2,
memory: int = 2048, disk: int = 8, storage: str = "local-lvm",
bridge: str = "vmbr0", ostemplate: Optional[str] = None,
port: Optional[int] = None,
ipam_network_id: Optional[int] = None,
ipam_pool_id: Optional[int] = None) -> dict:
"""Синхронная часть: валидация + запись в БД. Пайплайн — в пуле потоков."""
@@ -196,7 +197,15 @@ def install(db, user, *, app_id: str, name: str, form_answers: dict,
if not server:
raise EngineError("Proxmox сервер не найден")
# Кастомный порт из формы имеет приоритет над портом каталога (app.port).
if port is not None and not (1 <= port <= 65535):
raise EngineError("Порт должен быть в диапазоне 1..65535")
effective_port = port if port else app.port
env, secrets_shown = build_env(app, form_answers)
# APP_PORT в окружении должен соответствовать выбранному порту.
if port:
env["APP_PORT"] = str(port)
vmid = get_next_vmid(db, server_id)
# IPAM (опционально): выделяем адрес до старта пайплайна, чтобы ошибка
@@ -214,7 +223,7 @@ def install(db, user, *, app_id: str, name: str, form_answers: dict,
app_id=app_id, server_id=server_id, vmid=vmid, node=node, name=name,
version_installed=str(app.version) if app.version is not None else None,
tipi_version_installed=app.tipi_version,
env_encrypted=json.dumps(env), ip=static_ip, port=app.port, status="installing",
env_encrypted=json.dumps(env), ip=static_ip, port=effective_port, status="installing",
owner_id=user.id,
)
db.add(ia)
@@ -225,8 +234,8 @@ def install(db, user, *, app_id: str, name: str, form_answers: dict,
_engine_executor.submit(
_run_install, ia.id, op.id, user.id, app.compose_yaml, env, golden,
cores, memory, disk, server_id, node, name, app.port, ia.version_installed, vmid,
storage, bridge, ip_config, static_ip,
cores, memory, disk, server_id, node, name, effective_port, ia.version_installed, vmid,
storage, bridge, ip_config, static_ip, app.source or "runtipi",
)
return {"installed_app_id": ia.id, "operation_id": op.id, "vmid": vmid, "secrets": secrets_shown}
@@ -244,7 +253,7 @@ def _new_operation(db, installed_app_id: int, op_type: str, user_id: int) -> App
def _run_install(installed_app_id, operation_id, user_id, compose_yaml, env, ostemplate,
cores, memory, disk, server_id, node, name, port, version, vmid,
storage, bridge, ip_config=None, static_ip=None):
storage, bridge, ip_config=None, static_ip=None, source="runtipi"):
"""Тело установки в пуле потоков."""
db = SessionLocal()
try:
@@ -253,6 +262,7 @@ def _run_install(installed_app_id, operation_id, user_id, compose_yaml, env, ost
compose_yaml=compose_yaml, port=port or 80, env_vars=env,
node=node, vmid=vmid, cores=cores, memory=memory, disk=disk,
storage=storage, bridge=bridge, ip_config=ip_config, static_ip=static_ip,
source=source or "runtipi",
)
def on_step(step: str, progress: int) -> None:
@@ -321,7 +331,7 @@ def retry_install(db, user, installed_app_id: int) -> dict:
_engine_executor.submit(
_run_install, ia.id, op.id, user.id, compose, env, golden,
2, 2048, 8, ia.server_id, ia.node, ia.name, ia.port, ia.version_installed, ia.vmid,
"local-lvm", "vmbr0", None, ia.ip,
"local-lvm", "vmbr0", None, ia.ip, (app.source or "runtipi"),
)
return {"installed_app_id": ia.id, "operation_id": op.id}
@@ -359,6 +369,12 @@ def _run_delete(installed_app_id, operation_id, user_id, server_id, vmid, node):
reason=f"App Store: удаление приложения #{installed_app_id}")
except Exception as e:
logger.warning(f"[appstore-engine] IPAM release vmid={vmid}: {e}")
# Помечаем кэш-запись инстанса удалённой сразу, чтобы контейнер
# исчез из списка Инстансов немедленно, не дожидаясь фонового воркера.
try:
soft_delete_vm_instance(db, server_id, vmid)
except Exception as e:
logger.warning(f"[appstore-engine] soft-delete vm_instance vmid={vmid}: {e}")
# финальное событие ДО удаления записи (каскад удалит app_operations)
_finish_op(operation_id, user_id, "completed")
@@ -428,13 +444,13 @@ def update(db, user, installed_app_id: int, form_answers: Optional[dict] = None)
_engine_executor.submit(
_run_update, ia.id, op.id, user.id, app.compose_yaml,
str(app.version) if app.version is not None else None, app.tipi_version,
form_answers or {},
form_answers or {}, (app.source or "runtipi"),
)
return {"installed_app_id": ia.id, "operation_id": op.id}
def _run_update(installed_app_id, operation_id, user_id, compose_yaml,
new_version, new_tipi, form_answers):
new_version, new_tipi, form_answers, source="runtipi"):
db = SessionLocal()
try:
ia = db.get(InstalledApp, installed_app_id)
@@ -471,7 +487,7 @@ def _run_update(installed_app_id, operation_id, user_id, compose_yaml,
# 3-4. push нового compose → pull && up → health
status = poc_update(server, client, ia.vmid, ia.node, compose_yaml,
env, ia.port or 80, ia.ip, on_step)
env, ia.port or 80, ia.ip, on_step, source=source or "runtipi")
if status == "running":
ia.status = "running"