fix(core): четыре критических бага — маршруты, очередь задач, логин, shutdown
1. vms.py: catch-all маршруты /vm/{vmid}/{action} и /container/{vmid}/{action}
перенесены в конец файла — раньше они перехватывали POST /unlock,
/cloud-init и /exec, и эти операции всегда падали с 400 "Invalid action".
2. task_queue_service: зависшие после рестарта running-задачи помечаются
failed при старте — иначе очередь bulk-операций блокировалась навсегда.
3. api-client.ts: 401 от /api/auth/login больше не вызывает перезагрузку
страницы — пользователь видит сообщение "неверный логин/пароль".
4. task_queue_service: bulk shutdown теперь вызывает shutdown_vm/
shutdown_container (graceful) вместо жёсткого stop.
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
@@ -183,8 +183,8 @@ class TaskQueueProcessor:
|
||||
elif action == 'restart':
|
||||
client.restart_container(node, vmid)
|
||||
elif action == 'shutdown':
|
||||
# Shutdown = graceful stop
|
||||
client.stop_container(node, vmid)
|
||||
# Graceful shutdown через ACPI/init внутри контейнера
|
||||
client.shutdown_container(node, vmid)
|
||||
elif action == 'delete':
|
||||
client.delete_container(node, vmid)
|
||||
elif action == 'migrate':
|
||||
@@ -201,8 +201,8 @@ class TaskQueueProcessor:
|
||||
elif action == 'restart':
|
||||
client.restart_vm(node, vmid)
|
||||
elif action == 'shutdown':
|
||||
# Shutdown = graceful stop
|
||||
client.stop_vm(node, vmid)
|
||||
# Graceful shutdown через ACPI — гостевая ОС завершается штатно
|
||||
client.shutdown_vm(node, vmid)
|
||||
elif action == 'delete':
|
||||
client.delete_vm(node, vmid)
|
||||
elif action == 'migrate':
|
||||
@@ -346,6 +346,44 @@ class TaskQueueProcessor:
|
||||
pass
|
||||
|
||||
|
||||
def recover_interrupted_tasks() -> int:
|
||||
"""Пометить задачи, зависшие в статусе 'running' после рестарта бэкенда.
|
||||
|
||||
process_pending_tasks() пропускает обработку, пока существует running-задача,
|
||||
поэтому без этой очистки одна прерванная рестартом задача навсегда блокирует
|
||||
всю очередь bulk-операций. Вызывается один раз при старте приложения —
|
||||
в этот момент никакой задачи выполняться не может.
|
||||
|
||||
Returns:
|
||||
Количество восстановленных (помеченных failed) задач.
|
||||
"""
|
||||
db = SessionLocal()
|
||||
try:
|
||||
stuck = db.query(TaskQueue).filter(TaskQueue.status == 'running').all()
|
||||
for task in stuck:
|
||||
task.status = 'failed'
|
||||
task.error_message = 'Interrupted by backend restart'
|
||||
task.completed_at = utcnow()
|
||||
if stuck:
|
||||
db.commit()
|
||||
for task in stuck:
|
||||
_ws_broadcast(task, "task_update")
|
||||
logger.warning(
|
||||
f"[TASK QUEUE] Task #{task.id} ({task.task_type}) was interrupted "
|
||||
f"by restart — marked as failed"
|
||||
)
|
||||
return len(stuck)
|
||||
except Exception as e:
|
||||
logger.error(f"[TASK QUEUE] Failed to recover interrupted tasks: {e}")
|
||||
try:
|
||||
db.rollback()
|
||||
except Exception:
|
||||
pass
|
||||
return 0
|
||||
finally:
|
||||
db.close()
|
||||
|
||||
|
||||
# Global processor instance
|
||||
task_processor = TaskQueueProcessor()
|
||||
|
||||
|
||||
Reference in New Issue
Block a user