feat: migrate to VitePress from monorepo docs, add test-contour section

This commit is contained in:
sova-bootstrap
2026-05-28 12:29:31 +03:00
parent e90dfe1bd4
commit e3e438df68
76 changed files with 11998 additions and 60 deletions
+527
View File
@@ -0,0 +1,527 @@
---
title: Backend — внешние сервисы и стратегия для test/stage/prod
---
# Backend: внешние сервисы, БД и интеграции
> Разбор всех **сторонних зависимостей** `apps/backend`: что они делают, где используются в коде, и **что делать в тестовом контуре** (K8s) — поднять свой инстанс, поставить заглушку или эмулятор.
>
> Связанные документы: [K8s + Terraform + ArgoCD + Gitea](./k8s-cicd-platform-plan.md), локальный контур (`local/`, см. корень репозитория), [бизнес-сценарии](../apps/backend-scenarios/index.md).
---
## 0. Сводная матрица решений (test-контур)
| # | Зависимость | Тип | Где в коде | Test-контур | Stage | Prod |
|---|-------------|-----|------------|-------------|-------|------|
| 1 | PostgreSQL (основная) | БД | `DATABASE_URL`, Doctrine ORM | **Новый инстанс** (1×) | 1× на stage-сервере | **HA: primary + sync replica** (§7.6 плана) |
| 2 | PostgreSQL (cabinet) | БД | `DATABASE_CABINET_URL`, `UsrlogController` | **Новый инстанс** + seed | Отдельный | Prod |
| 3 | MySQL (Bitrix CMS) | БД | `DATABASE_BITRIX_URL`, `BitrixService`, SQL views | **Новый инстанс** + seed из `local/mysql-bitrix` | Отдельный | Prod Bitrix |
| 4 | Redis | Кеш/сессии | `REDIS_URL` | **Новый инстанс** в K8s | Отдельный | Prod Redis |
| 5 | MIS / Инфоклиника (HTTP) | API | `MIS_URL`, `InfoclinicaClientService` | **Mock-сервис** (WireMock / свой stub) | Test MIS или read-only prod | Prod MIS |
| 6 | Widget API (`widget.sovamed.ru`) | API | Hardcoded в Upload*Command | **Mock** или `MIS_URL` после рефакторинга | Stage widget | Prod |
| 7 | Bitrix site (HTTP, картинки) | API | `BITRIX_URL`, `BitrixClientService` | **Mock** (static files) или seed URLs | Stage | Prod |
| 8 | SMS (sms.ru, sms4b) | API | `SMSRU_*`, `SMS4B_*` | **Заглушка** (noop) | Заглушка | **Реальный** провайдер |
| 9 | Почта | API | `MAILER_DSN`, `SendMailService` | **Mailpit / null://null** | Mailpit или sandbox SMTP | Prod SMTP |
| 10 | Yandex SmartCaptcha | API | `SMARTCAPTCHA_*`, `ServiceController` | **Заглушка** (always OK) | Заглушка | **Реальный** ключ |
| 11 | Calltouch | API | `CT_*`, `CalltouchController` | **Заглушка** (noop, уже частично) | Заглушка | **Реальный** API |
| 12 | Bitrix24 | — | `BITRIX24_URL` в `.env` | **Не используется в коде** — игнор | — | При появлении интеграции |
| 13 | JWT / AES / Lock | Локально | env + файлы ключей | **Свои ключи** test | Свои | Prod secrets |
| 14 | Symfony Messenger | Очередь | `MESSENGER_TRANSPORT_DSN` | `doctrine://` или `sync://` | doctrine/redis | prod queue |
```mermaid
flowchart TB
subgraph backend [backend pod]
API[Symfony API]
CMD[Console / CronJobs]
end
subgraph own_test [Поднимаем в test — свои инстансы]
PG[(PostgreSQL main)]
PGC[(PostgreSQL cabinet)]
MY[(MySQL Bitrix)]
RD[(Redis)]
end
subgraph stubs [Заглушки в test]
MIS_M[Mock MIS / Widget API]
SMS_M[Noop SMS]
MAIL_M[Mailpit]
CAP_M[Mock SmartCaptcha]
CT_M[Noop Calltouch]
BTX_M[Mock Bitrix HTTP images]
end
subgraph prod_only [Только prod / stage по решению]
MIS_P[Реальная Инфоклиника]
SMS_P[sms.ru / sms4b]
CAP_P[Yandex SmartCaptcha]
CT_P[Calltouch]
end
API --> PG
API --> PGC
API --> MY
API --> RD
API --> MIS_M
API --> SMS_M
API --> MAIL_M
API --> CAP_M
API --> CT_M
API --> BTX_M
CMD --> PG
CMD --> MY
CMD --> MIS_M
MIS_P -.->|stage/prod| API
SMS_P -.->|prod| API
```
---
## 1. Базы данных (с БД — новый инстанс)
### 1.1. PostgreSQL — основная (`DATABASE_URL`)
**Назначение:** все Doctrine-сущности backend (`User`, `Specialist`, `News`, `Schedule`, …).
**Где используется:**
- `config/packages/doctrine.yaml` → connection `default`
- все Repository, миграции `apps/backend/migrations`
- кеш расписания (`Schedule` в таблице, не Redis)
- Symfony Messenger при `MESSENGER_TRANSPORT_DSN=doctrine://default`
**Test:** Helm Bitnami PostgreSQL / CNPG `instances: 1` в `sova-data-test`.
**Stage:** один PG на **отдельном stage-сервере**.
**Prod:** Patroni (2 db-VM) + **witness etcd на отдельной VM** (не prod-app). Подключение: `DATABASE_URL` → PgBouncer **:6432** (transaction, API); migrate Job и Messenger → **:5432** (session). [§7.6 плана](./k8s-cicd-platform-plan.md).
**Stage/Prod:** отдельные credentials; **никогда** не указывать prod URL в test.
---
### 1.2. PostgreSQL — cabinet (`DATABASE_CABINET_URL`)
**Назначение:** read-only доступ к legacy-таблицам cabinet (не Doctrine entities backend).
**Где используется:**
- `config/packages/doctrine.yaml` → connection `cabinet`
- `UsrlogController``SELECT` из `public.usrlog` через `doctrine.dbal.cabinet_connection`
**Test:** отдельный PostgreSQL (можно второй database на том же chart), seed из `local/postgres/init/03-cabinet-schema-and-seed.sql`.
**Если usrlog не нужен в test:** connection можно оставить на пустую БД; эндпоинт `/usrlog/list` вернёт пустой список.
---
### 1.3. MySQL — Bitrix CMS (`DATABASE_BITRIX_URL`)
**Назначение:** чтение таблиц Bitrix (`b_iblock_*`, `b_file`) для синхронизации контента и отзывов.
**Где используется:**
| Компонент | Как |
|-----------|-----|
| `BitrixService` | прямые SQL через `doctrine.dbal.mysql_connection` |
| `BitrixUpdateReviewsCommand` | `getReviews()` — отзывы по `specialist.id` |
| `BitrixUpdateDoctorsCommand` | нормализация `dcodes` (Bitrix HTTP закомментирован) |
| `*CrudService::syncFromView*` | `INSERT … SELECT FROM public.view_*` |
| Миграции | views `view_article`, `view_news`, … с JOIN на `b_*` (через **mysql_fdw** на prod или упрощённые views в test) |
**Test:** **новый MySQL** в K8s (Bitnami MySQL chart), init SQL из `local/mysql-bitrix/init/` в корне репозитория. Дополнительно — создать упрощённые `view_news`, `view_promo`, … или наполнять таблицы `news`/`promo` через CRUD API без sync-команд.
**Важно:** на prod PG использует **mysql_fdw** (`infrastructure/pgsql` + extensions). В test можно:
- **Вариант A (рекомендуется):** mysql_fdw в test-PG → test-MySQL (повторяет prod);
- **Вариант B:** отключить sync-команды в test CronJobs, контент только через adminPanel CRUD;
- **Вариант C:** materialized views только на PG без FDW (дублировать seed в PG).
---
### 1.4. Redis (`REDIS_URL`)
**Назначение:** Symfony cache, sessions (prod php.ini), потенциально Messenger.
**Test:** Bitnami Redis в `sova-data-test`, свой пароль в SealedSecret.
---
## 2. HTTP-интеграции
### 2.1. MIS / Инфоклиника (`MIS_URL` → `InfoclinicaClientService`)
**Prod URL (пример):** `https://widget.sovamed.ru`
**Эндпоинты клиента:**
| Метод | Путь | Сценарий |
|-------|------|----------|
| GET | `/api/reservation/intervals?{query}` | Расписание врача |
| GET | `/filials/list` | Список филиалов (через client) |
| POST | `/api/reservation/anonymous-reserve` | Анонимная запись |
**Где вызывается:**
- `GetScheduleMessageHandler``getSchedule()`
- `GetAnonymousReserveRequestMessageHandler``anonymousReserve()`
- `UploadDoctorsCommand`, `UploadDepartmentsCommand``$client->request('GET', …)` через `InfoclinicaClientServiceInterface`
**Test — рекомендация: Mock-сервис в K8s**
Развернуть **WireMock** или лёгкий **Node/Go stub** в namespace `sova-mocks`:
```text
MIS_URL=http://mis-mock.sova-mocks.svc.cluster.local
```
Stub должен отдавать JSON в формате, который ждёт `InfoclinicaClientService::normalizeSchedule()` (см. [schedule-cache.md](../apps/backend-scenarios/schedule-cache.md)).
**Альтернативы:**
| Вариант | Когда |
|---------|-------|
| WireMock + JSON fixtures | Полный контроль, воспроизводимые тесты |
| Отдельный «test MIS» у вендора | Если Infoclinica даёт sandbox (уточнить у владельца интеграции) |
| Read-only прокси на prod | **Не рекомендуется** — риск записи/нагрузки |
**Stage:** sandbox MIS или изолированный контур клиники.
---
### 2.2. Widget API (hardcoded `https://widget.sovamed.ru`)
**Проблема:** часть команд **не читает `MIS_URL`**, а хардкодит URL:
| Команда | Путь |
|---------|------|
| `UploadFilialsCommand` | `GET /filials/list` |
| `UploadPriceCommand` | `GET /pricelist/list` |
| `UploadPriceDepCommand` | `GET /pricelist/departments` |
**Test:**
1. **Краткосрочно:** тот же mock-сервис, что для MIS, + **рефакторинг команд** — вынести `base_uri` в env `WIDGET_API_URL` или переиспользовать `MIS_URL`.
2. **До рефакторинга:** mock должен слушать на URL, который прописан в коде (или патч через `/etc/hosts` + Ingress) — **технический долг**.
---
### 2.3. Bitrix site HTTP (`BITRIX_URL` → `BitrixClientService`)
**Prod URL (пример):** `https://sovamed.ru`
**Назначение:** скачивание файлов врачей с путей вида `/upload/iblock/...`.
**Где используется:**
- `GetSpecialistPictureMessageHandler``getSpecialistImage($path)`
**Test:**
| Вариант | Описание |
|---------|----------|
| **Mock HTTP** | nginx/static с несколькими `.jpg` в `/upload/iblock/` |
| **Отключить handler** | Если в test seed картинки уже локальные (`specialist/xxx.jpg`) |
| **Прокси на stage Bitrix** | Только read, без записи |
`BITRIX_URL=http://bitrix-mock.sova-mocks.svc.cluster.local`
---
### 2.4. SMS — sms.ru и sms4b (`SMSRU_*`, `SMS4B_*`)
**Клиенты:** `SmsruClientService`, `Sms4bClientService` (реализуют `SmsClientServiceInterface`).
**Статус в коде:** сервисы **зарегистрированы** в `config/services.yaml`, но **ни один контроллер/команда их пока не inject'ит**. Сущности `Record` / `AlertSms` есть, логика отправки SMS **не подключена** к HTTP-сценариям.
**Test (по вашему решению): заглушка**
```yaml
# Symfony: test env — noop implementation
App\Service\Client\Interfaces\SmsClientServiceInterface:
class: App\Service\Client\Stub\NoopSmsClientService
```
`NoopSmsClientService` пишет в log «SMS suppressed» и возвращает `{ "status": "ok", "stub": true }`.
**Prod:** реальные `SMSRU_URL` / `SMS4B_URL` и токены из SealedSecret.
**Stage:** заглушка или отдельный «sandbox»-аккаунт провайдера с whitelist номеров.
---
### 2.5. Почта (`MAILER_DSN`, `SendMailService`)
**Где используется:**
- `ServiceController::sendmail` — отправка по query-параметрам, защита `MAILER_ACCESS_TOKEN`
- Symfony `MailerInterface``SendMailService`
**Prod `.env`:** `MAILER_DSN=null://null` (письма фактически не уходят, но endpoint есть).
**Test — рекомендация:**
| DSN | Зачем |
|-----|-------|
| `smtp://mailpit.sova-mocks:1025` | UI на :8025, видно письма в браузере |
| `null://null` | Если endpoint `/service/sendmail` не тестируете |
**Безопасность Mailpit Web UI:**
Mailpit UI (`:8025`) **не выставлять в интернет без защиты**. В тестовых письмах могут быть ФИО, mock-пароли, токены сброса (иногда валидные и на stage).
```yaml
# Ingress mailpit.test.sova.dev — только Basic Auth
metadata:
annotations:
nginx.ingress.kubernetes.io/auth-type: basic
nginx.ingress.kubernetes.io/auth-secret: mailpit-basic-auth
nginx.ingress.kubernetes.io/auth-realm: "Mailpit test only"
```
Альтернатива: UI **только cluster-internal** (`kubectl port-forward`), SMTP `:1025` — из `sova-test` по Cluster DNS без Ingress.
**Stage:** Mailpit или корпоративный sandbox SMTP.
**Prod:** реальный SMTP / API (SendGrid, Yandex 360, …).
---
### 2.6. Yandex SmartCaptcha (`SMARTCAPTCHA_URL`, `SMARTCAPTCHA_KEY`)
**Где используется:**
- `ServiceController::smartCaptcha``POST /smart-captcha`
- `AnonymousReserveRequestDto::$captcha` — поле обязательно при записи (валидация на backend)
**Test — заглушка:**
Mock возвращает `{ "status": "ok", "message": "" }` для любого token (как Yandex при успехе).
Или Symfony binding:
```yaml
# when@test
App\Service\Client\Interfaces\SmartCaptchaClientServiceInterface:
class: App\Service\Client\Stub\AlwaysValidSmartCaptchaClientService
```
**Prod:** реальный `https://smartcaptcha.yandexcloud.net` + prod key.
**Связь с MIS mock:** при `anonymous-reserve` captcha проверяется на backend **до** вызова MIS; mock captcha достаточен для E2E test.
---
### 2.7. Calltouch (`CT_URL`, `CT_PARAMS`)
**Где используется:**
- `CalltouchController::createLead` — вызов **`CalltouchClientService::requestCreate` закомментирован**
- Клиент готов: `POST /lead-service/v1/api/request/create`
**Test — заглушка:**
- Оставить как сейчас (echo request) **или**
- `NoopCalltouchClientService` возвращает `{ "data": { "leadId": "test-123" } }`
**Prod/Stage (маркетинг):** реальные `CT_URL` + region tokens из `CT_PARAMS`.
---
### 2.8. Bitrix24 (`BITRIX24_URL`)
**Статус:** переменная есть в `.env`, **использований в PHP-коде backend не найдено**. Можно не задавать в test до появления интеграции.
---
## 3. Локальная инфраструктура (не внешние SaaS)
| Переменная | Назначение | Test |
|------------|------------|------|
| `JWT_*` | Lexik JWT auth | Сгенерировать отдельную пару ключей для test |
| `AES_SECRET_KEY` | `AESCryptService` (сущность `Record`) | Случайный ключ 32 байта в Secret |
| `LOCK_DSN` | Symfony Lock | `flock://` или `postgresql://…` advisory lock |
| `MESSENGER_TRANSPORT_DSN` | Очередь | `doctrine://default` (таблица messenger_messages) |
| `CORS_ALLOW_ORIGIN` | adminPanel origins | `https://admin.test.sova.dev` |
| `API_BASE_URL` | Self-reference / XML feeds | `https://api.test.sova.dev` |
| `MAILER_ACCESS_TOKEN` | Защита `/service/sendmail` | Случайный UUID в Secret |
---
## 4. Эталон: что уже сделано локально (`local/.env.local`)
В `apps/backend/.env.local` для `sova-local` уже задан паттерн **mock URL**:
```dotenv
MIS_URL=http://mock-mis.local
BITRIX_URL=http://mock-bitrix.local
SMS4B_URL=http://mock-sms4b.local
MAILER_DSN=null://null
SMARTCAPTCHA_URL=http://mock-smartcaptcha.local
```
**Для K8s test** нужно не просто «мёртвые» hostname, а **реально поднятые mock-поды** + DNS внутри кластера (Service names).
---
## 5. Архитектура mock-слоя в Kubernetes (test)
```mermaid
flowchart LR
subgraph sova_test [namespace sova-test]
BE[backend]
end
subgraph sova_mocks [namespace sova-mocks]
MIS[mis-mock :8080]
BTX[bitrix-http-mock :8080]
CAP[captcha-mock :8080]
CT[calltouch-mock :8080]
MP[mailpit :8025]
end
subgraph sova_data [namespace sova-data-test]
PG[(PostgreSQL)]
MY[(MySQL Bitrix)]
RD[(Redis)]
end
BE --> PG
BE --> MY
BE --> RD
BE --> MIS
BE --> BTX
BE --> CAP
BE --> CT
BE --> MP
```
### 5.1. Рекомендуемые Helm releases (test)
| Release | Chart / образ | Назначение |
|---------|---------------|------------|
| `mis-mock` | WireMock / custom | расписание, запись, filials, pricelist |
| `bitrix-http-mock` | nginx + static | `/upload/iblock/*.jpg` |
| `captcha-mock` | tiny HTTP server | `POST /validate` → ok |
| `calltouch-mock` | WireMock | lead create |
| `mailpit` | axllent/mailpit | SMTP + Web UI (**Basic Auth** на Ingress) |
| `postgresql-test` | bitnami/postgresql | main + cabinet DBs |
| `mysql-bitrix-test` | bitnami/mysql | Bitrix tables seed |
| `redis-test` | bitnami/redis | cache |
Namespace **`sova-mocks`** общий для всех контуров test (не prod).
### 5.2. Env backend test (фрагмент SealedSecret)
```yaml
DATABASE_URL: postgresql://sova_test:***@postgresql-test.sova-data-test:5432/sova_backend_test
DATABASE_CABINET_URL: postgresql://sova_test:***@postgresql-test.sova-data-test:5432/sova_cabinet_test
DATABASE_BITRIX_URL: mysql://bitrix_test:***@mysql-bitrix-test.sova-data-test:3306/sova_bitrix_test
REDIS_URL: redis://:***@redis-test.sova-data-test:6379/0
MIS_URL: http://mis-mock.sova-mocks.svc.cluster.local:8080
BITRIX_URL: http://bitrix-http-mock.sova-mocks.svc.cluster.local:8080
SMARTCAPTCHA_URL: http://captcha-mock.sova-mocks.svc.cluster.local:8080
SMARTCAPTCHA_KEY: test-key-not-used-by-mock
SMSRU_URL: http://noop.invalid
SMS4B_URL: http://noop.invalid
CT_URL: http://calltouch-mock.sova-mocks.svc.cluster.local:8080
MAILER_DSN: smtp://mailpit.sova-mocks.svc.cluster.local:1025
MAILER_ACCESS_TOKEN: "<uuid>"
CORS_ALLOW_ORIGIN: https://admin.test.sova.dev
```
При внедрении **NoopSmsClientService** URL sms можно не резолвить.
---
## 6. CronJobs и внешние вызовы
| CronJob (из `scripts/cron.*`) | Внешние зависимости | Test |
|-------------------------------|---------------------|------|
| `upload:deps`, `upload:doctors` | MIS HTTP | mock MIS или отключить |
| `upload:filials`, `upload:price*` | widget HTTP (hardcoded) | mock + рефакторинг URL |
| `bitrix-update-reviews` | MySQL Bitrix | test MySQL + seed |
| `bitrix-update-doctors` | только PG | OK |
| `upload:news`, `upload:promo`, … | PG views → MySQL | test MySQL + views или CRUD only |
| `ClearScheduleCacheCommand` | только PG | OK |
**Рекомендация для первого выката test:** включить CronJobs только для **очистки кеша расписания**; sync-команды — после готовности mock MIS и Bitrix MySQL.
**concurrencyPolicy в K8s:**
Для всех sync CronJobs обязательно:
```yaml
spec:
concurrencyPolicy: Forbid # не запускать вторую копию, пока первая не завершилась
jobTemplate:
spec:
activeDeadlineSeconds: 3600
```
Без `Forbid` при зависшей БД `bitrix-update-reviews` через час стартует дубликат — параллельные job'ы начнут мешать друг другу.
---
## 7. Stage vs Prod — отличия от test
| Сервис | Test | Stage | Prod |
|--------|------|-------|------|
| PostgreSQL / Redis / Bitrix MySQL | Изолированные test DB | Изолированные stage DB | Production DB |
| MIS | Mock | Sandbox MIS **или** mock | Production MIS |
| SMS | Noop | Noop или sandbox | Live |
| Mail | Mailpit | Sandbox SMTP | Live |
| SmartCaptcha | Mock | Mock | Live |
| Calltouch | Noop | Noop | Live |
| Bitrix HTTP (images) | Mock | Stage Bitrix site | Prod |
---
## 8. Технический долг (сделать до/во время миграции)
1. **Hardcoded `widget.sovamed.ru`** в `UploadFilialsCommand`, `UploadPriceCommand`, `UploadPriceDepCommand` → env `WIDGET_API_URL` или `MIS_URL`.
2. **Hardcoded `https://api.sovamed.ru`** в `XmlFeedGenerator*` → env `API_PUBLIC_URL`.
3. **Реализовать или явно отключить** SMS-клиенты (`NoopSmsClientService` + bind по env).
4. **Calltouch** — раскомментировать с env-флагом `CALLTOUCH_ENABLED=false` в test.
5. **BITRIX24_URL** — удалить из `.env` или документировать при появлении кода.
6. **Mock-сервисы** — вынести JSON fixtures в репозиторий `sova-mocks` (рядом с `sova-deploy`).
---
## 9. Чек-лист готовности интеграций test-контура
- [ ] PostgreSQL test: миграции backend применены
- [ ] MySQL Bitrix test: seed + (опционально) mysql_fdw views
- [ ] Redis test: ping из backend pod
- [ ] MIS mock: `GET /api/reservation/intervals` возвращает валидный JSON
- [ ] MIS mock: `POST /api/reservation/anonymous-reserve` → 200
- [ ] Captcha mock: `POST /validate` → ok
- [ ] Mailpit: письмо из `/service/sendmail` видно в UI (Basic Auth или port-forward)
- [ ] SMS: noop binding, приложение стартует без sms.ru
- [ ] Calltouch: lead endpoint не бьёт prod
- [ ] CORS: admin.test.sova.dev → api.test.sova.dev
- [ ] JWT keys: login работает
- [ ] CronJobs sync: `concurrencyPolicy: Forbid`
- [ ] CronJobs: только безопасные включены на первом выкате
---
## 10. Связанные файлы в репозитории
| Путь | Содержимое |
|------|------------|
| `apps/backend/.env` | prod-like переменные (образец) |
| `apps/backend/.env.local` | local mock URLs |
| `apps/backend/config/services.yaml` | DI клиентов |
| `apps/backend/config/packages/doctrine.yaml` | 3 DB connection |
| `apps/backend/src/Service/Client/*` | HTTP-клиенты |
| `apps/backend/src/Service/Bitrix/BitrixService.php` | MySQL Bitrix |
| `local/mysql-bitrix/init/` | seed Bitrix tables |
| `local/postgres/init/` | seed PG backend + cabinet |
| `monitoring/prometheus/prometheus.yml` | scrape Bitrix server `192.168.2.11` (prod-only) |
---
*Версия 1.0. При изменении интеграций обновлять матрицу в §0 и env-фрагмент в §5.2.*