feature/chat-system #2

Merged
trevor merged 28 commits from feature/chat-system into master 2025-11-17 06:05:49 +00:00
Owner
No description provided.
trevor added 28 commits 2025-11-17 06:05:45 +00:00
- Updated admin panel keyboard to match admin_panel.py handlers
- Changed registration button logic: show only for unregistered non-admins
- Added missing methods to IBotController interface
- Updated get_main_keyboard to accept is_registered parameter
- Simplified admin panel structure with proper callback routing
- Removed test callback button from production UI
- Created ADMIN_PANEL_STRUCTURE.md and ADMIN_PANEL_TESTING.md documentation
- Removed duplicate admin callback handlers from main.py (moved to admin_panel.py)
- Removed unused methods from BotController (handle_admin_panel, handle_lottery_management, handle_conduct_lottery_admin, handle_conduct_lottery)
- Removed unused keyboard methods from ui.py (get_lottery_management_keyboard, get_lottery_keyboard, get_conduct_lottery_keyboard)
- Simplified IBotController interface to only essential methods
- Simplified IKeyboardBuilder interface to only used methods
- Fixed cmd_admin handler to directly show admin panel
- Bot now uses centralized admin handlers from admin_panel.py
- Changed logic to split input by space: left = club card number, right = account number
- Updated add_participants_by_accounts_bulk() to handle '2521 12-64-89-29-62-40-74' format
- Updated remove_participants_by_accounts_bulk() with same logic
- Now shows club card number in details: 'Name (card: 2521, account: 12-64-89-29-62-40-74)'
- Backwards compatible: still works with just account number (no space)
- Updated parse_accounts_from_message() to support 'CARD ACCOUNT' format
- Updated set_account_as_winner() to split by space before formatting
- Added card number display in success/error messages
- Now winner setting works with format '2521 45-59-19-91-23-80-37'
Исправления:
1. Парсинг счетов (parse_accounts_from_message):
   - Исправлено дублирование счетов при формате 'КАРТА СЧЕТ'
   - Добавлены негативные lookbehind для корректного разбора
   - Теперь '2521 11-22-33-44-55-66-77' парсится только 1 раз

2. Уведомления победителям:
   - Создан новый модуль src/utils/notifications.py
   - Добавлена функция notify_winners_async()
   - Уведомления отправляются автоматически после розыгрыша
   - Поддержка счетов и обычных пользователей
   - Включает кнопки подтверждения для победителей по счетам
Заменен подход с негативными lookbehind на удаление найденных совпадений:
- Сначала находим все 'КАРТА СЧЕТ' паттерны
- Заменяем их пробелами в копии текста
- Потом ищем только счета в оставшемся тексте
- Это предотвращает дублирование типа '25-22-63-30-90-57-17'
Проблема: при массовом добавлении/удалении использовался простой split(),
который не обрабатывал формат 'КАРТА СЧЕТ' корректно

Решение:
- Заменил простой split('\n') и split(',') на parse_accounts_from_message()
- Теперь все массовые операции используют единую логику парсинга
- Корректно обрабатывается формат '2522 63-30-90-57-17-91-75'

Затронутые функции:
- process_bulk_add_accounts()
- process_bulk_remove_accounts()
Проблема:
- UserService.get_user_by_account() искал в User.account_number (старое поле)
- Новая система хранит счета в отдельной таблице Account

Решение:
- Заменен на AccountService.get_account_owner() в обеих функциях
- add_participants_by_accounts_bulk()
- remove_participants_by_accounts_bulk()
- Теперь правильно находит владельцев через таблицу Account
- Улучшены сообщения об ошибках с указанием номера карты
Теперь в сообщениях об ошибках показывается:
- Только номер счета (без номера карты)
- Номер карты в скобках где уместно

Пример: 'Неверный формат счета: 41-78-72-49-24-43-35 (карта: 2522)'
Вместо: 'Неверный формат счета: 2522 41-78-72-49-24-43-35'
Критическое изменение логики:

БЫЛО:
- Участие сохранялось только по user_id
- Один пользователь мог участвовать только 1 раз
- Номер счета игнорировался

СТАЛО:
- Участие сохраняется по НОМЕРУ СЧЕТА (account_number)
- Заполняются поля: user_id, account_id, account_number
- Один пользователь может участвовать НЕСКОЛЬКИМИ счетами
- Проверка дубликатов по account_number
- Удаление также работает по account_number

Теперь:
1. Админ отправляет: '2521 11-22-33-44-55-66-77'
2. Парсится: карта=2521, счет=11-22-33-44-55-66-77
3. Находится владелец карты 2521
4. Добавляется участие ПО СЧЕТУ 11-22-33-44-55-66-77
5. Владелец может участвовать другими счетами
Проблема:
- Когда админ отправляет счет в чат и нажимает 'Добавить в розыгрыш'
- Используется другой обработчик (account_handlers.py)
- Он вызывает add_account_to_lottery() которая НЕ разбирала формат

Решение:
- Добавлен split() по пробелу в add_account_to_lottery()
- Добавлено получение Account и user через AccountService
- Теперь сохраняются user_id и account_id
- Улучшены сообщения с указанием номера карты

Теперь ОБА пути работают:
1. Массовое добавление через админ-панель
2. Добавление из детектированных счетов в чате
Добавлено:
- Обновлен docker-compose.yml для production (упрощен, удален Redis/pgAdmin)
- .env.prod.example - шаблон конфигурации для продакшн
- deploy.sh - скрипт автоматического развертывания
- DOCKER_DEPLOY.md - полная документация по развертыванию

Makefile команды:
- docker-setup - первоначальная настройка
- docker-build/up/down - управление контейнерами
- docker-logs/logs-db - просмотр логов
- docker-db-migrate/backup/restore - работа с БД
- docker-deploy - полное автоматическое развертывание

Использование:
1. make docker-setup (создаст .env.prod)
2. Отредактировать .env.prod
3. make docker-deploy (автоматическое развертывание)
Или: ./deploy.sh
Изменено:
- from config import ADMIN_IDS
  на
- from ..core.config import ADMIN_IDS

Проблема: ModuleNotFoundError при проведении розыгрыша
1. Подтверждение запуска розыгрыша:
   - Показ диалога с информацией об участниках и призах
   - Кнопки 'Да, провести' и 'Отмена'
   - Индикатор загрузки при проведении

2. Удаление сообщений администратором:
   - Команда /delete для удаления сообщений бота (ответ на сообщение)
   - Callback кнопка delete_message
   - Новый роутер message_admin_router

3. Определение владельцев счетов:
   - Извлечение номера клубной карты (последние 4 цифры)
   - Поиск владельца по club_card_number
   - Отображение владельца в списке обнаруженных счетов
   - Метод UserService.get_user_by_club_card()

4. Тестирование производительности:
   - Скрипт generate_test_accounts.py
   - Генерация файлов с 100, 500, 1000, 2000, 5000 счетов
   - Готовые тестовые файлы для проверки

5. Улучшения парсинга:
   - Обработка текста из кабинета с мусорными данными
   - Построчный парсинг с разбором по пробелам
   - Поддержка формата 'Viposnova  16-11-2025 22:19:36  17-24-66-42-38-31-53  0.00    2918'

6. Исправления багов:
   - AttributeError при отображении победителей без user_id
   - Безопасная обработка winner.user == None
- Клубная карта теперь извлекается как отдельное число ПОСЛЕ счета и суммы
- Формат: кабинет дата время СЧЕТ сумма КЛУБНАЯ_КАРТА
- Пример: 'Viposnova 16-11-2025 13:48:51 21-04-80-64-68-25-68 0.00 2521'
- Карта: 2521 (последнее 4-значное число), а НЕ последние 4 цифры счета
- Поиск карты после счета с пропуском сумм (содержат точку)
- Поддержка многострочного формата из кабинета
- Строка 1: название кабинета, дата, время
- Строка 2: номер счета
- Строка 3: сумма и клубная карта (последнее 4-значное число)
- Если карта не найдена в текущей строке, проверяется следующая
fix: группировка записей по маркеру Viposnova
Some checks reported errors
continuous-integration/drone/push Build encountered an error
e882601b85
- Одна запись = от 'Viposnova' до следующего 'Viposnova'
- Все строки между маркерами объединяются в одну запись
- Извлечение счета и клубной карты из объединенной записи
- Пример: 'Viposnova 16-11-2025 22:19:36 17-24-66-42-38-31-53 0.00 2918'
- Новая модель P2PMessage для хранения личных сообщений
- Миграция 008_add_p2p_messages.py
- Сервис P2PMessageService для работы с P2P сообщениями
- Команда /chat с меню чата
- Выбор пользователя из списка
- Отправка текста, фото, видео, документов
- История последних диалогов
- Счетчик непрочитанных сообщений
- FSM состояния для управления диалогами
- Все сообщения (текст, фото, видео, документы, стикеры, голосовые) автоматически рассылаются всем пользователям
- Исключение: команды (начинаются с /) не рассылаются
- Исключение для админов: паттерны счетов обрабатываются в account_handlers
- Упрощена логика - убран режим forward, всегда broadcast
- Показ статистики доставки: успешно/неуспешно
- Проверка прав на отправку сообщений (баны)
This reverts commit 9a06d460e5.
- Откат изменений глобального чата (возврат к broadcast/forward режимам)
- Новый хэндлер quick_delete_replied_message для быстрого удаления
- Админ отвечает на сообщение со словами: удалить, delete, del
- Или отправляет emoji: 🗑️, 
- Удаляются оба сообщения (целевое и команда)
- Работает для любых сообщений, не только бота
- Логирование всех удалений
- Добавлен автоматический выход из P2P состояния при команде /chat
- Теперь пользователь может свободно переключаться между P2P и broadcast
- Добавлено предупреждение в P2P диалоге о том, что сообщения идут только собеседнику
- Инструкция как выйти: кнопка 'Завершить диалог' или команда /chat
- Это решает проблему когда текст не рассылался всем из-за активного P2P состояния
- Исправлен порядок роутеров: account_router перемещён после chat_router
- Добавлен фильтр is_delete_trigger для quick_delete (перехватывал все сообщения)
- Статистика доставки теперь показывается только админам
- Обычные пользователи больше не видят 'Сообщение разослано' после отправки
- Quick delete теперь удаляет сообщения у всех получателей broadcast
- Добавлен метод get_message_by_telegram_id в ChatMessageService
- При удалении проходит по всем forwarded_message_ids и удаляет у каждого
- Показывает статистику удаления админу (автоматически исчезает через 3 сек)
- Помечает сообщение как удалённое в БД
- Теперь можно удалять broadcast сообщение, отвечая на его копию (не только на оригинал)
- Метод get_message_by_telegram_id ищет в forwarded_message_ids
- Админ может ответить на любую копию сообщения для удаления у всех
- Исправлена ошибка ForeignKeyViolationError при удалении
- Теперь получаем admin_user из БД и используем его id
- deleted_by корректно ссылается на users.id
- Каждое удаление теперь в отдельном try-except
- Если сообщение не найдено - продолжаем удаление остальных
- Не показываем пользователю ошибки 'message not found'
- Всегда удаляем команду админа даже при ошибках
chat system refactor
Some checks reported errors
continuous-integration/drone/push Build encountered an error
continuous-integration/drone/pr Build encountered an error
bf6724952a
message deletion
trevor merged commit 8ec8d942ea into master 2025-11-17 06:05:49 +00:00
Sign in to join this conversation.
No Reviewers
No Label
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: trevor/new_lottery_bot#2
No description provided.