Грабли27
Промпт, который применяется только к новым звонкам
Самый полезный провал за последнее время.
Что случилось
Собрал первую версию дашборда качества, показал руководителю отдела заботы.
Реакция была прямой: такой низкий процент не может быть правдой, где-то ошибка.
Это правильный ответ. Не «спасибо, красиво», а сомнение в цифре — потому что человек знает свою команду и видит, что данные не сходятся с реальностью.
Первая причина
Промпты настроены грубо. Промпт — это инструкция для нейросети, по которой она оценивает разговор. Под каждый пункт чек-листа нужна своя формулировка: «поздоровался» и «уточнил модель техники» проверяются по-разному.
А работала фактически общая логика. Нейросеть отвечала честно — её просто плохо спросили. Переписал.
Вторая причина, и вот она серьёзная
Обновлённый промпт применяется только к новым звонкам. Старые остаются с оценками по старой логике. Пересчитать историю нельзя.
Сколько бы я ни улучшал формулировки, всё, что разобрано раньше, остаётся оценённым неправильно.
Почему это меняет проект целиком
Дашборд качества — инструмент про динамику. Смысл в том, чтобы сравнивать: стало лучше или хуже.
Если часть периода посчитана по одной логике, а часть по другой — сравнивать нельзя. График покажет рост или падение, которого не было: просто сменилась линейка.
И это невидимо. График рисуется, цифры красивые, никто не догадается.
Что сделал
Зафиксировал дату, с которой данные считаются достоверными. Всё, что раньше — справочно, но не для выводов о людях.
Неприятное решение: накопленную историю мы теряем. Но альтернатива хуже — принимать решения по сотрудникам на основе цифр, посчитанных по-разному.
Вывод
Прежде чем строить что-то на данных внешнего сервиса, задайте один вопрос: что произойдёт с уже посчитанными данными, если изменить правила подсчёта?
Ответ бывает трёх видов: пересчитается всё, пересчитается только новое, или никто не знает. Второй и третий полностью меняют планирование — и лучше узнать это в первую неделю.
И отдельно: этот баг нашёл не я и не тесты. Его нашёл человек, который сказал «не верю этой цифре». Ощущение, что цифра странная — это полноценный баг-репорт.