Главная новость лета — контекст в миллион токенов по умолчанию. Цифра сама по себе ничего не говорит, поэтому переведу её на человеческий: это примерно семьсот страниц текста, которые модель держит в голове одновременно.
Что было раньше
Год назад работа с большим объёмом документов выглядела так: разрезать файл на куски, скормить по частям, попросить пересказ каждой части, склеить пересказы, надеяться, что важное не потерялось на стыках. Половина времени уходила не на задачу, а на обслуживание ограничений инструмента.
Именно на этом этапе большинство людей и бросали. Не потому что не получалось, а потому что получалось дольше, чем руками.
Что стало возможно
- Годовая переписка целиком. Кидаете всю историю общения с клиентом и просите найти, где менялись договорённости по цене. Раньше это была работа юриста на день.
- Все договоры компании разом. Один вопрос: «где условия расторжения отличаются от нашего шаблона» — и список расхождений с указанием пунктов.
- Весь проект целиком. Не отдельный файл, а вся кодовая база: вопрос «что сломается, если поменять вот это поле» получает честный ответ, а не догадку.
Где подвох
Подвох ровно один, и он финансовый: длинный контекст стоит денег на каждом обращении. Если вы в одной задаче двадцать раз переспрашиваете по семисот страницам, вы двадцать раз платите за эти страницы.
Рабочая привычка простая. Первым сообщением загружаете весь массив и просите выжимку — структурированную, по вашему формату. Дальше работаете с выжимкой, а к оригиналу возвращаетесь точечно, когда нужна цитата. Экономия на длинной задаче — в разы.
Что делать прямо сегодня
Возьмите папку, которую вы годами откладывали «разобрать потом»: акты, переписку, выгрузки, черновики. Загрузите целиком и задайте один честный вопрос — тот, на который вы давно хотели ответ, но не хватало терпения перелопатить материал.
Именно на этой задаче становится понятно, что изменилось. Не в характеристиках модели, а в вашем рабочем дне.