При удалении дублей похожие строки можно ошибочно принять за одну операцию. Мы проверили, как нейросеть справится с повторами, разными операциями и конфликтующими значениями в учебной таблице из 18 записей. Разделение оказалось верным, но в пояснении нашлась неточность. Покажем запрос, полученные таблицы и способ проверки каждой исходной строки.
Все заказы и товары в примере вымышлены. Таблицы на изображениях показывают данные из сохранённых файлов Excel. Также приведён снимок экрана с полученным файлом.
Что считать повтором
Похожие строки не всегда можно удалять. Одна могла повториться при выгрузке, а другая описывать отдельную покупку. Поэтому сначала нужно определить, по каким полям различать записи.
В нашем примере у каждой операции свой номер. Полным повтором считалась запись с тем же номером и теми же значениями остальных полей. Перед сравнением разрешили удалить только пробелы в начале и конце текстовых полей.
Другие преобразования не разрешали. Нейросеть не должна была исправлять названия товаров, объединять разные номера операций или выбирать правильное количество при конфликте.
В исходной таблице 18 записей. Первая строка содержит заголовки, данные занимают строки со второй по девятнадцатую.
Исходная таблица. T02 встречается в строках 3 и 16, T05 в строках 6, 17 и 18. У T07 в строках 8 и 19 различается количество. T10 и T11 в строках 11 и 12 относятся к разным операциям. Источник: учебные данные Niko AI. Изображение подготовлено по книге timeweb-duplicates-input.xlsx, лист Выгрузка.
Мы предусмотрели четыре ситуации:
| Ситуация | Ожидаемое действие |
|---|---|
| T02 повторяется с пробелами по краям двух полей | Убрать пробелы при сравнении и сохранить один экземпляр |
| T05 встречается трижды без различий | Сохранить первый экземпляр, два остальных вынести в повторы |
| У T07 количество равно 2 в одной строке и 3 в другой | Обе версии вынести в конфликты |
| T10 и T11 похожи, но номера операций различаются | Сохранить обе записи |
Кроме того, в таблице была отменённая операция T06. Её нужно было сохранить. Задача касалась удаления повторов, а не расчёта выручки или отбора выполненных заказов.
Как мы поставили задачу
Учебные данные сохранили в Excel. В запрос вставили те же 18 записей текстом в формате CSV, где значения полей разделены запятыми. Сам файл к сообщению не прикрепляли. В этом опыте мы проверяли обработку записей и создание новой книги Excel. Поэтому номера исходных строк в результате относятся к сохранённой учебной книге: заголовок занимает первую строку, первая запись находится во второй.
В запросе определили правило сравнения, порядок работы с конфликтами и состав результата. Вот основной фрагмент:
Каждая операция имеет свой номер. Номер заказа не является ключом уникальности. У одного заказа могут быть разные операции, в том числе с одинаковыми товарами и суммами.
Удали пробелы только в начале и конце текстовых значений. После этого одинаковые записи с одним номером операции оставь в одном экземпляре. Первое появление сохрани. Если одному номеру операции соответствуют разные значения, вынеси все строки этой операции на отдельный лист Конфликты. Не выбирай правильную версию сам. Не удаляй строки из-за статуса Отменён. Другие преобразования данных не делай.
Создай Excel с листами Чистые данные, Удалённые повторы, Конфликты и Проверка. На трёх листах с записями добавь номер строки исходного Excel. Исходный заголовок находится в строке 1. На листе Проверка укажи количество и сумму количество × цена для каждой группы и исходной таблицы. Должно быть видно, как группы складываются обратно в исходную таблицу. Не называй эту сумму выручкой, поскольку среди записей есть отменённые операции.
После условий добавили исходные записи. Контрольные расчёты в запрос не включали. Их подготовили отдельно для проверки полученного файла.
Опыт провели 3 октября 2026 года в Niko AI. Запрос выполнила DeepSeek V4.1 Flash с высоким уровнем усилий, в интерфейсе он обозначен high. Выполнение кода было включено. Продолжительность обработки по показаниям интерфейса составила 42 секунды, стоимость 1,08 ₽. Подготовка таблицы и проверка результата сюда не входят.
Перед выдачей результата нейросеть сообщила, что пересобирает файл: количество и цену нужно сохранить числами. На снимке виден фрагмент этой работы и готовое вложение. Полученную книгу скачали и проверили отдельно.
Справа в разделе Файлы находится готовая книга. Слева видны пояснение нейросети и фрагмент кода, который восстанавливает числовой тип количества и цены. Источник: снимок экрана Niko AI во время учебного опыта 3 октября 2026 года. В запросе использована DeepSeek V4.1 Flash.
Какие записи остались в чистых данных
Нейросеть создала книгу Excel с четырьмя листами. На лист Чистые данные попало 13 записей. В первом столбце указан номер строки исходной таблицы.
Лист Чистые данные. T02 и T05 остались в одном экземпляре. Отменённая T06 сохранена. Обе операции T10 и T11 присутствуют. Конфликтующей T07 здесь нет. Источник: результат учебного опыта в Niko AI с DeepSeek V4.1 Flash. Изображение подготовлено по книге result-original.xlsx, лист Чистые данные.
Сначала проверили записи, которые можно ошибочно принять за повторы. У T10 и T11 одинаковые заказ, дата, товар, количество и цена. Но номера операций разные, поэтому обе строки нужно сохранить. Нейросеть выполнила это условие. Статус Отменён у T06 тоже не стал причиной удаления.
Эти 13 записей ещё не дают полного списка операций с проверенными значениями. Операция T07 остаётся на отдельном листе до сверки с первичным документом. О ней нужно помнить при дальнейшем использовании чистой таблицы.
Куда попали удалённые повторы
На отдельном листе оказались три записи: строка 16 с T02 и строки 17 и 18 с T05. Номера в первом столбце относятся к исходной таблице.
Лист Удалённые повторы. Лишний экземпляр T02 соответствует сохранённой строке 3. Два экземпляра T05 соответствуют сохранённой строке 6. Источник: результат учебного опыта в Niko AI с DeepSeek V4.1 Flash. Изображение подготовлено по книге result-original.xlsx, лист Удалённые повторы.
Эти записи исключены из чистой таблицы, но доступны для проверки. При сравнении исходных строк 3 и 16 мы нашли различия только в пробелах по краям двух текстовых полей. Их удаление было разрешено в запросе. На листе с повторами эти пробелы уже убраны.
Почему две версии T07 вынесены в конфликты
У T07 совпадают номер операции, заказ, дата, товар и цена. Различается количество: две единицы в исходной строке 8 и три единицы в строке 19. Это не полный повтор.
Лист Конфликты. Обе версии T07 сохранены. По этой таблице нельзя определить, какое количество верно. Источник: результат учебного опыта в Niko AI с DeepSeek V4.1 Flash. Изображение подготовлено по книге result-original.xlsx, лист Конфликты.
Нейросеть не выбрала одну версию за пользователя. Чтобы разрешить конфликт, человек должен сверить операцию с документом или системой, где зафиксировано правильное количество. До этого обе версии остаются вне чистых данных.
Как мы проверили полноту результата
На листе Проверка нейросеть показала распределение записей по каждой операции. В строке ИТОГО находятся общие значения. Столбец Контроль показывает разность между исходной суммой и суммой трёх полученных групп.
Для сверки количество в каждой строке умножили на цену и сложили результаты. Это техническая сумма. В неё входит отменённая операция, поэтому выручкой её называть нельзя.
Лист Проверка, столбцы с количествами, суммами и контролем. Все разности в столбце J равны нулю. Столбец с текстовыми примечаниями находится за пределами показанного фрагмента. Источник: результат учебного опыта в Niko AI с DeepSeek V4.1 Flash. Изображение подготовлено по книге result-original.xlsx, лист Проверка.
Итоги файла сравнили с контрольными расчётами, подготовленными до опыта:
| Группа | Число строк | Сумма количества, умноженного на цену |
|---|---|---|
| Исходные данные | 18 | 17 255 ₽ |
| Чистые данные | 13 | 12 815 ₽ |
| Удалённые повторы | 3 | 2 040 ₽ |
| Конфликты | 2 | 2 400 ₽ |
Получились два равенства:
18 = 13 + 3 + 2
17 255 = 12 815 + 2 040 + 2 400
Одних равенств недостаточно. Если потерять одну запись и дважды учесть другую с той же суммой, итоги могут совпасть. Поэтому мы также сверили номера исходных строк и значения всех полей. Каждая строка встретилась ровно в одной группе. Данные совпали с исходником после разрешённого удаления пробелов.
Какую неточность обнаружили
В пояснении нейросеть написала, что пробелы затрагивали две строки. На самом деле это была одна строка, шестнадцатая с учётом заголовка. Пробелы находились в двух полях: Операция и Товар.
В файле записи были распределены верно. Ошибка осталась в сообщении, которое сопровождало книгу. Если использовать такое пояснение в инструкции для коллег, в неё попадёт неверное описание результата.
Нашли и недостаток оформления: на листе Проверка длинное примечание к T07 не помещалось в ширину ячейки. Полный текст сохранён. Чтобы его прочитать, нужно расширить столбец или включить перенос текста.
Как повторить проверку на своей таблице
- Сохраните исходную таблицу отдельно. Она понадобится для сравнения с результатом.
- Определите поле или сочетание полей, по которым различаются записи. В нашем случае это номер операции. Номер заказа не подошёл бы: в одном заказе могут быть разные операции.
- Перечислите разрешённые изменения. Удалять пробелы, изменять регистр или исправлять названия стоит только тогда, когда Вы понимаете смысл полей.
- Попросите вынести повторы и конфликты на отдельные листы. Для каждой записи сохраните номер исходной строки.
- Сверьте количество записей и суммы. Затем убедитесь, что каждый номер исходной строки встретился ровно один раз на одном из трёх листов. Сравните значения полей с исходником с учётом только разрешённых изменений. Отдельно проверьте конфликт, точный повтор, похожие записи с разными номерами и особые статусы.
- Прочитайте пояснение нейросети и сравните его с файлом. Верная таблица может сопровождаться неточным описанием.
Полученная в нашем опыте книга содержит статические значения. Если изменить исходные записи, результат сам не обновится. Обработку и проверку нужно выполнить заново. Конфликт T07 требует отдельной сверки с документом, где указано правильное количество товара.
Изображение на обложке: Niko AI. Создано с помощью генератора изображений OpenAI в Codex
Комментарии