О том, почему доля машинного текста ничего не говорит о документе и какие строки исчезают из него первыми, рассказывает сертифицированный налоговый консультант, член Палаты налоговых консультантов РФ Игорь Пегов.
© buraratn / Фотобанк 123RF.com
Черновик возражений на акт налоговой проверки готов. Нейросеть собрала его за час вместо дня: нормы и правовые позиции стоят на своих местах, а читается текст как работа опытного юриста. До конца срока подачи остается два дня, и кажется, что осталось только подписать.
Документ уйдет в инспекцию, в управление или клиенту, и подпись под ним будет ваша. Отвечать за каждое его утверждение будет налоговый консультант, который его подписал, и способ, которым получен черновик, здесь ничего не меняет.
Обычно на этом шаге человек спрашивает себя, хорошо ли написан текст. Вопрос неверный: хороший текст модель выдает почти всегда, это ее сильная сторона. Спрашивать нужно о другом: что именно я подписываю и за что отвечаю. Ниже на двух документах из своей практики я покажу ошибку, которую не находит ни одна проверка реквизитов, и строки, которые исчезают из черновика первыми.
Два документа, о которых идет речьПервый – правовое исследование, которое я подготовил с нейросетью для коллеги-консультанта по теме, не профильной для него. Спор был такой: прокурор в уголовном деле заявил гражданский иск и требовал взыскать недоимку организации с физического лица как ущерб от налогового преступления. Ключевой вопрос – считать ли это лицо фактическим руководителем организации. Исследование собирало практику по этому вопросу: позиции в пользу защиты, позиции против, слабые места в доводах обвинения и готовые правовые аргументы. Около 4 900 слов. Коллега взял материал за основу, соединил со своей частью и отправил заказчику.
Второй – мои собственные возражения на акт налоговой проверки. Инспекция в акте не увидела, что обществом руководит единоличный исполнительный орган – индивидуальный предприниматель, и начислила страховые взносы так, как если бы организацией руководило физическое лицо. Возражения указывали на это и отдельно – на недостатки самого акта. 2 284 слова.
Разные жанры, разные адресаты, разная цена ошибки. Общее одно: черновик обоих написала нейросеть, а подпись под обоими ставил человек. И в обоих случаях я построчно сравнил черновик модели с тем, что ушло адресату.
Ошибка, которую не находит проверка реквизитовСначала о том, что модель делает хорошо, иначе картина выйдет однобокой. В первом документе нормы и позиции высших судов прошли без единой ошибки: постановление Пленума Верховного Суда РФ от 26 ноября 2019 г. № 48 об ответственности за налоговые преступления я сверил сам, дословно, по шести пунктам. Сомнительные места нашлись уровнем ниже, в реквизитах конкретных судебных актов, и нашел их тоже я, руками, по системе ГАРАНТ. Такие ошибки сверка как раз находит, на то она и сверка.
А вот ошибка из второго документа сверкой не находится вообще. В первой версии черновика, в разделе о недостатках акта, модель написала так: "Согласно п. 8 ст. 101 НК РФ в решении о привлечении к ответственности должны быть изложены обстоятельства совершенного налогового правонарушения со ссылкой на документы и иные сведения, подтверждающие такие обстоятельства, доводы лица, в отношении которого проводилась проверка, результаты проверки этих доводов…"
Норма существует. Цитата верна. Реквизит точен. Открываете первоисточник – там написано ровно это.
Только п. 8 ст. 101 НК РФ определяет, что должно быть изложено в решении по результатам рассмотрения материалов проверки. А возражения подавались на акт. Что указывается в акте, установлено п. 3 ст. 100 НК РФ. Модель предъявила к документу одной стадии требования, адресованные документу следующей – и сделала это спокойно, без единого признака сомнения в тексте.
Это самый неприятный класс ошибок в машинном черновике. Проверка реквизитов его не видит: сверять нечего, все сходится. Чтение первоисточника не помогает: норма настоящая. Ошибку видит только тот, кто держит в голове, на какой стадии находится спор, потому что акт и решение – разные документы с разными требованиями к содержанию.
При вычитке я раздел переписал: требования к акту вывел из п. 3 ст. 100 НК РФ, а п. 8 ст. 101 НК РФ оставил доводом о будущем решении, то есть на своем месте. В поданный документ раздел в итоге не вошел по тактическим причинам, но это уже другая история.
Что исчезает из черновика первымВторая история – про то, какие строки уходят из документа, когда черновик превращают в итоговый текст.
В первом документе правки почти целиком жанровые: рабочий материал превращали в документ для заказчика. Ни одна правовая позиция при этом не изменилась, 61% текста ушел дословно. Удалены ровно три вещи, и на них стоит посмотреть дословно.
Первая – рабочая шапка: "Рабочий материал для подготовки налогово-правового заключения в защиту клиента".
Вторая – оговорка о ссылках: "реквизиты ряда определений Судебной коллегии по гражданским делам Верховного Суда РФ и кассационных судов общей юрисдикции – по карточкам дел и обзорам, полные тексты рекомендуется истребовать и сверить". Рядом стояла еще одна, о полноте подборки: "это честная оценка: „удобных“ точечных дел мало".
Третья – итоговый вывод. Раздел назывался "Ответ на главный вопрос", ответ в нем начинался словами "Юридический ответ: нет, не доказано", и занимал он 400 слов.
С шапкой все понятно, она нужна только внутри. Оговорки и вывод появились в материале не случайно: их прямо заказал промпт, модель специально просили обозначить пределы исследования и сформулировать итог. И именно они ушли первыми, когда материал стали превращать в документ.
И это правильно. В документе, который уходит адресату, оговорок о непроверенных ссылках быть не должно вовсе. Подписывая документ, вы отвечаете за каждую норму и каждый судебный акт в нем, и никого не касается, кто их нашел – вы, помощник или нейросеть. Пометок "сверено по системе ГАРАНТ" в юридическом документе не ставят.
Оговорка адресована не заказчику. Она адресована следующему человеку в цепочке – тому, кто будет доводить материал до документа. Это рабочая записка: здесь я еще не проверял, проверь. В нашем случае она ровно так и отработала: практику по спорным реквизитам коллега сверил сам, и после этого строка стала ненужной.
Отсюда вывод, который стоит запомнить. Удалить такую оговорку – не редакторская правка, а принятие на себя того, о чем она предупреждала. Снять ее может только тот, кто сделал проверку. Если ее снимает кто-то другой, сведения о том, что проверено, а что нет, исчезают из цепочки навсегда – и ни заказчик, ни суд, ни вы сами через год их уже не восстановите.
Это и есть ответ на вопрос из заголовка. Между черновиком и подписью из документа исчезают строки, которые обозначали пределы вашей ответственности. Сама ответственность при этом никуда не девается – она просто становится невидимой.
Почему доля машинного текста ничего не значитВо втором документе дословно перешло 81,2% черновика, и единственная фактическая правка на весь текст – три слова. Было: "Общество не заключало с управляющим трудовой договор". Стало: "Общество в проверяемый период не заключало с управляющим трудовой договор". Без этих трех слов утверждение верно вообще, безотносительно проверяемого квартала, то есть шире, чем нужно, и опровергается первым же договором за любой другой период. Доли в двух документах разные, картина одна: ИИ делает черновик, человек вычеркивает и уточняет, но почти не переписывает. А сама доля машинного текста не говорит о документе ничего.
Четыре вопроса перед подписьюЭто то, что я теперь спрашиваю себя, прежде чем поставить подпись под документом, черновик которого писала нейросеть. Порядок имеет значение.
Первый вопрос: что я убрал из черновика и почему? Спрашивать нужно не о том, что в документе осталось, а о том, чего в нем больше нет. Удаленного на странице не видно, и именно поэтому оно выпадает из внимания – в первом документе обе оговорки о пределах материала исчезли незаметно, обнаружились они только при построчном сравнении. Практический прием простой: сохраняйте черновик модели отдельным файлом и перед подписью сравнивайте его с итоговым текстом функцией сравнения документов в редакторе. По каждому удаленному фрагменту нужна одна фраза, почему его нет. Не находится фраза – значит, фрагмент удален не вами, а усталостью. Часть удалений – тактика: что показать инспекции сразу, а что придержать до следующей стадии, решает консультант, и модель за него этого не решит, потому что не знает ни стадии спора, ни того, какие документы у клиента на руках. Такие удаления полезно записывать для себя, иначе придержанный довод может так и не дождаться своей очереди.
Второй: какие ссылки я не открывал? Здесь нужен список, а не ощущение. Каждая неоткрытая ссылка – чужое утверждение под вашей подписью. Требование в промпте приводить точные реквизиты от этого не защищает: в первом документе такое требование было, и часть реквизитов все равно пришлось править руками. Выпишите все ссылки на нормы, письма и судебные акты и отметьте, какие вы открыли в системе ГАРАНТ. С неоткрытой ссылкой можно поступить двумя способами: открыть или убрать из документа.
Третий вопрос самый трудный: та ли это норма для этой стадии? Пройдите отдельно по всем ссылкам на нормы и задайте каждой один вопрос: она про тот документ, который вы обжалуете, или про другой? У акта и решения требования к содержанию разные, у требования и решения о взыскании – тоже, и модель смешивает их без всякого внешнего признака: ошибка в стадии, а не в реквизите. Прием: на полях черновика рядом с каждой нормой пометьте стадию, к которой она относится. Стадия не совпала с предметом документа – либо ошибка, либо довод на будущее, и тогда это должно быть сказано в тексте прямо.
Четвертый: могу ли я объяснить своими словами каждый абзац, который подписываю? Непонятный вам абзац вы будете защищать не своими словами – а защищать придется на рассмотрении материалов, в управлении или в суде. Переписывать его наугад не стоит: одна гладкая формулировка заменится другой, а непонимание останется. Спросите модель по этой самой формулировке: откуда она взялась и чем подтверждается. Ответ проверьте так же, как проверяли бы черновик.
Если хотя бы на один из четырех вопросов ответа нет, документ не готов, сколько бы времени ни оставалось до срока.
Где кончается ответственность нейросетиОна нигде не начиналась.
Коллега однажды попросила у меня образец тех самых возражений. Я ответил, что документ "как был из-под ИИ, так и остался", то есть в таком виде он не готов: сначала его нужно вычитать и задать нейросети вопросы по каждой непонятной формулировке, и только потом им пользоваться. Если документ передается коллеге, вместе с ним передается и вопрос, прошел ли он вычитку и что в нем сверено. Ответ на этот вопрос лучше написать в самом рабочем материале, чем держать в голове: голова к документу не прилагается.
Чего четыре вопроса не заменятУ этого подхода есть предел: четыре вопроса не заменяют знания предмета. Они лишь заставляют посмотреть туда, куда при вычитке обычно не смотрят, а увидеть там ошибку может только тот, кто знает, как должно быть.
ГлавноеМашинный черновик опасен не тем, что в нем написана неправда. Он опасен тем, что неправда в нем выглядит безупречно: настоящая норма, точная цитата, верный реквизит – и не та стадия спора. Против такой ошибки бессильна любая сверка.
И вторая вещь, менее заметная. На пути к подписи документ первым делом теряет оговорки, то есть единственные строки, где было сказано, что проверено, а что нет. Поэтому вычитку перед подписью стоит начинать не с того, что в документе написано, а с того, что из него пропало.