Обработка CSV и табличных данных

Обработка CSV и табличных данных

ЕДИНЫЙ ВВОД И ТИПИЗАЦИЯ (ОБЯЗАТЕЛЬНО)

Шаг 1: прочитать (всё строкой)

read_table сам выбирает формат по содержимому, находит строку шапки, определяет кодировку (utf-8/cp1251/…), разделитель (, ; \t |) и читает ВСЁ строкой (dtype=str), лидирующие нули ИНН/артикулов сохранены. meta["sheets"] содержит имена листов, meta["header_row"] показывает найденную шапку; sheet= выбирает лист, header=0 задаёт первую строку шапкой, header=None сохраняет все строки. meta["bad_lines"] > 0 означает потерянные строки → не обрабатывай, верни findings.

Шаг 2: типизировать (ЕДИНСТВЕННАЯ точка приведения типов)

После read_table колонки остаются строками. Перед ЛЮБОЙ арифметикой, сравнением, агрегацией, сортировкой по числам/датам объяви колонки в coerce. Иначе df["amount"].sum() молча склеит строки, а df["amount"] > 100000 сравнит лексикографически.

coerce и есть то место, где раньше были разрозненные сниппеты «Числа (русский формат)», «Даты», «ID-колонки». Не дублируй их вручную: объяви колонки и получи типизированный df.

БЛОК 1: Сохранение в файл (.xlsx, .csv)

Писатель сам санирует имена листов ([ ] : * ? / \, длина 31), закрепляет шапку, ставит фильтр и числовые форматы. Своих openpyxl/ExcelWriter и helper-функций форматирования не пиши.

БЛОК 2: Чтение и парсинг

Всегда через read_table (см. «Единый ввод и типизация»). Он закрывает кодировку, разделитель и формат сам, ручной chardet/sep=None не нужен.

Паттерн: Большой файл, обработка чанками

read_table грузит файл целиком (подходит до сотен тысяч строк). Для очень больших CSV читай чанками по пути:

БЛОК 3: Фильтрация

Колонки уже типизированы через coerce (числа: float, даты: datetime).

БЛОК 6: Валидация

Паттерн: Полный отчёт о качестве данных

Числовую статистику считаем по колонкам, которые объявили числовыми в coerce (после read_table всё было строкой, нельзя полагаться на dtype).

БЛОК 8: Вывод в чат (stdout)

Когда пользователь просит просто показать/прочитать файл без сохранения.

БЛОК 11: Типовые задачи

Все читают через read_table + coerce (никакого base64/file_content).

Задача: Поиск аномалий (IQR)

Skill-файл содержит паттерны кода для CSV/Excel. Весь ввод через io_table.read_table + coerce; выполняй код через облако; результаты в $OUTPUT_ROOT/ с обязательным VALIDATE_OUTPUT.