Внимание: метаданные в изображениях могут испортить обучение LoRA!

Привет, друзья! Если вы занимаетесь тренировкой LoRA (Low-Rank Adaptation) для генеративных моделей, то эта заметка может оказаться полезной. Вчера я заметил интересный нюанс: метаданные, встроенные в изображения, иногда сильно влияют на результат обучения, даже если в описаниях (captions) ничего подобного не указано.

Что произошло?

Я провел небольшой эксперимент. Взял набор изображений, в метаданных которых были жестко усиленные теги (с весами) на тему "руки за спиной". При этом в самих описаниях картинок я ничего подобного не упоминал — они были нейтральными.

Затем я обучил две версии LoRA:

  1. С оригинальными изображениями (с метаданными, включая теги "руки за спиной").
  2. С очищенными изображениями (метаданные полностью удалены, теги обнулены), но с теми же самыми описаниями.

Результаты

В версии с неочищенными метаданными модель упорно генерировала "руки за спиной" в определенных сценариях. Причем это выглядело довольно топорно и неестественно — как будто тег навязчиво встраивался в вывод, даже без подсказки в промпте. В очищенной версии такого эффекта не наблюдалось: генерации были чистыми и соответствовали только описаниям.

Вывод

Метаданные — это скрытый фактор, который может "загрязнить" датасет и привести к нежелательным артефактам в LoRA. Рекомендую перед обучением всегда проверять и чистить метаданные изображений (например, с помощью моего инструмента на Python).

Image Metadata Remover: Удаление метаданных из изображений

Image Metadata Remover — это простое десктопное приложение на базе PyQt6, предназначенное для удаления метаданных (EXIF, IPTC и других) из изображений в выбранной папке.

Основные функции:

  • Выбор папки: Пользователь может выбрать директорию с файлами изображений (поддерживаются форматы .jpg, .jpeg, .png).
  • Обработка изображений: Программа сканирует папку, удаляет метаданные из каждого изображения, сохраняя оригинальный файл без изменений в содержимом (только данные пикселей).
  • Логи и статус: В реальном времени отображает логи обработки (успехи и ошибки) в текстовом окне, а также обновляет статус операции.
  • Интерфейс: Темная тема с кнопками для выбора папки и запуска обработки.

Image Metadata Remover: Удаление метаданных из изображений

Приложение работает в многопоточном режиме для предотвращения зависаний интерфейса во время обработки. Идеально для пользователей, желающих очистить изображения от личных данных перед публикацией.

Технологии: PyQt6, Pillow (PIL) для работы с изображениями.

Архив: Image_Metadata_Remover.zip

Это сэкономит время и нервы!

Если у вас были похожие случаи, делитесь в комментариях. Пример картинок в галереи.

Тренируйте умно!