Meanflow와 imf가 한 단계 생성 모델링을 재정의하다
생성 모델링 분야는 고품질의 새로운 데이터를 생성하는 것을 목표로 하며, 속도는 핵심 요소입니다. MeanFlow는 한 단계 생성을 위한 유망한 프레임워크로 등장했지만, 빠른 발전의 특성으로 인해 안정성에 장애물이 있었습니다. 이제 그 핵심의 깊은 재구성이 iMF를 탄생시켜 중요한 이정표를 세웠습니다. 🚀
훈련을 안정화하기 위해 목표를 재구성하다
주요 문제는 모델을 훈련하는 방법에 있었습니다. 원래 목표는 실제 데이터뿐만 아니라 신경망 자체의 변화하는 상태에 의존하여 프로세스를 복잡하게 만들었습니다. 해결책은 이 목표를 순간 속도에 대해 계산된 손실 함수로 재정의하는 것이었습니다. 이를 위해 흐름의 평균 속도를 예측하는 보조 네트워크가 도입되어 순간 속도를 재매개변수화할 수 있게 되었습니다. 이 변화는 문제를 더 전통적이고 직접적인 회귀로 변환시켜 훈련 주기를 크게 안정화합니다.
재구성의 주요 장점:- 복잡한 최적화 문제를 처리하기 더 쉬운 표준 회귀로 변환합니다.
- 평균 속도를 예측하는 네트워크가 훈련 중 안정화 앵커 역할을 합니다.
- 모델이 더 일관되게 수렴하고 덜 변동되게 합니다.
"때때로 더 빠르게 하는 것은 단계를 건너뛰는 것이 아니라 처음부터 끝까지 경로를 재정의하는 것입니다."
생성을 위해 조건부 가이드를 유연하게 하다
초기 방법의 또 다른 제한은 생성을 안내하는 시스템이었습니다. 분류기 없는 가이드는 훈련 중 고정된 스케일을 가지며 새로운 샘플 생성 시 적응성을 제한했습니다. 새로운 접근 방식은 가이드를 명시적 조건부 변수로 공식화하여 이를 해결합니다. 이는 생성 시 다양한 조건을 적용할 수 있게 하며 전체 유연성을 유지합니다. 이러한 조건은 컨텍스트 내 조건부 기술을 통해 처리되어 모델을 더 다재다능하게 만들 뿐만 아니라 전체 크기를 줄이고 일반 성능을 향상시킵니다.
새로운 가이드 시스템의 특징:- 조건이 명시적 변수로, 고정 매개변수가 아닙니다.
- 다양한 정보를 효율적으로 처리하기 위해 컨텍스트 내 조건부를 사용합니다.
- 더 컴팩트하고 성능이 우수한 모델을 달성합니다.
iMF: 다단계 방법과 경쟁하는 결과물
이러한 개선의 결합이 iMF(Improved MeanFlow)를 만들어냅니다. 이 모델은 처음부터 훈련되었으며, ImageNet 256x256 데이터셋에서 단일 함수 평가로 FID 1.72 점수를 달성했습니다. 이 결과는 이전 한 단계 방법들을 상당히 능가하며, 더 주목할 점은 격차를 줄이는 것으로, 다단계나 반복이 필요한 생성 접근법과의 격차를 줄입니다. 모든 것이 모델 증류 기술 없이 달성되어 빠른 발전 생성 모델링을 독립적이고 강력한 패러다임으로 공고히 합니다. 🎯