릴스 밈 AI로 복사하는 법,
모델 두 개를 직접 돌려봤어요.

둘 다 9월에 나온 모델이에요. 요즘 도는 릴스 하나 골라서 주인공 얼굴만 제 얼굴로 바꿔보라고 두 모델에 같은 조건으로 시켜봤습니다. 먼저 답부터 드리면 어느 한쪽이 이기진 않았어요. 원본 편집을 그대로 살려야 하면 Genjutsu가 낫고 얼굴이 확실히 나여야 하면 Omni가 낫습니다. 왜 그렇게 갈리는지, 얼마 들었는지는 아래에 있어요.

뭘 어떻게 시켰나

원본은 코스트코에서 찍은 38.8초짜리 코미디 릴스예요. 컷이 26개고 화면 자막이 붙어 있고 주인공 말고 두 사람이 더 나옵니다. 참조 사진은 정면도 아닌 3/4 측면 헤드샷 한 장만 줬어요. 일부러 그랬습니다. 사장님 폰에 있을 법한 사진이 딱 그 정도니까요.

두 모델한테 준 지시는 같아요. 주인공만 이 사람으로 바꾸고 옷, 다른 사람, 장소, 카메라, 자막, 소리, 타이밍은 손대지 말라고요.

결과가 어떻게 갈렸나

프레임으로 보면

같은 시각의 세 화면을 잘라 붙였어요. 왼쪽이 원본입니다.

2.5초. Omni는 벌써 한 컷 앞서 가고 있어요. 대신 얼굴은 오른쪽이 제일 저 같습니다.

16.5초. Genjutsu는 클로즈업을 지키면서 얼굴을 반만 바꿨고 Omni는 얼굴을 바꾸는 대신 컷을 놓쳤어요.

24.5초. 가운데 자막이 “manager merlrdeam”으로 깨졌네요. 오른쪽은 제대로입니다.

왜 이렇게 다를까

두 모델이 영상을 다루는 방식이 달라서 그래요. Genjutsu는 원본의 움직임이랑 카메라를 뼈대로 잡고 그 위에 사람을 다시 그립니다. 그러니까 편집은 정확한데 원본 배우의 안경이나 앞머리처럼 센 특징이 참조 사진이랑 섞여 버려요. Omni는 영상을 통째로 이해한 다음 시킨 대로 새로 만듭니다. 얼굴은 확실한데 컷 길이나 소품 같은 자잘한 게 조금씩 바뀌는 이유예요.

사진이 한 장뿐이었던 것도 커요. 정면, 측면, 전신 이렇게 세 장이면 둘 다 얼굴이 더 잘 붙습니다. 다음번엔 그 조건으로 다시 돌려볼 생각이에요.

돈이랑 시간을 같이 보면

같은 비교 영상 아래에 두 모델의 비용이랑 생성 시간을 실시간으로 붙인 세로 버전이에요. Omni는 10초쯤에 끝나고 Genjutsu는 영상 끝까지 올라갑니다.

그래서 언제 뭘 쓰면 되나

• 뮤직비디오나 춤처럼 컷이랑 카메라가 핵심인 영상은 Genjutsu. 편집을 그대로 가져옵니다.
• 스킷이나 브이로그처럼 내가 나오는 게 핵심이면 Omni. 얼굴이 확실해요.
• 10초 안쪽 짧은 클립을 손보거나 컷마다 다른 지시를 주고 싶을 때도 Omni. 대화하듯 고칠 수 있어요.
• 워터마크 없는 결과물이 필요하면 Genjutsu. Omni 결과엔 AI 생성 표시가 들어갑니다.

직접 해보실 때 걸리는 것

Genjutsu는 Higgsfield API에서 motion-transfer 모델을 부릅니다. 영상 하나(3~30초), 참조 사진 최대 8장, 지시문, 해상도(480p나 720p)를 넣으면 돼요. 참조 사진에 입은 옷이 결과에 따라오니까 원본 옷을 살리려면 지시문에 적어야 합니다.

Omni는 Gemini API의 gemini-omni-1.1-flash예요. 편집할 영상은 10초 이하, 참조 사진은 7장까지입니다. 여기서 한 번 막혔는데요. “사진 속 사람으로 바꿔라” 같은 문장은 정책에 걸려서 거절돼요. 사진 자체는 통과되고 “이 사진이 주연 배우다, 주연을 이 사진에 맞게 다시 그려라”라고 쓰니까 통과됐습니다.

하나만 지켜 주세요. 남의 릴스는 연습용으로만 쓰시고 올릴 때는 직접 찍은 영상이나 허락받은 영상으로 하세요. 위 비교도 그래서 원작자를 밝히고 실험 결과로만 올립니다.