Multimodal Embeddings: Production Öncesinde Her Modaliteyi Test Edin

Multimodal Embeddings: Production Öncesinde Her Modaliteyi Test Edin

Hedef kitle: Metin, görseller, video ve görsel dokümanlar üzerinde search, RAG, recommendation veya agent sistemleri geliştiren ileri düzey uygulayıcılar.

Multimodal embeddings, çeşitli retrieval pipeline'larını tek bir vector space'te birleştirebilir. Ancak evaluation sürecini tek bir skora indirgemez. Bir model aggregate benchmark'ta öne çıkarken production sisteminin ihtiyaç duyduğu kısa video olaylarını, kesin terimleri, chart etiketlerini veya sayfaya özgü kanıtları kaçırabilir.

Production kuralı basittir: text, image, video ve visual-document sonuçlarını ayrı tutun; her birinin ilgili olduğu yerde dense, sparse ve hybrid retrieval'ı karşılaştırın; encoder'ın hiç görmediği şeyleri ölçün; her model değişikliğini bir index migration olarak ele alın.

Beş gün içinde yayımlanan üç paper bu sınırı alışılmadık derecede net gösteriyor. UEmbed, tek geçişte dense ve sparse representation'lar üretir. Douyin'in DME'si, retrieval kanıtını koruyan kompakt bir vector eğitir. ReLoop-UME ise rationale token'ları üretmeden recurrent depth ekler. Üçü de daha güçlü retrieval bildiriyor, ancak failure pattern'leri farklı operational risk'lere işaret ediyor.

Multimodal embeddings nedir?

Multimodal embeddings, farklı input türlerini ortak bir space'te karşılaştırılabilen vector'lere dönüştürür. Bir text query bir photograph'ı retrieve edebilir, bir video bir text description ile eşleşebilir veya bir screenshot görsel olarak benzer bir document page'i retrieve edebilir.

Bu ortak interface kullanışlıdır; çünkü retrieval sistemi her candidate üzerinde generative model çalıştırmak yerine approximate nearest-neighbor search kullanabilir. Ancak anlamlı farklılıkları da gizler. Text, kesin lexical sinyaller içerir. Images, yerel nesneler ve ilişkiler içerir. Video, event timing ve frame selection ekler. Visual documents ise layout, OCR, tables, charts ve page context'i birleştirir.

Güncel sistemler bu farklılıkları kendi sınırlarında ortaya koyuyor. Google'ın Gemini Embedding 2 documentation text, images, video, audio ve PDFs'i tek bir space'e map eder; ancak video başına en fazla 32 frame işler ve videonun audio track'ini işlemez. PDFs, request başına altı sayfa ile sınırlıdır. Qwen3-VL-Embedding-2B model card, 32K context ve 64 ile 2.048 arasında configurable dimensions ile text, images, screenshots, video ve mixed inputs'ı destekler.

Bu yetenekler bir evaluation planının girdileridir; belirli bir corpus için her modalitenin eşit derecede iyi çalıştığına dair kanıt değildir.

Üç yeni paper gerçekte neyi ölçtü?

Paper'lar aynı retrieval kısıtının farklı bölümlerini optimize ediyor: her query'yi yavaş bir generation task'ına dönüştürmeden discrimination için yeterli kanıtı korumak.

Bu sayılar authors' experiments'tan geliyor. Ortak bir production environment'ın sonuçları değiller ve hardware, data, model scale ve serving stack'leri kontrol edilmiş gibi karşılaştırılmamalılar.

UEmbed: tek geçişte dense ve sparse retrieval

UEmbed, decoder-only multimodal model'e 16 learnable special token ekler. Her token, ayrı bir vocabulary partition üzerinde sparse weight'ler tahmin eder; final end-of-sequence state ise dense vector'ü sağlar. Authors, public data ile eğitilmiş 2B, 4B ve 9B varyantlarını yayımlar.

UEmbed-9B, MMEB-V2'de dense retrieval için 71.8 ve sparse retrieval için 71.0 bildiriyor. Hybrid result, dense retrieval'a kıyasla text için 0.3, visual documents için 0.5 puan ekliyor; images ve video için ise çok az değişiklik gösteriyor. Bu sonuç dar kapsamlı bir çıkarımı destekliyor: learned sparse signals, exact terms veya document text'in önemli olduğu yerlerde dense retrieval'ı tamamlayabilir. Hybrid search'ün her modaliteyi iyileştirdiğini göstermiyor.

Sınırlamalar pratik nitelikte. Training data English ve Chinese'a eğilimli ve paper daha zayıf cross-lingual sparse generalization bildiriyor. Sparse representation ayrıca vocabulary artifact'larını koruyor. Video, dense ve sparse performance arasında daha büyük bir fark gösteriyor ve paper tam bir inverted-index efficiency study sunmuyor.

UEmbed repository, 4 Ağustos 2026'da kontrol edildiğinde yalnızca birkaç günlük durumdaydı. İki commit, altı star, hiç fork ve hiç release yoktu. Bu sayılar model quality'yi değil, maturity'yi tanımlar. Implementation yeterince erken aşamada olduğundan production ekipleri interface ve serving değişiklikleri beklemelidir.

DME: vector'ü retrieval kanıtını koruyacak şekilde eğitmek

Douyin Multimodal Embedding technical report, learning sürecini iki aşamaya ayırır. Large-scale contrastive pretraining önce geniş bir shared space oluşturur. Training-only latent reasoning ve cross-conditional reconstruction ise compact embedding'i counterpart'ı hakkındaki fine-grained kanıtı korumaya zorlar.

Bildirilen MMEB-V2 skoru, 2B model için stage-one pretraining sonrasında 70.9 baseline'dan 72.5'e, evidence-grounded latent reasoning sonrasında 73.8'e ve reconstruction sonrasında 74.8'e yükseliyor. 9B model 78.4 bildiriyor. Paper ayrıca internal offline set'te %2.92 relative gain ve online A/B test'te internal Lifetime metriğinde %0.1 gain bildiriyor.

Authors bu production sonuçlarını Douyin içinde ölçtü. Paper, evidence-preserving training'in generative serving overhead olmadan industrial retrieval'ı iyileştirdiği sonucuna varıyor. Bir reader, report'tan internal dataset'i, metric definition'ı, traffic mix'i veya deployment conditions'ı bağımsız olarak yeniden üretemez. Bu nedenle pratik yorum sınırlıdır: reconstruction yararlı bir training objective olabilir, ancak online sayı transferable bir forecast değildir.

ReLoop-UME: depth boyunca computation eklemek

ReLoop-UME, intermediate token'lar üretmeden bir modelin retrieval-specific computation'ı artırıp artıramayacağını sorar. Positive ve negative example'ların ayrıldığı middle-to-late region'ı belirler, parameter-shared block'u dört kez yeniden kullanır ve kanıtı beş learnable retrieval register üzerinden taşır.

MMEB-V2'de 2B model, paper'ın comparison'ında VLM2Vec-V2'nin 58.0 ve UME-R1'in 60.1 sonucuna karşılık overall 63.2 bildiriyor. 7B model 65.9 bildiriyor. Tek bir H20 GPU'da authors sample başına 201 milliseconds ölçüyor: UME-R1'den 44.9×, PLUME'dan 1.5× daha hızlı; ancak non-recurrent VLM2Vec-V2 baseline'dan 1.3× daha yavaş.

Aggregate improvement bir uyarıyı gizliyor. ReLoop-UME-2B, paper'ın video slice'ında 40.5 skor alıyor; bu, PLUME'ın 44.1 sonucunun altında. 7B result da video'da UME-R1'in gerisinde kalıyor. Method sekiz frame sample ediyor. Kendi limitations bölümü, recurrence'in sampling sırasında atlanan kanıtı geri getiremeyeceğini ve temporal-boundary smoothing'in kısa olayları kaçırabileceğini belirtiyor.

Tek bir benchmark average neden yeterli değildir?

MMEB-V2, 78 dataset'i kapsamak üzere VLM2Vec-V2 ile tanıtıldı: 36 image, 18 video ve 24 visual-document dataset'i. Bu kapsam model development için onu kullanışlı kılar. Ancak bu task'ler üzerindeki mean, production workload ile çok az ilişkisi olabilecek ağırlıklar uygular.

Aynı aggregate score'u alan üç sistem düşünün:

İlki lexical precision ve screenshot understanding gerektirir. İkincisi temporal coverage'a bağlıdır. Üçüncüsü page-local OCR, layout ve modifier accuracy gerektirir. Bu failure'ları average etmek temiz bir sayı ve kötü bir karar üretir.

Reproducible bir multimodal embedding evaluation

Bilinen relevant evidence içeren frozen bir corpus snapshot ve query set ile başlayın. Original source object'i, embedding input'unu ve relevance judgment'ı birlikte tutun. Aksi takdirde encoder failure ile ingestion failure birbirinden ayırt edilemez.

1. Metric seçmeden önce modality slice'ları oluşturun

Text, images, video ve visual documents için ayrı slice'lar oluşturun. Bunları önem taşıyan davranışa göre yeniden bölün:

Her example için bir coverage field ekleyin. Source evidence'ın encoder'a ulaşıp ulaşmadığını kaydedin. Kaçırılmış bir frame, crop edilmiş chart legend veya dahil edilmemiş PDF page'i embedding error olarak skorlanmamalıdır.

2. Complete retrieval pipeline'larını karşılaştırın

Aynı relevance judgment'lara karşı en az şu candidate'ları test edin:

Hybrid baseline önemlidir; çünkü UEmbed sonucu gain'lerin her modalitede değil, text ve visual documents'ta yoğunlaştığını gösteriyor. Text baseline da önemlidir; çünkü captions, OCR ve structured metadata, native multimodal vector'den daha ucuz index'lenebilir, debug edilmesi daha kolay olabilir ve exact terms için daha iyi sonuç verebilir.

3. Quality, coverage ve cost'u birlikte ölçün

Metric'leri yalnızca tek bir mean olarak değil, slice başına ve distribution olarak raporlayın.

Geçerli bir summary, önemli en kötü slice'ı görünür tutar. Örneğin bir candidate'ı yalnızca weighted aggregate iyileştiğinde ve hiçbir protected slice regression budget'ını aşmadığında promote edin.

text promote = aggregate_gain > 0 and text_regression <= budget.text and image_regression <= budget.image and video_regression <= budget.video and visual_doc_regression <= budget.visual_doc and p95_latency <= budget.latency

Budget'lar product kararlarıdır. Bu yapı, image ağırlıklı bir benchmark'ın video-search product'ındaki video failure'ını telafi etmesini önler.

*Önce her retrieval lane'i değerlendirin, ardından ortak runtime, migration ve release gate'lerini uygulayın.*

4. Embedding space'i version'layın

Bir embedding model version'ı, stored data format'ın bir parçasıdır. Google'ın migration guide'ı `gemini-embedding-001` ve `gemini-embedding-2`'nin incompatible space'ler ürettiğini, dolayısıyla upgrade için mevcut tüm data'nın yeniden embed edilmesi gerektiğini belirtir. Bir space'ten gelen query vector'ler, diğer space'teki document vector'leriyle doğrudan karşılaştırılamaz.

5. Switch etmeden önce production query'lerini shadow'layın

Offline evaluation bilinen case'leri kontrol eder. Shadow traffic, user-visible result'ları değiştirmeden gerçek distribution'ı test eder. Her disagreement ile ilişkili iki candidate list'i, latency'yi, empty result'ları ve slice veya input type'ı loglayın. Partial rollout'dan önce disagreement'ları inceleyin.

Click'leri tek başına relevance truth olarak kullanmayın. Position bias ve mevcut ranker, kullanıcıların neye tıklayabileceğini şekillendirir. Sample edilmiş human judgment'ları, downstream task success'i ve behavioral signal'ları birleştirin.

Production için bir decision framework

Raw visual veya temporal evidence relevance'i değiştirdiğinde ve bir text representation bu evidence'ı kaybettiğinde multimodal embedding model kullanın. Corpus çoğunlukla prose'dan oluşuyorsa, exact identifier'lar baskınsa veya güvenilir captions ve OCR yararlı sinyali zaten yakalıyorsa daha basit bir text veya hybrid pipeline'ı koruyun.

Preprocessing'i test etmeden daha büyük bir model seçmeyin. Frame selection, page segmentation, OCR, query instructions ve negative examples sonucu domine edebilir. Open-source activity implementation friction'ı gösterebilir, ancak quality benchmark'ı değildir. 4 Ağustos 2026 itibarıyla Qwen3-VL-Embedding repository'sinde 32 commit ve 55 open issue vardı; recent issue'lar arasında serving endpoints ve representation mismatches bulunuyordu. Bunlar araştırılması gereken engineering signal'larıdır; modeli kabul veya reddetme nedenleri değildir.

Kanıt neyi destekliyor?

Paper'lar üç somut sonucu destekliyor.

İlk olarak, compact bir multimodal vector, tek ve değiştirilmemiş bir forward pass'ten daha fazla retrieval-specific computation koruyabilir. DME training-only objective'ler ekler; ReLoop-UME recurrent depth ekler; UEmbed dense ve sparse view'ları birlikte türetir.

İkinci olarak, representation mechanism failure pattern'ini değiştirir. Sparse retrieval lexical ve cross-lingual riskler taşır. Recurrent depth training ve latency cost'ları taşır. Video, embedding model çalışmadan önce sampling'e karşı savunmasız kalmaya devam eder.

Üçüncü olarak, production evidence local olmalıdır. Authors yararlı benchmark ve system sonuçlarını ölçtü, ancak hiçbir paper sizin corpus'unuzu, query mix'inizi, latency budget'ınızı, index migration'ınızı veya yanlış retrieval'ın cost'unu ölçmedi.

Yararlı sonuç operational'dır: multimodal embeddings'i ancak her modalite kendi retrieval ve coverage test'lerini geçtikten sonra benimseyin. Shared vector space serving'i basitleştirebilir. Evaluation ise bilinçli olarak uneven kalmalıdır.

FAQ

Text ve image embeddings aynı index'i kullanmalı mı?

Model bu modality'leri compatible tek bir space'e yerleştirmek üzere eğitildiyse ve cross-modal retrieval task'ın parçasıysa aynı index'i paylaşabilirler. Lexical retrieval, modality-specific filters, farklı update rate'leri veya bağımsız rollback önemliyse ayrı field'lar veya index'ler tutun. Bir layout'un daha iyi olduğunu varsaymak yerine score fusion'ı gerçek relevance judgment'lar üzerinde test edin.

Model değiştirirken data'yı yeniden embed etmem gerekir mi?

Genellikle evet. Farklı model'lerden veya incompatible version'lar'dan gelen embedding space'ler güvenli biçimde karşılaştırılamaz. Versioned replacement index oluşturun, corpus'u yeniden embed edin, query'leri her iki index'e karşı shadow'layın ve yeni index per-slice quality ve latency gate'lerini geçene kadar eski index'i tutun.

Claim checks

Sources