Мултимодално: Видео ГЕО — Оптимизиране за машинния поглед

Типичен модел анализира видеоклип в три отделни потока (визуален, аудио, текстов), токенизира всеки от тях и прави кръстосани препратки между слоевете. Студентите с право в областта на правото (LLM) постоянно цитират YouTube, така че видеото е едновременно повърхност за търсене и социален формат - и специалистите по стратези за търсене трябва да третират видеото като структуриран набор от данни, който машина може да прочете. Тази лекция обхваща механиката: защо вашият бързо монтиран продуктов кадър статистически не съществува, когато моделът семплира с приблизително един кадър в секунда, как удебеляването на звука кара речевите модели да улавят имената на вашите марки и защо контрастът на надписите е проблем с машинната четимост, в допълнение към този за достъпност.