Jeśli nie możesz uchwycić tego, czego szukasz dzięki samego zdjęcia, Google Lens pozwoli Ci teraz nagrać film, a choćby dzięki głosu zapytać o to, co widzisz. Ta funkcja wyświetli przegląd AI i wyniki wyszukiwania na podstawie treści filmu i Twojego pytania. Funkcja ta jest już dostępna w Search Labs na urządzeniach z Androidem i iOS.
Najpierw Google wyświetlono podgląd dzięki wideo w celu wyszukiwania we/wy w maju. Google podaje na przykład, iż osoba interesująca ryb, które widzi w akwarium, może zbliżyć telefon do wystawy, otworzyć aplikację Google Lens, a następnie przytrzymać spust migawki. Gdy Lens rozpocznie nagrywanie, może zadać pytanie: „Dlaczego pływają razem?” Następnie Google Lens korzysta z modelu Gemini AI, aby zapewnić odpowiedź podobną do tej, którą widzisz na poniższym GIF-ie.
Udzielając odpowiedzi, Google uwzględni Twój film i pytanie.GIF: Google
Opowiadając o technologii stojącej za tą funkcją, powiedział Rajan Patel, wiceprezes ds. inżynierii w Google Krawędź iż Google przechwytuje wideo „w postaci serii klatek obrazu, a następnie stosuje te same techniki widzenia komputerowego”, które zastosowano wcześniej w Lens. Ale Google idzie o krok dalej, przekazując informacje do „niestandardowego” modelu Gemini opracowanego w celu „zrozumienia wielu klatek w sekwencji… a następnie dostarczenia odpowiedzi zakorzenionej w sieci”.
Nie ma jeszcze możliwości rozpoznawania dźwięków w filmie – na przykład w przypadku próby zidentyfikowania słyszanego ptaka – ale Patel twierdzi, iż Google „eksperymentuje z tym”.
Możesz także użyć głosu, aby zadać pytanie dotyczące zdjęcia.GIF: Google
Google Lens aktualizuje także funkcję wyszukiwania zdjęć, dodając możliwość zadawania pytań głosowo. Aby to wypróbować, skieruj aparat na obiekt, przytrzymaj spust migawki, a następnie zadaj pytanie. Przed tą zmianą pytanie można było wpisać w Obiektywu dopiero po zrobieniu zdjęcia. Pytania głosowe są udostępniane na całym świecie na urządzeniach z Androidem i iOS, ale na razie są dostępne tylko w języku angielskim.
