Apple’ın iPhone’u, AI dolgu bir akıllı telefon olarak görülmese de, bu durum değişecek gibi görünüyor ve Tim Cook ve ekibinin nasıl yetişmeyi planladığını artık biliyoruz.
Cornell Üniversitesi’nden araştırmacılar, Apple ile çalışarak hazırlanan yeni yayımlanan bir araştırma makalesinde detayları paylaştı. “Ferret-UI: Multimodal LLM’lerle Temellendirilmiş Mobil Kullanıcı Arayüzü Anlayışı,” adlı makale, ekranda neyin görüntülendiğini anlamak için kullanılabilecek çok modlu büyük bir dil modelini detaylandırıyor, özellikle de iPhone’un ekranında gösterilen öğeleri, gibi bir mobil kullanıcı arayüzünün görüntüsü.
Büyük miktarda eğitim verisi sayesinde simgeleri seçmek, metin bulmak, widget’ları ayrıştırmak, ekranda ne olduğunu metinle açıklamak, arayüz öğelerini ayrıştırmak ve açık uçlu talimatlar ve ipuçlarıyla yönlendirilirken ekranla etkileşime girmek mümkün hale gelmektedir.
Ferret 2023 yılında piyasaya sürülmüş ve gösterilen şeyi tanımak için fotoğrafları ve görüntüleri analiz etmek üzere tasarlanmıştır. Bu Ferret-UI’nin yükseltmesi, iPhone’unu kullananlar için birçok fayda sunacak ve geliştirilmiş AI destekli Siri’ye kolayca uyarlanabilir.
Hangi uygulama olursa olsun ekrana açıklama yapabilme yeteneği, erişilebilirlik uygulamaları için daha zengin bir yol açar ve yanıt ve eylemleri önceden programlama ihtiyacını ortadan kaldırır. Karmaşık görevleri yerine getirmek veya telefonlarında bulunan gizli seçenekleri bulmak isteyenler, Siri’ye karmaşık bir uygulamayı açmasını ve menü sisteminin derinliklerinde gizlenmiş nadir bir işlevi kullanmasını isteyebilirler.
Geliştiriciler, Ferret-UI’yi test aracı olarak kullanabilir, MLMM’nin sosyal ağlarla az deneyimi olan 14 yaşında biri gibi davranmasını veya torunları ile Facetime’a bağlanmaya çalışan 75 yaşında bir kullanıcıyı simüle etmesini isteyebilirler.
Genel olarak, Apple’ın yaklaşımına dair artan bir kanıt yığını parçası olarak görülebilen bu özellikler, Siri için AI yükseltmesine işaret eden akademik bir makale ile eş zamanlı olarak keşfedilmiştir. Özelliklerin “Safari Gözatma Yardımcısı” ve “Şifrelenmiş Görsel Arama” olarak etiketlendiği tespit edilmiş, ancak bunlar gelecekteki ürünlerde kullanılıp kullanılmayacağına dair belirsizlikler bulunmaktadır.
Apple’ın Dünya Çapında Geliştirici Konferansı Haziran ayında gerçekleşecek ve iPhone 16 ve iPhone 16 Pro’nun Eylül ayında piyasaya sürülmesi için temelleri atarken halkla ilk defa AI planlarını tartışabileceği ilk an olacak.
Bu zamana kadar, Apple’ın AI yaklaşımının akademik yanını incelemeye devam edeceğiz.
