Apple, Apple Intelligence yapay zeka özelliklerini
geliştirirken NVIDIA’nın donanım hızlandırıcılarını kullanmadığını, bunun
yerine Google TPU’larına (Tensor İşleme Üniteleri) güvendiğini açıkladı.
Google TPU'ları ile Yapay Zeka Geliştirme
Apple’ın yakın zamanda tanıttığı Apple Intelligence
özelliklerinin arkasında Google TPUv4 ve TPUv5 çipleri bulunuyor. Apple’ın
resmi araştırma makalesine göre, bu çipler, Apple Temel Modellerinin (AFM)
oluşturulmasında kritik bir rol oynadı. AFM-server ve AFM-on-device modelleri,
çevrimiçi ve çevrimdışı Apple Intelligence özelliklerini desteklemek için
tasarlandı.
AFM-server Modelinin Eğitimi
Apple, AFM-server modelini 8,192 TPUv4 çipi kullanarak
eğitti. Eğitim süreci üç aşamada gerçekleştirildi: İlk olarak 6.3 trilyon token
ile başlandı, ardından 1 trilyon token ile devam edildi ve son olarak 100
milyar token ile bağlam uzatma yapıldı.
Verilerin Toplanması ve Kullanımı
Apple, AFM’lerini eğitmek için Applebot web tarayıcısından
toplanan veriler, çeşitli lisanslı “yüksek kaliteli” veri setleri, dikkatle
seçilmiş kodlar, matematik ve kamuya açık veri setlerinden yararlandı.
AFM-on-device modeli ise 2,048 TPUv5p çipi kullanılarak eğitildi ve AFM-server
modelinden türetilmiş 3 milyar parametreli bir model olarak geliştirildi.
Performans ve Kıyaslamalar
Apple’ın kendi testlerine göre, AFM-server ve AFM-on-device
modelleri, talimat izleme, araç kullanımı ve yazma gibi kıyaslamalarda mükemmel
performans gösteriyor. Apple, yapay zeka geliştirme sürecinde Google TPU’larını
kullanarak etkileyici sonuçlar elde etmeyi hedefliyor.