Изследванията на Apple за изкуствен интелект: това е тяхната стратегия

  • Apple Intelligence комбинира модели на устройства и частни облаци с одит и криптиране.
  • Siri получава информация за контекста, писането и действията в приложенията; писането, снимките и изображенията са подобрени с изкуствен интелект.
  • Опционална интеграция с ChatGPT (GPT-4o) със защита на поверителността и скрит IP адрес.
  • Проучванията на Apple разкриват ограничения в разсъжденията върху моделите и напредъка в сливането на сензори.

Изследванията на Apple в областта на изкуствения интелект

Apple положи всички усилия, за да внедри изкуствен интелект в своите устройства, без да прави компромис с определящата му характеристика: поверителността. През последните години компанията представи серия от подобрения, вариращи от модели които работят на самото устройство дори персонализиран частен облак за защита на вашите данни, както и публикуване на изследвания, които поставят под въпрос границите на разсъжденията в най-съвременните модели.

Отвъд заглавията, истинската иновация се нарича Apple Intelligence: персонален AI слой с генеративни възможности, разбиране на контекста и действия в приложението. Той се интегрира с iPhone, iPad и Mac, комбинирайки локална обработка със специализирана сървърна инфраструктура. Обещанието е ясно: реална полезност в ежедневието, с възможно най-малко излагане на вашата информация.

Поверителност и архитектура: Apple Intelligence и Private Cloud Compute

Архитектура и поверителност на Apple Intelligence

Основната техническа основа на Apple Intelligence се основава на една проста идея: всичко, което може да работи на вашия iPhone, iPad или Mac, работи и там. Моделите на самото устройство Те обработват много езикови и графични задачи, без да напускат компютъра ви, намалявайки рисковете от излагане в основата.

Когато заявката изисква по-голям капацитет, на помощ идва Private Cloud Compute (PCC) - сървърен облак с... Чипове M4 и M4 Max Дизайнът за сигурност на Apple е много различен от нормата. Преди устройството да комуникира с облака, PCC криптографски проверява Apple заявява, че сървърният софтуер е публично достъпен за проверка, което позволява на независими експерти да го одитират. Apple допълнително заявява, че данните не се съхраняват, нито се споделят.

Тази хибридна архитектура позволява мащабиране между модели, инсталирани на устройството, и по-големи модели, базирани на сървър. Според самата Apple, базовите им модели са локални. равни или надвишаващи малки еквиваленти от други производители, докато моделите сървъри са над GPT-3 и около производителността на GPT-4, винаги с приоритет контрол на поверителността.

Накратко, Apple Intelligence се стреми да разбере вашия личен контекст, за да бъде полезен, но го прави с технически и организационни бариери, които се опитват да гарантират това. Вашата информация ще остане заключена. както на устройството, така и в частния облак.

Език и продуктивност: пишете по-добре, четете по-малко

Инструменти за писане и продуктивност в Apple Intelligence

Apple въведе вградени инструменти за редактиране в iOS, iPadOS и macOS, които ви помагат да пренаписвате, редактирате и обобщавате текст в приложения като Mail, Notes, Pages и приложения на трети страни. Можете да поискате коригиране на тона, полска граматика и лексика или да конвертирате блок от текст в точки, таблици или кратки резюмета.

В „Поща“ ще намерите „Приоритетни съобщения“ – раздел, който поставя спешните съобщения на преден план (покана за днес, бордна карта и др.). Освен това, списъкът с имейли може да показва генерирани обобщения вместо първите няколко реда, а интелигентните отговори откриват висящи въпроси, така че нищо да не остане без отговор.

Известията също стават все по-интелигентни. Приоритетните известия извеждат важни съобщения на върха, а обобщенията сгъстяват много дълги разговори на заключения екран. С режима „Намаляване на прекъсванията“ системата позволява преминаването само на определени съобщения. това, което изисква незабавно вниманиепомагайки за поддържане на фокус, когато е необходимо.

„Бележки“ и „Телефон“ вече включват запис с транскрипция и обобщение. Ако запишете разговор, всички участници автоматично се уведомяват, а когато затворите, Apple Intelligence генерира обобщение на ключовите моменти. Това е удобен начин да... разговори за документи без допълнителна работа.

Творчество: Игрална площадка с изображения и Генмоджи

За по-визуалните аспекти, Apple Intelligence включва Image Playground, среда за създаване на изображения за секунди със стилове като Анимация, Илюстрация и Скица. Тя работи в рамките на Съобщения и предлага... самостоятелно приложение да експериментирате без ограничения, тъй като генерирането се извършва на устройството.

Работният процес е ръководен: избирате концепции по категория (теми, локации, аксесоари, костюми), описвате какво търсите или дори избирате някого от вашата фото библиотека, когото да включите в създаването. В „Съобщения“ системата предлага идеи. свързано с разговора така че това, което създавате, да се вписва в контекста.

В Notes, инструментът Image Wand на Apple Pencil превръща скиците в изображения с едно докосване и дори използва контекста на страницата, за да запълни празното пространство. Освен това, Image Playground API позволява на трети страни да интегрират тези възможности в приложения като Keynote, Freeform и Pages.

Изразяването прави още една крачка напред с Genmoji: напишете описание и системата създава ваше собствено емоджи, с възможност да го базирате на нечие лице от вашите снимки. Можете да ги използвате като стикери, реакции (Tapback) или да ги вмъквате онлайн, така че вашият стил на комуникация да бъде уникален. още по-лично.

Интелигентни снимки и естествени търсения

Приложението „Снимки“ получава подобрения, фокусирани върху контрола и скоростта при намиране на това, което търсите. Можете да извършвате търсения на естествен език, като например „Лора кара скейтборд с“ тениска с щампа„или „Сара със стикери на лицето си“, а във видеото преминете директно към съответния момент.

Новият инструмент „Почистване“ открива нежелани фонови елементи и ги премахва, без да засяга основния обект. Това е фин начин за премахване на разсейващи елементи без сложни инструменти, като същевременно се запазва... реализъм на заснемането.

„Спомени“ създава истории от писмено описание. Apple Intelligence избира най-добрите снимки и видеоклипове, структурира разказа в глави и предлага песни от Apple Music, които отговарят на настроението. Целият този процес се извършва с... частно лечение на устройството.

Целта е не само да се намират неща по-бързо, но и автоматично да се трансформира библиотеката ви в смислени истории, където системата разбира какво се случва в изображенията и кога се е случило, за да изгради по-емоционално преживяване.

Siri: по-способна, контекстуална и също така в писането

Siri е обновена отвътре и отвън. Разбирането на естествения език е подобрено, може да следва нишката на мислите ви, дори ако се поправяте в движение, и взема предвид контекста, когато отправя заявки. Можете също така да превключвате между глас и текст, когато е необходимо; а визуално има ново сияние около екрана. показва кога е активно.

Асистентът разбира какво има на екрана и може да взаимодейства със съдържание от други приложения. Ако получите нечий адрес в Съобщения, просто попитайте „добави този адрес към картата му“ и Siri ще направи останалото. Може също да задейства сложни действия като „изпрати снимките от съботното барбекю на...“. Мария» без да се налага да отваряте каквото и да било.

Друга нова функция е ролята му като ръководство за потребителя на устройството: Siri отговаря на хиляди въпроси от типа „как да...?“ относно iPhone, iPad или Mac, от планиране на имейл в Mail до активиране на тъмен режим. А с Apple Intelligence, тя става проактивна при свързване. лични данни и контекст„Пусни подкаста, препоръчан от Хайме“ или „В колко часа каца мама?“ са примери за заявки, решени без да се налага да помните къде се намира информацията.

Важното е, че изкуственият интелект има достъп до необходимия контекст, за да ви помогне, но с обещанието за поверителност: по-голямата част от него се обработва на самото устройство и когато се мащабира до облака на Apple, го прави под техническите гаранции на Private Cloud Computing, които ограничават... излагане на данни.

ChatGPT в екосистемата: как, кога и с какви ограничения

Apple интегрира достъпа до ChatGPT в системните изживявания: Siri може да се консултира с модела, когато е уместно, като винаги иска вашето разрешение, преди да изпрати заявката (и прикачените файлове като изображения или документи). Отговорите пристигат. без да се откъсва от потока на iOS, iPadOS или macOS.

Поверителността също се взема предвид: IP адресите са скрити и OpenAI не запазва заявките по подразбиране. Ако свържете вашия ChatGPT акаунт, техните правила се прилагат и можете да получите достъп до платени функции от системата. Интеграцията използва GPT‑4o, с безплатен достъп без създаване на акаунт.

Освен това, инструментите за писане на Apple ви позволяват да използвате ChatGPT за генериране на изображения и текст, когато пожелаете. Apple е оставила вратата отворена за интегриране на други модели (например Gemini) в бъдеще и вече е предвидила, че ако нейният изкуствен интелект... не мога да се справя с нещоЩе ви предложи по избор да използвате модел на трета страна.

Наличност и съвместими устройства

Apple Intelligence е безплатна и се предлага в бета версия за iOS 18, iPadOS 18 и macOS Sequoia. Разпространението започна на английски език (САЩ) и се разширява на фази. На iPhone много функции се появиха с iOS 18.4, а разпространението в Испания започна през април 2025 г. español, все още в бета версия.

Хардуерни изисквания: iPhone 15 Pro и 15 Pro Max, плюс iPad и Mac с чип M1 или по-нов. За някои първоначални функции, Siri и езикът на устройството трябваше да бъдат настроени. Английски (САЩ)В екосистемата на Mac и iPad, съвместимостта започва с Apple Silicon.

  • Съвместими Mac компютри: MacBook Air (M1, 2020) или по-нов; MacBook Pro (M1, 2020) или по-нов; Mac mini (M1, 2020) или по-нов; Mac Studio (M1 Max/Ultra, 2022) или по-нов; iMac (M1, 2021) или по-нов; Mac Pro (M2 Ultra, 2023).
  • Съвместими iPad-и: iPad Air (5-то поколение) или по-нов модел; iPad Pro (5-то поколение) или по-късно.
  • Съвместими iPhone-и: iPhone 15 Pro и 15 Pro Max; семейство iPhone 16 (включително 16, 16 Plus, 16e, 16 Pro и 16 Pro Max).

Това намаление се дължи на изискванията за памет и изчислителна мощност на моделите на устройството, което обяснява защо не се разпространявай за iPhone-и преди A17 Pro.

Apple R&D: Сливане на сензори с LLM, за да разберете какво правите

Apple публикува проучване, демонстриращо как да се обединят сензорни данни, като например аудио и движение, за да се разпознават ежедневни дейности (готвене, пране, упражнения), без да се обучава специфичен модел за всяка задача. Ключът се крие в «късно сливане„Първо, малките модели обработват всеки сигнал поотделно и генерират текстови описания/етикети; след това, по-голям LLM интегрира тези обобщения, за да реши какво се случва.“

Констатацията е важна, защото работи дори с шумни сигнали и намалява необходимостта от изграждане на ad hoc модели за всеки сценарий. Също така е положителна за поверителността: LLM не поглъща суров аудио, но... текстови описания предварително обработени. В екосистемата на Apple това може да доведе до по-точно разпознаване на тренировки на Apple Watch или разпознаване на активност на iPhone с по-малка консумация на енергия.

Предизвикателството, както винаги, ще бъде пускането му на пазара. Въпреки че Apple публикува повече изследвания от преди, някои в общността смятат, че компанията трябва да превърне тези постижения във видими функции по-бързо, област където очакванията са високи.

Какво ни казва Apple за разсъжденията зад моделите?

Друга линия на изследване в Apple анализира специализирани модели на разсъждение (LRM) и ги подлага на класически пъзели като Кулата на Ханой, пресичане на реки и скокове на плочки, увеличавайки сложността стъпка по стъпка. Резултатът е ясен: отвъд определен праг, точността свива се до нуладори ако се добави повече изчислителна мощност.

Изследователите наблюдаваха три режима: при ниска сложност конвенционалните LLM се представят по-добре и по-ефективно; при средна сложност LRM имат предимство; а при висока сложност и двата се сриват. Освен това, когато се приближиха до критичния праг, моделите изненадващо... Те намаляват усилията си (по-малко „мисловни маркери“), дори ако проблемът е по-труден.

Анализът на „следите от разсъждения“ разкрива две поведения: при прости проблеми моделите намират решението, но продължават да изследват неправилни пътища („прекомерно обмисляне“); при средна сложност те опитват много грешни пътища, преди да намерят правилния; а при висока сложност правилните междинни състояния вече не се появяват. Дори когато са предоставени с алгоритъма стъпка по стъпка, моделите те продължават да се провалят ако сложността надвиши своя праг.

Чупливост в математиката в началното училище: GSM8K и символни варианти

Apple е оценила и универсални LLM-и – включително GPT-4o, o1-mini и o1-preview, както и Llama3-8B, Phi-3, Gemma2-9B и Mathstral-7B – върху математически задачи на училищно ниво (GSM8K). Използвайки нов набор от тестове (GSM-Symbolic), който генерира контролирани варианти, беше наблюдавано, че тривиални промени в имената или неподходяща информация Те могат да нарушат точността.

Когато обратната връзка се предоставя „стъпка по стъпка“, производителността се подобрява, но малки промени в стойностите или структурата на твърдението водят до значителни спадове. Изводът е обезпокоителен: моделите често възпроизвеждат модели, наблюдавани по време на обучението, вместо истински да разсъждават, което се изразява в нестабилност при смущения привидно безобидни.

Инструменти за разработчици: Xcode и базови модели

За разработчиците на приложения, Apple въведе базови модели както за приложения на устройството, така и за сървърни приложения, с фокус върху специализирани адаптери за задачи като обобщаване или регулиране на тона. Според вътрешна оценка, моделите на устройството превъзхождат или се равняват на малки еквиваленти на трети страни, а моделите от страна на сървъра... превъзхождат GPT-3 и остават приблизително на нивото на GPT-4.

Xcode 16 въвежда предсказуемо довършване на код на устройството, задвижвано от модел, специално обучен за Swift и API-тата на Apple. Изисква Mac с поне 16 GB RAM. Освен това, Swift Assist – функция за чат, която използва облачни модели – генерира, редактира и обяснява съобщения. Swift код в рамките на IDE.

Екип и талант: ето как Apple провежда изследвания

Apple поддържа множество екипи за изследвания и продукти в областта на изкуствения интелект: от инфраструктура за машинно обучение (изчисления, данни и съхранение в голям мащаб) до експерти в... задълбочено и подсилващо обучениес изследователски линии, обхващащи контролирано и неконтролирано обучение, генеративни модели, мултимодално обучение и теория на решенията. Те работят също с оборудване за обработка на естествен език и речеви технологии.

Друга ключова област са технологиите за обработка на естествен език и реч: машинен превод, разпознаване на обекти, отговаряне на въпроси, сегментиране по теми, синтез на реч (TTS) и ASR. Това включва работа с големи обеми данни и методи за дълбоко обучение да поддържа множество езици и реални случаи на употреба. Освен това имаше и кадрови премествания, като например Мета открадна ръководителя на отдела за изкуствен интелект на Apple.

Стратегия и следващи стъпки

На WWDC 2025, Apple подчерта, че изкуственият интелект вече не е добавка, а сърцето на екосистемата. С A18 Pro, M4 и чип M5Част от обработката е подсилена на устройството и функции като превод на обаждания в реално времеАвтоматични обобщения и „визуален интелект“ за идентифициране на елементи в снимки и видеоклипове илюстрират посоката на продукта.

Компанията съчетава ангажимента си към собствения си изкуствен интелект с опционални интеграции на трети страни (като ChatGPT), позиция, съответстваща на фокуса ѝ върху поверителността и контрола на потребителското изживяване. Междувременно, според източници, са започнали преговори за придобиване на Perplexity AI, търсачка с диалогов интерфейс. Ако бъде финализирано, това би могло да подобри Siri. Увеличете сафарито и да предложат нативно решение за търсене на Google в рамките на екосистемата, съобразено с прозрачността на резултатите.

С внедряването на Apple Intelligence като безплатна услуга на съвместими устройства, пътната карта включва разширяване на езиковата поддръжка, засилване на гаранциите за частни облачни изчисления и трансформиране на изследванията – от сливане на сензори до оценка на разсъжденията – в осезаеми подобрения на iOS, iPadOS и macOS.

Apple въведе ера, в която изкуственият интелект, поверителността и продуктовият дизайн вървят ръка за ръка: обработка на данни на устройството, където е възможно, одитиран частен облак за сложни задачи, интегрирани инструменти за писане и творчество, по-полезна и контекстно-осъзната Siri и изследвания, които помагат да се разберат както потенциалните, така и настоящите ограничения на моделите. Всичко това рисува картина на трезвен и практичен подход, при който технологиите... става невидим така че какво правите с него е важното.

Производителност на Apple Silicon M4 Max
Свързана статия:
Производителност на Apple Silicon M4 Max: тестове, изкуствен интелект и сравнение