Google представила масштабне оновлення свого ШІ-асистента Gemini для платформи macOS. Нові функції кардинально змінюють підхід до роботи з текстом та даними на екрані: від автоматичного редагування голосових нотаток до глибокого аналізу відкритих застосунків. Однак розширення можливостей ШІ несе в собі й нові виклики для кібербезпеки.

Розумне диктування: від звуку до готового тексту

Перша і найпомітніша новація — функція «розумного диктування» (intelligent dictation). Вона вже активована за замовчуванням для всіх користувачів Gemini на Mac. На відміну від стандартних голосових введень, які просто транскрибують мову в текст, нова розробка Google працює як інтелектуальний редактор.

Система не просто записує слова, а автоматично покращує текст прямо в місці знаходження курсора. Алгоритм миттєво фільтрує мовний «сміття»: видаляє паузи, слова-паразити та зайві звуки, залишаючи лише чистий, відредагований контент.

Головна перевага рішення — його універсальність. Функція працює в будь-якому застосунку на Mac. Щоб почати диктування, достатньо натиснути клавішу Fn і говорити. Це дозволяє створювати чернетки листів, повідомлень чи документів, не перемикаючись на чат-бота і не витрачаючи час на ручну правку помилок.

Аналіз екрана: ШІ з правами адміністратора

Друге велике оновлення отримало назву «розумний аналіз екрана» (screen-aware reasoning). На відміну від диктування, ця опція не вмикається автоматично — користувачам необхідно самостійно дозволити її в налаштуваннях.

Функція надає Gemini доступ до вмісту вікон, відкритих на моніторі. Це дозволяє асистенту виконувати складні завдання, що вимагають контексту:

  • Підсумок нотаток: Якщо на екрані відкрито застосунок із нотатками, можна попросити ШІ: «Зроби короткий підсумок для денної зустрічі». Gemini прочитає текст, обробить його і вставить готовий результат.
  • Каскадні команди: Можна доручити складання листа, а ШІ самостійно підтягне необхідні дані з відкритих файлів.
  • Виправлення «на льоту»: Система розуміє контекст змін. Якщо в процесі диктування ви скажете: «Ні, перенеси зустріч з 18:30 на 19:00», ШІ внесе корективи в кінцевий текст, не вимагаючи повного переписування.

Ризики конфіденційності та промпт-ін'єкції

Надання алгоритмам доступу до всього, що відбувається на робочому столі, неминуче породжує питання безпеки. Головна загроза для подібних інструментів із розширеними правами — так звані промпт-ін'єкції (prompt injection).

Зловмисники можуть приховувати шкідливі команди на веб-сайтах або всередині документів. Якщо користувач попросить ШІ обробити таку сторінку, асистент може сприйняти приховану команду як вказівку власника комп'ютера. В результаті ШІ здатний виконати небезпечну дію: завантажити шкідливий файл або спробувати отримати доступ до збережених даних.

На даний момент оновлений Gemini для macOS розгортається глобально лише англійською мовою. Підтримка інших мов планується до додавання в майбутньому.