Google представила масштабное обновление своего ИИ-ассистента Gemini для платформы macOS. Новые функции кардинально меняют подход к работе с текстом и данными на экране: от автоматического редактирования голосовых заметок до глубокого анализа открытых приложений. Однако расширение возможностей ИИ несет в себе и новые вызовы для кибербезопасности.

Умное диктование: от звука к готовому тексту

Первое и самое заметное нововведение — функция «умного диктования» (intelligent dictation). Она уже активирована по умолчанию для всех пользователей Gemini на Mac. В отличие от стандартных голосовых вводов, которые просто транскрибируют речь в текст, новая разработка Google работает как интеллектуальный редактор.

Система не просто записывает слова, а автоматически улучшает текст прямо в месте нахождения курсора. Алгоритм мгновенно фильтрует речевой «мусор»: удаляет паузы, слова-паразиты и лишние звуки, оставляя только чистый, отредактированный контент.

Главное преимущество решения — его универсальность. Функция работает в любом приложении на Mac. Чтобы начать диктовку, достаточно нажать клавишу Fn и говорить. Это позволяет создавать черновики писем, сообщений или документов, не переключаясь на чат-бота и не тратя время на ручную правку ошибок.

Анализ экрана: ИИ с правами администратора

Второе крупное обновление получило название «умный анализ экрана» (screen-aware reasoning). В отличие от диктовки, эта опция не включена автоматически — пользователям необходимо самостоятельно разрешить её в настройках.

Функция предоставляет Gemini доступ к содержимому окон, открытых на мониторе. Это позволяет ассистенту выполнять сложные задачи, требующие контекста:

  • Сводка заметок: Если на экране открыто приложение с заметками, можно попросить ИИ: «Сделай краткий итог для дневной встречи». Gemini прочитает текст, обработает его и вставит готовый результат.
  • Каскадные команды: Можно поручить составление письма, а ИИ самостоятельно подтянет необходимые данные из открытых файлов.
  • Исправление «на лету»: Система понимает контекст изменений. Если в процессе диктовки вы скажете: «Нет, перенеси встречу с 18:30 на 19:00», ИИ внесет коррективы в итоговый текст, не требуя полного переписывания.

Риски конфиденциальности и промпт-инъекции

Предоставление алгоритмам доступа ко всему происходящему на рабочем столе неизбежно порождает вопросы безопасности. Главная угроза для подобных инструментов с расширенными правами — так называемые промпт-инъекции (prompt injection).

Злоумышленники могут скрывать вредоносные команды на веб-сайтах или внутри документов. Если пользователь попросит ИИ обработать такую страницу, ассистент может воспринять скрытую команду как указание владельца компьютера. В результате ИИ способен выполнить опасное действие: загрузить вредоносный файл или попытаться получить доступ к сохраненным данным.

На данный момент обновленный Gemini для macOS развертывается глобально только на английском языке. Поддержка других языков планируется к добавлению в будущем.