Приведение LLM к Интернет-компьютеру

Этап Ignition завершён. Это приводит большие языковые модели (LLMs) в Интернет-компьютер, что позволяет использовать LLMs из канистровых смарт-контрактов всего лишь с несколькими строками кода.

Что такое этап зажигания?

Этап Ignition, часть трека Децентрализованного ИИ в дорожной карте ICP, сосредоточен на подключении контейнеров к оффлайн LLM. С этим обновлением разработчики могут использовать ИИ в своих dapps без сложной настройки, благодаря AI работникам.

Что нового в Ignition

Библиотеки LLM для простого интегрирования

Чтобы упростить подключение ваших контейнеров к LLM, мы добавили библиотеки на трех языках, используемых в Internet Computer: Motoko, Rust и TypeScript.

Эти библиотеки позволяют быстро использовать LLM в ваших dapps. Например, вот как канистры могут взаимодействовать с Llama 3.1, используя всего несколько строк кода Motoko:

импорт LLM "mo:llm";

ожидайте LLM.chat(#Llama3_1_8B).withMessages([
#system_ {
content = "Вы полезный ассистент.";
},
#user_ {
content = "Каков размер солнца?";
},
]).send();

Приведенный выше пример можно найти и изменить на ICP Ninja. Он показывает, как канистровое приложение может отправить запрос к LLM и получить ответ с минимальной настройкой.

Вот еще один пример, показывающий, как вызывать LLM с инструментами:

импорт LLM "mo:llm";

актор {
Публичная функция example() {
let response = await LLM.chat(#Llama3_1_8B)
.withMessages([
#system_ {
content = "Вы полезный помощник."
},
#user {
content = "Какова погода в Цюрихе?"
},
])
.withTools([LLM.tool("get_weather")
.withDescription("Получить текущую погоду для местоположения")
.withParameter(
LLM.параметр("местоположение", #String)
.withDescription("Место, чтобы получить погоду")
.isRequired()
)
.build()
])
.send();
};
}

Вы можете найти живую демонстрацию использования инструментов здесь, а также исходный код демонстрации здесь.

Работники с искусственным интеллектом

Чтобы соединить канистры с оффчейн LLM, мы разработали минимально жизнеспособный продукт AI-работников, простую систему, которая позволяет канистрам получать данные от оффчейн LLM. AI-работники обрабатывают связь, поэтому канистры могут отправлять запросы и получать ответы от LLM в реальном времени.

В настоящее время AI-работники поддерживают Llama 3.1 8B, Llama 4 Scout и Qwen 3 32B. Эти варианты предоставляют разработчикам гибкость в выборе подходящего LLM для их проекта.

Вот диаграмма, иллюстрирующая, как AI-работники используются для передачи запросов поставщикам LLM вне цепи.

! Как это работает:

1. Капсулы отправляют запросы в "LLM canister" через библиотеки LLM, о которых мы упоминали. Это специальная капсула, настроенная для получения запросов LLM.
2. Кисть LLM хранит эти подсказки в очереди.
3. AI-работники постоянно опрашивают канистр LLM на наличие подсказок.
4. AI-работники выполняют запросы и возвращают ответ в контейнер LLM, который возвращает его вызывающему контейнеру.

Реальные примеры использования

Разработчики уже используют библиотеки LLM для создания креативных dapps, таких как:

• Кошельки с функциями чата: Добавление разговорного ИИ в криптокошельки для улучшения взаимодействия с пользователем (скоро будет запущено в OISY)
• DAO с анализом настроений: Использование LLM для анализа общественного мнения и руководства решениями по портфелю, как в DAO Alice.

Эти примеры показывают, как AI-работники могут поддерживать ряд приложений в Интернете Компьютера.

Почему это важно и как начать

Этап Ignition упрощает разработчикам интеграцию LLM в их проекты на Internet Computer, позволяя создавать новые виды dapp, такие как чат-боты, аналитические инструменты и DeFi-приложения на базе ИИ. Объединив LLM с возможностями Internet Computer, такими как Chain Fusion, HTTPS-вызовы и случайность на блокчейне, разработчики могут создавать креативные и мощные решения.

Готовы попробовать? Исследуйте проект LLM Chatbot на ICP Ninja, посмотрите живую демонстрацию или погрузитесь в код и примеры в нашем репозитории.

!

Принесение LLM на Интернет-компьютер было первоначально опубликовано в The Internet Computer Review на Medium, где люди продолжают обсуждение, подчеркивая и отвечая на эту историю.