Кому нужен этот промт и как он работает?
Этот промт предназначен для пользователей, желающих сравнить качество и особенности ответов различных крупных языковых моделей (LLM). Он полезен исследователям, аналитикам, разработчикам и всем, кто работает с нейросетями и хочет понять, какая модель лучше отвечает на определённый вопрос.
Проблема, которую решает этот промт, — корректное и структурированное сравнение результатов, полученных от разных моделей. Вместо того чтобы вручную анализировать и оценивать ответы, пользователь получает упорядоченный разбор сильных и слабых сторон каждой модели с помощью простой звездной системы оценки.
Принцип работы прост: сначала пользователь называет две модели, которые хочет сравнить, потом вводит вопрос, который задавал обеим, а после этого отправляет ответы от этих моделей. Промт помогает получить подробный анализ и завершается вопросом о дополнительной помощи — это делает диалог удобным и завершённым.
Готовый для использования промт
|
1 |
Начните разговор с просьбы назвать два крупных языковых модели (LLM), которые пользователь хотел бы сравнить. Например: «Пожалуйста, скажите названия двух крупных языковых моделей (LLM), которые вы хотите сравнить?» После этого попросите пользователя указать вопрос, который он задавал этим моделям: «Какой вопрос вы задали этим моделям?» Затем попросите предоставить ответы, полученные от каждой модели: «Пожалуйста, поделитесь ответами, которые вы получили от каждой из этих моделей.» После получения ответов проанализируйте и оцените их с помощью системы звезд: «Дайте мне проанализировать и оценить эти ответы с помощью звездной системы.» Затем предоставьте анализ и комментарии по обоим ответам, выделив их сильные и слабые стороны, а также примечательные аспекты: «Вот мой анализ и мысли по обоим ответам, с выделением их преимуществ, недостатков и особенностей.» В завершение спросите, есть ли у пользователя еще вопросы или нужна ли дополнительная помощь: «Есть ли у вас еще вопросы или чем я могу помочь?» |
Как использовать промт и на что обратить внимание
Для начала убедитесь, что пользователь чётко называет именно две модели, чтобы избежать путаницы и получить конкретное сравнение.
Попросите формулировать исходный вопрос ясно и полно, поскольку от его качества зависит результат оценки.
Просите предоставлять ответы от каждой модели в полном объёме, без сокращений и изменений, чтобы анализ был корректным.
Можно добавить структурированную табличную оценку ответов по нескольким критериям, например, полнота, точность, понятность, чтобы сделать оценку объективнее.
Учтите, что качество анализа зависит от полноты и корректности предоставленных данных; при неполных или размытых ответах итоговая оценка может быть менее точной.
Иногда модели могут дать очень похожие ответы, тогда выделить явного лидера сложно — это не ошибка, а отражение близких возможностей моделей.
Примеры использования
Пример 1. Сравнение GPT-4 и Bard на тему объяснения теории относительности. Это помогает понять, какая модель даёт более понятное и ёмкое объяснение.
|
1 2 3 4 5 6 7 |
Пожалуйста, скажите названия двух крупных языковых моделей (LLM), которые вы хотите сравнить? — GPT-4 и Bard Какой вопрос вы задали этим моделям? — Объясните концепцию теории относительности простыми словами. Пожалуйста, поделитесь ответами, которые вы получили от каждой из этих моделей. (Здесь вставьте ответы GPT-4 и Bard) Дайте мне проанализировать и оценить эти ответы с помощью звездной системы. Вот мой анализ и мысли по обоим ответам, с выделением их преимуществ, недостатков и особенностей. Есть ли у вас еще вопросы или чем я могу помочь? |
Пример 2. Анализ сравнительных ответов моделей LLaMA и Claude по вопросу о преимуществах возобновляемых источников энергии.
|
1 2 3 4 5 6 7 |
Пожалуйста, скажите названия двух крупных языковых моделей (LLM), которые вы хотите сравнить? — LLaMA и Claude Какой вопрос вы задали этим моделям? — Какие преимущества использования возобновляемых источников энергии? Пожалуйста, поделитесь ответами, которые вы получили от каждой из этих моделей. (Ответы моделей) Дайте мне проанализировать и оценить эти ответы с помощью звездной системы. Вот мой анализ и мысли по обоим ответам, с выделением их преимуществ, недостатков и особенностей. Есть ли у вас еще вопросы или чем я могу помочь? |
Пример ответа нейросети на этот промт
Пожалуйста, скажите названия двух крупных языковых моделей (LLM), которые вы хотите сравнить? — GPT-4 и Bard
Какой вопрос вы задали этим моделям? — Что такое искусственный интеллект и как он влияет на нашу жизнь?
Пожалуйста, поделитесь ответами, которые вы получили от каждой из этих моделей.
Ответ GPT-4: Искусственный интеллект — это область компьютерных наук, которая изучает создание систем, способных выполнять задачи, требующие человеческого интеллекта. Он помогает автоматизировать процессы, улучшать качество жизни через умные устройства, медицинскую диагностику и многое другое.
Ответ Bard: Искусственный интеллект — это технология, позволяющая машинам думать и учиться, подобно человеку. Он меняет жизнь, облегчая разные сферы — от общения до науки, создавая новые возможности для развития общества.
Дайте мне проанализировать и оценить эти ответы с помощью звездной системы.
Анализ:
- GPT-4 — ★★★★☆ (4 из 5): Подробный, технически точный, но немного сухой стиль.
- Bard — ★★★☆☆ (3 из 5): Более простой и эмоциональный, но менее конкретный.
Преимущества GPT-4: точность, полнота информации. Недостатки: сложный язык.
Преимущества Bard: простота, доступность для широкой аудитории. Недостатки: общие формулировки, меньше деталей.
Есть ли у вас еще вопросы или чем я могу помочь?
Итоги: зачем использовать этот промт?
Главная выгода этого промта — упрощение процесса сравнения и анализа ответов нескольких крупных языковых моделей. Он помогает структурированно оценивать ответы, быстро выявлять сильные и слабые стороны каждой модели и принимать информированные решения при выборе LLM для работы или исследований.
Главное преимущество: удобный и понятный инструмент для комплексного сравнения ответов нейросетей
