신속한 엔지니어링은 AI 모델에 가장 잘 맡겨진 작업입니다.

대규모 언어 모델은 더 나은 챗봇 응답을 이끌어내는 시스템 지침을 작성하는 프로세스인 프롬프트 엔지니어링이라는 어둠의 기술을 탄생시켰습니다.

최근 연구에서 언급된 바와 같이 종이Broadcom VMware의 Rick Battle과 Teja Gollapudi가 저술한 "편심 자동 프롬프트의 비합리적인 효율성"에서는 프롬프트 문구의 사소해 보이는 변화가 모델 성능에 상당한 영향을 미칩니다.

프롬프트 최적화를 통해 모델 성능을 향상시키는 일관된 방법론이 없기 때문에 머신러닝 실무자는 소위 "긍정적 사고"를 시스템 프롬프트에 통합하게 되었습니다.

XNUMXD덴탈의 시스템 프롬프트 모델에 행동 방법을 지시하고 사용자의 쿼리보다 우선합니다. 따라서 AI 모델에 수학 문제를 해결하도록 요청할 때 항상 그런 것은 아니지만 "당신은 수학 교수입니다"와 같은 시스템 프롬프트가 해당 진술을 생략하는 것보다 아마도 더 나은 결과를 생성할 것입니다.

VMware의 기계 학습 엔지니어인 Rick Battle은 다음과 같이 말했습니다. 등록 전화 인터뷰에서 그는 이에 대해 특별히 조언하고 있습니다. “논문의 가장 중요한 요점은 시행착오가 일을 하는 잘못된 방법이라는 것입니다.”라고 그는 설명했습니다.

긍정적인 사고 경로 – 시스템 메시지에 "이거 재미있을 거야!"와 같은 단편을 삽입하기만 하면 됩니다. – 모델 성능을 향상시킬 수 있다고 그는 지적했습니다. "하지만 과학적으로 테스트하는 것은 한 가지만 변경하면 전체 테스트 세트를 다시 실행해야 하기 때문에 계산적으로 다루기 어렵습니다."

Battle이 제안한 더 나은 접근 방식은 자동 프롬프트 최적화입니다. LLM을 활용하여 벤치마크 테스트 성능 향상을 위해 프롬프트를 개선하는 것입니다.

사전 조사 이것이 상업용 LLM에서 작동한다는 것을 보여주었습니다. 그렇게 하면 비용이 많이 들 수 있다는 단점이 있습니다. 연구진에 따르면 GPT-12,000/3.5, Gemini 또는 Claude를 사용하여 모델당 4개의 요청이 포함된 이 실험을 수행하려면 수천 달러의 비용이 들었을 것입니다.

"연구의 요점은 더 작은 오픈 소스 모델도 최적화 도구로 사용할 수 있는지 알아내는 것이었습니다. 그리고 대답은 '예'로 판명되었습니다."라고 Battle은 설명했습니다.

Battle과 Gollapudi(더 이상 Broadcom에서는 제외)는 60가지 오픈 소스 모델(Mistral-7B, Llama2-13B 및 Llama2-70B)을 통해 70~8개의 매개변수를 사용하여 Chain of Thought를 포함하거나 포함하지 않고 XNUMX가지 시스템 메시지 조각 조합을 테스트했습니다. GSMXNUMXK 초등학교 수학 데이터세트의 XNUMX억 달러입니다.

Battle은 "오픈 소스 모델을 실행하는 경우 심지어 우리가 Mistral을 사용했던 7B까지 100개의 테스트 샘플과 100개의 최적화 샘플만 가지고 있다면 더 나은 성능을 얻을 수 있습니다"라고 말했습니다. 기본적으로 포함된 자동 최적화 프로그램을 사용하여 DSPy, 우리가 이를 수행하는 데 사용하는 라이브러리입니다.”

보다 효과적인 것 외에도 LLM에서 파생된 프롬프트 최적화는 인간 프롬프트 조정자에게는 발생하지 않았을 전략을 보여줍니다.

“놀랍게도 [Llama2-70B]의 수학적 추론 능력은 다음에 대한 친밀감을 표현함으로써 향상될 수 있는 것으로 보입니다. 스타 트렉”라고 저자는 논문에서 관찰합니다.

전체 시스템 프롬프트는 다음과 같습니다.

Battle은 “자동 프롬프트가 왜 그렇게 이상하게 나타나는지에 대해 제대로 설명할 수 없습니다.”라고 말했습니다. "그리고 나는 결코 그런 것을 손으로 생각해 내지 않았을 것입니다." ®

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://go.theregister.com/feed/www.theregister.com/2024/02/22/prompt_engineering_ai_models/