커스텀 에이전트를 생성하고 최적화하기 위한 모범 사례

잘 설계된 커스텀 에이전트는 더 적은 크레딧을 사용하고 더 나은 결과를 제공합니다. 다음 팁을 참고하여 모든 실행에서 최대한의 효과를 얻어보세요.

• 반복 작업의 경우 커스텀 에이전트를 사용합니다. 1회성 요청의 경우 요금제에 포함된 Notion 에이전트를 사용합니다. 커스텀 에이전트는 사용자가 온라인 상태이든 오프라인 상태이든, 백그라운드에서 자율적으로 작동하기 때문에 Notion 크레딧을 기반으로 실행됩니다.

• 특정 트리거를 선택합니다. 모든 메시지나 데이터베이스 업데이트가 아니라 특정 @멘션이나 속성 변경 시 작동하도록 트리거를 설정합니다. 잘못된 시작은 줄이고, 헛되이 실행되는 작업도 최소화합니다.

• 컨텍스트를 명확하게 유지합니다. 에이전트에 필요한 특정 페이지나 데이터베이스를 지정합니다. 이렇게 하면 에이전트가 필요한 것만 읽고 각 실행에서 중점을 두어야 하는 사항에 집중할 수 있습니다.

• '완료'의 기준을 미리 정의합니다. 에이전트에게 완벽한 실행이 어떤 모습인지 정확히 설명합니다. 에이전트 지침이 명확할수록 더 빨리 결과를 얻을 수 있습니다.

• 개별 작업을 배치화합니다. 예를 들어 에이전트에게 출처를 한 번에 하나씩 읽는 대신 여러 출처를 한 번에 읽도록 요청합니다.

  • ✅ "프로젝트 데이터베이스와 #support Slack 채널을 읽은 다음 주간 업데이트를 작성해 줘."

  • 🚫 "프로젝트 데이터베이스를 읽은 다음 주간 업데이트를 작성해 줘. 그런 다음 #support Slack 채널을 읽고 주간 업데이트에 내용을 추가해 줘."

• 모델을 '자동'으로 설정합니다. '자동'으로 설정하면 지능적으로 작업에 적절한 모델이 선택되어, 고품질 유지와 크레딧 사용량을 균형 있게 조절할 수 있습니다.

커스텀 에이전트는 수행해야 할 역할이 명확하고, 적절한 정보 출처를 갖추며, '완료'의 기준이 구체적으로 정의되어 있을 때 가장 신뢰할 수 있습니다. 이 모범 사례 문서에서는 더 나은 지침을 작성하고, 적절한 트리거를 선택하고, 그리고 시간이 지남에 따라 결과를 개선하는 방법을 다룹니다.

어디서부터 시작해야 할지 모르겠다면 팀이 자주 반복하는 업무부터 시작하세요. 커스텀 에이전트는 워크플로를 예측할 수 있고 검토하기 쉬울 때 가장 효과적입니다.

다음과 같은 워크플로를 찾으세요.

• 보고서 작성, 유입되는 요청 분류, 일반적인 Slack 질문에 대한 답변 등 반복되는 작업

• 매일 또는 매주 발생하는 빈번한 업무

• 결과값이 올바른지 빠르게 판단할 수 있는, 평가하기 쉬운 업무

워크플로를 선택했다면 먼저 가장 간단한 버전의 에이전트를 구축하세요. 복잡한 기능을 추가하기 전에 안정적으로 실행되도록 하세요.

프로세스가 안정적이고 예측 가능하다고 느껴지면 트리거 또는 일정을 추가하여 완전히 자동화할 수 있습니다.

커스텀 에이전트에 명확한 지침을 제공하면 보다 일관되고 신뢰할 수 있는 결과를 얻을 수 있습니다. 성공이 어떤 모습인지에 집중하고, 이를 달성하는 데 필요한 맥락을 충분히 제공하세요.

원하는 결과로 시작하세요.

• 모든 단계를 나열하는 것이 아니라 최종 결과값이 어떻게 보여야 하는지 설명하세요

• 적절한 결과를 달성하는 방법을 에이전트가 결정하도록 하세요.

• 예: "완료된 작업, 방해 요소, 다음 단계를 요약한 주간 프로젝트 보고를 작성하세요."

실제 사례를 공유하세요.

• 이전 프로젝트 보고, 서식이 지정된 리포트 또는 분류된 요청을 붙여넣으세요.

• 추상적인 설명 대신 구체적인 예를 사용하세요.

형식과 최종 목적을 명확히 하세요.

• 결과값이 어디로 전달되어야 하는지 명확히 지정하세요(예: Slack, 데이터베이스 또는 기존 페이지).

• 어떤 속성이나 섹션을 작성해야 하는지 명확히 알려주세요.

• 예: "요약 내용을 #team-updates 채널에 게시하고 주간 리포트 데이터베이스에 추가하세요."

간단한 경계를 설정하세요.

• 에이전트가 해야 할 일과 피해야 할 일을 명확히 하세요.

• 예: "새로운 주간 리포트 페이지가 아닌 기존 주간 리포트 페이지를 업데이트하세요" 또는 "#support에서만 응답하세요."

예외적인 경우를 설명하세요.

• 데이터가 없거나 보고할 새로운 사항이 없는 경우 어떻게 해야 하는지 설명하세요.

• 예: "이번 주에 업데이트가 없으면 건너뛰지 말고 '업데이트 없음'이라고 게시하세요."

지침은 짧고 명확하게 작성하세요.

• 짧은 지침이 더 일관된 결과를 만들어냅니다.

• 설정이 길어지면 워크플로를 여러 에이전트로 분할하세요.

커스텀 에이전트를 설정할 때, 작업을 일정에 따라 실행할지, 특정 작업에 대한 반응으로 실행할지, 또는 두 가지 모두로 실행할지 결정하세요.

예측 가능한 작업은 일정 기반으로 실행하세요.

• 활동 여부와 관계없이 작업을 정해진 주기로 실행해야 하는 경우에는 일정 기반 실행을 선택하세요.

• 주간 리포트, 일일 브리핑 또는 월간 요약과 같은 반복적인 작업에 이상적입니다.

반응형 작업은 트리거 기반으로 실행하세요.

• 특정 상황이 발생했을 때 작업이 실행되어야 하는 경우에는 트리거 기반 실행을 선택하세요.

• 예: Slack에 버그가 제출되었을 때, 데이터베이스에 새 페이지가 추가되었을 때, 또는 특정 발신자로부터 이메일이 도착했을 때

필요한 경우 일정 기반과 트리거 기반 실행을 결합해 사용하세요.

• 일부 워크플로에는 두 가지 패턴이 있습니다.

• 예를 들어, 하나의 트리거 기반 에이전트는 버그가 접수될 때마다 이를 분류하고, 별도의 일정 기반 에이전트는 이렇게 분류된 버그를 주간 요약으로 정리할 수 있습니다.

낮은 빈도와 제한된 범위로 시작하세요.

• 일일 일정 대신 주간 일정으로 시작하세요.

• 5개가 아닌 하나의 채널로 시작하세요.

• 결과값이 일관되고 신뢰할 수 있는 것으로 확인되면 확장하세요.

워크플로를 완전히 활성화하기 전에 시간을 들여 설정을 테스트하고 조정하세요.

트리거 또는 일정을 활성화하기 전에 테스트하세요.

• 실행을 클릭하여 에이전트를 수동으로 실행하세요.

• 결과값을 검토하여 예상대로 작동하는지 확인하세요.

• 결과가 올바르게 표시되면 트리거 또는 일정을 켜세요.

소규모 그룹으로 테스트하세요.

• 팀원 몇 명과 에이전트를 공유하여 피드백을 수집하세요.

• 더 광범위하게 배포하기 전에 초기 피드백을 활용해 문제를 발견하고 해결하세요.

반복적인 개선이 필요하다는 점을 염두에 두세요.

• 대부분의 에이전트는 제대로 작동하도록 하려면 여러 번의 테스트 실행이 필요합니다.

• 원래 의도했던 바가 아니라 실제로 표시되는 결과값을 바탕으로 지침을 개선하세요.

먼저 활동 로그를 확인하세요.

• 실행을 트리거한 항목을 확인하려면 시계 아이콘을 클릭하세요.

• 에이전트가 수행한 작업과 실패했을 수 있는 부분을 검토하세요.

• 사용 권한을 확장하기 전에 로그를 사용하여 문제를 진단하고 에이전트가 예상대로 작동하는지 확인하세요.

일반적인 해결 방법을 파악하세요.

• '잘못된 결과값'은 일반적으로 더 구체적인 지침이 필요하다는 것을 의미합니다.

• '누락된 데이터'는 종종 에이전트가

  도구와 사용 권한 아래에서 추가 페이지 또는 데이터베이스에 접근해야 함을 의미합니다.

• '실행 실패'는 일반적으로 권한 격차가 있거나 지침이 불분명함을 나타냅니다.

잘 설계된 에이전트는 더 빠르게 실행되고 불필요한 작업을 피할 수 있습니다. 효율성에 영향을 미치는 세 가지 요소는 다음과 같습니다.

• 에이전트가 실행되는 빈도

• 에이전트가 읽는 콘텐츠의 양

• 작업을 완료하는 데 필요한 단계 수

기본적으로 에이전트의 AI 모델은 자동으로 설정되어 있으며, 이를 통해 Notion은 각 작업에 가장 적합한 모델을 선택할 수 있습니다. 이 기능은 대부분의 에이전트에 적합하지만 언제든지 특정 모델을 선택할 수 있습니다.

성능을 개선하는 가장 쉬운 방법은 불필요한 실행을 줄이는 것입니다. 에이전트가 실제로 작업을 수행할 가능성이 있을 때만 실행되도록 트리거를 설계하세요.

작게 시작하여 점진적으로 확장하세요.

• 매일 실행하는 대신 매주 실행하는 것으로 시작하세요.

• 더 많은 채널이나 워크플로로 확장하기 전에 먼저 하나의 채널 또는 워크플로에서 사용해 보세요.

• 결과를 신뢰할 수 있게 되면 실행 빈도를 늘리세요.

에이전트가 필요할 때만 실행되도록, 신호가 명확한 트리거를 사용하세요.

• Slack의 경우: 모든 메시지를 대상으로 하기보다는 @멘션이나 특정 이모지 반응을 기준으로 트리거를 설정하세요.

• Notion의 경우: 모든 데이터베이스 업데이트가 아니라, 특정 속성 변경을 기준으로 트리거를 설정하세요.

• Notion 메일의 경우: 모든 이메일이 아니라, 필터링된 이메일을 기준으로 트리거를 설정하세요.

'조치 필요 없음'으로 표시되는 실행이 일부 발생할 수 있다는 점을 예상하세요.

• 이는 에이전트가 수행할 작업이 없다고 판단할 때 발생합니다.

• 이는 정상적이고 효율적인 반응으로, 에이전트는 종료하기 전에 트리거와 지침만 확인합니다.

에이전트가 읽는 콘텐츠가 많을수록 각 실행에 더 많은 작업이 필요합니다. 범위를 좁게 유지하세요.

• 에이전트가 참조할 범위를 최대한 좁게 제한하세요. 하나의 페이지 또는 몇 개의 페이지로 제한하고, 필요한 경우에만 에이전트가 불러올 수 있는 하위 페이지로 연결되는 것이 가장 좋습니다.

• 어떤 데이터베이스나 페이지를 정보 출처로 사용해야 하는지 이미 알고 있다면, 광범위하게 검색하도록 에이전트에 요청하지 마세요.

각 실행에 단계가 하나씩 추가될 때마다 작업량이 늘어나며, 특히 커스텀 에이전트가 여러 번 검색을 수행하는 경우 더욱 늘어납니다.

• 에이전트가 더 적은 단계로 작업을 완료할 수 있도록 완료 기준을 명확하게 정의하세요.

• 에이전트가 여러 도구를 동시에 호출하면 더 효율적으로 작업할 수 있습니다. 가능한 경우, 지침에 여러 도구를 병렬로 사용하도록 안내하세요.

  • 동시에 실행 가능: "프로젝트 데이터베이스, 엔지니어링 Slack 채널, 최신 스프린트 노트 페이지를 동시에 읽습니다." 이 세 가지 출처는 독립적이므로, 에이전트는 하나씩 순차적으로 읽는 대신 모두 동시에 읽습니다.

  • 순서대로 실행해야 함: "리포트 데이터베이스에 요약 페이지를 생성한 다음, 해당 링크를 Slack의 #team-updates 채널에 게시합니다." 에이전트는 링크를 게시하기 전에 페이지 URL이 필요하므로 이러한 단계가 순차적으로 진행됩니다.

에이전트가 여러 후속 질문을 자주 하거나, 동일한 작업을 재시도하거나, 같은 페이지를 반복해서 확인하거나, 예측 가능한 방식으로 오류가 발생하는 경우에는 지침이나 설정을 개선해야 합니다.

• 권한 문제로 인해 오류가 빈번하게 발생하는 경우(예: Slack에서 응답하는 데 필요한 사용 권한이 없거나, 신뢰할 수 없는 URL에 접근하려는 경우), 도구 및 사용 권한에서 에이전트의 사용 권한을 조정하거나, 해당 작업을 수행하지 않도록 에이전트 지침에 명시합니다.