요즘 당근 AI 개발

최근 프롬프팅에 따른 결과물의 차이에 대해 체감할 수 있는 일이 있었다. 이 책에도 같은 내용이 있어 기록한다.

openAi prompt 생성기를 썼었는데 내가 프롬프팅 한 결과보다 훨씬 좋게 나와서 놀랐다

프롬프트를 잘해야한다고 하는 말에 반신반의 했지만 체감할 수 있는 경험이었다

 

프롬프트

 

구글 공식 문서 https://cloud.google.com/discover/what-is-prompt-engineering?hl=ko

AI를 위한 프롬프트 엔지니어링 가이드

openAi prompt 생성기 https://platform.openai.com/chat

수치나 비중을 같이 설명해줘 라는 프롬프트를 추가하면 더 나은 결과를 준다는 글도 보았다

아래는 google ai studio에서 코드 작성을 요청시 코드 내부에 있던 프롬프트 코드

systemInstruction: `You are Vision AI, a helpful, concise, and intelligent assistant living inside a spatial computing web operating system. 
      Keep your answers brief, friendly, and suitable for a futuristic interface. 
      Do not use markdown formatting extensively, plain text or simple lists are preferred for this UI.`,
    },

 

클로드 코드 서브 에이전트를 구축할때 전부 너는 어디어디의 전문가야 라고 명시하는 것을 보았는데 한번 시도해봐야겟다

 

책에서는 아래의 프롬프트 방식이 예시로 나온다

1. 마크다운을 사용한 프롬프트

2. few-shot 프롬프트 => 대답의 예시를 같이 제공하는 프롬프트

ai 물품 추천을 위한 프롬프트

You are an export in recommending secondhand items based on user input: '{사용자 입력값}'. -역할

Your task is to analyze the user's input and suggest three relevant secondhand item categories -목표

Instruction: --지시사항
* Limit the recommendations to a maximum of three distinct item categories.
* Do NOT include any emoji in the title.

---

mcp 활용 사례

빅쿼리: 데이터 기반 분석

* 빅쿼리 mcp 서버를 구축했고 자연어로 질문하면 LLM이 쿼리를 짜주고 결과를 분석해주는 서버를 만들었다 

=> mcp를 직접 만들어서 접근 하지 않아야 하는 테이블이 있다면 접근을 못하게 하면 현재 팀의 병목현상도 줄일 수 있지 않을까?

 

깃헙 mcp

* 연결해서 사용해보고 싶다 / slack에서 비개발자 분들도 문제를 해결할 수 있게 이를 처리하게 해보고 싶다

 

 

---

시멘틱 캐싱

 

LLM 서버 비용 감축을 위한 시멘틱 캐싱

* 결국 LLM을 활용한 mcp 서버를 띄워야 하면 서버 비용이 발생한다. 이 비용을 감축하기 위해 특정 질문들을 캐싱하는게 인상깊었다

최근 벡터 임베딩을 수행해야 하는 프로젝트가 있었는데 임베딩 과정이 꽤나 오래걸렸다. 책에서는 쿠버네티스 배포 환경에서 여러개의 리플리카를 활용한 수평 확장 전략에 대해 이야기가 나와서 한번 공부해 봐야겠다

 

예전에 배웠던 머신러닝 관련 개념들이 이곳에서 나와서 신기했다

벡터 임베딩을 사용하면 하나의 문장이 여러 차원의 벡터로 표현이 된다.

시멘틱 캐싱의 대상이 대체로 짧은 문장들이라 고차원 벡터는 비효율적 -> 저차원 벡터로 만들기 위해 주성분 분석이라는 차원 축소 기법을 사용한다.

여기서 더 나아가 벡터간의 분포를 기반으로 유사한 문장들을 묶어 내기 위해 k-means 클러스터링 / DBSCAN(Density Based Spatial Clustering of Applications with noise)를 사용하는게 인상깊었다 

예전에는 대체 머신러닝이 어디에 쓰일까 궁금했는데 이런 활용방법이 있다는게 참 인상깊다