안녕하세요... 이천에 조그마한 학교에서 근무하고 있는 교행인입니다.
이 게시판의 성격에 맞는지 그리고 이러한 내용을 궁금하긴 하신 지 전~~혀 모르겠지만 어딘가에서 조용히 이런 걸 해보고 싶은 분들에게 자그마한 정보를 드릴 수 있다면 이것도 그냥저냥 괜찮을 거 같아 글을 써 봅니다.
글 재주가 별로 없으니 후다닥 읽지 마시고 차근차근히 읽어 주세요 🤣
혹시 나만의 Wiki나 세컨브레인을 들어 보신 적이 있으신가요??
대체 이게 머야?라고 생각하시겠지만 AI계에서는 조금은 유행이 지난 논제이기도 합니다. 어느새 말이죠....
도대체 왜??? 필요하지❓❓❓
맞아요 저런 게 왜 필요할까요?? 여러분들 중에 나무위키를 한번도 안 보신 분들이 있으실까요?? 전 없을 거 같은 데 말이죠...
이런 질문을 한번 드려볼게요? 업무를 하시다가 궁금한 게 있으면 어떤 걸 찾아보시죠??
경기도교육청에서 많은 분들이 피땀눈물을 섞어 고혈을 짜내 만든 행정업무매뉴얼이라는 매우 훌륭한 무기가 우리에게는 있습니다.
그런데 말입니다🤔 이 업무매뉴얼 찾아보기가 꽤... 그러니까 내용을 일일이 찾아보기가 꽤나 어렵지 않으신가요?? 전 13편인 계약만 다운로드 폴더에 제13편 계약 / 제13편 계약(1) / 제13편 계약(2) ..... / 제13편 계약(6) 이렇게 필요할 때마다 다운로드 파일을 찾지 못하고 홈페이지에서 계속 받아서 압축을 풀고 그때그때 필요한 내용만 찾곤 했습니다. 물론 시간이 걸려도 못찾는 경우도 많이 있었지요....
아!! 이거 홈페이지에 흐름도나 연결도가 있으면 더 편하지 않을까?? 라는 생각을 많이 하고 실제 조금씩 작업도 하던 찰나 GPT-3가 출시가 되고 제미나이라는 녀석이 출시가 되었습니다.
여기서 생성형 LLM과 RAG의 차이를 설명할 필요는 없지만 어쨌든 우리는 우리도 모르는 사이에 RAG라는 방식의 툴을 조금씩 사용하기 시작했어요... 최초 초창기에는 GPT유료사용자에게 짜잔~하고 개방되었던 나만의 GPT(GPTs). 이 기능을 이용해서 프롬프트를 미리 넣어놓고 지식에 계약과 관련한 모든 PDF(그래봐야 20개가 한도였지요,,,)를 다 때려넣고 내가 궁굼한 거 물어보면 그래도 가까운 대답을 해 주는 그런 허접한 챗봇녀석.... 그때는 그것도 감지덕지였습니다. 이거 하나만으로도 GPT를 유료구독해야 한다고 했으니까요.,
그런데 어느날 제미나이에서 이러한 기능을 무료로 풀었습니다. 바로 Gems라는 녀석이고 지금도 무료로 풀려있습니다. 그런데 구글은 이것도 성에 차지 않았나봐요... 이 RAG의 초기 대마왕이라 불리었던 NotebookLM 지금은 Notebooks로 변경된 노트북lm이라는 녀석을 무료사용자에게도 내 놓았지요.. 심지어 슬라이드와 인포그래픽도 만들어주면서 말이죠.. 이렇게 한동안 RAG계에서는 노트북lm만한 게 없었습니다. 거기다 무료로....
그런데 어느 순간 한계가 다가왔어요... 이유는 자료를 일일이 넣기도 힘들고 대답도 가끔은 엉망으로도 해주고 그래서 어느 순간 챗봇이라는 녀석의 RAG에 대한 회의감이 들기 시작했습니다.
여기서 두가지의 근원적인 궁금증을 가지게 됩니다.
첫째. 도대체 자료는 어떻게 쌓아놓을 수 있으며 어디까지 쌓아야하는거지??
둘째. 이러한 자료들의 관계를 어떻게 구축을 해야 AI에게 원하는 답변을 얻을 수 있는거지??위와 같은 의문에서 출발한 것이 바로 나만의 위키와 세컨브레인입니다. 여기에 안드레이 카파시(오픈ai 창업멤버이자 현재는 클로드 엔지니어)가 지식저장소에 더 공을 들이고 있다는 말을 하면서 더욱 그 열풍이 강하게 불었습니다. 거기에 옵시디언까지 붙으면서 말이죠....
원하는 건 간단합니다. 계속 쏟아지는 공문이나 지침들을 나중에 내가 편하게 찾아보고 싶은데 .... 이거죠...
예를 들어 이렇게 말입니다. 이렇게 물어보면 이렇게 위키에서 찾고...
이렇게 답변을 내놓죠..
이런 식으로 매뉴얼을 검색하는데 공유재산 관리와 물품관리까지 연계하여 검색하고 감사사례집까지 집어주는 연계성을 포함한 RAG를 꿈꾸는 것입니다.
저는 그래서 이러한 것들을 연결하여 이렇게 사용하고 있어요..
실제 데이터를 기초로 연계성만 보여주려고 만든 사이트입니다. 실제 제 자료가 업데이트되면 여기까지 자동으로 업데이트되도록 설계되었습니다.(https://wiki-galaxy.vercel.app/)
자... 어떠신가요? 이제 슬슬 구미가 당기지 않으신가요?? 아닌가요??
흐흐흐...😎 한번 고민을 해보세요.. 그런데 마냥 쉽지만은 않습니다.
좀 여러가지 기술들이 동원되니까요... 그래도 효과는 끝내주더라고요..
여기까지 PART 1을 마무리 하겠습니다. 조회수를 봐서 PART 2를 (큼큼.......) 써 보려고요...
낮으면 굳이요..........ㅎㅎㅎ 여기까지 읽으시느라 고생많으셨어요~~ 감사합니다.
PART 2에서 또 뵙기를... 큼큼 바라고 바라봅니다^^