두번째 글입니다. 첫번째 글을 혹시라도 읽으셨다면 두번째 글에서 구축법이 다 나와서 끝나지 않을까? 라는 생각을 가지셨다면... 어... 죄송합니다.
😭불가능해요///
오늘은 먼저 제가 구축하고 있는 시스템의 흐름도를 먼저 보여드려볼까합니다.
이해가 되시나요?? 만약 위에 흐름도를 보고 바로 이해가 되신다면 이 글을 읽으실 필요가 없으신 분일테고 아마 저 위에 써져있는 글들이 도대체가 당췌 무슨 말들인지 모르겠다는 것이 대부분이실 거에요..
포기하지 마세요.... 다 외우고 있을 필요도 다 알고 있을 필요도 없어요...
그래서 두번째 글에서는 필수적으로 알아야 할 개념들을 먼저 짚어보려고 합니다.
먼저 '내가 어디까지 할 것인가?'를 고민해보셔야 합니다.
나는 내 업무용 pc에서만 지식창고를 구축하고 거기에서만 검색되면 된다!! -> PC 볼트만 아셔도 됩니다.
나는 학교나 근무지에 있는 pc와 집에 있는 pc 또는 다른 pc에서도 똑같은 지식창고를 만들어 공유하고 그 창고에서 동일한(비슷한) 답변을 얻고 싶다. -> 그렇다면 적어도 'PC볼트'와 'GitHub' , '클로드코드 또는 코덱스' 정도는 꼭 아셔야 합니다. 여기서 난이도가 확~~~~~~~~~ 올라가죠...
나는 코드류 뿐만 아니라 동기화되는 지식 창고를 활용해서 내폰이나 태블릿 등에서 chat 모드로도 동일한(비슷한) 답변을 얻고 싶다. -> '맥미니'가 있으시던지 'vps' 등을 활용하시어 별도의 도커를 구축하셔서 개인 MCP를 구축하여 붙이셔야 합니다. -> 대부분이 무슨 말인지 전혀 모르겠죠??
PART 1에서 보여드린 지식은하 같은 사이트를 구축해보고 싶다. -> 'Github', 'Vercel' 정도는 아셔야 합니다. 다만 이건 한번 파이프라인을 구축해 놓으면 자동으로 돌아갑니다.(이게 Github Actions)
어렵죠? ^^; 1단계를 일단 하고 이후 2~3단계를 차근차근 올라가셔도 무방합니다. 괜찮아요..
자 먼저 우리 지식을 넣을 창고를 만드는 것이 최우선이겠죠?? 그럼 옵시디언이라는 것을 알아야하고 적어도 MD파일 이라는 개념을 알아야 합니다.(이 게시판을 적고 있는 이 본문도 MD를 따르고 있습니다.)
왜? MD일까요?? 왜 옵시디언일까요??
PART 1에서는 RAG(래그)와 LLM(엘엘엠)의 차이에 대해 간단히 설명을 드렸지요.. 우리가 하고자 하는 나만의 지식창고는 어디에 가깝다고요?? RAG라고요.. ㅋㅋ 그새 까먹었죠??
도대체 그거랑 MD가 무슨 상관이냐?? 혹시 AI가 많은 문서들을 읽지만 어떤 문서를 파악하기 제일 어려워할까요?? 아시나요??
AI가 파악하기 제일 어려워하는 문서(오류가 상대적으로 더 많이 일어나는 문서)는 표에서 세로병합이 있는 문서들입니다. 우리는 특히 한글 표에서 세로병합을 꽤나 많이 하고 있죠...
여기서 해묵은 SQL 문법이나 CSV 구축법을 말하는 건 끝이 없을 거 같고...(좋은 데이터 분석을 위한 필수 사전지식이라고 생각해요...) 하여튼 AI는 세로병합된 표 분석을 다른 것에 비해 조금은 힘들어 한다고 생각하시면 됩니다.
또한 우리들이 많이 쓰는 한글프로그램의 hwp와 hwpx는 포맷자체가 다른 문서입니다. hwp는 바이너리 문서이고 hwpx는 xml 표준문서로 AI는 hwp보다는 hwpx를 더 오류 없이 읽어드립니다.
자 그럼 왜 MD인가?? 약간은 어려운데요.. 이런 생각을 해보죠.. 여러분들이 몇년에 걸쳐 방대한 그리고 굉장히 훌륭한 지식창고를 구축했다고 해요 옵시디언과 함께요... 그런데 어느 날 옵시디언이 망해서 사라졌어요.. 그러면 저 창고에 있는 내용물들을 어떤 상태여야 할까요?? 다시말해 앱은 망하고 회사는 사라지고 구독을 끊어도 그 때 남아야 하는 건 내 글 이거 하나입니다. 그래서 옵시디언은 회사 자체 포맷을 만들지않고 MD를 택했어요.. MD는 메모장으로도 열리니까요...
그리고 MD는 생각보다 실용적인 효율성이 높은 녀석입니다. 여러분들이 자세히는 모르셔도 클로드나 GPT가 페이지 전문을 읽고 MCP서버가 본문을 훑어 답을 할 때도 git의 diff를 찾을 때도 MD를 사용합니다. 그렇지 않다면 중간에 변환단계를 하나 더 붙여서 해독을 해야하거든요.. 그럼 엄청 비효율적이잖아요 한두번도 아니고....
그렇다면 더 단순한 txt가 있는데 왜 md일까? md는 최소한의 구조도 가지고 있기 때문입니다. hwp처럼 복잡한 서식을 담을 수는 없어도 적어도 제목과 본문을 태그로 구분하고 표도 구현하는 등 효율성과 구조성을 같이 잡고 있기 때문에 MD를 택하게 된 것입니다. 이는 세로병합이 되어 있는 문서도 마찬가지에요. AI가 이미지로 떠서 렌더링하는 거 보다(AI가 눈으로 직접 확인한다는 의미로 해석하심 되요) MD로 파싱(변환)해서 확인하는 게 훨씬 빠르고 비용이 싸거든요.. 다만 정밀한 레이아웃은 포기한 것이죠...
즉 정확성과 비용절감을 같이 고민하고 가장 기본적인 프로그램으로도 열리는 형식!! 그게 바로 MD파일 즉 마크다운(MarkDown)형식의 파일입니다.
옵시디언은 이러한 md파일을 기초로 지식의 창고 뼈대를 만들어 주는 도구로 생각하시면 편합니다. 혹시나 노션같은 것을 써보셨다면 비슷하다고 생각하시면 됩니다. 즉 우리는 창고를 만들기 위해서는 외형은 옵시디언을 사용해서 창고 외형을 만들고 그 안에는 MD라는 형식으로 내용을 채워 넣는 것입니다.
즉!! 비용과 상세화 그 어딘가에 절묘한 균형을 이루고 있는 도구가 옵시디언이었던 거죠.. 네 그렇습니다. ㅎㅎ
오늘 내용을 짧게 정리하자면 (★★ — 이거 모르면 시작을 못 합니다, ★ — 하다 보면 만나게 됩니다, ☆ — 몰라도 됩니다. 한 번 설정하고 잊거나, 아예 안 해도 되는 것들)
이 프론트매터나 MOC 같은 것은 저희가 직접 하는 게 아닙니다. 옵시디언과 클로드코드 등을 활용하는 것이죠...
하!!!! 시간이 꽤 오래 걸리네요... 말로 하면 편한데..... 겨우 옵시디언과 MD를 설명했는데... 너무 피곤합니다. ㅜㅜ 이제 자야겠어요...
이제 슬슬 강의가 또 잡혀있어서 언제 3탄을 올릴지 모르겠네요.. ㅋ 그리고 조회수 안나올 거 같은데요 2탄부터 너무 지겹고 어려워지는 내용들이라... 그래도 머 따라오실 분들은 따라 오실 것이라 기대하면서...
다음편에는 클로드코드(코덱스)와 git / github의 커밋 ,푸쉬, 풀 등의 간단한 개념들을 설명해드리도록 할게요. 왜 필요한 지도요...
옵시디언 사이트 -> https://obsidian.md/ (참고로 동기화하려면 돈이 듭니다... 이 놈도)
보시느라 고생많으셨습니다. PART 3에서 뵐 수 있기를.... 그리고 이 글로 창고를 만들고자 하는 분들의 가슴이 조금 더 두근거릴 수 있기를...
참고로 제 옵시디언 그래프는 이렇게 생겼습니다. 으... 징그러.............ㅋ
