안녕하세요... 별로 재미도 없는 주제인데 벌써 3번째네요...
두번째 글에서는 매우 기초적이며 간단한 개념에 대해 알아봤어요....
정리하자면 이런 거였죠...
자료를 모은다.
옵시디언에 넣는다.
AI에게 분석 및 요약, 태깅 등을 요청한다.
나만의 지식창고에 AI가 넣는다.
네.. 머 이런 과정을 거칩니다.
그런데 3, 4번은 그렇다 치고(AI가 해줄테니까요...) 1, 2번을 어떻게 해야할까......?
오늘은 데이터 수집 방법을 한번 보여드릴까 합니다.
무슨 데이터가 있어야 그걸 가지고 AI가 대답을 하든 멀 하든 하니까요...
만약 여러분들이 옵시디언을 사용하고 있으시고 인터넷을 서핑하다가 내가 원하는 자료가 있다면 이 자료를 옵시디언에 넣는 것은 생각보다 간단합니다. 훗.....😎
우리에게는 확장프로그램이 있기 때문이지요...
옵시디언에게도 Obsidian Web Clipper !! 아래와 같은 녀석이죠...
이 클리퍼를 사용하면 옵시디언에 잘 가져다 붙입니다. 생각보다 편해요...
아마 노션클리퍼 같은 걸 사용해보셨다면 훨씬 편하게 어떻게 진행되는 지 아실거에요!!!
인터넷에 있는 매뉴얼이나 파일들은 어쩔 수 없이 다운받아서 옵시디언의 분석폴더(다음편에 구조를 설명드리겠지만 옵시디언의 raw폴더입니다)에 넣어두면 AI가 알아서 문서를 파싱하고 요약해서 MD로 구조화 태깅작업을 합니다.
그런데... 문제는..... 에듀파인의 수많은 공문들이었어요.............
무슨 말이냐면 에듀파인에서 지침 등 참고하여야 하는 공문이 오면 그걸 자세히 읽어본 후 나의 작업폴더에도 저장해야 하고 이를 일일이 번거롭게 옵시디언의 raw폴더로 옮기는 작업을 매우 귀찮게 반복해야 한다는 것입니다.
고민고민고민을 많이 했어요.... 이걸 계속 반복한다면 난 이걸 사용하지 않을 거 같은데 어쩌지??
이걸 좀 쉽게 할 수 있는 방법이 없나?? 그리고 또하나 걱정된 건 공문이나 첨부문서를 무작정 raw폴더에 던졌다가 개인정보를 내가 놓치는 것이 없는 지가 걱정되었어요....
이 두가지 문제를 가지고 고민을 계속하던 중 결국 개인정보를 챙기면서(그러니까 AI서버에 분석을 요청하지 않으면서) raw폴더에 넣을 수 있는 방법은 로컬LLM 밖에는 대안이 없다는 거죠.... 안타깝게도 말이죠........
저에게는 rtx 3050 그래픽카드 램 16기가 짜리가 다행히 있었어요...(그래픽카드 폭등하기 전에 큰맘먹고 사놓은 친구였죠.. 어찌다 다행이던지요...) 거기에 ollama를 깔고 Qwen을 설치하여 로컬 LLM을 구축하였습니다. 그래서 버튼 하나를 만들어 놓고 제가 공문을 열면 자동으로 내용을 요약해주고 후속조치가 필요한 지 개인정보를 주의해야 하는 지 등을 저에게 알려주며 추후조치가 필요한 경우 제가 직접 만든 (이 사이트에도 lite버전을 올렸습니다) todowidget과 연동 -> 구글 할일까지 자동 연동되도록 하였고 요약이 끝나면 위키로 저장 버튼을 통해 자동으로 raw폴더로 보내게 하였습니다. 자그마한 동영상 하나를 밑에 추가했어요 좌측 하단에 보시면 이상한 빨간 버튼이 하나 있습니다. 이게 저만의 요약(서버에 보내지않고) 및 데이터 수집 버튼입니다!!!
** 좀 크게 봐보려면 위 화면 좌측 상단에shorts를 클릭하시면 되요,,, 큼,.......
https://www.youtube.com/shorts/8vS0b9BVfuA
하..... 이러니까..... 어렵죠..... 따라가기가..... 이걸 꼭 해야하나??
그리고 문제는 학교에 그래픽카드가 있는 컴이 없어요... 똥컴 아니면 다행이죠....
데이터 수집은 자동화가 관건이에요...... 어떻게 잘 옮겨질까?? 이걸 내 손으로만 하려고 하면 얼마 가지 않아 손을 놓게 됩니다. 그래서 로컬 LLM을 붙이기 힘든 상황이라면 raw폴더에 자동으로 보내는 파일을 우클릭하면 raw폴더에 바로가기 같은 것을 만드는 걸 강력 추천합니다....
나만의 wiki 나만의 지식창고가 계속 잘 유지되려면 분석보다도 어떻게 자료를 편하게 수집할 수 있을까에 집중하세요!! 막상 해보면 이 수집을 꾸준히 편하게 하는 것이 무엇보다도 중요합니다. 안그러면 아예 만들어 놓고 수집을 몇 번 하다 끝이 난답니다. 부지런히 모을 수밖에요....
이 문제를 어떻게하면 도와드릴 수 있을 지 수많은 고민을 하고 있지만.................. 사용을 해보겠다는 사람도 없고요 ^^;; 그걸 왜 하냐는 분들도 많아서.... 네 그냥 그러고 있답니다. ㅎㅎ
이제까지 기본개념과 어떻게 분석을 위한 데이터를 수집해야하는 지에 대해 간단하게 알아보았습니다.
이제 본격적으로 옵시디언의 폴더 구조를 고민해보고 클로드 코드를 간단하게 사용하는 방법을 익혀보도록 하겠습니다.
재미없어서 죄송합니다. 이 글도 여기까지 따라오시느라 정말 고생많으셨습니다. 감사합니다.
** 혹시나 진짜 구축을 해보시고 싶다면 언제든 쪽지를 보내주시거나 답글 남겨주시면 최대한 답변드릴게요..