공부한 내용을 정리해서 올리자니, 아직 나의 수준이 높지 않기 때문에, 대부분의 사람들이 알고있는 뻔한 내용들이 올라갈 것 같아서, 뭔가 색다른 내용들을 넣을 필요가 있어보였다.
나는 책 한권을 사서 읽고, 블로그 포스팅 주제를 얻고자 교보문고에 갔고, 이 책을 발견하게 되었다.
2. 책 내용
나름 코딩 유튜브를 많이 구독하고 있다고 생각했는데, 막상 서점에 가보니 저자들은 모르는 사람들밖에 없었다.
IT Trend 2024와 같은 책들이 보였는데, 내가 블로그로 작성하기에는 너무 전문적인 내용들이 많았다.
그러다가 박태웅 의장님의 AI 강의라는 책을 발견하게 되었는데, AI의 역사에 관한 내용과 읽어볼만한 논문, ChatGPT에 대한 여러가지 화두를 던지고 있어서, 블로그에 작성할만한 주제들이 많아보여서 구입하게 되었다.
AI Literacy가 중요한 시대라고 한다. 일반인도 미드저니, 할루시네이션, 느닷없이 나타나는 능력(창발성: Emergent Ability) 등의 용어를 이해하고 ChatGPT의 약점은 무엇인지, 중요한 화두는 무엇인지, AI의 발전수준은 어느정도인지를 미리 파악하고 있어야 한다.
AI의 역사
빅데이터분석기사를 공부할때 보았던가? AI의 두번의 겨울과 세번째 부흥기.
Perceptron으로 인해 나타난 첫 번째 부흥기와 XOR 문제로 인한 첫 번째 겨울
다층 퍼셉트론과 역전파 알고리즘으로 인한 두 번째 부흥기와 기울기 소실 문제로 인한 두 번째 겨울
AI의 대부 제프리 힌턴의 ImageNet 우승으로 인한 세 번째 AI의 부흥기
ChatGPT
GPT의 의미는 G : Generative , P: Pre-trained , T: Transformer 모델이라는 뜻.
이전 인공지능 모델과의 차이점은 인간의 피드백을 통한 강화학습(RLHF) 를 통해 훈련되었다는 것
GPT의 자유도(temperature) 와 할루시네이션(Hallucination) 문제
생각의 연결고리
Prompt Engineering 에 관해 다른 내용들은 유튜브 등을 통해 접하던 내용이었지만, 생각의 연결고리 파트는 처음 듣는 내용이었다.
GPT에게 질문을 하기 전에 예시를 먼저 제시한다. 단, 문제를 해결하는 중간과정을 넣어줘야 한다.
다음과 같은 예시를 넣어주고 대답하라고 했을 때, GPT는 문제를 풀지 못한다.x
질문: 로저는 테니스 공 5개를 가지고 있습니다. 그는 테니스 공 캔 2개를 더 삽니다.
각 캔에는 3개의 테니스 공이 들어있습니다. 이제 로저는 몇 개의 테니스 공을 가지고 있나요?`
답: 정답은 11개 입니다.
반면에 다음과 같은 예시를 주고 비슷한 문제를 물어봤을 때, 정답을 맞히더라는 것이다.
질문: 로저는 테니스 공 5개를 가지고 있습니다.
그는 테니스 공 캔 2개를 더 삽니다. 각 캔에는 3개의 테니스 공이 들어있습니다.
이제 로저는 몇 개의 테니스 공을 가지고 있나요?
답: 로저는 5개의 테니스 공으로 시작했습니다.
테니스 공 3개가 들어있는 캔 2개를 합치면 테니스 공이 6개입니다.
5+6=11. 정답은 11개 입니다.
이는 내가 GPT를 사용하면서 느꼈던 성능적인 한계부분에 대한 해결책이 될 수도 있다고 느꼈다.
말하기와 생각하기는 다르다
수십개의 언어로부터 표본을 추출하여 사람들의 뇌를 스캔한 결과, 언어의 종류와 무관하게 작동하는 특정 뉴런 네트워크가 발견되었다. 이 뉴런 네트워크는 수학, 음악, 코딩과 같은 사고활동에 전혀 관여하지 않았다.
언어는 메신저에 불과하며, 상황의 추론, 인지, 지식에는 다른 뉴런 네트워크가 사용됨을 보여주었다.
ChatGPT는 현재 전자의 뉴런 네트워크에 가까우며, 후자에 관련된 문제 해결에서 난관에 부딪히는 모습을 보여주고 있다.
플러그인과 오리지널의 실종
현재 수많은 서비스들이 ChatGPT 플러그인 을 통해 ChatGPT와 연동되고 있다.
ChatGPT는 Stackoverflow의 코드와 내용으로 학습을 했고, ChatGPT가 출시된 그 달에 Stackoverflow는 13%의 이용자수가 감소하였다.
사람들은 편리한 GPT 연동 서비스를 선호할 것이지만, 그 동시에 ChatGPT는 자신과 연동된 서비스들을 잠식해나갈 것이다.
매개변수 100억개를 넘어가며 생기는 능력
어떤 알고리즘을 사용하더라도 성능은 매개변수 100억개가 넘어가면서 비약적으로 증가한다.
페이스북은 알고 있었다
페이스북은 사용자 감소에 위기감을 느끼고 알고리즘을 수정하였다.
단순히 좋아요는 1점. 화나요, 웃겨요, 사랑해요는 5점. 긴 댓글이나 메세지, 공유는 30점으로 추천 알고리즘을 수정하였다.
얼마 후, 페이스북은 사용자의 게시글이 분노와 선정주의 방향으로 변화하고 있다는 사실을 발견하였다.
혐오는 돈이 된다 는 말이 있다. 네이버나 구글 애드센스 등 모든 플랫폼은 객관적인 지표를 기반으로 수익을 배분하며, 그에 따라 게시자들은 사용자의 클릭을 유도하기 쉬운 혐오, 선정적, 자극적인 콘텐츠에 집중하게 된다.
3. 결론과 마무리
나도 ChatGPT의 존재를 알았을 때부터, 1달여 정도를 가슴뛰는 하루를 보냈던 것 같다. ChatGPT4가 출시되자마자 결제를 시작해서 지금까지 사용해오고 있으며, 나름 Prompt 반복 생성과정을 간소화시킨 프로그램을 개발하여 개인용도로 사용해오고 있었다.
그러나 최근 Nomad Coders 강의나, 이러한 서적들을 보았을 때, 내가 얼마나 우물안 개구리였는지, low level 수준의 결과물을 만들어내고 있었는지 알 수 있었다.
AI 개발자는 아니지만, 비슷한 분야에서 업무를 해오고 있었음에도 ChatGPT에 대해 학자들의 견해들에 대해 새롭게 알게된 부분이 많았으며, 특히 ChatGPT가 출시된 2023년에도 정말 많은 사건사고들이 있었음을 알 수 있었다.
AI의 동향들에 대해 지속적으로 Tracking해야겠다는 생각이 들었으며, AI시대에 살아남기 위해 어떻게 해야할지 더욱 치열하게 고민해야겠다고 생각하였다.
