LLM의 위험성, 잘 알고 예방해야 잘 활용할 수 있다. 정보의 쓰나미 시대! 양날의 검 ChatGPT. HSAD 공식 블로그 HSADzine

HSAD 공식 블로그 HSADzine

 

*용어 정리: ChatGPT를 포함한 대규모 언어모델 기반의 기술은 LLM(Large Language Model)이라고 부르고, 이는 생성형 AI 중 하나입니다. 본문에서는 글을 처음이 아닌 중간부터 읽으시는 경우를 가정하여 편의상 LLM이라는 용어 대신에 ChatGPT 혹은 생성형 AI라고 혼용해서 썼습니다.

 

AI 시대의 서막은 끝났다. 이제 활용의 시대

 

출처: Lightspeed [1]

 

요즘 ChatGPT, Gemini, Claude, Midjourney LLM을 포함해 생성형 AI 관련 서비스들이 물밀듯이 쏟아져 나오고 있습니다. ChatGPT에게 계속해서 말로 채찍질하며 요구하며 원하는 것을 많이 얻어내는 것을 의미하는 채찍피티라는 재미있는 신조어까지 생겨났죠! 위 사진은 그 많은 AI 서비스들을 나름대로 분류해 놓은 것인데, 과연 이 중 10%라도 사용해 본 사람이 몇이나 될까요? 그야말로 엄청난 수의 서비스들이 경쟁하고 있고, 우리나라는 어느새 ChatGPT 유료 구독자 순위로 세계 2위를 했고, 네이버 점유율 또한 아직 위험 수준은 아니지만 구글과 LLM에 밀려 계속해서 하락하고 있습니다.

 

하지만 유료 구독을 하려면 좀 비싸고 아깝죠? 꿀팁 하나를 드리자면! 이미 쓰고 계신 분들이 많이 있지만, 경쟁이 치열한 만큼 웬만한 LLM은 성능이 나쁘지 않기 때문에, 유료 구독을 하지 않더라도 ChatGPT, Gemini, Claude, Grok, Perplexity 등 다양한 서비스들을 한도가 도달하면 다음 서비스로 한도 제한이 풀리기 전까지 갈아타는 방식으로만 사용하더라도 절대 부족함이 없을 겁니다!

 

엔비디아(Nvidia)는 전 세계 기업 시가총액 1위인 동시에(놀랍게도 브랜드 인지도는 100위권 밖입니다 [2]) 인공지능 시대에서 압도적인 기술력 1위를 하고 있는 기업입니다. 이 기업의 CEO 젠슨황(Jensen Huang)은 이제 AI는 전기나 인터넷처럼 사회 인프라의 핵심이 될 것이라고 선언했습니다 [3].

 

AI의 성능이 매우 높아지게 되면서 대부분의 기술력을 포함해 기존에 암기력, 수학적 계산을 기반으로 고도의 전문성을 요구했던 의학, 법학, 회계 등을 포함해 AI를 만든 그 자체인 소프트웨어 엔지니어링마저도 허들이 낮아지게 되었습니다. 실제로 마이크로소프트 해고 인원의 무려 40%가 소프트웨어 개발자였습니다 [4]. 그래서 그런지 최근에는 단순히 뭔가를 더 많이 알고 할 수 있는 인재보다도, 일을 맡으면 끝까지 책임지고 제대로 실행하고, 변화에 빠르게 적응하는 인재가 더 중요해졌다고도 합니다.

 

AI의 위험성

 

이러한 인재가 되기 위해서는 필연적으로 AI를 이용할 수밖에 없습니다. 생산성에서 정말 많은 차이가 나거든요! 하지만 AI가 가지고 있는 위험성도 몇 가지가 있고, 매우 치명적일 수 있습니다. 많은 사람들이 AI를 매우 유용하고 스마트하게 활용하고 있는 반면, 또 한편에는 많은 사람들이 블로그 글을 자동으로 만들어서 수익화를 했다거나, 이제는 직원을 뽑지 않는다는 등 자극적인 제목과 내용으로 무조건 AI를 써야 한다는 내용으로 AI를 무분별하게 사용하도록 조장하고 있습니다. 디지털 기술에 대한 맹신, 혹은 학계에서 부르는 Overtrust는 당연히 많은 부작용을 낳게 됩니다. 근래의 LLM을 포함한 생성형 AI가 가지고 있는 문제점 중 가장 큰 두 가지에 대해서 소개하겠습니다.

 

1. Hallucination

 

LLM 기반 생성형 AI 모델들의 Hallucination 비율 / 출처: Madtimes [5]

 

창의적인 일을 맡길 때, 특히 세상에 관련 내용이 거의 없을 것이라고 판단되는 분야에서는 AI를 매우 조심스럽게 사용해야 하고, LLM이 기본적으로 가지고 있는 Hallucination(환각)이라는 특성을 반드시 인지한 상태에서 사용해야 합니다. 환각은 AI가 잘못된 정보를 마치 실제처럼 주는 것을 의미합니다. 이런 현상은 이미 지식이 널리 알려져 있는 단순한 내용에 대해서도 발생하지만, 앞서 언급한 것처럼 AI에 제대로 학습되었을 가능성이 매우 낮은 창의적 기획이나, 연구 분야에서는 훨씬 더 많이 발생합니다. 실제로 ChatGPT Claude 모두 아래와 같이 잘못된 정보를 줄 수 있음을 알려주고 있습니다.

 

 

Claude 웹사이트에 들어가 보더라도 명확하게 Hallucination(환각)에 대해서 설명하고 있습니다.

 

 

연구에서의 예시를 간단히 보여드리면, 제가 아래와 같이 질문을 한 상황입니다.

 

“Journal Impact Factor 10이 넘는 SCI급 저널 중에서 인용 수도 50 이상인 논문 중 회사에서의 DX 혹은 AX 관련해 발전 전략에 대해 설명한 논문을 추천해 줘. 출처도 남겨줘.”

 

아래와 같이, 결과를 보면 실제로 결과가 나오긴 하지만 인용수가 매우 잘못되어 있고, 출처도 남기지 않았습니다. 어떤 때는 존재하지 않는 논문을 소개하거나, 내용을 보면 전혀 다른 경우도 많습니다. 따라서 반드시 체크를 해야 합니다!

 

ChatGPT 결과

 

실제 Google Scholar 결과

 

그리고 위에서 봤던 Hallucination 비율은 특정 작업에 대한 벤치마크일 뿐, 실제 리서치 업무를 하다 보면 잘못된 정보가 거의 반드시 나온다고 보시면 됩니다.

 

2. Ranking

 

두 번째는 정보의 Ranking입니다. 유튜브를 계속 보다 보면 알고리즘이 내가 보는 것에 맞춰지고, 편협해질 수 있다는 말 들어 보셨나요? 생성형 AI가 들어서면서, 지식을 받아들이는 방식에도 엄청난 변화가 일어나고 있습니다. 새로운 지식을 받아들이는 업무가 잦은 연구자를 예시로 들어보겠습니다. 저의 지도교수님은 대학원생일 때 도서관에 가서 사서에게 원하는 학술지 혹은 논문이 어디에 있는지 문의하고, 그 섹션에서 논문을 훑어보고는, 내용이 좋으면 복사기에 복사하여 연구실에 가져와서는 하이라이트를 해서 연구실의 다른 연구자들과 공유했습니다.

 

반면 저는, 석사과정 때는 Google Scholar(구글의 학술지 검색 사이트)로 논문을 검색했고, 박사과정 때는 막 ChatGPT가 나오면서 이를 통해 검색하고, 졸업 후에 박사 후 연구원(Post-Doc)이 되어서는 대부분의 논문 검색을 ChatGPT 외에도 다양한 LLM을 사용하게 되었습니다.

 

꼭 연구자가 아니더라도 이런 경향성이 다르지 않습니다. 예전에는 책을 일일이 찾아보고 읽어보고 모두 이해해야 무슨 내용인지 파악이 가능하고 판단할 수 있었지만, 구글 등 검색엔진이 들어오면서 검색어에 따라 어느 정도 신뢰도가 높은 정보들, 연관성이 높은 정보들이 랭킹 되어 상위에 노출되고, 우리는 그 내용을 읽었죠. 그래도 제대로 된 정보를 얻기 위해 적어도 구글이나 네이버 1페이지에 있는 글을 10개 정도까지는 모두 읽었습니다. 하지만 지금은 LLM이 생기면서 모델이 추천하는 정보 2~3개에 의존하게 되었습니다. 언뜻 보면 문제가 없을 듯하지만, 이로 인해 문제 해결 능력의 다양성이 떨어지고, 새로운 지식을 받아들이는 것에 대해 매우 취약해지는 문제가 발생합니다.

 

광고 성과를 어떻게 분석하고 예산을 분배할 수 있는지에 대해서 검색하는 상황을 예로 들어볼까요? ChatGPT에 물어보면 때에 따라 다르긴 하지만, 대부분의 경우 아래와 같이 가장 일반적인 다중 선형 회귀분석 기반의 Media Mix Modeling(MMM)을 알려줍니다. 하지만 구글링을 해보면 다양한 예산 분배 방법, KPI가 어떤 게 될 수 있는지 다양한 경험에서 비롯된 노하우, 일반적인 MMM 외에도 메타와 구글의 예시 등 다양한 것들이 있죠.

 

 

정보의 쓰나미 시대에서 스마트한 AI 활용 방법

 

그럼 이런 AI의 문제점을 피하기 위해서 어떻게 해야 할까요? 제가 초등학교, 중학교에 다닐 때에는 한창 인터넷이 발달하고 여러 검색 엔진이 나오고 있어서 정보의 홍수 속에서 정보를 잘 분별하고 판단하고 활용할 수 있어야 한다는 교육을 받았습니다. 그런데 요즘은 그야말로 매일 같이 새로운 정보가 나오고 있어서 정보의 쓰나미 시대가 아닌가 하는 생각이 듭니다. 20년 이상 경력의 데이터 분석가 지인이 한 말에 의하면 이전에는 데이터 분석 방법론 하나로 5년 정도는 회사에서 충분히 밥벌이를 할 수 있었는데, 지금은 6개월도 채 못 가서 새로운 모델이 나와서 다시 공부를 해야 하다 보니 너무 힘이 들고, 이제는 경쟁력을 가지기 위해 마케팅이나 여러 도메인에 대한 지식을 얻기 위해 공부하고 있다고 합니다.

 

어떻게 잘 활용해야 할지는 너무 많은 분들이 사례를 알려주고 계시니, 저는 함정에 빠지지 않는 예방 방법으로 의심과 설득 능력, 이 두 가지를 이야기하고 싶습니다.

 

1. 의심하고 또 의심하기

 

워낙 ChatGPT가 그럴듯하다 보니, “ChatGPT가 그렇대요~”라고 하며 업무를 보고 하는 경우도 있고, 아예 생성형 AI를 사용했다는 사실을 말하지 않는 경우도 있다고 합니다. 이런 문제는 최근 학계에서도 큰 문제여서 거의 모든 학술지(Journal)에서 생성형 AI에 대해서 아이디어 생성, 데이터 분석 등의 기능을 연구 윤리를 엄격히 준수하여 사용할 것을 강조하고 있습니다. 하지만 생성형 AI는 필연적으로 잘못된 정보를 줄 수밖에 없고, 논리적으로 연결성이 올바르지 않은 경우도 그렇다고 할 수도 있습니다. 본인이 실무자라면 ChatGPT를 상대로, 리더라면 실무자를 상대로, 절대로 정보를 그대로 받아들이지 마시고, 출처를 질문하고, 의심을 하며 내용이 맞는지 잘 확인하고, 구글링이나 네이버 검색 등을 병행하시기를 추천합니다. 그렇지 않으면 정말 큰 낭패를 볼 수 있어요.

 

2. 변하지 않는 본질, 사람을 설득하는 능력 갖추기

 

세상이 변하고 지식을 검색하고 보고하는 방식도 빠르게 바뀌어 가고 있지만, 결국 사람을 설득하기 위해서 말을 하는 것은 사람입니다. 저는 누군가를 설득하기 위해서 여러 스킬이 필요하지만, 그중에서도 가장 중요한 것은 대화 능력과 구조적인 사고 능력이라고 생각합니다. 그래서 업무를 할 때 혼자서 일을 하기보다는 가급적 자주 대화를 하며 업무의 방향성을 계속해서 조정하고, 상대방의 의중을 파악하여 내 주장을 논리적으로 이야기하는 연습을 꾸준히 하는 것이 가장 중요하다고 생각합니다.

 

하지만 주장을 구조적으로 생각하면서 이야기하는 건 매우 어려운 일인데요, 이를 기르기 위한 좋은 방법은 독서라고 생각합니다(글을 쓰는 중 우연히 유튜브 영상을 보았는데, 빅테크 기업들도 직원들의 글쓰기 능력을 매우 중요하게 본다고 합니다! [6]).

 

서기 105년 중국의 환관 채륜이 최초로 종이를 발명한 이후 책에 기록한 역사가 이렇게 긴데도 불구하고 여전히 독서가 중요하다고 하는 이유는, 매우 긴 호흡으로 지식과, 그에 수반된 맥락을 흡수하고, 저자가 의도적으로 전달하고자 하는 의미를 구조적으로 받아들이는 훈련을 자연스럽게 하게 되기 때문입니다. 논술 등 구조적인 글쓰기까지 하면 더 좋겠지만, 적어도 꾸준히 독서를 하는 것이 앞서 생성형 AI가 가지고 있는 태생적인 문제에 가장 효과적으로 대응하고, 비판적 사고를 하며 좋은 질문을 통해 생성형 AI를 매우 잘 활용할 수 있는 무기를 가질 수 있도록 하는 가장 좋은 방법이라고 생각합니다.

 

마무리, 프롬프트 공유

 

과거의 통계를 기반으로 주식을 투자해 주는 AI 주식 투자가 항상 수익률을 기대할 수 없는 것처럼, 결국엔 사람 간의 관계가 가장 중요하고, AI를 도구로서 잘 활용하려면 이러한 관계, 설득 등 기본적인 능력이 가장 중요하다고 생각합니다. 또한 최근에는 자동으로 생성된 블로그 글들이 너무 많아서, 나름 검색엔진에서 걸러내고는 있지만, ChatGPT 등 생성형 AI가 제공하는 정보도 이에 따라 많이 오염되고 있다고 합니다. 그래서 생성형 AI를 잘 활용할 수 있는 몇 가지 활용 예시와 제가 애용하는 프롬프트를 드리고 글을 마치겠습니다.

 

1. 활용 방법

 

-      아이디어 발산: 여러 아이디어를 얻고 싶을 때는 정보를 개방형 질문으로 모호하고 단순하게 주기.

-      정보 탐색: 정확한 방법을 얻고 싶을 땐 매우 구체적으로 지시하고 맥락, 배경정보를 주고, 필요하다면 역할도 부여하기.

-      번역: 번역을 하고 싶을 땐 한국어 주고 바로 번역 요구하기보단 어느 정도 외국어로 작성을 하고 자연스럽게 고쳐 달라고 하기.

-      컨설팅: 내가 생각한 방법론을 매우 구체적이고 길게 설명하고 잘못된 것이나, 보완할 내용을 컨설팅받기.

-      포맷: 원하는 형식의 글을 예시로 주고 이에 맞추도록 지시할 것, 혹은 주제, 옵션, , 포맷, 방법 등을 구체적으로 요구하기

 

2. 프롬프트

 

-      모르는 것은 모른다고 할 것.

-      출처를 반드시 포함하고, 생성형 AI로 의심되는 글은 가져오지 말 것.

 

출처:

[1] Lisa Han & Nnamdi Iregbulem. (2024). AI Enterprise Market Map: Cutting through the hype.

https://lsvp.com/stories/ai-enterprise-market-map-cutting-through-the-hype/

[2] 박찬. (2025). 시총 1위 찍은 엔비디아, 브랜드 인지도는 100위권 밖. https://www.aitimes.com/news/articleView.html?idxno=160932

[3] Brian Caulfield. (2025). NVIDIA CEO Envisions AI Infrastructure Industry Worth ‘Trillions of Dollars.’ https://blogs.nvidia.com/blog/computex-2025-jensen-huang/

[4] 김수정. (2025). 해고되는 MS 직원 40%는 ‘소프트웨어 개발자’… AI가 촉발한 기술직 해고. https://biz.chosun.com/it-science/ict/2025/05/16/X3JFCA57QVALPK35C47KTJLQ7E/?utm_source=naver&utm_medium=original&utm_campaign=biz

[5] 최영호. (2025). [인포그래픽] 할루시네이션이 가장 낮은 AI 모델. https://www.madtimes.org/news/articleView.html?idxno=22841

[6] 손에 잡히는 경제. (2025). 빅테크가 집착하는 능력, 의외로 글쓰기입니다 - 신재은 대표('실리콘밸리 프로세스의 힘' 저자). https://youtu.be/vs_OM7pJSt8?si=XLFIs8wx_X04ySGz

 

이충헌 박사의 AI 트렌드와 인사이트 2025.06

 

 

Posted by 레인디어팀