🗨 Gen AI 등장과 IT/Data/AI Gover

경영·비즈니스 ・ 2024.03.21

🗨 Gen AI 등장과 IT/Data/AI Governance Governance. 우리 말로 관리/통제 체계. 이건 뭘 하겠다는 걸까? 한마디로 극 축약하면 '책임소재를 명확하게 하겠다' 이다. 조직 구조, 조직간 역할, TOM(목표운영모델_프로세스), 원칙/정책/지침 및 필요인력 산정(FTE), 이행 전략 등으로 정의되어 운영된다. 이를 위해 Biz/IT/Data/AI 직군 내에 더 상세하게 직무를 나눠 이를 정리해 나가며 해당 기업의 조직문화를 고려하여 이해충돌을 감안하며 정리했던 기억이 난다. 데이터 거버넌스가 지난 3년전부터 대기업 중심으로 정비가 확산되고 이를 토대로 MLOps가 자리잡히는 시점에 AI 거버넌스가 나오며 ML 기준 AI윤리 준수, 표본의 Bias 최소화 등의 정책과 프로세스 정의가 되던게 불과 1년 전. 데이터 거버넌스의 필요성이 강조되는 이유는 표준/구조/흐름/품질/카달로그/자산/비즈메타 관리 등 데이터 관리 기본기를 갖춰서 더 고도화된 ML 알고리즘 및 EBM(이벤트기반마케팅) 등이 가능한 환경으로 가기 위한 기초 체력 다지기였다. 이런 준비는 내가 컨설팅 업계를 떠나기 직전인 23년 초에도 아주 활발하게 진행되었고 현재도 높은 우선순위로 진행 중이다. 하지만 야속하게도 과거의 관리 부실을 만회할 수 있는 기초체력이 제대로 다져 지지 않은 시점에 너무 큰 변화가 몰려왔다. 🚀 생성형 AI !!! 아주 섹시한 신기술은 도입해야겠고, 장기전으로 가열차게 치고 갈 체력은 다져야겠고 우선순위 관리가 참 어려운 현 시점이다. 참고로 Data Scientist들은 최근 2~3년 너무 고생이 많은 것 같다. 보편적으로 과거 2년치 데이터를 학습하여 미래를 예측을 하는 모델을 만드는데 펜데믹, 엔데믹, 생성AI 출현 등으로 고객 Behavior의 일관성이 계속 바뀌고 있다. 화살을 쏘는데 계속 무빙 타겟이다. 😥 생성형 AI도 언젠가 널리 퍼져 뉴노멀이 되는 시대가 도래하겠지만, 이때 과거의 현상을 제대로 판단하고 빠르게 새로운 질서를 잡아가기 위해서는 LLMOps와 같이 생성형 AI 서비스를 개발-운영-모니터링-개선 등의 체계가 필수이다. 많은 기업들이 빠른 서비스 적용을 위해 '닥치고 공격' 중심의 생성형 AI 구축을 하고 있는 것으로 보이는데, 개발/운영 상의 활동 이력 관리, 서비스별 권한 정책, LLM 호출에 대한 모든 이력 관리, 매호출건마다 가성비(속도/비용)모니터링, 테스트자동화를 통한 품질관리 활동과 같은 관리기능도 매우 중요하다. 또한 AI 부서내 프롬프트엔지니어의 역할이 NO/LOW-CODE 기반 서비스로 확대되면서 점차 현업(PO, 서비스 기획) 쪽으로 이동해 가고 있다. 즉, 신기술이 나왔을 때 멋진 초기 스퍼트도 좋지만 뒷심이 딸릴수 있으니, 제대로 된 관리기능을 갖추며 추진하는 것을 고려해야 한다. 이미 서비스를 운영 중인 기업들은 어떠한가? 스스로 매니징하며 개선시킬수 있는 기반을 가지고 있는가? 아니면 외주사에 매번 의존해야 하는가? If you can't measure it, you can't manage it. Peter Drucker #WantedLaaS #LLMOPS #GENAI_NoCode_Monitoring_TestAutomation_LLMHUB

콘텐츠를 더 읽고 싶다면?

원티드에 가입해 주세요.
로그인 후 모든 글을 볼 수 있습니다.

・댓글 2