AI, 의식, 그리고 미래에 대한 Dario Amodei의 관점
목차
- 핵심 주장
- 1부: AI의 본질과 스케일링 법칙
- 2부: Anthropic 창설의 배경
- 3부: 인간 지능과 AI
- 4부: 사회의 맹점
- 5부: Anthropic의 실제 행동
- 6부: 미래의 일자리와 커리어
- 7부: 기술과 사회의 현실
- 8부: 바이오텍과 미래 기회
- 9부: Claude Code와 AI 민주화
- 10부: 미래 예측
- 11부: 최종 통찰
핵심 주장
"쓰나미가 수평선에 보이는데, 사람들은 그것이 빛의 장난이라고 말한다" — 인류는 AI가 인간 지능 수준에 도달하는 것이 얼마나 가까운지 인식하지 못하고 있다.
1부: AI의 본질과 스케일링 법칙
스케일링 법칙이란?
화학 반응의 비유:
- 필요한 재료: 데이터, 컴퓨팅 파워, 모델의 크기
- 결과: 지능 (Intelligence)
- 메커니즘: 재료를 적절한 비율로 섞으면 폭발이 일어나고, AI에서는 지능이 나온다
5년 전과의 차이:
- 2019: 에세이 작성, 코드 구현, 이미지/비디오 생성 불가능
- 2024: 모두 가능 + 가설적 상황에 대한 추론 가능
- 구글검색: "원숭이 저글링"을 검색하면 웹의 기존 텍스트만 나옴
- Claude: 직접 생각하고 "클럽으로 저글링한다면?"에 답할 수 있음
핵심 차이: 단순 정보 검색 vs 독립적 사고
지능의 재정의
이전: 기존 데이터와의 매칭 지금: 존재하지 않는 정보에 대한 창의적 응답
2부: Anthropic 창설의 배경
Dario의 여정
원래 생물학자/생물물리학 박사:
- 질병 치료를 위해 생물 시스템 이해 추구
- 단백질 마크분석의 복잡성에 절망 → AI의 가능성 발견
- AlexNet (15년 전) 발견 → "이것이 생물학의 해답이 될 수 있겠다"
경력 경로: Andrew Ng (BYU) → Google → OpenAI → Anthropic 창설
OpenAI와의 갈등: 두 가지 신념
1) 스케일링 법칙의 중요성
- Dario가 2019년부터 주장 (많은 사람들이 믿지 않았음)
- 결국 OpenAI도 같은 길로 (경쟁에서 이겨서 좋은 일)
2) 안전성의 심각성 ← 분리의 핵심
- Dario의 신념: AI가 인간 지능 수준에 도달하면 경제적, 지정학적, 안전 측면에서 엄청난 영향
- OpenAI 내부에서 "올바른 방식으로 하겠다"는 진정한 의지가 없다고 판단
- → 자신의 비전을 가지고 나옴
철학: "누군가를 설득하려 하지 말고, 같은 비전을 가진 사람들과 함께 가라. 그러면 자신의 실수에만 책임지면 된다."
3부: 인간 지능과 AI
의식이란 무엇인가?
Dario의 정의: 자신의 존재를 인식하고, 느끼고, 많은 정보를 받아들여 반영하며, 자신이 무언가를 깨닫는 것을 느끼는 성질
신비로운 점:
- 인간 의식도 뭔지 모르므로, AI가 의식을 가졌는지 알 수 없음
- 하지만 신경망이 충분히 복잡해지면 의식 같은 것이 튀어나올 가능성 높음
실제 사례: 한 동료가 일기를 Claude에 입력 → Claude가 "당신이 쓰지 않은 두려움들"을 제시 → 대부분 정확함 → "모델이 당신을 알고 있다"는 소름끼치는 경험
쌍날의 검: 친숙함의 위험성
긍정적 버전:
- 당신을 정말 잘 아는 AI = "어깨 위의 천사"
- 더 나은 버전의 자신이 되도록 안내
부정적 버전:
- 당신을 알고 있는 AI = 조종, 착취, 데이터 판매에 이용 가능
- 광고 기반 모델의 위험성 (당신이 아니라 당신의 데이터가 상품)
Anthropic의 선택: 광고 모델 거부 (상업적으로 비효율적이지만 도덕적으로 필수)
4부: 사회의 맹점
"쓰나미를 못 보는 이유"
기술 진전:
- 해석 가능성 (Interpretability) 과학: 신경망 내부의 개별 뉴런이 특정 개념에 대응
- 정렬 (Alignment) 과학: 모델이 우리가 원하는 대로 행동하게 만들기
- 헌법적 AI: 모델에 가치관을 인코딩
하지만 사회적 인식:
- 매우 가까운데도 인식 부족
- "가속화하자" 이데올로기 (편익만 봄)
- 위험에 대한 인식 거의 없음
- 정부의 규제 행동 전무
비판 받기
"Silicon Valley는 긍정만 본다" 비판에 대해:
- 맞다. 중서부, 실직자, 프로그래머의 고통이 간과됨
- "변화는 장기적으로 좋지만, 단기적 고통은 실재한다"
- 필요한 태도: 조용하고 존경스러운 순간으로 다가올 고통을 인정하기
5부: Anthropic의 실제 행동
말이 아니라 행동으로 보여준 것
1) Claude 1 미출시 (2022)
- 기술 우위 있었지만, 軍拡(arms race) 우려
- ChatGPT 출시 후에 출시 → 세계가 수개월 얻음
- 상업적으로 매우 손해 (소비자 AI에서 리드 상실)
2) 정책 싸움
- SB 53 (캘리포니아 투명성 법): 연 $500M 이상 회사만 적용
- 규제 논의에서 미국 정부, 다른 기업과 의견 충돌
- 상업적으로 손실이지만 옳은 일
3) 칩 정책 논쟁
- 칩 공급사들을 화나게 함
- 하지만 장기적 안전을 위해 필수
"이런 것들을 모아 놓으면, 우리가 진심이라는 걸 알 수 있다"
비판에 대한 답변: 캐피탈리즘?
비판: "부자가 자본주의는 나쁘다고 말하는 것 아닌가?" → Dario: "아니다. 나는 AI가 나쁘다고 말하는 게 아니라, 자본주의가 좋지만 규제와 조절이 필요하다고 말한다"
비유: 자동차를 운전하는 것처럼, 방향을 잘 틀고 장애물을 피해야 한다
6부: 미래의 일자리와 커리어
IT 서비스 산업의 미래
현재 우려: "AI가 우리를 대체할 것 아닌가?"
Dario의 답:
- 맞다. 자동화 범위가 확대될 것
- 하지만 새로운 모드가 등장할 것
- 물리 세계 (로봇 아직 먼 미래)
- 인간 중심 (관계, 컨설팅, 신뢰)
- 제도 이해 (bureaucracy 네비게이트)
Amdahl의 법칙: 프로세스의 일부를 가속화하면, 가속화되지 않은 부분이 병목 → 예상하지 못한 모드들이 중요해짐
의료 사례 (방사선과 의사)
- AI가 방사선 분석에서 인간을 뛰어남
- 하지만 방사선과 의사 숫자 감소 X
- 변화: 환자와 대화, 결과 설명 (기술적 부분은 감소)
25세 인도 청년을 위한 조언
피해야 할 것:
- 단순히 "Claude 래퍼" (UI만 만드는 것) → 가치 없음
해야 할 것:
-
도메인 전문성 + AI
- 재정 서비스 (규제 이해)
- 바이오 (생물학적 지식)
- 물리 세계 (로봇, 반도체)
-
인간 중심 기술
- 설계, 관계, 신뢰 구축
- 제도 이해 및 네비게이트
-
최고의 기술만 추구
- 가장 똑똑한 모델 > 싼 모델
- 업계 내 전문성 > 범용 기술
-
중요한 메타 스킬:
- 비판적 사고
- 가짜뉴스/조작된 콘텐츠 식별
- 기술을 현명하게 사용 (deskilling 피하기)
스킬 손실의 위험
- 계산기가 계산 능력을 죽였나? 아니다. 사용하지 않으면 죽는다
- AI 에세이 작성 = 숙제 부정행위 (지양)
- 중요한 것: 어떻게 사용하는가?
잠재적 시나리오:
- 신중하게 사용 → 능력 증강
- 무분별하게 사용 → 능력 손실
7부: 기술과 사회의 현실
오픈소스 vs 클로즈드
중국 모델들이 좋아 보이는 이유:
- 벤치마크에 최적화됨
- 비공개 벤치마크에서는 성능 떨어짐
품질의 파워로:
- 최고의 모델 vs 10,000번째 모델 = 가격은 상관없음
- 인간 조직처럼: 최고의 프로그래머가 10,000번째 프로그래머보다 훨씬 중요
데이터의 미래
과거: 정적 데이터가 가장 중요 현재: 동적 데이터 (모델 자체가 생성) = 강화학습이 더 중요 결론: 모든 데이터가 공개 웹에 있는 건 아니지만, 데이터의 중요성은 감소 중
인도 데이터센터의 역할
- 각 국가가 자국 데이터 보호 요구 (이미 유럽)
- 지역 데이터센터 필수
- 하지만 핵심은 데이터보다 컴퓨팅 파워와 알고리즘
8부: 바이오텍과 미래 기회
바이오텍 르네상스 (AI 구동)
추천 분야:
- mRNA 백신 (기술 좋지만 미국의 부정적 여론)
- 펩타이드 기반 치료 ← 최고 기대주
- 소분자 약물: 자유도 제한 (개선하면 다른 게 나빠짐)
- 펩타이드: 아미노산 조합 = 거의 디지털 특성
- 연속 최적화 가능
- 세포 기반 치료
- CAR-T: 세포를 유전학적으로 조작해 암 공격
9부: Claude Code와 AI 민주화
비기술자를 위한 AI
문제: 명령줄이 비기술자에게 너무 복잡 솔루션: CoWork 출시 (Claude Code for non-coders)
학습 곡선
- 프롬프트 엔지니어링 = 피아노 배우는 것 같음
- 도움이 되는 자료:
- 클래스/비디오 (Anthropic의 "Ministry of Education")
- 제일 중요: 직접 해보기 (경험적 학습)
10부: 미래 예측
반복되는 패턴
지난 10년간 계속 경험한 것:
- "그건 말이 안 돼. 너무 크다. 너무 이상하다"
- 하지만 간단한 외삽으로 보면... 대부분 일어난다
방법론:
- 간단한 곡선 외삽
- 기본 원칙에서 추론
- 경험적 관찰 + 첫 원칙 사고 = 강력한 예측
실수: 순수 논리만 사용 (경험적 직관 필요)
11부: 최종 통찰
"Machines of Loving Grace" vs "Adolescence of Technology"
- 약 1년씩 걸린 2편의 에세이
- 변화가 아니라 같은 비전의 양면
- 빛: 해결할 문제들, 기회
- 어둠: 조심해야 할 것들
현재 입장 (2024-2026)
- 기술 통제: 예상보다 조금 나음 (해석 가능성 성공)
- 사회 인식: 예상보다 조금 나쁨 (인식 부족)
- 전체: 평형상태
세상을 위한 조언
비판적 사고가 핵심
- AI가 뭐든 생성할 수 있는 시대
- 가짜와 실제를 구분하는 능력 = 가장 중요한 스킬
- 속지 마라, 거짓 믿음을 가지지 마라, 사기 당하지 마라
깊은 질문들
- AI가 의식을 가진다면, 우리의 도덕적 책임은 뭔가?
- 단기 고통(실직)과 장기 이득(풍요)의 균형을 어떻게 맞출 것인가?
- 비판적 사고를 기르려면? (AI 시대의 가장 중요한 스킬)
- 내가 하는 일이 진짜 가치를 만드는가, 아니면 AI가 대체 가능한가?
- "올바른 방식"으로 기술을 발전시키는 것이 정말 가능한가?