인간의 실수를 고려한 설계
제품사용자가 데이터를 옮겨 적을 때 비슷하게 생긴 문자를 혼동하지 않도록 베이스 58과 같은 명확한 문자 집합을 사용해야 해요.
근거 발언 3개는 멤버십 기록이에요.
대가의 홀
안드레이 카르파티
Andrej Karpathy
AI와 첨단 기술1986년생
AI 연구자, OpenAI 창립 멤버, 전 테슬라 AI 책임자
전체 기록 705개
- 원칙 250
- 사례 127
- 발언 328
이 대가의 말로 질문하기
가입 없이 하루 3번 무료예요.
원칙
전체 250개 가운데 기본 기록 38개
원칙은 대가의 공개 발언을 저희가 정리한 내용이에요.
해싱을 통한 보안 강화
기술민감한 데이터는 필요할 때만 공개해서 보호하세요. 예를 들어 비트코인은 자금을 사용할 때까지 공개 키를 해시 뒤에 숨겨두는 방식을 써요.
근거 발언 3개는 멤버십 기록이에요.
이진 분류기 구축하기
배움어떤 기술을 마스터하려면 훌륭한 사례와 형편없는 사례를 모두 공부해서, 무엇이 성공과 실패를 가르는지 정확히 인식할 수 있어야 해요.
근거가 된 발언
사람들의 심리에는 이상한 버그가 있어요. 10배 더 중요하거나 영향력 있는 문제가 직관적으로는 10배 더 어렵게(혹은 달성 가능성이 10배 낮게) 느껴진다는 거죠. 이건 오류예요. 제 경험상 10배 더 중요한 문제는 기껏해야 2~3배 정도 더 어려울 뿐이에요.
원문 보기원문 접기
People have a strange bug built into psychology: a 10x more important or impactful problem intuitively feels 10x harder (or 10x less likely) to achieve. This is a fallacy - in my experience a 10x more important problem is at most 2-3x harder to achieve.
출처 안드레이 카르파티 A Survival Guide to a PhD, 2016 (새 창에서 열려요)
근거 발언 2개는 멤버십 기록이에요.
바이브 코딩 활용하기
일하는 법AI가 구현의 상당 부분을 처리하는 동안 비전에 집중하면서, 고성능 LLM을 사용해 도구를 빠르게 프로토타이핑하고 구축하세요.
근거 발언 3개는 멤버십 기록이에요.
제품이 아닌 고객이 되세요
마음가짐데이터가 회사의 주요 수익원이 되지 않도록, 비용을 지불하고 서비스를 이용하는 것을 선호해요.
근거 발언 3개는 멤버십 기록이에요.
외부 통신 감사
기술내 컴퓨터의 어떤 앱이 데이터를 전송하고 있는지 정기적으로 확인하세요. 의심스러운 소프트웨어를 찾아내고 삭제하는 데 도움이 돼요.
근거 발언 3개는 멤버십 기록이에요.
플랫폼 함정 저항하기
전략단순하고 효과적인 도구가 사용자 경험을 저해하면서까지 복잡한 플랫폼이나 구독 서비스가 되도록 강요하지 마세요.
근거 발언 3개는 멤버십 기록이에요.
단순한 골격부터 만드세요
전략복잡한 기능이나 데이터 증강을 추가하기 전에, 고정된 랜덤 시드와 단순한 모델로 기준점을 먼저 세워야 해요.
근거 발언 3개는 멤버십 기록이에요.
시각적인 진실의 원천
기술지표만으로는 놓칠 수 있는 전처리 오류를 잡기 위해, 데이터가 모델에 입력되기 직전의 상태를 항상 시각화해서 확인하세요.
근거 발언 3개는 멤버십 기록이에요.
튜닝 시 랜덤 탐색 선호
일하는 법신경망은 특정 파라미터에 더 민감하게 반응하기 때문에, 고정된 지점만 확인하는 그리드 탐색보다 랜덤 탐색을 통해 중요한 파라미터를 더 철저히 샘플링하는 것이 효율적이에요.
근거 발언 3개는 멤버십 기록이에요.
노력과 정확도의 절충 인정하기
일하는 법성과는 고정된 숫자가 아니라 그 업무에 투입된 시간, 인내심, 그리고 전문성의 결과예요.
근거 발언 3개는 멤버십 기록이에요.
높은 투자 대비 효과를 위해 단순한 모델을 활용하세요
제품복잡한 시스템으로 넘어가기 전에, 투입 대비 불균형적으로 높은 품질의 결과를 내는 단순한 구조를 우선시하세요.
근거가 된 발언
당시 이 결과가 정말 충격적이었던 이유는 RNN은 훈련시키기 어렵다는 것이 일반적인 통념이었기 때문이에요.
원문 보기원문 접기
What made this result so shocking at the time was that the common wisdom was that RNNs were supposed to be difficult to train
출처 안드레이 카르파티 The Unreasonable Effectiveness of Recurrent Neural Networks, 2015 (새 창에서 열려요)
근거 발언 2개는 멤버십 기록이에요.
작은 조정을 통한 학습
배움시스템이 수렴할 때까지 오차를 줄이는 방향으로 매개변수를 반복해서 조금씩 조정하며 개선해 나가야 해요.
근거 발언 3개는 멤버십 기록이에요.
해석 가능성과 디버깅 우선순위
일하는 법개발 단계에서 약간의 효율성을 얻으려고 로그 확인이나 디버깅 능력을 희생시키는 도구는 피해야 해요.
근거가 된 발언
어텐션(attention) 개념은 최근 신경망 구조 혁신 중에서 가장 흥미로운 부분이에요.
원문 보기원문 접기
The concept of attention is the most interesting recent architectural innovation in neural networks.
출처 안드레이 카르파티 The Unreasonable Effectiveness of Recurrent Neural Networks, 2015 (새 창에서 열려요)
근거 발언 2개는 멤버십 기록이에요.
교육을 통한 복잡한 지식의 대중화
콘텐츠루빅스 큐브 튜토리얼부터 고급 AI 강의까지, 접근하기 쉬운 교육 콘텐츠를 제작하여 수천 명의 학습자에게 도달함으로써 자신의 영향력을 확장해요.
제1원리 이해하기
배움체중 감량이 실제로는 가스 교환 과정인 것처럼, 시스템의 근본적인 화학적, 물리적 과정을 이해하기 위해 표면적인 미신 너머를 보아야 해요.
근거가 된 발언
신체에 들어오는 에너지 입력값은 섭취하는 음식 칼로리 수에 의해 상한선이 정해져요.
원문 보기원문 접기
the energy input to your body is upper bounded by the number of food calories that you eat.
출처 안드레이 카르파티 Biohacking Lite, 2020 (새 창에서 열려요)
근거 발언 2개는 멤버십 기록이에요.
변동보다 추세에 집중하기
결정일일 측정값은 수분량 같은 노이즈 때문에 크게 요동칠 수 있어요. 진짜 진전을 이해하려면 장기적인 변화율을 살펴봐야 해요.
근거 발언 3개는 멤버십 기록이에요.
측정 도구 의심하기
결정근력 향상과 같은 관찰 가능한 실체와 도구의 결과가 모순된다면, 센서나 도구의 데이터를 맹목적으로 믿지 말고 의심해봐야 해요.
근거 발언 3개는 멤버십 기록이에요.
자동화된 코드 비대화 경계하기
기술AI 모델은 방어적인 코드를 추가하거나 오래된 API를 사용해서 커스텀 프로젝트의 가치를 높이지 않고 복잡성만 키우는 경향이 있어요.
근거가 된 발언
모델들은 익숙하지 않은 언어나 패러다임에 대한 접근성을 높여줘요. 그런 면에서 매우 도움이 된다고 생각해요.
원문 보기원문 접기
They increase accessibility to languages or paradigms that you might not be as familiar with. I think they're very helpful there as well.
출처 안드레이 카르파티 Andrej Karpathy — AGI is still a decade away, 2025 (새 창에서 열려요)
근거 발언 2개는 멤버십 기록이에요.
결과 중심 피드백 지양
배움긴 과정의 끝에 나온 최종 결과에만 의존해서 판단하는 건 노이즈가 많고 비효율적이에요. 어떤 단계가 실제로 옳았는지 무시하기 때문이에요.
근거 발언 3개는 멤버십 기록이에요.
기본 기록 106개를 보고 있어요. 멤버십은 이 대가의 전체 기록 705개에서 답해요.
멤버십 알아보기같은 분야의 다른 대가
분야 전체 보기AI와 첨단 기술
공개 자료를 바탕으로 저희가 정리한 기록이에요. 안드레이 카르파티 본인이나 관계사와 제휴 · 후원 관계가 없어요. 내려야 할 내용이 있으면 알려 주세요. 내림 요청 창구