안드레이 카르파티

발언은 출처 원문에 있는 문장 그대로예요. 한국어는 저희가 옮겼고, 원문 보기를 누르면 영어 원문이 나와요.

• 기술의 신비감 제거

  “내부에서 벌어지는 일이 그렇게 무서운 게 아니라는 점을 다시 한번 알아주셨으면 해요.”

  원문 보기원문 접기

  I want you to note that again there is nothing too scary going on inside.

  저희 풀이카파시는 복잡한 알고리즘도 결국 단순한 부분들로 구성되어 있다는 점을 보여주며 학습자들을 격려해요.

• 무차별 대입 보안

  “SHA256의 훌륭한 특성 덕분에, 이는 오직 무차별 대입 검색을 통해서만 수행될 수 있어요.”

  원문 보기원문 접기

  Which, due to the nice properties of SHA256, can only be done via brute force search.

  저희 풀이비트코인의 보안이 특정 해시값을 찾는 연산의 어려움에 의존하는 이유를 묘사해요.

• 비트코인 거래 로직

  “모든 비트코인 거래의 입력과 출력은 항상 전액 소비되어야 해요. 만약 우리가 0.001 BTC를 가지고 있고 그중 절반을 다른 곳으로 보내고 싶다면, 실제로 절반은 그곳으로 보내고 나머지 절반은 다시 우리에게 보내야 해요.”

  원문 보기원문 접기

  Every Input/Output of any bitcoin transaction must always be fully spent. So if we own 0.001 BTC and want to send half of it somewhere else, we actually have to send one half there, and one half back to us.

  저희 풀이비트코인 거래에서 입력값 전체를 사용하고 잔돈을 돌려받아야 하는 방식을 설명해요.

• 미사용 출력 관리

  “이 UTXO를 완전히 소비하고 나면, 그 가치를 원하는 만큼 여러 개의 출력으로 '나눌' 수 있고, 선택적으로 그중 일부를 우리 자신의 주소로 다시 보낼 수 있어요.”

  원문 보기원문 접기

  Once we consume this UTXO in its entirety we are free to "chunk up" its value into however many outputs we like, and optionally send some of those chunks back to our own address.

  저희 풀이사용자가 자신의 비트코인 가치를 여러 개의 새로운 출력값으로 나누는 방법을 설명해요.

• 트랜잭션 메시지 인코딩

  “결국 이 메시지가 실제로 인코딩하는 것은 입력값과 새로운 출력값, 그 금액, 그리고 각 소유자의 공개 키 해시를 지정하는 잠금 스크립트를 통한 소유자 정보예요.”

  원문 보기원문 접기

  So what this message really encodes is just the inputs and the new outputs, their amounts, and their owners (via the locking scripts specifying the public key hash of each owner).

  저희 풀이비트코인 트랜잭션에서 실제로 어떤 데이터가 서명되는지 설명해요.

• 트랜잭션 검증 과정

  “비트코인 노드들은 이것을 디코딩하고 검증한 뒤, 수수료가 충분하다면 곧 채굴될 다음 블록에 포함시킬 거예요.”

  원문 보기원문 접기

  The Bitcoin nodes will decode it, validate it, and include it into the next block they might mine any second now (if the fee is high enough).

  저희 풀이네트워크가 유효성과 수수료에 따라 전파된 트랜잭션을 처리하는 방식을 묘사해요.

• 10배의 오류

  “사람들의 심리에는 이상한 버그가 있어요. 10배 더 중요하거나 영향력 있는 문제가 직관적으로는 10배 더 어렵게(혹은 달성 가능성이 10배 낮게) 느껴진다는 거죠. 이건 오류예요. 제 경험상 10배 더 중요한 문제는 기껏해야 2~3배 정도 더 어려울 뿐이에요.”

  원문 보기원문 접기

  People have a strange bug built into psychology: a 10x more important or impactful problem intuitively feels 10x harder (or 10x less likely) to achieve. This is a fallacy - in my experience a 10x more important problem is at most 2-3x harder to achieve.

  저희 풀이사람들이 야심 찬 목표의 난이도를 왜 과대평가하는지 설명해요.

• 능동적인 어휘 선택

  “논문에서 '연구하다'나 '조사하다' 같은 지루하고 수동적인 단어는 쓰지 마세요. 대신 '개발하다'나 더 좋게는 '제안하다'를 쓰세요. '시스템'이나 '파이프라인' 대신 '모델'을 개발한다고 표현하고요.”

  원문 보기원문 접기

  in your papers you never "study" or "investigate" (there are boring, passive, bad words); instead you "develop" or even better you "propose". And you don't present a "system" or, shudder , a "pipeline"; instead, you develop a "model

  저희 풀이카파시는 연구가 더 영향력 있게 들리도록 강하고 능동적인 동사를 사용하는 것을 강조해요.

• 연구의 사회적 성격

  “과학은 고립되어 일하는 몇몇 천재적인 외로운 늑대 같은 이미지를 가질 수 있지만, 사실 연구는 지극히 사회적인 노력이에요.”

  원문 보기원문 접기

  Science might have this image of a few brilliant lone wolfs working in isolation, but the truth is that research is predominantly a highly social endeavor

  저희 풀이기술 분야조차 커뮤니티와 네트워킹에 크게 의존한다는 점을 강조해요.

• 저렴해진 지능

  “하지만 지능이 측정하기 어려울 정도로 저렴해진다면, 모든 것을 완벽하게 재구성하고 합성하는 것이 가능해질 거예요.”

  원문 보기원문 접기

  But if intelligence really does become too cheap to meter, it will become possible to do a perfect reconstruction and synthesis of everything.

  저희 풀이그는 AI가 풍부하고 저렴한 자원이 되는 것의 함의를 되돌아봐요.

• AI 코딩의 현주소

  “궁극적으로, 현재 풀스택 웹 앱을 '바이브 코딩'하는 것은 다소 엉망이고 실제로 중요한 일에 쓰기에는 좋은 생각이 아니에요. 하지만 위대함의 힌트가 분명히 보이고, 업계가 적응할 시간이 좀 필요할 뿐이라고 생각해요.”

  원문 보기원문 접기

  Ultimately, vibe coding full web apps today is kind of messy and not a good idea for anything of actual importance. But there are clear hints of greatness and I think the industry just needs a bit of time

  저희 풀이안드레이는 인공지능 프롬프트만으로 프로덕션 앱을 구축하는 것이 현재 얼마나 실현 가능한지 평가해요.

• 깨끗한 코드 관행

  “전역 네임스페이스를 오염시키지 않도록 모든 자바스크립트 코드를 함수 클로저로 감싸는 방식에 주목해 보세요. 이건 클래스를 구현할 때 본질적으로 사용되는 아주 흔한 기법이에요.”

  원문 보기원문 접기

  Note how we're wrapping all the JS code into a function closure so that we don't pollute the global namespace. This is a very common trick in Javascript that is essentially used to implement classes.

  저희 풀이그는 라이브러리 내 코드를 정리하기 위한 기술적 모범 사례를 설명해요.

• 검증되지 않은 복잡성 회피

  “우리가 정말 열심히 막으려는 것은 검증되지 않은 복잡성을 한꺼번에 도입하는 것인데, 이는 반드시 버그를 유발하게 되어 있어요.”

  원문 보기원문 접기

  What we try to prevent very hard is the introduction of a lot of "unverified" complexity at once, which is bound to introduce bugs

  저희 풀이그는 단순한 것에서 복잡한 것으로 구축해 나가는 것이 정확성을 보장하는 유일한 방법인 이유를 설명해요.

• 특수 사례부터 일반화하기

  “저는 지금 당장 하려는 작업에 딱 맞는 구체적인 함수를 먼저 작성해서 작동시킨 다음, 나중에 동일한 결과가 나오는지 확인하며 일반화하는 방식을 좋아해요.”

  원문 보기원문 접기

  I like to write a very specific function to what I'm doing right now, get that to work, and then generalize it later making sure that I get the same result.

  저희 풀이복잡한 기능을 구축할 때 버그를 피하기 위한 코딩 전략이에요.

• 성능 트레이드오프 곡선

  “인간의 정확도는 단일한 점이 아니에요. 그것은 트레이드오프 곡선 위에 존재해요.”

  원문 보기원문 접기

  Human accuracy is not a point. It lives on a tradeoff curve.

  저희 풀이투입된 노력과 전문 지식의 양에 따라 인간의 성과가 달라진다는 점을 설명해요.

• 미래의 지능 격차

  “대규모 조직은 방대한 자원을 집중시켜 더 많은 지능을 구매하게 될 거예요. 그리고 '개인'이라는 범주 안에서도 엘리트들이 다시 한번 사회의 나머지 구성원들과 격차를 벌릴 수 있어요.”

  원문 보기원문 접기

  Large organizations get to concentrate their vast resources to buy more intelligence. And within the category of "individual" too, the elite may once again split away from the rest of society.

  저희 풀이미래의 AI 확장이 더 많은 자본을 가진 사람들에게 어떻게 유리하게 작용할지 추측해요.

• 통념에 대한 도전

  “당시 이 결과가 정말 충격적이었던 이유는 RNN은 훈련시키기 어렵다는 것이 일반적인 통념이었기 때문이에요.”

  원문 보기원문 접기

  What made this result so shocking at the time was that the common wisdom was that RNNs were supposed to be difficult to train

  저희 풀이순환 신경망은 사용하기 어렵다는 당시의 지배적인 믿음과 자신의 경험이 어떻게 달랐는지 논의해요.

• 유연한 데이터 처리

  “핵심은 데이터가 시퀀스 형태가 아니더라도, 이를 순차적으로 처리하도록 학습하는 강력한 모델을 설계하고 훈련시킬 수 있다는 점이에요.”

  원문 보기원문 접기

  The takeaway is that even if your data is not in form of sequences, you can still formulate and train powerful models that learn to process it sequentially.

  저희 풀이순차적 모델링이 이미지와 같은 비순차적 데이터 유형에도 적용될 수 있음을 설명해요.

• 모델 규모의 영향

  “더 크고 좋은 모델일수록 이런 실수가 줄어드는 것을 관찰했지만, 그럼에도 불구하고 이런 종류의 오류는 여전히 발생해요.”

  원문 보기원문 접기

  We observed that these became less common with larger/better models, but nonetheless, these are the kinds of mistakes that come up.

  저희 풀이안드레이는 모델 크기를 키우는 것이 생성된 텍스트의 구조적 오류를 줄이는 데 도움이 된다고 언급했어요.

• 한계 테스트

  “구조화된 데이터의 한계를 시험해보고 싶어서, 마지막 도전 과제로 코드를 사용하기로 결정했어요.”

  원문 보기원문 접기

  I wanted to push structured data to its limit, so for the final challenge I decided to use code.

  저희 풀이리눅스 소스 코드로 신경망을 학습시킨 동기를 설명했어요.

• 맥락의 출현

  “여러 단어에 걸친 주제나 테마, 그리고 일반적인 장기 의존성들은 훨씬 나중에야 나타나기 시작해요.”

  원문 보기원문 접기

  Topics and themes that span multiple words (and in general longer-term dependencies) start to emerge only much later.

  저희 풀이AI 모델에서 복잡한 이해 능력은 기본적인 구문보다 발달하는 데 더 오랜 시간이 걸린다는 점을 설명해요.

• 어텐션의 혁신

  “어텐션(attention) 개념은 최근 신경망 구조 혁신 중에서 가장 흥미로운 부분이에요.”

  원문 보기원문 접기

  The concept of attention is the most interesting recent architectural innovation in neural networks.

  저희 풀이당시 신경망 연구에서 가장 중요한 아키텍처 변화를 식별해요.

• 에너지 입력 계산

  “신체에 들어오는 에너지 입력값은 섭취하는 음식 칼로리 수에 의해 상한선이 정해져요.”

  원문 보기원문 접기

  the energy input to your body is upper bounded by the number of food calories that you eat.

  저희 풀이그는 체중 관리를 위한 에너지 섭취 개념을 단순화해서 설명해요.

• 빠른 프로토타이핑의 힘

  “약간의 연습을 곁들인 100줄 정도의 코드와 10분의 자바스크립트 작업만으로 트위터의 외형을 바꾸고, 원치 않는 콘텐츠를 제거하고, 자동 새로고침 기능을 만들었어요.”

  원문 보기원문 접기

  It took us ~100 lines and 10 minutes of Javascript (with a bit of practice) and we tweaked Twitter's look, removed err... undesirable content, made Twitter autorefresh

  저희 풀이그는 적은 양의 코드로 특정 사용자 문제를 얼마나 빨리 해결할 수 있는지 보여줘요.

• 피드백 구하기

  “제 눈에 띄는 몇 가지 패턴이 있는데, 혹시 다른 점을 발견하신다면 댓글로 알려주시면 좋겠어요.”

  원문 보기원문 접기

  A few patterns stand out for me, and if you notice anything else I'd be happy to hear about in the comments.

  저희 풀이그는 청중들에게 자신의 분석에 도움이 될 만한 관찰 결과를 공유해달라고 요청해요.

• 해결 가능하지만 어려운 문제

  “문제들은 해결 가능하고 극복할 수 있다고 느끼지만, 여전히 어려운 과제들이에요.”

  원문 보기원문 접기

  I feel like the problems are tractable, they're surmountable, but they're still difficult.

  저희 풀이안드레이는 지속 학습과 같은 현재 AI의 병목 현상을 해결하기가 얼마나 어려운지 이야기해요.

• 만들며 배우기

  “지식에는 두 가지 유형이 있다고 생각해요. 고차원적인 표면적 지식이 있지만, 무언가를 처음부터 직접 만들어보면 자신이 무엇을 이해하지 못하는지, 그리고 자신이 그걸 모른다는 사실조차 몰랐다는 점을 직면하게 돼요.”

  원문 보기원문 접기

  I do think that there's two types of knowledge, almost. There's the high-level surface knowledge, but when you build something from scratch, you're forced to come to terms with what you don't understand and you don't know that you don't understand it.

  저희 풀이안드레이는 복잡한 시스템을 진정으로 이해하는 유일한 방법은 처음부터 직접 만들어보는 것이라고 설명해요.

• 진정한 이해

  “만들 수 없다면 이해한 것이 아니에요. 파인만의 말이라고 알고 있는데, 저도 이 말을 항상 강력하게 믿어왔어요. 제대로 정리되지 않은 미세한 부분들이 많으면 실제로 지식을 갖춘 게 아니거든요.”

  원문 보기원문 접기

  If I can't build it, I don't understand it. That's a Feynman quote , I believe. I 100% have always believed this very strongly, because there are all these micro things that are just not properly arranged and you don't really have the knowledge.

  저희 풀이그는 구현 능력이 뒷받침되지 않은 이론적 지식은 불충분하다는 점을 강조해요.

• 새로운 언어 학습

  “모델들은 익숙하지 않은 언어나 패러다임에 대한 접근성을 높여줘요. 그런 면에서 매우 도움이 된다고 생각해요.”

  원문 보기원문 접기

  They increase accessibility to languages or paradigms that you might not be as familiar with. I think they're very helpful there as well.

  저희 풀이안드레이는 새로운 언어임에도 불구하고 AI가 어떻게 자신이 러스트로 코드를 작성하는 것을 돕는지 설명해요.

• 자기 학습의 위험성

  “개별 샘플은 괜찮아 보일지 모르지만, 그 분포는 상당히 끔찍해요. 자신의 결과물로 너무 많이 계속 학습하면 결국 붕괴하게 될 정도로 말이죠.”

  원문 보기원문 접기

  Any individual sample will look okay, but the distribution of it is quite terrible. It's quite terrible in such a way that if you continue training on too much of your own stuff, you actually collapse.

  저희 풀이안드레이는 모델이나 사람이 자신의 출력물로만 훈련할 때 발생하는 위험에 대해 경고해요.