1万枚のGPUを備蓄したのは、実は好奇心に駆られたから
万卡储备其实是好奇心驱动
暗涌:GPU是这次 ChatGPT 创业潮的稀缺品,你们在 2021 年就可以有先见之明,储备了 1 万枚。为什么?
暗涌:GPUは今回のChatGPT起業ブームにおけるレアなものですが、あなた方は2021年には先見の明があり、1万枚を備蓄していました。なぜですか?
梁文锋:其实从最早的 1 张卡,到 2015 年的 100 张卡、2019 年的 1000 张卡,再到一万张,这个过程是逐步发生的。几百张卡之前,我们托管在 IDC※1,规模再变大时,托管就没法满足要求了,就开始自建机房※2。很多人会以为这里边有一个不为人知的商业逻辑,但其实,主要是好奇心驱动。
梁文锋:実は、最初の1枚から、2015年の100枚、2019年の1000枚、そして1万枚へと、このプロセスは段階的に起こりました。数百枚になる前はIDC(インターネットデータセンター)に管理委託していましたが、更に規模が大きくなった時、委託では要求を満たすことができなくなり、それで自社でサーバールームを立ち上げました。多くの人は、ここに誰も知らないビジネスロジックがあると思っているかもしれませんが、実のところ、主に好奇心に駆られて、なのです。
暗涌:什么样的好奇心?
暗涌:どのような好奇心ですか?
梁文锋:对 AI 能力边界的好奇。对很多行外人来说,ChatGPT 这波浪潮冲击特别大;但对行内人来说,2012 年 AlexNet※5 带来的冲击已经引领一个新的时代。AlexNet 的错误率※3远低于当时其他模型,复苏了沉睡几十年的神经网络※4研究。虽然具体技术方向一直在变,但模型、数据和算力这三者的组合是不变的,特别是当 2020 年 OpenAI 发布 GPT3 后,方向很清楚,需要大量算力;但即便 2021 年,我们投入建设萤火二号※6时,大部分人还是无法理解。
梁文锋:AI能力の限界に対する好奇心です。多くの他業界の人にとって、ChatGPTのこのブームの衝撃は非常に大きなものでした。しかし業界内の人間にとっては、2012年のAlexNetがもたらした衝撃が、すでにひとつの新時代の先駆けでした。AlexNetは既存モデルよりエラー率が遥かに低く、数十年の間滞っていたニューラルネットワークの研究を再び復活させました。具体的な技術の方向性は変わり続けていますが、「モデル」「データ」「計算リソース」、この3つの組み合わせは不変です。特に2020年、OpenAIがGPT3 を発表してから、方向性はとても明確になりました、大量の計算リソースが必要だということです。しかし2021年、私たちが「萤火2号」の建設に入った時でさえ、大部分の人はまだ理解できませんでした。
※3错误率
[cuò wù lǜ]
※4神经网络
[shén jīng wǎng luò]
※5AlexNet
[AlexNet ]
※6萤火二号
[yíng huǒ èr hào]
暗涌:所以 2012 年起,你们就开始关注到算力的储备?
暗涌:だから2012年から、すでに計算リソースの備蓄に関心を持ち始めていたのですか?
梁文锋:对研究员来说,对算力的渴求是永无止境的。做了小规模实验后,总想做更大规模的实验。那之后,我们也会有意识地去部署尽可能多的算力。
梁文锋:研究員からすると、計算リソースに対する渇望は永遠に終わりはありません。小規模な実験を行った後にはいつも、もっと大規模な実験がしたい、と思います。それから、私たちは意識的にできる限り多くの計算リソースを配置しようとしています。
暗涌:很多人以为搭这个计算机集群※9,是量化私募※8业务会用到机器学习做价格预测?
暗涌:多くの人は、このコンピュータ・クラスターの構築は、「量化私募」(クオンツ系プライベートファンド)業務で機器学習を使って価格予測をするためだと思っています。
梁文锋:如果单纯只做量化投资※7,很少的卡也能达到目的。我们在投资外做了大量研究,更想搞清楚什么样的范式※10可以完整地描述整个金融市场,有没有更简洁的表达方式,不同范式能力边界在哪,这些范式是不是有更广泛适用,等等。
梁文锋:もし単純に量化投資(※技術的方法を用いて投資戦略を決定し実行する方法)だけを行うなら、少量のGPUで目的に到達することができます。私たちは投資のほか膨大な研究を行い、どのようなパラダイムで金融市場を完璧に描写できるのか、もっと簡潔な表現方法はないか、異なるパラダイム能力の限界はどこにあるか、これらのパラダイムはもっと広く適用することが可能なのかどうか等を、もっと明確にしたいと思っています。
※7量化投资
[liàng huà tóu zī]
※8量化私募
[liàng huà sī mù]
※9计算机集群
[jì suàn jī jí qún]
※10范式
[fàn shì]
暗涌:但这个过程也是一个烧钱※11行为。
暗涌:しかしこのプロセスは、お金を湯水のように使う行為です。
梁文锋:一件激动人心的事,或许不能单纯用钱衡量。就像家里买钢琴,一来买得起,二来是因为有一群急于在上面弹奏乐曲的人。
梁文锋:人の心を揺さぶる事は、単純にお金で測る事はできないかもしれません。まるで、家でピアノを購入し、ひとつには買う余裕があること、ふたつにはピアノを弾きたがっている人々がいる、ということです。
※11烧钱
[shāo qián]
暗涌:显卡※12通常会以 20% 的速度在折损。
暗涌:グラフィックカードは通常、20%のスピードで消耗します。
梁文锋:我们没有精确计算过,但应该没这么多。英伟达※13的显卡是硬通货※14,即使是很多年前的老卡,也还有很多人在用。我们之前退役的老卡,二手处理时还挺值钱的,没亏太多。
梁文锋:私たちは精密に計算したことはありませんが、そんなには多くはないはずです。NVIDIAのグラフィックカードは “ハードカレンシー”で、たとえ長年経った古いカードでも、多くの人が今も使用しています。以前、もう使わなくなった古いカードが、中古処理時にまだとても価値があり、それほど損をしませんでした。
※12显卡
[xiǎn kǎ]
※13英伟达
[yīng wěi dá]
※14硬通货
[yìng tōng huò]
暗涌:搭一个计算机集群,维护费用,人工成本,甚至电费也都是不菲的支出。
暗涌:コンピュータ・クラスターを構築するのは、維持費用、人件費、ひいては電気料金で、どれも高額な支出になります。
梁文锋:电费和维护费用其实是很低的,这些支出每年只占硬件造价的 1% 左右。人工成本不低,但人工成本也是对未来的投资,是公司最大的资产。我们选的人也会相对朴实一点,有好奇心,来这里有机会去做研究。
梁文锋:電気料金や維持費は実はとても安いのです、これらの支出は毎年ハードウェア製造コストの1%程度しか占めていません。人件費は低くはありませんが、人件費は未来への投資であり、企業の最大の資産です。私たちが選ぶ人たちは相対的に素朴で、好奇心があり、ここに来れば、研究をするチャンスがあるのです。
暗涌:2021 年,幻方是亚太地区第一批拿到 A100显卡的公司,为什么会比一些云厂商更早?
暗涌:2021年、幻方はアジア太平洋地区で初めてA100グラフィックカードを手にした企業の一社です、なぜ一部のクラウドサービスより早かったのですか?
梁文锋:我们很早就对新卡做了预研、测试和规划。至于一些云厂商,据我所知,他们之前的需求都是分散的,直到 2022 年自动驾驶,有租用机器做训练的需求,又有付费能力,一些云厂商才去把基础设施建好。大厂很难单纯去做研究,做训练,它更多会是业务需求驱动。
梁文锋:私たちはかなり前から新しいカードに対する予備的研究を行っていました。一部のクラウドサービスについては、私が知る限り、彼らの以前の要求はすべて分散していて、2022年の自動運転まで、機器をレンタルしてトレーニングする需要があり、支払い能力もあったので、一部のクラウドサービスがようやくインフラを構築しました。大手は単純に研究を行ったりトレーニングをしたりすることは難しく、より多くは業務のニーズに動かされています。
暗涌:你会如何看大模型的竞争格局? ※15
暗涌:大規模モデルの競争環境をどのようにお考えですか?
※15竞争格局
[jìng zhēng gé jú]
梁文锋:大厂肯定有优势,但如果不能很快应用,大厂也不一定能持续坚持,因为它更需要看到结果。头部※16的创业公司也有技术做得很扎实的,但和老的一波 AI 创业公司一样,都要面对商业化难题。
梁文锋:大手企業が優位にあることは間違いありません、しかし、もし速やかに応用できなければ、大手でも必ず持ち堪えられるとは限りません。大手企業は結果を出すことがもっと必要だからです。上位数社のスタートアップ企業は技術がとてもしっかりしていますが、昔からあるAIスタートアップ企業と同じく、みんなが商業化の難題に向き合わなくてはなりません。
※16头部
[tóu bù]
暗涌:一些人会觉得一个量化基金※17却强调自己做AI,是为其他业务吹泡泡。
暗涌:一部の人は、クオンツファンドが自分でAIを作ると主張することは、他の業務に一泡吹かせるためだと考えています。
梁文锋:但其实我们的量化基金已经基本不怎么对外募集了。
梁文锋:しかし、実際のところ私たちのクオンツファンドは、基本的に対外的に募集はしていません。
※17量化基金
[liàng huà jī jīn]
暗涌:你会如何去辨别哪些是AI信仰者,哪些是投机者?
暗涌:どのようにして、誰が”AI信者”で、誰が投機家だと見分けているのですか?
梁文锋:信仰者会之前就在这里,之后也在这里。他们更会去批量买卡,或者跟云厂商签长协议※18,而不是短期去租。
梁文锋:信者は以前からここにいるし、これからもここにいるでしょう。彼らは更に多くGPU買う、或いはクラウドサービスと長期契約を結び、短期でレンタルすることはありません。
※18长协议
[cháng xié yì]