Путь Nvidia. Как компания, которая чуть не закрылась после первого чипа, стала "главной по мощностям"
Nvidia - одна из ключевых компаний мира. Есть мнение, что они просто везунчики, которые всегда оказываются с нужным продуктом в нужное время. Но если копнуть их историю, то станет видно, что эти ребята мастерски конкурируют и "ловят волны". Сегодня разберемся, как им это удается.
Это менеджерский взгляд текущего успеха NVidia, с технической точки зрения все немного более прозаично.
Долгое время NVidia выпускала градические карты (GPU) и все было более-менее прозаично - они добались с переменным успехом с ATI и другими производителями в попытках создать лучшую видеокарту. Но проблема в том, что рынок этот был не очень большим.
Стоит сказать, что такое видеокарта. Как многие знают, центральный процессор (CPU) содержит 2 важных компонента ALU - арифметически-логическое устройство и CU - контрольное устройство. ALU грубо говоря считает, а CU - контролирует - подтягивает данные для ALU и говорит что считать. Важно заметить то, на один ALU приходится один CU.
В видеокартах все не так, в отличие от центральных процессоров им приходится выполнять огромное количество простых однообразных вычислений, поэтому в видеокартах несколько ALU объедены в блоки под управлением одного CU. За счет сокращения числа CU и упрощениях самих ALU, видеокарты содержат большое колчичество ALU. Можете звать их ядрами, если вам так угодно, но в отличие от CPU ядра GPU неполноценны - у них нет своего выделенного контрольного устройства CU.
"Простаивающие" мощности GPU не могли не привлечь внимание энтузиастов. В нулевые годы, кооторые я застал, было очень популярно программирование шейдеров и попытки заставить GPU делать общие вычисления с их помощью. Я не знаю кому из инженеров NVidia пришла в голову безумная мысль создать фреймворк для таких энтузиастов, но это явно выглядит как инженерная идея. Так появилась CUDA. Поначалу на нее обратили внимание исключительно те самые шейдерные энтузиасты и... в общем она прошла почти незаметна. Одна из причин заключалась в том, что общие вычисления были все равно неэффективны на GPU из-за нехватки CU.
Тем временем, AMD в борьбе с Intel покупает ATI. Intel, будучи самоуверенным монополистом, вместо покупки NVidia решает просто убить ее, создав свои GPU. Они были уверены, что они с легкостью обойдут NVidia. Над последней нависла угроза, но внезапно NVidia наносит ответный удар.
Intel всегда тряслась над бенчмарками. Самый любимый benchmark Intel для рынка HPC (суперкомпьютеров) был linpack. Она сделала огромные усилия для его популяризации. И надо же было такому случится, что linpack отлично параллелиться на GPU. NVidia предложила создавать суперкмопьюетеры с использованием своих GPU и как отлично получилось, что уже была CUDA. В общем, NVidia ворвалась на рынок HPC и это было круто, но неэффективно. Да по бенчмаркам GPU были круты, но они подходили только для ограниченного набора задач.
Так получилось, что одна из таких задач - это реализация алгоритма backpropagation в нейронных сетях, который представляет из себя грубо говоря linpack - простые матричные операции. И вот тут-то и наступил звездный час NVidia.
Только вот с технической точки зрения, GPU были изначально отлично предназначены для тоакого типа операций. Никакого супер предвидения CEO для этого не требовалось. Вместо этого я бы отметил роль тех энтузаистов нулевых, которые начали использовать шейдеры GPU для вычислений на видеокартах.
тянет на статью )
Звучит так, будто Нвидиа всё же повезло.
забавно, что когда пишут про историю nvidia и CUDA, напрочь забывают про Cg, который и заложил основу для CUDA.
Вот только пишут почему то под nVidia а не AMD/ATI.
Да, AMD очень хорошо старалась для этого. Да, опенсорсные полностью драйвера и rocm - а по факту, с учетом проблем - разработчикам хоть как то тиражируемого софта проще сначала писать под CUDA а потом думать про rocm (ну или предлагать ставить ZLUDA)