Яндекс Метрика

// хронология развития ИИ

История моделей искусственного интеллекта по годам: от ранних нейросетей до современных LLM.

2025
Взрыв рассуждающих моделей
OpenAI o1/o3, DeepSeek R1, Claude 3.5 — модели учатся «думать» перед ответом. Chain-of-thought становится стандартом. Открытые модели догоняют закрытые. Россия выпускает GigaChat 2 и YandexGPT 5.
K-EXAONELG AI ResearchЯзыковая модель
Solar Open 100BUpstageЯзыковая модель
VAETKINC AIЯзыковая модель
A.X K1SK TelecomЯзыковая модель
HyperCLOVA X SEED 32B ThinkNAVERМультимодальная модель, Языковая модель, Компьютерное зрение
MiniMax-M2.1MiniMaxЯзыковая модель
GLM-4.7Z.ai (Zhipu AI)Языковая модель
GPT-5.2 CodexOpenAIЯзыковая модель
Nomos 1Nous ResearchЯзыковая модель
Nova 2Amazon Web Services (AWS)Языковая модель, Компьютерное зрение, Мультимодальная модель
2024
Год открытых моделей
Meta выпускает Llama 3 и открывает гонку open-source LLM. Mistral, Qwen, Gemma — десятки открытых моделей. Генерация видео: Sora, Runway Gen-3. ИИ интегрируется в каждый продукт.
OLMo 2 Furious 7BAllen Institute for AI,University of Washington,New York University (NYU)Языковая модель
STORM-B/8University of Southern California,Georgia Institute of Technology,Stanford University,NVIDIA3D-моделирование
OLMo 2 Furious 13BAllen Institute for AI,University of Washington,New York University (NYU)Языковая модель
LTX-Video-0.9.1. 2BLightricksВидео
Zhaoyan (兆言大语言模型)Shanghai Jiao Tong UniversityЯзыковая модель
HiDream Foundation Model 1.0HiDreamВидео, Генерация изображений, Компьютерное зрение, 3D-моделирование
Zhixiang 3.0 (智象)HiDreamВидео, Генерация изображений
LinGan VL (临感VL)Beijing 58 Information TechnologyМультимодальная модель
Xiaomi Edge-side Text (小米端侧文本)Xiaomi CorpЯзыковая модель
Xiaomi Pengpai Image (小米澎湃图像)Xiaomi CorpГенерация изображений
2023
ChatGPT меняет мир
GPT-4 показывает мультимодальность. Claude 2, Llama 2, Mistral 7B — взрыв конкуренции. Stable Diffusion и Midjourney делают AI-арт мейнстримом. ИИ-стартапы привлекают рекордные инвестиции.
CoReTsinghua UniversityМатематика, Языковая модель
Qarasu-14BLightblueЯзыковая модель
Mengzi-Code-6.7BLangboatЯзыковая модель
MengziGPT-General-13BLangboatЯзыковая модель
Zhuhai-13BZhujian Intelligence
ElyzaElyzaЯзыковая модель
Nous-Hermes-2-Yi-34BNous ResearchЯзыковая модель
Solar-10.7B (Solar Mini)UpstageЯзыковая модель
GQA-8-XXLGoogle ResearchЯзыковая модель
Fulu Gua (福禄瓜)ByteDanceГенерация изображений
2022
Генеративный ИИ становится публичным
ChatGPT запускается в ноябре и за 5 дней набирает миллион пользователей. DALL-E 2 и Stable Diffusion открывают эру генерации изображений. Whisper решает распознавание речи.
Hybrid H3-355MStanford University,University at BuffaloЯзыковая модель
Hybrid H3-2.7BStanford University,University at BuffaloЯзыковая модель
Hybrid H3-1.3BStanford University,University at BuffaloЯзыковая модель
Hybrid H3-125MStanford University,University at BuffaloЯзыковая модель
OPT-IML (175B)Meta AIЯзыковая модель
text-embedding-ada-002OpenAIЯзыковая модель
RT-1GoogleРобототехника
XiaoAI 6.0Xiaomi Corp
TranceptEveUniversity of Oxford,Harvard Medical SchoolБиология и ИИ
Stable Diffusion 2.1Stability AIГенерация изображений
2021
Масштабирование продолжается
GitHub Copilot показывает, что LLM могут писать код. DALL-E генерирует изображения из текста. AlphaFold 2 решает предсказание структуры белков — прорыв в биологии.
VespaTechnical University of MunichБиология и ИИ
ERNIE 3.0 TitanBaidu,Peng Cheng LaboratoryЯзыковая модель
XGLMMeta AI
XGLM-7.5BMeta AI,Facebook AI ResearchЯзыковая модель
LDM-1.45BHeidelberg University,RunwayГенерация изображений
MoE-1.1TMeta AIЯзыковая модель
GLIDEOpenAIГенерация изображений
Fairseq-dense 13BMeta AIЯзыковая модель
ContrieverMeta AI,University College London (UCL),PSL University,Université Grenoble AlpesЯзыковая модель
HSOToyota Technological Institute at ChicagoЯзыковая модель
2020
Прорыв масштаба: GPT-3
OpenAI выпускает GPT-3 со 175 миллиардами параметров — модель впервые показывает emergent abilities. NVIDIA выпускает A100 — GPU, который определит эпоху обучения LLM.
ERNIE-Doc (247M)BaiduЯзыковая модель
ERNIE-Doc Base (151M, WT103)BaiduЯзыковая модель
AraGPT2-MegaAmerican University of BeirutЯзыковая модель
ShortformerUniversity of Washington,Facebook AI Research,Allen Institute for AIЯзыковая модель
CT-MoS (PTB)National Tsing Hua University,GoogleЯзыковая модель
CT-MoS + DynamicEval (WT2)National Tsing Hua University,GoogleЯзыковая модель
CT-MoS + DynamicEval (PTB)National Tsing Hua University,GoogleЯзыковая модель
CT-MoS (WT2)Google,National Tsing Hua UniversityЯзыковая модель
RaSoRKorea University,Princeton UniversityЯзыковая модель
DensePhrasesKorea University,Princeton UniversityЯзыковая модель
2019
Трансформеры захватывают NLP
BERT от Google революционизирует понимание текста. GPT-2 показывает генерацию связного текста. T5 унифицирует задачи NLP в формат text-to-text.
Big Transfer (BiT-M)Google BrainКомпьютерное зрение
DD-PPOGeorgia Institute of Technology,Facebook AI Research,Oregon State University,Simon Fraser UniversityРобототехника
SeqVecTechnical University of MunichБиология и ИИ
OpenAI FiveOpenAIИгровой ИИ
OpenAI Five RerunOpenAIИгровой ИИ
MMLSTM (PTB)Beijing University of Posts and Telecommunications,University of West LondonЯзыковая модель
MMLSTM (WT-2)Beijing University of Posts and Telecommunications,University of West LondonЯзыковая модель
MMLSTM (WT-103)Beijing University of Posts and Telecommunications,University of West LondonЯзыковая модель
StarGAN v2NAVER,Yonsei University,Swiss Federal Institute of TechnologyКомпьютерное зрение, Генерация изображений
StyleGAN2NVIDIA,Aalto UniversityГенерация изображений
2018
Предобучение и transfer learning
ELMo и BERT показывают силу предобученных языковых моделей. GPT-1 от OpenAI запускает линейку. StyleGAN генерирует фотореалистичные лица.
StyleGANNVIDIAГенерация изображений
Vine copula (wine quality)Massachusetts Institute of Technology (MIT),Rey Juan Carlos University
Vine copula (crime)Massachusetts Institute of Technology (MIT),Rey Juan Carlos University
Vine copula (breast cancer)Massachusetts Institute of Technology (MIT),Rey Juan Carlos UniversityКомпьютерное зрение
SPN (ImageNet 128)Google Brain,DeepMindГенерация изображений
SPN (CelebA HQ)Google Brain,DeepMindГенерация изображений
DMPFoldUniversity College London (UCL)Биология и ИИ
GPipe (Transformer)GoogleЯзыковая модель
Multi-cell LSTMUniversity of HyderabadЯзыковая модель
Discriminator-tuned LSTMSamsung R&D Institute RussiaЯзыковая модель
2017
Attention Is All You Need
Google публикует статью о трансформерах — архитектуре, которая изменит всё. AlphaGo Zero учится играть с нуля без человеческих данных. Начало эры трансформеров.
PixelSNAIL (CIFAR 10)University of California (UC) BerkeleyГенерация изображений
PixelSNAIL (ImageNet)University of California (UC) BerkeleyГенерация изображений
Tacotron 2Google,University of California (UC) BerkeleyРаспознавание речи
WGAN (Wasserstein GAN)Facebook AI Research,Courant Institute of Mathematical SciencesГенерация изображений
2-layer-LSTM+Deep-Gradient-CompressionTsinghua University,Stanford University,NVIDIAЯзыковая модель
AlphaZeroDeepMindИгровой ИИ
PNASNet-5Johns Hopkins University,Google AI,Stanford UniversityКомпьютерное зрение
DL scaling ImageBaiduКомпьютерное зрение
DL scaling LMBaiduЯзыковая модель
DL scaling speechBaiduРаспознавание речи
2016
AlphaGo побеждает человека
DeepMind's AlphaGo обыгрывает чемпиона мира по го Ли Седоля. Это момент, когда ИИ доказывает способность к сверхчеловеческой интуиции в сложных задачах.
GCNN-14Facebook AI ResearchЯзыковая модель
EnhanceNetMax Planck Institute for Intelligent SystemsКомпьютерное зрение
GCRN-M1, dropoutEcole Polytechnique F´ed´erale de Lausanne (EPFL)Языковая модель
3DMM-CNNUniversity of Southern CaliforniaКомпьютерное зрение
Neural cache model (size=2000)Facebook AI ResearchЯзыковая модель
LSTM (WT2)Facebook AI ResearchЯзыковая модель
HR-ResNet101Carnegie Mellon University (CMU)Компьютерное зрение
LSTM (WT103)Facebook AI ResearchЯзыковая модель
LSTM (PTB)Facebook AI ResearchЯзыковая модель
Diabetic Retinopathy Detection NetUT Austin,University of California (UC) Berkeley,GoogleКомпьютерное зрение
2015
Глубокое обучение взлетает
ResNet побеждает на ImageNet с рекордной точностью. Batch Normalization ускоряет обучение. TensorFlow от Google становится открытым. ИИ входит в мейнстрим.
Variational (untied weights, MC) LSTM (Large)University of CambridgeЯзыковая модель
Advantage LearningGoogle DeepMindИгровой ИИ
BPLUniversity of Toronto,New York University (NYU),Massachusetts Institute of Technology (MIT)Генерация изображений
ResNet-101 (ImageNet)MicrosoftКомпьютерное зрение
ResNet-152 (ImageNet)MicrosoftКомпьютерное зрение
DeepSpeech2 (English)Baidu Research - Silicon Valley AI LabРаспознавание речи
SSDКомпьютерное зрение
Inception v3Google,University College London (UCL)Компьютерное зрение
Netflix Recommender SystemNetflixРекомендательные системы
Multi-scale Dilated CNNPrinceton University,Intel LabsКомпьютерное зрение
2014
GAN и генеративные модели
Ян Гудфеллоу изобретает генеративно-состязательные сети (GAN) — архитектуру, которая позже приведёт к генерации изображений. Seq2Seq революционизирует машинный перевод.
N-gram (PTB)Facebook AI ResearchЯзыковая модель
N-gram+Cache (PTB)Facebook AI ResearchЯзыковая модель
DeepLabGoogle,University of California Los Angeles (UCLA)Компьютерное зрение
ADAM (CIFAR-10)University of Amsterdam,OpenAI,University of TorontoКомпьютерное зрение
Fractional Max-PoolingUniversity of WarwickКомпьютерное зрение
NTMGoogle DeepMindДругое, Языковая модель
SNM-skipGoogleЯзыковая модель
TA-CNNChinese University of Hong Kong (CUHK)Компьютерное зрение
Cascaded LNet-ANetChinese University of Hong Kong (CUHK)Компьютерное зрение
Fully Convolutional NetworksUniversity of California (UC) BerkeleyКомпьютерное зрение
2013
Word2Vec и нейросетевые эмбеддинги
Google публикует Word2Vec — метод представления слов в виде векторов. Начало эры нейросетевого NLP. Variational Autoencoder (VAE) открывает новый подход к генерации.
OverFeatNew York University (NYU)Компьютерное зрение
Image generationUniversity of AmsterdamКомпьютерное зрение
DQNDeepMindИгровой ИИ
Network in NetworkNational University of SingaporeКомпьютерное зрение
RNN for 1B wordsGoogleЯзыковая модель
Deep RNN (PTB)MetaMind IncЯзыковая модель
TransEUniversite de Technologie de Compiègne – CNRS,GoogleЯзыковая модель
DeViSEGoogleКомпьютерное зрение
TensorReasonerStanford UniversityЯзыковая модель
Visualizing CNNsNew York University (NYU)Компьютерное зрение
2012
AlexNet — начало эры глубокого обучения
AlexNet побеждает на ImageNet с огромным отрывом благодаря GPU-обучению. Это момент, который запустил революцию deep learning и привлёк миллиарды в ИИ.
RNN (SGD+CLR)University of Montreal / Université de MontréalАудио
DistBelief VisionGoogleКомпьютерное зрение
DistBelief SpeechGoogleРаспознавание речи
DNN EM segmentationIDSIA,SUPSIКомпьютерное зрение
Bayesian automated hyperparameter tuningUniversity of Toronto,University of Sherbrooke,Harvard UniversityДругое
RNN+LSA+KN5+cache (model combination w/ linear extrapolation)Microsoft ResearchЯзыковая модель
RNNMicrosoft ResearchЯзыковая модель
RNN+LDAMicrosoft ResearchЯзыковая модель
AlexNetUniversity of TorontoКомпьютерное зрение
LSTM LMRWTH Aachen UniversityЯзыковая модель
2011
ИИ побеждает в Jeopardy
IBM Watson побеждает чемпионов в телевикторине Jeopardy!. Siri от Apple запускается как первый массовый голосовой ассистент. ИИ начинает входить в повседневную жизнь.
HOGWILD!University of Wisconsin MadisonДругое
Adaptive SubgradTechnion - Israel Institute of Technology,Google,University of California (UC) BerkeleyЯзыковая модель
CNN committee (traffic sign)IDSIAКомпьютерное зрение
CNN Committee (MNIST)IDSIAКомпьютерное зрение
CNN Committee (NIST)IDSIAКомпьютерное зрение
High Performance CNN (NORB)IDSIA,SUPSIКомпьютерное зрение
Recursive sentiment autoencoderStanford UniversityЯзыковая модель
Recursive Neural NetworkStanford UniversityКомпьютерное зрение, Языковая модель
Vector Space ModelStanford UniversityЯзыковая модель
Cross-Lingual POS TaggerCarnegie Mellon University (CMU),Google ResearchЯзыковая модель
2010
Начало эры больших данных
ImageNet становится главным бенчмарком компьютерного зрения. GPU начинают использовать для обучения нейросетей. Рождается современная индустрия ИИ.
RNN 1000/5 + RT09 LM (NIST RT05)Brno University of Technology,Johns Hopkins UniversityРаспознавание речи
KN5 LM + RNN 400/10 (WSJ)Brno University of Technology,Johns Hopkins UniversityРаспознавание речи
RNN LMJohns Hopkins UniversityЯзыковая модель
RNN 500/10 + RT09 LM (NIST RT05)Brno University of Technology,Johns Hopkins UniversityРаспознавание речи
Pooling CNN (NORB)University of BonnКомпьютерное зрение
Pooling CNN (Caltech 101)University of BonnКомпьютерное зрение
Fisher-BoostXerox Research Centre Europe (XRCE)Компьютерное зрение
SimuParallelSGDYahoo ResearchДругое
ReLU (LFW)University of TorontoКомпьютерное зрение
iCCCPMassachusetts Institute of Technology (MIT)Компьютерное зрение
2009
ImageNet и большие данные для зрения
Запускается ImageNet — датасет из миллионов размеченных изображений. Он станет бенчмарком, определившим развитие компьютерного зрения на десятилетие.
LCNP LabelMeUniversity of BonnКомпьютерное зрение
LCNP NORBКомпьютерное зрение
LCNP MNISTКомпьютерное зрение
3D city reconstructionUniversity of Washington,Microsoft Research,Cornell University3D-моделирование
Two Stage Feature Extraction (MNIST)New York University (NYU)Компьютерное зрение
ConvNet ProcessorCourant Institute of Mathematical SciencesКомпьютерное зрение
Pragmatic Theory solution (Netflix 2009)Pragmatic Theory Inc.Рекомендательные системы
Conditional Maximum Entropy Model (Gigaworld)GoogleЯзыковая модель
GPU DBNsStanford UniversityДругое
Conv-DBNStanford UniversityКомпьютерное зрение
2008
GPU-вычисления для ИИ
Исследователи начинают использовать GPU для обучения нейросетей. NVIDIA CUDA открывает эпоху параллельных вычислений для машинного обучения.
GNNUniversity of SienaДругое
ADAPTIVE NLPMUniversity of TorontoЯзыковая модель
HLBLUniversity of TorontoЯзыковая модель
Sparse digit recognition SVMUniversity of LubeckКомпьютерное зрение
Boss (DARPA Urban Challenge)Carnegie Mellon University (CMU)Автономное вождение
Deep Multitask NLP NetworkNEC LaboratoriesЯзыковая модель
Semi-Supervised Embedding for DLGoogle,NUANCE Communications,IDIAP,University of Illinois Urbana-Champaign (UIUC)Другое
Denoising AutoencodersUniversity of Montreal / Université de MontréalДругое
Multiscale deformable part modelUC Irvine,University of Chicago,Toyota Technological Institute at ChicagoКомпьютерное зрение
2007
Глубокие сети набирают обороты
Методы предобучения без учителя позволяют обучать более глубокие сети. Появляются первые практические применения глубокого обучения в распознавании речи.
Enhanced Neighborhood-Based FilteringAT&TРекомендательные системы
BLSTM for handwriting (1)University of Bern,IDSIA,Technical University of MunichКомпьютерное зрение
Fisher Kernel GMMXeroxКомпьютерное зрение
SB-LMGoogleЯзыковая модель
KN-LMGoogleЯзыковая модель
Empirical evaluation of deep architecturesUniversity of Montreal / Université de MontréalДругое
2006
Возрождение нейронных сетей
Джеффри Хинтон публикует работу о глубоких сетях доверия (DBN), запуская ренессанс нейронных сетей после «зимы ИИ». Термин «deep learning» входит в обиход.
Greedy layer-wise DNN trainingUniversity of Montreal / Université de MontréalДругое
Local Binary Patterns for facial recognitionUniversity of Oulu,IEEEКомпьютерное зрение
Sparse Vision EncodingStanford UniversityКомпьютерное зрение
Spatial Pyramid MatchingINRIA,University of Illinois Urbana-Champaign (UIUC),Ecole Normale SupèrieureКомпьютерное зрение
Hybrid CNN/SVM Object CategorizerCourant Institute of Mathematical SciencesКомпьютерное зрение
SVM-CNNNew York University (NYU)Компьютерное зрение
Crazy StoneINRIAИгровой ИИ
FASTUniversity of CambridgeВидео
RL for helicopter flightUniversity of California (UC) Berkeley,Stanford UniversityАвтономное вождение
TFE SVMCentre de Recherche en Automatique de Nancy (CRAN),CENPARMIКомпьютерное зрение
2005
Развитие ансамблевых методов
Random Forest и градиентный бустинг становятся стандартом для табличных данных. Машинное обучение активно используется в рекомендательных системах и рекламе.
Vision-based obstacle avoidance system (2005)New York University (NYU),Net-Scale technologies,NEC LaboratoriesРобототехника, Компьютерное зрение
Monocular Depth PredictionStanford UniversityКомпьютерное зрение
RankNetMicrosoft Research,MicrosoftПоиск
BiLSTM for SpeechIDSIA,Technical University of MunichРаспознавание речи
Hierarchical LMЯзыковая модель
2004
Машинное обучение в продуктах
Google использует ML для ранжирования поиска. Amazon развивает рекомендательные системы. ИИ начинает приносить реальные деньги технокомпаниям.
LMICAКомпьютерное зрение
Synergistic Face DetectorNEC Laboratories,Courant Institute of Mathematical SciencesКомпьютерное зрение
Invariant CNNNew York University (NYU)Компьютерное зрение
Sandstorm (DARPA Grand Challenge I)Carnegie Mellon University (CMU)Автономное вождение
GPU implementation of neural networksSoongsil UniversityКомпьютерное зрение
2003
Нейронные языковые модели
Бенжио публикует работу о нейронных языковых моделях — предшественниках современных LLM. Идея предсказания следующего слова нейросетью закладывает фундамент будущего.
RankBoost (meta-search)Columbia University,Princeton University,Hebrew University of JerusalemРекомендательные системы
RankBoost (EachMovie)Columbia University,Princeton University,Hebrew University of JerusalemРекомендательные системы
Bayesian object categorizerCalifornia Institute of Technology,University of OxfordКомпьютерное зрение
NPLM (AP News)University of Montreal / Université de MontréalЯзыковая модель
NPLM (Brown)University of Montreal / Université de MontréalЯзыковая модель
LDAStanford UniversityЯзыковая модель
Statistical Shape ConstellationsCalifornia Institute of TechnologyКомпьютерное зрение
2002
SVM и ядерные методы
Метод опорных векторов (SVM) доминирует в задачах классификации. Ядерные методы показывают отличные результаты на малых датасетах.
Web mining + Decision tree recommenderKorea Advanced Institute of Science and Technology (KAIST)Рекомендательные системы
NEATUT AustinДругое
Tagging via Viterbi DecodingAT&TЯзыковая модель
2001
Random Forest
Лео Брейман публикует работу о случайном лесе — ансамблевом методе, который до сих пор используется в промышленности для табличных данных.
Decision tree (classification)Mitsubishi Electric Research Labs,Compaq CRLКомпьютерное зрение
Gradient Boosting MachineStanford UniversityМатематика
Immediate triheadBrown UniversityЯзыковая модель
Restricted Boltzmann machine for Face RecognitionUniversity of Toronto,University College London (UCL)Компьютерное зрение
2000
Начало эры интернет-данных
Взрыв интернета создаёт огромные объёмы текстовых данных. Статистические методы NLP начинают вытеснять правиловые. Латентное семантическое индексирование для поиска.
PoE MNISTUniversity College London (UCL)Компьютерное зрение
Neural LMUniversity of Montreal / Université de MontréalЯзыковая модель
SVD in recommender systemsUniversity of MinnesotaРекомендательные системы
1999
LSTM набирает популярность
Рекуррентные сети с LSTM-ячейками показывают результаты в распознавании рукописного текста и речи. Начало практического применения последовательных моделей.
Credibilty NetworkUniversity College London (UCL),University of TorontoКомпьютерное зрение
RECONTRA-uncategorizedЯзыковая модель
RECONTRA-categorizedЯзыковая модель
Learning to Order ThingsAT&TРекомендательные системы, Поиск
1998
LeNet-5 и MNIST
Ян Лекун совершенствует LeNet для распознавания рукописных цифр. MNIST становится стандартным бенчмарком. Свёрточные сети доказывают свою практичность.
LeNet-5AT&TКомпьютерное зрение
1997
Deep Blue побеждает Каспарова
Суперкомпьютер IBM Deep Blue обыгрывает чемпиона мира по шахматам Гарри Каспарова. LSTM решает проблему долгосрочных зависимостей в рекуррентных сетях.
LSTMTechnical University of MunichЯзыковая модель
n-gram LMUniversity of Cambridge,Carnegie Mellon University (CMU)Языковая модель
Deep BlueIBMИгровой ИИ
SOM-CNNКомпьютерное зрение
1996
Развитие обучения с подкреплением
TD-Gammon от IBM играет в нарды на уровне чемпиона мира. Обучение с подкреплением показывает потенциал в сложных стратегических задачах.
AdaBoost.M2 Digit RecognitionAT&TКомпьютерное зрение
System 11Carnegie Mellon University (CMU)Компьютерное зрение
MUSIC perceptronКомпьютерное зрение
1995
SVM и статистическое обучение
Владимир Вапник представляет метод опорных векторов (SVM). Статистическое обучение начинает доминировать над нейросетевыми подходами. Начало «зимы нейросетей».
LISSOMUniversity of Texas at AustinКомпьютерное зрение
Multi-cause Binary ClusteringXeroxДругое
1994
Веб и первые поисковые системы
WebCrawler и Lycos — первые поисковые системы, использующие алгоритмы ранжирования. TF-IDF становится основой информационного поиска.
JPMAXКомпьютерное зрение
Mixture of linear modelsКомпьютерное зрение
NeuroChessИгровой ИИ
Predictive Coding NNTechnical University of MunichЯзыковая модель
Ceramic-MLPSapienza Università di RomaМатериаловедение
1993
Вероятностные модели
Байесовские сети и скрытые марковские модели используются для распознавания речи. Вероятностные подходы доминируют в NLP.
ANN Eye TrackerКомпьютерное зрение
Learning-curve predictionAT&TКомпьютерное зрение
Siamese-TDNNBell LaboratoriesКомпьютерное зрение
1992
Бустинг и ансамблевые методы
Роберт Шапире и Йоав Фройнд разрабатывают AdaBoost — первый практичный алгоритм бустинга. Ансамблевые методы становятся мощным инструментом ML.
BoostingBell LaboratoriesКомпьютерное зрение
Cancer drug mechanism predictionNational Cancer InstituteМедицина
GolemAlan Turing InstituteБиология и ИИ
Fuzzy NNIndian Statistical InstituteРаспознавание речи
TD-GammonIBMИгровой ИИ
1991
Развитие рекуррентных сетей
Исследования рекуррентных нейросетей для обработки последовательностей. Проблема затухающего градиента ограничивает глубину обучения.
Weight DecayРаспознавание речи
1990
Вторая зима ИИ
Финансирование ИИ-исследований сокращается. Экспертные системы не оправдали ожиданий. Но работа над нейросетями продолжается в академических лабораториях.
RAAMДругое
ISR networkStanford UniversityКомпьютерное зрение
SexNet compressionКомпьютерное зрение
SexNet classificationКомпьютерное зрение
Bankruptcy-NNДругое
NETtalk reimplementationOregon State UniversityРаспознавание речи
1989
LeNet и свёрточные сети
Ян Лекун создаёт LeNet — первую практическую свёрточную нейросеть для распознавания рукописных цифр. Начало компьютерного зрения на нейросетях.
InnervatorStanford University,California Institute of TechnologyМатематика
ALVINNCarnegie Mellon University (CMU)Автономное вождение
Zip CNNAT&T,Bell LaboratoriesКомпьютерное зрение
Speaker-independent vowel classificationUniversity of WashingtonРаспознавание речи
Handwritten digit recognition networkAT&TКомпьютерное зрение
Invariant image recognitionComplutense University of MadridКомпьютерное зрение
Truck backer-upperStanford UniversityАвтономное вождение
Time-delay neural networksAdvanced Telecommunications Research Institute,Carnegie Mellon University (CMU)Распознавание речи
Q-learningUniversity of LondonРобототехника, Игровой ИИ
MLP baggage detectorScience Applications International Corporation / SAICКомпьютерное зрение
1988
Развитие коннекционизма
Нейросетевой подход набирает популярность. Публикуются работы о распределённых представлениях и параллельной обработке данных.
MLN-ASRMcGill UniversityРаспознавание речи
MADALINE IIStanford UniversityМатематика
Latent semantic analysisUniversity of Chicago,Bell Laboratories,University of Western OntarioЯзыковая модель
1987
Первые коммерческие нейросети
Появляются первые коммерческие применения нейросетей в финансах и распознавании образов. Исследования backpropagation набирают обороты.
Translation-invariant MLPCarnegie Mellon University (CMU)
NetTalk (dictionary)Princeton UniversityРаспознавание речи
NetTalk (transcription)Princeton UniversityРаспознавание речи
1986
Обратное распространение ошибки
Румельхарт, Хинтон и Уильямс публикуют работу об обратном распространении ошибки — алгоритме, который до сих пор лежит в основе обучения всех нейросетей.
Optimized Multi-Scale Edge DetectionMassachusetts Institute of Technology (MIT)Компьютерное зрение
MLP with back-propagationUniversity of California San Diego,Carnegie Mellon University (CMU)Математика
Distributed representation NNCarnegie Mellon University (CMU)Другое
PDP model for serial orderUniversity of California San DiegoРаспознавание речи
Error PropagationUniversity of California San Diego,Carnegie Mellon University (CMU)Другое
1984
Сети Больцмана
Хинтон и Сейновски создают сети Больцмана — стохастические нейросети, использующие принципы статистической механики для обучения.
Learnability theory of language developmentMassachusetts Institute of Technology (MIT)Языковая модель
Hierarchical CognitronNHK Broadcasting Science Research LaboratoriesДругое
1983
Развитие экспертных систем
Экспертные системы на основе правил активно используются в медицине и промышленности. Это пик первой волны коммерческого ИИ.
ASE+ACEUniversity of Massachusetts AmherstРобототехника
1980
Карты Кохонена
Тойво Кохонен создаёт самоорганизующиеся карты — метод обучения без учителя для визуализации и кластеризации многомерных данных.
NeocognitronNHK Broadcasting Science Research LaboratoriesКомпьютерное зрение
1976
Развитие символьного ИИ
Экспертные системы набирают популярность. MYCIN диагностирует инфекции крови. Символьный подход к ИИ доминирует.
Transfer LearningUniversity of ZagrebКомпьютерное зрение
Statistical continuous speech recognizerMassachusetts Institute of Technology (MIT)Распознавание речи
1975
Backpropagation: первые идеи
Пол Вербос описывает метод обратного распространения ошибки в своей диссертации. Идея остаётся незамеченной до 1986 года.
CognitronBiological CyberneticsДругое
1973
Доклад Лайтхилла и первая зима ИИ
Джеймс Лайтхилл публикует разгромный отчёт о состоянии ИИ в Великобритании. Финансирование сокращается. Начинается «первая зима ИИ».
Piecewise linear modelUniversity of KansasКомпьютерное зрение
1972
PROLOG и логическое программирование
Создаётся язык Prolog — основа логического программирования и экспертных систем. Японский проект компьютеров пятого поколения будет основан на нём.
Self-Organizing Nets of Threshold ElementsUniversity of TokyoДругое
1970
Ограничения перцептрона
Минский и Паперт публикуют книгу «Перцептроны», показывая ограничения однослойных сетей. Это временно останавливает исследования нейросетей.
Graph-based structural reasoningMassachusetts Institute of Technology (MIT)Компьютерное зрение
1969
Первые шаги робототехники
Робот Shakey от SRI International — первый мобильный робот, способный рассуждать о своих действиях. Интеграция зрения, планирования и движения.
Decision tree adalineTokyo Medical and Dental UniversityМедицина
1968
Развитие компьютерного зрения
Появляются первые системы компьютерного зрения. MIT запускает проект «Summer Vision» — попытка решить зрение за лето. Задача оказалась значительно сложнее.
Boxes (pole)University of EdinburghИгровой ИИ
GLEEUniversity of EdinburghИгровой ИИ
1966
ELIZA — первый чат-бот
Джозеф Вейценбаум создаёт ELIZA — программу, имитирующую психотерапевта. Первая демонстрация разговорного ИИ, предтеча ChatGPT.
LTE speaker verification systemIBMРаспознавание речи
1965
Развитие машинного перевода
Исследования автоматического перевода текстов. Ранние системы основаны на правилах и словарях — до статистических методов ещё далеко.
Heuristic Reinforcement LearningPurdue UniversityРобототехника
1963
Ранние нейросетевые исследования
Исследования адаптивных линейных элементов (ADALINE). Развитие теории обучения нейронных сетей. Работы по распознаванию образов.
MENACEUniversity of EdinburghИгровой ИИ
STeLLAUniversity of CanterburyРобототехника
Print Recognition LogicIBMКомпьютерное зрение
1962
Программа для шашек
Артур Сэмюэл совершенствует программу для игры в шашки, которая учится на опыте — один из первых примеров машинного обучения.
MADALINE IStanford UniversityДругое
Linear Decision FunctionsBell LaboratoriesМатематика
1961
Unimate — первый промышленный робот
Первый промышленный робот Unimate начинает работать на конвейере General Motors. Начало робототехники в промышленности.
PAPAUniversity of GenoaДругое
1960
ADALINE и адаптивное обучение
Бернард Уидроу создаёт ADALINE — адаптивный линейный нейрон. Метод стохастического градиентного спуска для обучения.
ADALINEStanford UniversityКомпьютерное зрение
Perceptron (1960)Cornell Aeronautical LaboratoryКомпьютерное зрение
1959
Машинное обучение получает имя
Артур Сэмюэл вводит термин «машинное обучение» — способность компьютеров обучаться без явного программирования. Его программа для шашек учится играть всё лучше.
Samuel Neural CheckersIBMИгровой ИИ
Pandemonium (morse)Massachusetts Institute of Technology (MIT)Языковая модель
1957
Фрэнк Розенблатт проектирует перцептрон
Розенблатт описывает теорию перцептрона — устройства, способного распознавать образы. Публикация вызывает волну оптимизма о будущем ИИ.
Perceptron Mark ICornell Aeronautical Laboratory,Cornell UniversityДругое
1955
Термин «Искусственный интеллект»
Джон Маккарти предлагает термин «Artificial Intelligence» для конференции в Дартмуте. Рождение ИИ как научной дисциплины.
Sequence-based pattern recognitionMassachusetts Institute of Technology (MIT)Компьютерное зрение
1954
Джорджтаунский эксперимент
IBM и Джорджтаунский университет демонстрируют автоматический перевод 60 русских предложений на английский. Первый публичный успех машинного перевода.
Genetic algorithmInstitute for Advanced StudyМатематика, Биология и ИИ
1950
Тест Тьюринга
Алан Тьюринг публикует статью «Computing Machinery and Intelligence» и предлагает тест на разумность машины. Философский фундамент всего ИИ.
TheseusBell LaboratoriesРобототехника