Машинное обучение: Всё, что необходимо о нём знать

Что такое машинное обучение?

Дать четкое определение машинному обучению может быть непросто. Машинное обучение - это тип искусственного интеллекта, который позволяет машинам обучаться на основе данных, не являясь при этом явно запрограммированными на это. Для решения данной задачи требуется оптимизировать параметры модели (т. е. внутренние переменные) путем вычислений, чтобы поведение модели отражало полученные данные или опыт. Алгоритм обучения постоянно обновляет значения параметров по мере обучения, позволяя модели машинного обучения учиться и делать прогнозы или принимать решения на основе анализа данных и процессов.

Сферы применения машинного обучения очень широки и охватывают такие отрасли, как здравоохранение, финансы, маркетинг, транспорт и многие другие. Модели машинного обучения уже используются для распознавания изображений, обработки естественного языка, выявления случаев мошенничества, создания рекомендательных систем, автономных транспортных средств и персонализированной медицины.

В целом, машинное обучение играет чрезвычайно важную роль, позволяя компьютерам обучаться на основе опыта и данных для повышения эффективности выполнения конкретных задач без необходимости программирования. Машинное обучение потенциально способно произвести революцию в различных отраслях промышленности, автоматизируя сложные процессы и принимая интеллектуальные прогнозы или решения, "переваривая" огромные объемы информации.

 

Чем машинное обучение отличается от глубокого обучения и нейронных сетей?

Глубокое обучение - это направление машинного обучения, которое ориентировано на обучение искусственных нейронных сетей. Многослойные нейронные сети вдохновлены структурой и функциями человеческого мозга. Как и наш мозг, они состоят из взаимосвязанных узлов (нейронов), которые передают друг другу различные сигналы.

Подобные сложные алгоритмы отлично справляются с распознаванием изображений и речи, обработкой естественного языка и многими другими задачами, автоматически извлекая признаки из исходных данных с помощью большого количества уровней абстракции. Глубокое обучение может работать с массивами данных огромного масштаба, с входными данными высокой размерности. Для этого ему требуется значительная вычислительная мощность и длительное обучение.

Как работает машинное обучение

Первым шагом в процессе машинного обучения является сбор соответствующих данных, которые, в свою очередь, могут поступать из таких источников, как базы данных, системы сенсоров или Интернет.

• Предварительная обработка данных: После того как данные собраны, их необходимо предварительно обработать, чтобы гарантировать их качество и пригодность для анализа.
• Обучение модели: Следующий шаг - обучение модели машинного обучения: алгоритм или математическое представление, которое учится делать прогнозы или принимать решения на основе входных данных.
• Выбор признаков и проектирование: На этом этапе модель машинного обучения выделяет наиболее значимые признаки исходных данных, оказывающие значительное влияние на работу модели.
• Оценка и оптимизация модели: После того как модель обучена, необходимо оценить ее производительность и определить, соответствует ли она требуемым критериям.
• Применение и мониторинг: После успешного обучения и оценки модель может быть использована в реальных приложениях систем машинного обучения.

Распространенные модели и алгоритмы для тренировки машинного обучения

Машинное обучение опирается на существующие компьютерные науки, в значительной степени используя статистику, теорию вероятности и методы оптимизации. Существует три основных типа машинного обучения:

• Контролируемое обучение, при котором алгоритм обучается на основе пар вход-выход, представленных в обучающем наборе данных.
• Неконтролируемое обучение, при котором алгоритм находит скрытые паттерны или структуры в немаркированных данных.
• Обучение с подкреплением, в котором используются вознаграждения или наказания для обучения алгоритма принимать оптимальные решения в заданной среде.

В чем преимущества машинного обучения?

Машинное обучение обладает широким спектром преимуществ в различных отраслях и сферах применения. Благодаря способности обрабатывать огромные объемы данных в режиме реального времени машинное обучение позволяет выявлять неэффективность процессов, оптимизировать технологические процессы и повышать общую производительность.

Перечислим лишь некоторые более конкретные преимущества машинного обучения:

• Автоматизация повторяющихся задач, экономия времени и ресурсов,что позволяет людям сосредоточиться на более сложных и творческих аспектах своей работы.
• Персонализация и рекомендации: Анализируя предпочтения и поведение пользователей, машинное обучение позволяет создавать персонализированные сервисы. Такие платформы, как Netflix, Amazon и Spotify, используют его, чтобы предлагать контент на основе индивидуальных моделей поведения пользователей.
• Анализ данных и распознавание образов: Машинное обучение позволяет анализировать большие массивы данных для выявления закономерностей и тенденций, которые могут быть неочевидны при использовании классических методов, что может привести к ценным выводам и принятию обоснованных решений.
• Улучшение процесса принятия решений: Предоставляя точные и основанные на конкретных данных сведения, машинное обучение способствует принятию более обоснованных решений в различных областях, от маркетинговых стратегий до оптимизации цепочки поставок.
• Предиктивная аналитика: Алгоритмы машинного обучения могут делать прогнозы на основе исторических данных, предвидя будущие тенденции, поведение клиентов и динамику рынка. Такие алгоритмы особенно полезны в финансовом прогнозировании, прогнозировании спроса и управлении рисками.
• Повышение качества обслуживания клиентов: Машинное обучение позволяет чат-ботам и виртуальным помощникам взаимодействовать с пользователями в естественно-языковом формате, обеспечивая более быстрые и персонализированные ответы для улучшения поддержки и вовлечения клиентов.
• Обнаружение мошенничества и кибербезопасность: Алгоритмы машинного обучения позволяют выявлять необычные закономерности и модели поведения в данных, что помогает выявлять мошенничество в финансовых операциях и повышает уровень кибербезопасности за счет выявления потенциальных угроз.
• Медицинская диагностика и здравоохранение: Машинное обучение помогает прогнозировать состояние пациентов и составлять индивидуальные планы лечения. Оно может анализировать медицинские изображения, такие как рентгеновские и магнитно-резонансные снимки, чтобы помочь в диагностике заболеваний.
• Оптимизированное распределение ресурсов: Машинное обучение прогнозирует уровень спроса, управляет складскими запасами и оптимизирует процессы цепочки поставок. Это очень важно для отраслей, работающих со скоропортящимися товарами или с изменчивым спросом на рынке.
• Эффективный подбор персонала и HR-процессы: Алгоритмы машинного обучения могут ускорить процесс подбора персонала, анализируя резюме, выявляя подходящих кандидатов и прогнозируя эффективность работы сотрудников.

Машинное обучение: ожидания и задачи

Машинное обучение в области искусственного интеллекта открывает широкие возможности для бизнеса и общества. Помимо многочисленных преимуществ, перечисленных выше, оно является частью ландшафта искусственного интеллекта, который открывает возможности для инноваций мирового масштаба в области устойчивости к изменению климата и смягчения его последствий, ускоряя решение некоторых из самых серьезных проблем планеты.

Однако, несмотря на вышеперечисленное, риски всё же существуют. Необходимо учитывать этические аспекты, конфиденциальность данных и потенциальные предубеждения, чтобы обеспечить ответственное и справедливое использование данных новых технологий Кроме того, эффективность приложений машинного обучения зависит от качества данных и пригодности выбранных алгоритмов для решения конкретных задач.

Именно здесь международные стандарты играют важную роль, предоставляя четкие рекомендации и правила для предотвращения злоупотреблений ИИ и защиты пользователей. ИСО в сотрудничестве с Международной электротехнической комиссией (МЭК) опубликовала ряд стандартов, связанных с машинным обучением, через свою специальную группу экспертов по искусственному интеллекту (ИСО/МЭК СТК 1/ПК 42). Самым последним стандартом по этой теме является ISO/IEC 23053 , который представляет собой основу для систем искусственного интеллекта, использующих машинное обучение.

Станет ли машинное обучение будущим ИИ?

Конечная цель ИИ - создание машин, способных рассуждать, обучаться и адаптироваться к различным областям деятельности. Для этого потребуются расширенные возможности в различных областях ИИ, а машинное обучение является жизненно важной частью этого процесса.

Будущее машинного обучения, как части более широкой области искусственного интеллекта, вызывает интерес у многих, но также и беспокойство. Разработка международных стандартов имеет решающее значение, если мы хотим минимизировать риски и максимизировать многочисленные преимущества в любой сфере нашей жизни.

How machine learning works

The first step in machine learning is collecting relevant data which may come from sources such as databases, sensors or the Internet.

• Preprocessing data: Once the data is collected, it needs to be preprocessed to ensure its quality and suitability for analysis.
• Training the model: The next step is to train a machine learning model – an algorithm or mathematical representation that learns to make predictions or decisions from input data.
• Feature selection and engineering: That machine learning model then selects the most relevant features from the input data that will have a significant impact on the model’s performance.
• Evaluating and optimizing the model: Once a model is trained, it needs to be evaluated to assess its performance and determine whether it meets the desired criteria.
• Deployment and monitoring: After successful training and evaluation, the model can be deployed in real-world applications of machine learning.

Machine learning models

Machine learning builds on existing computer science, relying heavily on statistics, probability theory and optimization techniques. There are three main types of machine learning models:

Supervised learning

Used to predict outcomes or classify data, supervised machine learning is based on labelled training datasets. As data is fed to the ML model, it goes through a cross-validation process which adjusts its weight until it is fitted appropriately. This model supports things like face recognition, object detection or quality control.

Unsupervised learning

As opposed to supervised learning, unsupervised learning is based on unlabelled datasets. The objective of unsupervised learning is to teach ML models to detect hidden patterns or structures without human supervision. Businesses can therefore use unsupervised learning to support customer segmentation, cross-selling strategies or data analysis.

Reinforcement learning

While similar to supervised learning, reinforcement learning relies on trial and error. Without labelled training datasets, reinforcement learning trains ML models to develop best recommendations based on a series of successful outcomes.

Differences between a machine learning model and a machine learning algorithm

In essence, a machine learning model is an end product. It is the representation of what happens when a machine learning algorithm is applied to a dataset. Its purpose is to generalize beyond the training data rather than simply memorize the examples it was trained on. In other words, the model is a tool that can be used to do things like predict outcomes and identify patterns.

In contrast, the machine learning algorithm is the technique used to train a machine learning model. There exist a number of algorithms – linear regression, support vector machines, deep neural networks – and each has its own formulations and complexities. However, the end goal of all of them is to reduce the margin of error between model predictions and the target output of training datasets.

In an image classification system, for instance, the machine learning model is the mathematical function that identifies whether an image contains a cat or a dog, having learned patterns from the training data. The machine learning algorithm is the method used to train this model, optimizing its parameters to improve classification accuracy. Once trained, the model can be used to classify new unseen images as containing either a cat or a dog.

How are ML models evaluated?

Training an ML model is only the first step. The real question is whether it can perform reliably when faced with new, unseen data. To test this, data is typically divided into two parts: a training set (used to teach the model) and a test set (used to evaluate how well it performs on data it has not seen before). This helps determine whether the model has learned meaningful patterns or is simply reproducing what it has already been shown.

Performance is measured using a range of metrics, depending on the task. For classification, this may include accuracy, precision, recall and F1-score; for regression, measures such as mean squared error are used. Techniques like cross-validation, where the data is repeatedly split and tested in different ways, provide a more robust picture of how the ML model is likely to behave in practice.

But evaluation is not just about numbers. To truly understand how well a model performs, it is important to look at how it learns – and whether that learning will hold up beyond the training data. This brings us to two fundamental concepts in machine learning: overfitting and generalization.

What is overfitting?
Overfitting occurs when an ML model learns the training data too well, including its noise and irregularities, rather than the underlying patterns. In effect, the model “memorizes” the training set instead of learning how to generalize from it. This can lead to impressive results during training, but poor performance when the model is applied to new data. In practice, overfitting is a clear signal that the model is unlikely to be reliable in real-world conditions.

Why does generalization matter?
Generalization is the ability of a machine learning model to apply what it has learned to new, unseen data. It is what allows a model to move from theory to practical use. A well-generalized ML model delivers consistent and accurate predictions outside of its training environment. Achieving this balance – learning enough to capture meaningful patterns, but not so much that the model becomes overly specific – is at the heart of effective machine learning.

Ultimately, evaluation is about more than measuring performance. It is about ensuring that models can be trusted to work in the real world.

Practical applications of machine learning

This ability to perform reliably beyond the training data is what allows machine learning to move from theory to real-world impact. Today, it is embedded in many of the technologies and services we use every day, often without even noticing.

By learning from data, identifying patterns and supporting decision-making, machine learning is reshaping how organizations operate and how services are delivered. Its applications are wide-ranging and expanding rapidly across industries.

Some of the most common applications of machine learning include:

• Healthcare: Machine learning supports the analysis of medical images, such as X-rays and MRIs, helping detect diseases earlier and improve diagnostic accuracy.
• Finance: Banks and financial institutions use machine learning to detect fraudulent transactions, assess credit risk and automate decision-making.
• Retail and e-commerce: Online platforms rely on machine learning algorithms to recommend products, personalize user experiences and optimize inventory based on demand patterns.
• Transportation: Machine learning helps predict demand, optimize routes and enable dynamic pricing in mobility and logistics services.
• Manufacturing: Predictive maintenance powered by machine learning anticipates equipment failures, reducing downtime and operational costs.
• Entertainment: Streaming services like Netflix and Spotify use machine learning models to tailor content recommendations to individual preferences.
• Customer service: Virtual assistants and chatbots rely on machine learning to deliver fast, personalized responses and improve user experience.

What are the advantages of machine learning?

These examples illustrate a broader shift: machine learning is no longer an emerging technology, but an operational reality, one that is shaping how systems function and how decisions are made at scale. It offers a wide range of benefits across industries, helping organizations move from data to insight, and from insight to action.

Machine learning benefits can be broadly grouped into three key areas:

Improving efficiency and automation

One of the most immediate advantages of machine learning is its ability to automate repetitive and time-consuming tasks. Machine learning algorithms can process data at scale, identify inefficiencies and optimize workflows with minimal human intervention.

This supports more efficient resource allocation, reduces operational costs and allows teams to focus on higher-value activities. In areas such as manufacturing, logistics or HR, machine learning helps streamline processes, from predictive maintenance to recruitment and planning.

Enhancing insight and decision-making

Machine learning excels at analysing complex datasets and uncovering patterns that would be difficult to detect using traditional methods. By turning data into actionable insights, machine learning supports more informed and forward-looking decision-making.

Predictive capabilities are a key part of this. Machine learning algorithms can anticipate trends, behaviours and risks based on historical data, enabling organizations to act proactively, whether in financial forecasting, demand planning or risk management.

Transforming user experience and services

Machine learning also plays a central role in shaping how users interact with products and services. By analysing preferences and behaviour, it enables highly personalized experiences, from product recommendations to tailored content and real-time interactions.

At the same time, it enhances service delivery through applications such as chatbots, fraud detection systems and medical diagnostics. In each case, machine learning helps make services faster, more accurate and more responsive to individual needs.

Machine learning under scrutiny: risks, impacts and controls

As the advantages of machine learning become clearer, so too do the responsibilities that come with its use. The growing role of ML models in decision-making means their impact now extends beyond technical performance to broader societal and organizational considerations. While machine learning has the power to drive efficiency and innovation, it can also introduce risks if not developed and deployed thoughtfully. Addressing these challenges is essential to ensure these systems remain reliable, fair and trusted.

In practice, risks tend to emerge at two levels – in how machine learning affects individuals, and in its broader impact on systems and society.

Impacts on people

At the individual level, some of the most pressing concerns relate to how ML systems make decisions and how those decisions affect people.

• Bias and fairness: ML models can unintentionally learn and reinforce biases present in their training data. This can result in unfair outcomes, such as facial recognition systems performing poorly for certain demographic groups or hiring algorithms favouring candidates from specific backgrounds. Addressing bias requires careful data selection, regular audits and ongoing monitoring.
• Transparency and explainability: Many advanced ML models, particularly deep neural networks, operate as “black boxes”, making their decision-making processes difficult to understand or challenge. This can undermine trust, particularly in high-stakes areas like healthcare or criminal justice.
• Privacy: Machine learning systems often rely on large datasets that may contain sensitive personal information. Without appropriate safeguards, there is a risk of misuse or unintended exposure.

Impacts on systems and society

Beyond the individual level, machine learning also raises broader systemic risks.

• Security and adversarial attacks: ML models can be vulnerable to targeted manipulation, where small changes in input data lead to incorrect predictions. This is particularly critical in security-sensitive applications (e.g. autonomous vehicles or finance services).
• Social and economic impact: The growing use of machine learning may reshape labour markets. While it creates new opportunities, it can also lead to job displacement in certain sectors and, if not carefully managed, contribute to widening inequalities.

Recognizing these challenges, organizations are placing greater emphasis on how machine learning systems are governed and controlled. This includes improving transparency, mitigating bias and strengthening data protection as part of a more structured approach. International Standards support this effort by providing a framework for building and managing machine learning systems in a way that is consistent, reliable and fit for real-world use.

Keeping machine learning on track: the role of standards

As machine learning systems move from experimentation to real-world use, the challenge is no longer just building models, but ensuring they perform reliably over time. Data evolves, models drift and performance can degrade, meaning even small errors can have significant consequences. Without a clear structure, trust becomes difficult to maintain.

International Standards provide that structure. They define a common approach to how machine learning systems are designed, deployed and monitored, helping ensure that performance is not only achieved, but sustained over time. By bringing clarity to data governance, model development and system oversight, they help strengthen reliability and enable machine learning to be applied more confidently at scale.

ISO, in collaboration with the International Electrotechnical Commission (IEC), has published a number of standards related to machine learning through its dedicated group of experts on artificial intelligence (ISO/IEC JTC 1/SC 42). Its most recent standard on the subject is ISO/IEC 23053 which provides a framework for AI systems using machine learning.

• ISO/IEC 23053:2022Framework for AI systems using machine learning
• ISO/IEC 42001:2023AI management systems
• ISO/IEC 23894:2023AI — Guidance on risk management

History of machine learning

To fully answer the question “what is machine learning?”, we must retrace our steps. ML can trace its origins back to the 1950s. From its very first iterations to the rapidly evolving technology we know today, ML has been shaped – and continues to be shaped – by decades of breakthroughs and setbacks.

Humble beginnings (1950s-1960s)

The very first step in artificial intelligence and machine learning was taken by Arthur Samuel in 1950. His work demonstrated that computers were capable of learning when he taught a programme to play checkers. However, this wasn’t a programme that was explicitly designed to carry out specific commands. This programme could learn from past mistakes and moves to improve its performance. Samuel would later coin the term “machine learning” and define it as “the field of study that gives computers the ability to learn without being explicitly programmed”.

Only eight years later, in 1958, Frank Rosenblatt introduced the Perceptron, a simplified model of an artificial neuron. This algorithm could learn to recognize patterns in data and was the first iteration of an artificial neural network. Evgenii Lionudov and Aleksey Lyapunov would complement these innovations in the 1960s through their work on backpropagation algorithms and the theory of machine learning. By the 1980s, there existed an algorithm capable of efficiently training multi-layered neural networks.

The lost years (1960s-1970s)

Marvin Minsky and Seymour Papert’s Perceptrons, published in 1969, shone a bright light on the limitations of neural networks. Combined with the limited computing power, a lack of available data and other factors, this influential book inadvertently contributed to the first “AI winter” marked by minimal funding and low research interest.

The renaissance (1980s-1990s)

John Hopfield would put an end to this “AI winter” with the introduction of his recurrent neural network – the Hopfield network – in 1982. This encouraged David Rumelhart, Geoffrey Hinton, Ronald Williams and others to revive the study of backpropagation and multi-layered neural networks. The year 1989 saw the first real breakthrough in the field of computer vision through Yann LeCun’s work on convolutional neural networks (CNNs).

The introduction of support vector machines (SVMs) by Vladimir Vapnik in 1995 and the development of long short-term memory (LSTM) networks by Sepp Hochreiter and Jürgen Schmidhuber in 1997 garnered even more momentum for this burgeoning field.

The breakthroughs (2010s)

Machine learning marked a decisive victory over traditional computers in 2012 when AlexNet, a convolutional neural network, outperformed traditional computer vision methods in the 2012 ImageNet competition.

From there, a series of landmark breakthroughs followed. In 2014, Ian Goodfellow’s generative adversarial networks (GANs) would empower researchers to generate realistic synthetic data. In 2016, the world champion of Japanese board game Go was defeated by DeepMind’s AlphaGo system. And in 2017, transformer models revolutionized natural language processing capabilities.

Recent developments (2010s-present)

Since then, the field has continued to develop deep learning architectures and expanded the applications of machine learning to industries like healthcare, finance and even entertainment. Machine learning has also started to find its way into Internet of Things (IoT) devices and into other fields such as quantum computing, neuroscience and physics.

Amidst all this fast-paced progress, there is today a growing emphasis on considerations surrounding the responsible use of machine learning systems. What’s more, the advancements in unsupervised and self-learning techniques have placed ever more weight on the management of data and how ML models are applied in real-life scenarios.

Key takeaways on machine learning

Machine learning is reshaping how organizations operate, how decisions are made and how value is created. From healthcare and finance to transportation and digital services, it enables systems to learn from data, generate insights and automate increasingly complex tasks.

As its adoption grows, understanding how machine learning works in practice – from model development and evaluation to real-world deployment – becomes essential. Just as important is recognizing the risks associated with its use, particularly around fairness, transparency and privacy.

This is where trust becomes the real differentiator.

International Standards provide the foundation to build that trust, bringing consistency, accountability and clarity to how ML models are developed and deployed. Because the future of machine learning will not be defined by what it can do, but by how confidently it can be used. And with the right frameworks in place, that confidence can scale.