Две поисковые разные системы, созданные общими умами из выходцев из СССР. Российскими учёными, математиками, программистами и другими специалистами. Сергей Брин - житель бывшего союза один из создателей Гугла.
Вот, где мощнейшие системы поиска конкурируют на рынке информационных систем.
Создателя Яндекса, я не знаю, но знаю, как он выглядел внешне в начале своего становления.
Воспользуюсь подсказкой НЕЙРОСЕТИ
Что такое поисковые системы, как они устроены?
Поисковая система — это программно-аппаратный комплекс, предназначенный для поиска информации в интернете (или в других базах данных, но чаще всего имеется в виду именно интернет). Пользователь вводит поисковый запрос (обычно в виде текста, но иногда в виде изображения или голоса), а система возвращает список релевантных результатов, отсортированных по степени соответствия запросу.
Как устроены поисковые системы (основные компоненты):
Веб-паук (Веб-краулер, Паук, Бот (bot)):
Функция: автоматически сканирует и индексирует веб-страницы. Он начинает с небольшого списка известных веб-адресов (URL), а затем переходит по ссылкам на этих страницах, обнаруживая и посещая новые страницы.
Процесс: Обход (Crawling): Загрузка содержимого веб-страниц.
Анализ: Извлечение текста, ссылок, изображений и других данных.
Индексация: Добавление информации о странице в индекс поисковой системы.
Соображения: Вежливость (Politeness): соблюдение правил, указанных в файле robots.txt на веб-сайте, чтобы не перегружать сервер и не индексировать запрещенные страницы.
Масштабируемость (Scalability): способность обрабатывать огромное количество веб-страниц и ссылок.
Индекс:
Функция: огромная база данных, содержащая информацию обо всех проиндексированных веб-страницах. Индекс организован таким образом, чтобы обеспечить быстрый поиск релевантных страниц по запросу пользователя.
Содержание: Текст: Слова и фразы, содержащиеся на веб-страницах.
Метаданные: заголовки, описания, ключевые слова, дата публикации и другие данные, описывающие страницу.
Ссылки: Информация о входящих и исходящих ссылках каждой страницы.
Другие атрибуты: рейтинг страницы, географическое положение и т. д.
Оптимизация: Индекс оптимизирован для быстрого поиска, часто с использованием инвертированных индексов (inverted indexes), где каждое слово связано со списком страниц, на которых оно встречается.
Алгоритм поиска (Ranking Algorithm):
Функция: определяет, какие веб-страницы наиболее релевантны запросу пользователя и в каком порядке их следует отображать в результатах поиска.
Процесс: Анализ запроса: понимание намерений пользователя, стоящих за запросом (например, исправление опечаток, определение синонимов, учет контекста).
Сопоставление: поиск в индексе страниц, содержащих слова из запроса.
Оценка релевантности: вычисление оценки релевантности каждой страницы на основе различных факторов (см. ниже).
Ранжирование: сортировка страниц по убыванию оценки релевантности.
Факторы ранжирования:Соответствие ключевым словам: Как часто слова из запроса встречаются на странице.
Качество контента: оригинальность, полезность, информативность и актуальность контента.
Авторитетность: оценивается по количеству и качеству ссылок, ведущих на страницу (PageRank и другие показатели).
Удобство использования (User Experience): скорость загрузки, адаптивность для мобильных устройств, отсутствие надоедливой рекламы.
Географическое положение: Учет местоположения пользователя для локальных запросов.
Персонализация: Адаптация результатов поиска на основе истории поиска и других данных пользователя.
Пользовательский интерфейс (User Interface):
Функция: Предоставление пользователю удобного способа ввода запроса и просмотра результатов поиска.
Компоненты:Поле ввода запроса: Текстовое поле для ввода поискового запроса.
Страница результатов поиска (SERP): отображение списка релевантных веб-страниц, обычно с заголовком, описанием (сниппетом) и URL-адресом.
Рекламные объявления: отображение спонсорских ссылок, которые могут быть показаны выше или рядом с органическими результатами поиска.
Дополнительные функции: поисковые подсказки, автозаполнение, фильтры, карты, изображения, видео и т. д.
Дополнительные аспекты:
Обработка естественного языка (Natural Language Processing, NLP): используется для понимания смысла запроса пользователя, определения ключевых слов, синонимов и контекста.
Машинное обучение (Machine Learning, ML): используется для улучшения алгоритмов поиска, персонализации результатов, борьбы со спамом и других задач.
Борьба со спамом (обнаружение спама): выявление и удаление из индекса веб-страниц, использующих методы поисковой оптимизации (SEO) для искусственного повышения своего рейтинга.
Персонализация (Personalization): адаптация результатов поиска на основе истории поиска, местоположения, демографических данных и других факторов.
Пример работы поисковой системы (упрощенно):
Пользователь вводит запрос: “рецепт шоколадного торта”.
Анализ запроса: поисковая система анализирует запрос, удаляет стоп-слова («рецепт»), определяет ключевые слова («шоколадный», «торт») и, возможно, ищет синонимы.
Поиск в индексе: поисковая система ищет в индексе страницы, содержащие слова «шоколадный» и «торт».
Оценка релевантности: алгоритм поиска вычисляет оценку релевантности каждой страницы на основе соответствия ключевым словам, качества контента, авторитетности сайта и других факторов.
Ранжирование результатов: страницы сортируются по убыванию оценки релевантности.
Отображение результатов: пользователю отображается страница результатов поиска (SERP) со списком релевантных веб-страниц, расположенных
Какой нейросетью я воспользовался?
Вот список. Самой верхней.
Кстати, в Яндексе есть поиск с нейро - это поисковые выдачи основанные на работе нейросети. У Гугла такой функции не обнаружено.
Комментариев 1