TomTomhttps://teletype.in/atom/k2_aff2026-05-14T09:13:29.155Zk2_aff:rFFeI8kXW3JРізниця між PageRank та PageRank_NS2026-03-09T15:31:27.748Z2026-03-09T15:41:28.827Z<img src="https://img3.teletype.in/files/e2/f8/e2f8f1a1-0860-4617-b9f1-adf1167f5750.png">Всі пам'ятають https://hexdocs.pm/google_api_content_warehouse/api-reference.html
<figure id="Gxsw" class="m_column">
<img src="https://img3.teletype.in/files/e2/f8/e2f8f1a1-0860-4617-b9f1-adf1167f5750.png" width="1728" />
</figure>
<p id="5itg">Всі пам'ятають <a href="https://hexdocs.pm/google_api_content_warehouse/api-reference.html" target="_blank">https://hexdocs.pm/google_api_content_warehouse/api-reference.html</a> </p>
<p id="2JQL">з якого наче классичний PageRank був скасований на користь Pagerank_NS. Я спробував розібрати патент <a href="https://patents.google.com/patent/US9165040B1/en" target="_blank">Producing a ranking for pages using distances in a web-link graph </a> який схоже на все описує саме принцип роботи Pagerank_NS. </p>
<p id="OL79">Щоб зрозуміти суть цього патенту, треба згадати, з чого все починалося:</p>
<ul id="wt5A">
<li id="fyyE"><strong>Класичний PageRank:</strong> Це система "голосування". Кожне посилання - це голос. Чим більше голосів у сторінки, тим вона важливіша. <strong>Проблема:</strong> цю систему легко обдурити, створивши мільйон штучних сайтів ("ферми посилань, link-loops"), які голосують один за одного.</li>
<li id="RbJB"><strong>PageRank_NS (на основі Seed Sites):</strong> Тут Google вибирає невелику групу "<strong>Seed Sites"</strong>, яким він довіряє на 100% (наприклад, The New York Times). Вагу отримують лише ті сторінки, на які прямо чи опосередковано посилаються ці довірені ресурси. <strong>Проблема:</strong> це дуже складно рахувати. Щоразу, коли додається новий довірений сайт, системі доводиться перераховувати весь інтернет заново, що дуже повільно і дорого.</li>
</ul>
<p id="0F87"><strong>Рішення:</strong> Замість того, щоб передавати "вагу", система вимірює "<strong>відстань"</strong>. Чим менше кліків відділяє вас від Nearest Seed, тим вищий ваш рейтинг.</p>
<h3 id="Sljx">Ключові концепції системи ранжування</h3>
<p id="tGAz">Для архітектурного розуміння методу необхідно виділити наступні фундаментальні елементи:</p>
<ul id="M4NG">
<li id="0ebq"><code><strong>seed pages</strong></code>: Спеціально підібраний набір сторінок, які слугують довіреними точками відліку. Ключовою особливістю є те, що вони містять <code>outgoing links</code> до набору сторінок, які підлягають ранжуванню.</li>
<li id="ahhD"><code><strong>web-link graph</strong></code>: Графова структура, вузлами якої є вебсторінки, а ребрами - гіперпосилання, що забезпечують взаємозв'язок між ними.</li>
<li id="UnwO"><code><strong>link lengths</strong></code>: Числове значення, що присвоюється кожному посиланню в графі. Важливо розуміти, що довжина визначається на основі властивостей самого посилання (link properties) та властивостей сторінок, приєднаних до цих посилань (page properties).</li>
<li id="qEsa"><code><strong>shortest paths</strong></code>: Найкоротша сумарна відстань від масиву <code>seed pages</code> до кожної цільової сторінки в графі, де відстань є сумою значень <code>link lengths</code> на шляху кліку.</li>
</ul>
<h3 id="Y0Us">Покроковий алгоритм розрахунку рейтингу</h3>
<figure id="dlbG" class="m_original">
<img src="https://img4.teletype.in/files/b5/e8/b5e8467d-1c59-4568-83a1-e5fc7d999a7f.png" width="1134" />
</figure>
<p id="k8Xp">Відповідно до логіки, зображеної на Фіг. 2 ("Flowchart"), процес розрахунку виконується за наступним алгоритмом:</p>
<ol id="4AGP">
<li id="lEIt"><strong>Точка входу</strong>: Отримання набору сторінок для ранжування та ідентифікація відповідних <code>seed pages</code>.</li>
<li id="Mf4Q"><strong>Зважування силок</strong>: Призначення значень <code>lengths</code> для кожного посилання. Розрахунок базується на аналізі технічних характеристик посилань та якості пов'язаних з ними сторінок.</li>
<li id="ONUI"><strong>Графові обчислення</strong>: Розрахунок <code>shortest distances</code> від множини <code>seed pages</code> до кожного вузла (сторінки) у цільовому наборі.</li>
<li id="aoBT"><strong>Скоринг</strong>: Визначення <code>ranking score</code> для кожної сторінки як прямої функції від обчислених найкоротших відстаней. Чим менша сумарна відстань до сід сайтів, тим вищим є бал.</li>
<li id="quax"><strong>Кінцева точка</strong>: Генерація впорядкованого ранжування для всього набору сторінок на основі отриманих балів.</li>
</ol>
<h3 id="xPbi">Фактори впливу на довжину посилань та якість ранжування</h3>
<p id="jZgO">У патенті значення <code>lengths</code> не є статичним. Воно змінюється низкою факторів, що дозволяє ефективно виявляти маніпуляції.</p>
<p id="8Hf6">Технічний аспект</p>
<p id="bMDf">Вплив на результат</p>
<p id="0Hr2"><code><strong>out-degree</strong></code></p>
<p id="2u5L">Велика кількість вихідних посилань з однієї сторінки збільшує <code>link lengths</code>, що призводить збільшення відстані.</p>
<p id="sUX5"><code><strong>damping factor</strong></code></p>
<p id="qM6y">Діє як модифікатор, що адитивно збільшує "вартість" або відстань кожного наступного переходу, моделюючи згасання довіри.</p>
<p id="5HfB"><code><strong>link farms</strong></code></p>
<p id="sx98">Спроби штучного накопичення маси посилань не дозволяють зменшити відстань до <code>seed pages</code>, оскільки алгоритм ігнорує об'єм на користь близькості до трастових донорів.</p>
<p id="EPJ2"><code><strong>spam pages</strong></code></p>
<p id="lFBK">Ресурси з низькою якістю отримують високі значення <code>lengths</code>, що відсуває їх на периферію графа і забезпечує низький <code>ranking score</code>.</p>
<p id="lZaS"><strong>Властивості сторінок</strong></p>
<p id="pk0q">Висока якість контенту або високий рівень довіри до сторінки, до якої веде посилання, може знижувати <code>link lengths</code>, скорочуючи шлях до цілі.</p>
<h3 id="JJVj">Роль у загальній архітектурі пошукової системи</h3>
<figure id="LJB0" class="m_original">
<img src="https://img3.teletype.in/files/a0/8b/a08bf002-0e1e-4560-ace0-e263177b3e65.png" width="1112" />
</figure>
<p id="0ZSG">Згідно з Фіг. 3, патент інтегрує систему ранжування у глобальний цикл обробки даних:</p>
<ul id="wKoe">
<li id="dKUx"><strong><code>Web crawler</code> (304)</strong>: Здійснює безперервне сканування інтернету та передає зібрані дані до центрального вузла.</li>
<li id="KS2C"><strong><code>Data center</code> (308)</strong>: Виступає ядром системи, де відбуваються процеси стискання (<code>compressing</code>), індексування (<code>indexing</code>) та безпосереднього ранжування (305) за методом найкоротших відстаней.</li>
<li id="kGuM"><strong><code>Search engine</code> (311)</strong>: Слугує посередником, який приймає <code>query</code> від користувача через <code>browser</code>, звертається до обчислених у <code>Data center</code> рейтингів і повертає структурований <code>response</code>.</li>
</ul>
<h3 id="jm5W">Порівняння з традиційним PageRank</h3>
<p id="sIkh">Основна архітектурна відмінність між <code>PageRankNS</code> та традиційним <code>PageRank</code> полягає в природі передачі авторитету. Якщо <code>PageRank</code> базується на імовірнісній моделі "потоку" (probability flow), де авторитет розподіляється між усіма вихідними посиланнями вузла, то система <code>PageRankNS</code>використовує модель "доданої вартості" (additive cost). У цій моделі кожне посилання додає певну дистанцію до загального шляху від довіреного джерела.</p>
<p id="Jp7O">Такий підхід є значно стійкішим до маніпуляцій з боку <code>link farms</code>. У класичних ітераційних алгоритмах спамери можуть підвищувати рейтинг сторінки шляхом накопичення величезного обсягу вхідних посилань. Однак у системі <code>PageRankNS</code> спам-структури стають неефективними: оскільки вони не мають прямих або коротких зв'язків із <code>seed pages</code>, кожне додаткове посилання всередині спам-мережі лише збільшує сумарну відстань або залишає її незмінно великою. Таким чином, замість оцінки "популярності" через об'єм посилань, система фокусується на геометричній близькості вузла до еталонних зон довіри в <code>web-link graph</code>.</p>