YaCy

YaCy Stránka pro vyhledávání YaCy Informace

Vyvinul	Michael Peter Christen a přispěvatelé do projektu
První verze	2004
Poslední verze	1,92 (26. prosince 2016)
Vklad	github.com/yacy/yacy_search_server
Stav projektu	Ve vývoji
Napsáno	Jáva
životní prostředí	Cross-platform
Jazyky	Vícejazyčné
Typ	Otevřený a bezplatný internetový vyhledávač typu peer-to-peer
Distribuční politika	Volný, uvolnit
Licence	Licence zdarma ( GNU GPL v2)
webová stránka	yacy.net/en

YaCy (pro Yet Another Cyberspace , anglický homofon ya see (you see)) je bezplatný vyhledávač fungující na principu sítě peer-to-peer . Tento software je vyvíjen v prostředí Java a byl nainstalován na konci roku 2006 na stovky počítačů zvaných YaCy-peers nebo YaCy- stanice (600 aktivních denně včerven 2014). YaCy používá například Univerzita Johannesa Gutenberga v Mohuči .

Síť YaCy se vyznačuje distribuovanou (ne centralizovanou) architekturou . Všechny YaCy uzly ( vrstevníci ) jsou rovnocenné a není hlavní server.

Na každé pracovní stanici běží YaCy buď v prolézacím režimu, nebo v režimu proxy . Každá stanice YaCy uvádí na trh indexovací roboty, které analyzují nalezené stránky. Výsledky jsou uloženy v distribuované databázi (indexu).

Přístup k vyhledávači je přes místní webový server, který představuje pole pro zadávání klíčových slov a poskytuje výsledky ve formě běžné webové stránky .

Projekt YaCy založil v roce 2003 Michael Christen. Tento software je vydáván na základě bezplatné licence GNU GPL .

Program

Srdcem vyhledávače YaCy není, stejně jako jiné vyhledávače, centrální server, ale software běžící téměř na všech operačních systémech . Hledání se provádí na místní webové stránce dodávané nainstalovaným softwarem. Zobrazení výsledků je také ve formě webové stránky .

Proxy server je spojen se systémem P2P: lze jej použít jako volitelnou možnost a automaticky označuje navštívené stránky. Tyto informace nejsou ukládány navštívenými weby, které mohou načítat další informace prostřednictvím GET nebo POST nebo které používají soubory cookie nebo identifikaci HTTP (např. Pro stránky chráněné heslem). Tímto způsobem je zajištěno, že jsou uváděny pouze údaje, které jsou otevřeně přístupné všem.

Pokročilé funkce

• YaCy nabízí všem uživatelům proxy možnost připojit se k pracovním stanicím pod doménou PEERNAME.yacy respektive PEERHASH.yacyh. Uživatel může definovat domovskou stránku pod www.PEERNAME.yacy; systém sdílení souborů je přístupný pod share.PEERNAME.yacy a obvyklé rozhraní pod PEERNAME.yacy. Může si definovat další subdomény, ve kterých vytvoří novou složku s názvem subdomény. Je to také druh dynamického DNS .
• YaCy také poskytuje prostor pro domovskou stránku a pro výměnu souborů pro uživatele, kteří YaCy nepoužívají, bez ohledu na doménu .yacy. Může být propojen s aktuální IP adresou nebo dynamickým názvem domény .
• YaCy má funkci, která se používá k odesílání textových zpráv (formátovaných ve Wikitextu ) a v závislosti na nastavení přijímače k ​​odesílání dat.
• YaCy integruje wiki a blog .
• Správa záložek umožňuje vytvářet soukromé nebo veřejně viditelné záložky.
• Je možné definovat černé listiny pro konkrétní domény.
• K dispozici je rozhraní OpenSearch na adrese http: // <peer-address>: <peer-port> /opensearchdescription.xml, například http://search.yacy.net/opensearchdescription.xml .

Architektura

Vyhledávací modul YaCy je založen na čtyřech prvcích:

Plazení Vyhledávací robot, který naviguje z webové stránky na webovou stránku analýzou jejich obsahu. Index Vytvoří index reverzních slov (RWI). Každé slovo v indexu má seznam relevantních adres URL a informace o jejich hodnocení. Slova jsou před uložením hašována . Rozhraní pro výzkum a správu Navrženo jako webové rozhraní poskytované místním servletem HTTP s kontejnerem servletu. Datové úložiště Ukládání databáze indexů zpětného slova pomocí distribuované hash tabulky .

Technická charakteristika

Program je založen na webovém serveru, který funguje jako proxy - cache . Uživatelské rozhraní je přístupné přes webový server; můžete to prozkoumat nebo spravovat svou pozici. Server proxy předá svůj kód prohledávači, což znamená, že všechny nepersonalizované navštívené stránky jsou automaticky přidány do indexu. YaCy používá Apache Solr od verze 1.04.9097. Síť YaCy navíc nabízí několik domén přístupných prostřednictvím serveru proxy.

Distribuce indexu

Na rozdíl od výměny dat musí být výsledky vyhledávače P2P okamžitě k dispozici. Aby to bylo zaručeno, používá YaCy distribuovanou hashovací tabulku . To znamená, že všechna uložená slova a adresy URL jsou odesílány na příspěvky, jejichž hodnota hash jde s odpovídající hodnotou hash slova nebo adresy URL. Během vyhledávání to jde opačně: hledáme pouze mezi stanicemi, které podle adresy URL mohou znát jejich hodnotu hash pro toto slovo. Během hledání je tedy kontaktován pouze zlomek pozic, aby se navzdory všemu dosáhlo uspokojivých výsledků.

Druhy pozic

YaCy rozlišuje mezi čtyřmi typy pracovních stanic:

Panna Stanice Virgin nemá žádný kontakt se sítí a není proto identifikovatelná. Jsme tedy jediní, kdo může vědět, že jeho postavení je panenské. Juniorský Stanice je za firewallem . Jiní to mohou vidět jako post Junior nebo jako potenciální vrstevník. Mohou však znát pouze čas jeho posledního připojení a nemají žádný způsob, jak zjistit, zda je stále online. Senior Na senior pozici se lze dostat zvenčí a je řádným členem sítě YaCy. Hlavní Jedná se o Senior post, který také posílá „seedlist“, který ostatní příspěvky mohou použít pro počáteční účely .

Protokol YaCy se skládá z textových servletů, které integrovaný webový server zpřístupňuje pod /yacy/servletname.html. Ostatní stanice do něj přenášejí data pomocí parametrů GET: obdrží jako odpověď jednoduchý text, jehož přesný formát se liší podle servletů.

Priming

Při spouštění se YaCy snaží najít další stanice v síti. Chcete-li to provést, nejprve vyhledejte v souboru superseed.txt seznam semen ke stažení: adresy URL seznamů semen načtených jinými příspěvky najdete zde. Poté získá odkazy na jiné pracovní stanice prostřednictvím souboru seed.txt a lze tak navázat kontakt se sítí YaCy. Při příštím spuštění může být YaCy spuštěn ze známých semen. Seznamy semen jsou proto užitečné pouze v případě, že mnoho odkazů již není správných.

Výhody a nevýhody

Výhody

• Výsledky vyhledávání nelze z reklamních důvodů cenzurovat ani předpojatě, protože neexistuje žádný centrální server.
• Vyhledávač nabízí větší spolehlivost (alespoň teoreticky), protože část sítě YaCy bude stále přístupná, pokud určité stanice nebudou fungovat.
• Tento software je svobodný a je vydáván na základě GNU General Public License . Je také zdarma.
• Neexistují žádné reklamy spravované centralizovaným systémem, protože motor nepatří společnosti.
• Podle návrhu lze YaCy použít k indexování „  skrytého webu  “, včetně Tor , I2P nebo dokonce Freenet .
• Je možné dosáhnout vysokého stupně důvěrnosti.
• Protokol YaCy používá požadavky HTTP , zachovává transparentnost a přístupnost a pomáhá diagnostikovat a najít zdroje problémů. Pomocí kompresních nástrojů, jako je gzip , lze výkon zlepšit téměř na úroveň binárních protokolů (například TCP a UDP ).
• Integrovaná podpora OpenSearch .

Nevýhody

• Během vyhledávání musí YaCy kontaktovat jiné stanice a znovu načíst domovskou stránku, aby mohl blokovat spam. Hledání proto bude trvat déle než u běžného vyhledávače.
• Protože neexistuje žádný centrální server a síť YaCy je otevřená pro kohokoli, škodlivé pracovní stanice by v zásadě dokázaly zavést nepřesné, komerčně předpojaté nebo nevyžádané výsledky vyhledávání. Navzdory tomu nemohou být žádné výsledky vyhledávání zobrazené uživateli teoreticky „nepravdivé“, protože všechny výsledky jsou kontrolovány stažením každé stránky patřící do sady výsledků a ověřením, zda hledaná slova na stránce skutečně existují. YaCy však k identifikaci používá řetězec User-Agent , což znamená, že webový server může prohledávači YaCy vrátit jiný obsah, než který se vrátil běžnému návštěvníkovi.
• Pokud je přístupných pouze několik pozic, bude počet výsledků menší než při vyhledávání ve velkém vyhledávači. Vypnutí nebo selhání několika důležitých rozvoden může také vést k ještě větším poruchám.
• Z důvodů ukládání do mezipaměti jsou požadavky dočasně ukládány do paměti RAM pracovních stanic, ve kterých jsou vytvářeny. Hašovací funkce používaná k zakódování slov dotazu se primárně používá ke správě distribuované hashovací tabulky a klíčová slova lze zjistit částečně pomocí slovníku, aby byly dotazy zobrazeny jasně.
• Protokol YaCy používá požadavky HTTP , ale ty mohou být pomalejší než ty, které používají netextové (binární) protokoly, pokud nejsou komprimovány.
• YaCy neobsahuje žádné funkce pro procházení NAT , které brání tomu, aby byl software používán v tak velkém měřítku, jak by mohl, protože schopnost konfigurovat místní router, pokud existuje, vyžaduje určité odborné znalosti, aby správně fungoval.
• Hodnocení webů podle důležitosti se provádí na straně klienta (uživatelům se doporučuje, aby si nainstalovali vlastní server YaCy, přičemž k plnému využití potenciálu YaCy je nezbytný místní server). Algoritmy hodnocení, i když jsou snadno přizpůsobitelné, nemají distribuovanou pracovní zátěž a jsou omezeny na použití indexu slov YaCy a na jakoukoli analýzu, kterou lze provést na objektu, který se snaží klasifikovat. To je důvod, proč složitější algoritmy hodnocení, jako jsou ty, které používá Google, a analýza hodnocení podle různých kontextových faktorů vyvinutých během cesty k obsahu, nejsou v současné době u YaCy proveditelné, což omezuje schopnost většiny uživatelů najít relevantnější obsah.

Poznámky a odkazy

(fr) Tento článek je částečně nebo zcela převzat z článku anglické Wikipedie s názvem „  YaCy  “ ( viz seznam autorů ) . (de) Tento článek je částečně nebo zcela převzat z německého článku na Wikipedii s názvem „  YaCy  “ ( viz seznam autorů ) .

1. (cs) [video] Vizualizace vzniku spontánního řádu - vizualizace spontánního vývoje řádu na YouTube
2. Korben , "  Yacy - The Search Engine bez cenzury  " , Korben.info ,4. února 2011(zpřístupněno 6. května 2013 )
3. (in) Michael Muchmore , „  YaCy  “ , PCMag.com ,6. prosince 2011(zpřístupněno 6. května 2013 )
4. (en) FSFE Free Software Foundation Europe , „  Vyhledávání na internetu lidmi, pro lidi: YaCy 1.0  “ , fsfe ,28. listopadu 2011(zpřístupněno 6. května 2013 )
5. (in) Katherine Noyes , „  YaCy: Je to o svobodě, neporazit Google  “ , PCWorld ,2. prosince 2011(zpřístupněno 6. května 2013 )
6. Simon Robic , „  Alternativa k Google # 2: YaCy  “ , Numerama.com ,4. dubna 2012(zpřístupněno 6. května 2013 )
7. (de) „  Tipps für den Umgang mit Suchmaschinen  “ , Welt Online ,11. dubna 2013( číst online , konzultováno 6. května 2013 )
8. „  Vyhledávání na internetu podle lidí, pro lidi - decentralizace  “ (přístup 13. června 2014 )
9. http://www.fsz.uni-mainz.de/48.php „Archivovaná kopie“ (verze z 23. července 2018 v internetovém archivu )
10. (in) „  Heise Online  “ on heise online (přístup k 7. srpnu 2020 ) .
11. http://www.yacy-websearch.net/wiki/index.php/De:Privacy
12. (in) „  YaCy Technology Architecture  “ , YaCy.net (přístup 14. února 2012 )

Podívejte se také

Související články

P2p vyhledávače

• Hledá

jiný

• Nutch
• Vyhledávač
• Distribuovaná architektura
• Dooble; bezplatný prohlížeč s integrovaným vyhledávačem YaCy.
• Sciencenet  (en) ; vědecký vyhledávač založený na YaCy.
• Arado.sf.net - bezplatný vyhledávač a databáze URL.

externí odkazy

• Oficiální stránka