２ちゃんねるスマホ用 ■掲示板に戻る■ 全部 1- 最新50

[クローラー]ロボット対策スレ[robots.txt]

1 ：DNS未登録さん：03/03/11 21:40 ID:PN8pCDZB.net: 検索エンジンに登録されたくない、ロボット、巡回ソフトうざいという方まで
クローラー、スパイダー対策について語りましょう。

参考
http://c-moon.jp/robots.shtml
有名らしい
ttp://www.daj.co.jp/filter/index.htm
87 ：83：04/09/16 01:19:07 ID:???.net: SetEnvIf User-Agent "msnbot.*" nolog
CustomLog access_log.txt combined env=!nolog

わたしは、これで無視することにしました
88 ：DNS未登録さん：04/10/09 12:47:01 ID:???.net: DDNSで今まで http://hoge.ddns.net/~ore/ としてたのを
バーチャルホスト http://hoge.ddns.net/ で見られるようにしたんだが、
相変わらずbotは /~ore でアクセスして来るんだけど、
これを拒否する方法ってある?

単純に
User-agent: *
Disallow: /~ore
でいいの?
89 ：DNS未登録さん：04/10/10 21:35:30 ID:???.net: >>88
/~ore/でアクセスしてきた時に404を返してやれば、そのうち来なくなるんじゃないの？
90 ：DNS未登録さん：04/10/25 23:37:13 ID:???.net: Yahoo! Slurp ってのがよく来るがﾍ（ﾟдﾟ)ﾉﾅﾆｺﾚ?
91 ：DNS未登録さん：04/10/27 20:22:38 ID:???.net: >>90
その名の通りYahooのクローラ
92 ：DNS未登録さん：04/10/27 20:26:49 ID:???.net: 2ch型掲示板のcgiがあるディレクトリ（/test/）を禁止にしたら凄く減った。
93 ：92：04/10/29 00:15:47 ID:???.net: 大失敗
94 ：DNS未登録さん：04/11/04 18:53:48 ID:KyJO56Ns.net: そうか
95 ：DNS未登録さん：04/11/09 21:14:32 ID:???.net: てす
96 ：DNS未登録さん：04/11/12 01:30:00 ID:Nh8fSwvV.net: ロボットは来ているのだが、Googleで検索して飛んでくる人が
最近とんと減ってしまった。なんでだろう？
YahooやMSNからの検索はそこそこ定常的にあるのに。
Googleからのもゼロって訳じゃないんだけどね。

うちのように小さなサイトは検索エンジンからのアクセスが
大切なアクセス源なのに。

原因がわかる人いる？
97 ：DNS未登録さん：04/11/13 01:06:47 ID:???.net: スパム認定かも。
あんまり同じ単語繰り返しても無視される傾向にある様な気がする。
98 ：96：04/11/13 16:16:27 ID:???.net: >>97
うーん、普通にいろんな日々の話題を扱ったブログを公開している程度で、
目を付けられるような動きじゃないはずなんですが…。
もしかしたら、IPアドレスの逆引きがISPのドメイン名になっている事が
まずいのかも知れないと思い、逆引き設定してくれるISPに引越し予定です。
99 ：DNS未登録さん：04/11/16 02:38:13 ID:???.net: うち、逆引きはプロバのドメイン名だけど、普通に登録されてるよ。

自分で検索してみて出てくる？
100 ：96：04/11/17 00:58:01 ID:???.net: 自分で検索しても出てこんのです。(T_T)

そっか、逆引き不一致でも問題ないのかなぁ。とすると、原因は別のところか。
原因を探ってみます。
情報感謝です。
101 ：DNS未登録さん：05/01/21 00:59:57 ID:???.net: http://www.juraihelm.com/NNR/
漏れはこれを参考にした
102 ：DNS未登録さん：05/01/21 12:19:23 ID:???.net: >>101
基本的なことしか書いてない。
103 ：DNS未登録さん：05/01/29 01:01:41 ID:???.net: >>89
レスさんくす。亀レスｽﾏｿ。
ずっと、/~ore/を403かえすようにしてたら、
2,3ヶ月経った今、検索結果も更新されてた。

しかし、本当に最近はmsnとyahooのbotがすごい勢いでくる。
そのせいか、更新頻度はyahooとかのほうが高い気がする。
104 ：定期age：05/02/03 12:39:25 ID:???.net: [Google,Yahoo!等]■ロボット型検索エンジン21■
http://pc5.2ch.net/test/read.cgi/hp/1106491459/
【Google】ページランクいくつよ6【PageRank】
http://pc5.2ch.net/test/read.cgi/hp/1092914063/
Ｇｏｏｇｌｅから削除されました
http://pc5.2ch.net/test/read.cgi/hp/1081663521/
[Google,Yahoo!等]■ロボット型検索エンジン20■
http://pc5.2ch.net/test/read.cgi/hp/1106491335/
【Robots】Googleアーカイブが嫌い【NoArchive】
http://pc5.2ch.net/test/read.cgi/hp/1026114886/
105 ：DNS未登録さん：2005/10/24(月) 12:48:08 ID:???.net: 保守
106 ：DNS未登録さん：2005/11/09(水) 07:26:23 ID:???.net: アニマル横町第11話第12話「どき☆どき占いパラダイス／どき☆どき大げんか」 (WMV9 VGA 120f).avi rTS5D56UkW 225,006,346 ebae1fe40bdee39518a56c7109901839
ttp://www.imgup.org/file/iup115747.jpg

(=ﾟωﾟ)ﾉ
107 ：DNS未登録さん：2006/06/02(金) 00:20:19 ID:/2RXfUmf.net: あ
108 ：DNS未登録さん：2008/09/23(火) 10:11:39 ID:???.net: ほ
109 ：DNS未登録さん：2008/10/02(木) 01:57:54 ID:nEirrkI6.net: dissalowされたサイトだけ検索するエンジン作ったらヒットしそうだね！
誰か作って！
110 ：DNS未登録さん：2008/10/04(土) 08:03:45 ID:???.net: 百度ひつこい
111 ：DNS未登録さん：2008/10/05(日) 00:15:29 ID:???.net: 大体RFC化もされていない「紳士協定」に対して
目くじら立てるやつっておかしいと思わないか？

フリーオを問題視してる団体と完全に構図が一緒だ
112 ：DNS未登録さん：2008/11/08(土) 08:10:01 ID:oHYIhwg4.net: naver の Yeti というのは、naver しか使ってないのか ?
それなら、USER_AGENT で Yeti を丸ごと弾いてしまおうと思うが。
113 ：DNS未登録さん：2008/12/20(土) 20:11:22 ID:91fDHPXk.net: htaccessでBaiduspiderはrobots.txtだけにアクセス出来るように設定したなら、
他のファイルに１秒２０回アクセスするという暴挙に至っている。
それだけでエラーログが巨大化しているw
こうなるとルータで弾くしかないのか。
114 ：DNS未登録さん：2008/12/23(火) 15:11:38 ID:aGiF1pXb.net: javascript使って、ブラウザアクセスでしか開けないようにしておけば良いんでない？
趣旨が違う？
俺、掲示板に広告書き込むスクリプトがウザくて使ったら、一切来なくなったよ。

こんな感じ↓
http://www.google.co.jp/ ←隠したいアドレス

-top.html-
<html><head>
<script type="text/javascript"></script></head>
<body onLoad="code();">
<span id="add"><a href="noscript.html">隠したいアドレスへのジャンプページ</a></span>
</body></html>

-noscript.html-
<html><head></head><body>
以下のアドレスをコピーして移動してください。<br>
http://www<span>.google</span>.co.jp/<br>
</body></html>

アドレスをブツ切りにして記載してやれば、単純にテキストを検索して来た時は見えないし。
トップページは隠すの無理だけど。
115 ：DNS未登録さん：2009/08/24(月) 14:55:42 ID:???.net: >>114
GJ
116 ：DNS未登録さん：2009/08/24(月) 18:11:05 ID:???.net: とんだ先にアフィ貼るとかそういう落ちに期待したい(^◇^;
117 ：DNS未登録さん：2010/09/27(月) 10:57:04 ID:9hieuaLl.net: robots.txtって、クローラはどこかのページにアクセスする際、
必ず見に来るものなのかな？
118 ：DNS未登録さん：2010/09/28(火) 02:34:40 ID:???.net: お行儀が良いクローラならね。
見る義務は無いし、見ても記述内容に従う義務は無い。
119 ：DNS未登録さん：2010/11/01(月) 13:26:41 ID:???.net: アクセスログを見ると、グーグルさんはちゃんとrobots.txtを見てくれてる
120 ：DNS未登録さん：2011/01/24(月) 23:43:10 ID:???.net: 66.249.69.91　googlebotのIPらしいけど、
sshの辞書攻撃を毎日してくる。
121 ：DNS未登録さん：2011/01/27(木) 00:36:41 ID:???.net: なにそれ怖い
122 ：DNS未登録さん：2011/01/29(土) 23:13:36 ID:???.net: クレーム入れてみてくれ。
123 ：DNS未登録さん：2011/01/30(日) 11:49:53 ID:???.net: IP偽装してるだけだろ
124 ：DNS未登録さん：2011/02/01(火) 20:30:40 ID:???.net: どうやって偽装するんだ？
125 ：DNS未登録さん：2011/03/13(日) 08:04:32.30 ID:???.net: >>124
IPヘッダ書き換えりゃ偽装自体は出来る。
でもIPパケット送りつける事しか出来ない。
126 ：DNS未登録さん：2011/10/16(日) 02:11:24.30 ID:???.net: Ajaxばりばりのサイトでも突破できるクローラーってありますか？
127 ：126：2011/10/16(日) 13:33:18.84 ID:???.net: かんたんなDHTMLはいけても、
さすがに、GoogleMapも自動でリンクたどるとか無理ですよね？
128 ：DNS未登録さん：2011/12/20(火) 14:10:31.57 ID:???.net: yahooの検索結果に表示されては困る、でもgoogleやその他にはむしろガンガン表示して欲しいんだが、
そんな指定metaタグでできる？
無理ならブラウザ拡張のアドオンでもいいんだが。
教えてください。
129 ：DNS未登録さん：2011/12/20(火) 15:14:30.76 ID:???.net: 今yahooの検索エンジンってgoogleのやつを使ってるんじゃなかった？
130 ：DNS未登録さん：2011/12/20(火) 17:10:58.19 ID:???.net: そこが問題なんだよなー。
なんかいい方法ないかな。
アドオン探してもgoogleのは見つかるが、yahooで検索結果から除外できるようなアドオンは無いみたいだし。
131 ：DNS未登録さん：2012/02/20(月) 20:02:21.28 ID:???.net: 八巻正治さんについて思うこと。
いつもは宗教心あふれる教師面して"福祉とはかくあるべき"と講釈たれてるのに、
自分の気に食わないことを言われると個人的な感情全開にして、己の懐の狭さが露見するよね。

八巻正治さんは、他人には潔さを求めるのに、自身の発言には一切の責任を取らない。
これ程まで薄っぺらい人間を、他には知らない。
ニューポート大学大学院博士だけのことはあるね。
132 ：電脳プリオン 忍法帖【Lv=40,xxxPT】(1+0：8) 【21.4m】：2013/08/31(土) NY:AN:NY.AN ID:???.net ?PLT(12080): 　　∧＿∧
　（　・∀・）　　　　　　　　　　　　人　ｶﾞｯ
　（　　　　つ―-‐-‐-‐-‐-‐○ < 　>__Λ∩
　人　Y ノ.　　　　　　　　　　　　Ｖ｀Д´）/
　し（＿）　　　　　　　　　　　　　　　　　/ 　←>>59
133 ：DNS未登録さん：2017/02/03(金) 12:44:05.83 ID:UpAhIUM+.net: yandexに本気で殺意を覚えた
どこから来やがった氏ね
134 ：DNS未登録さん：2017/08/24(木) 08:24:43.19 ID:CVAFOrrA.net: 最近，Baiduクローラーからのアクセスが来るよになったのでIPが変わったのかと思って，
確認したら変わっていない。
Apacheでアクセス拒否にしているのに…
で，しょうがないので上流のファイヤーウォールでアクセス拒否にしても何故かやってくる…
これは一体どういうことだw

送信元を詐称して，詐称先にパケットを返しているのかな？
謎挙動なんだがw
135 ：DNS未登録さん：2023/02/09(木) 13:11:35.96 ID:???.net: …－y( ￣д￣).｡o○
136 ：DNS未登録さん：2023/08/01(火) 17:41:51.18 ID:d5qrPU9fC: また岸田異次元増税憲法ガン無視地球破壞軍國主義文雄か゛今度は中東にまでノコノコ莫大な温室効果カ゛スまき散らしなか゛ら世界中にハ゛力晒して
しかもと゛の囗で脱炭素た゛のとほざいてやがんた゛か，力による一方的な現状変更によって都心まて゛数珠つなぎで鉄道のЗ０倍以上もの莫大な温室
効果ガスまき散らすクソ航空機倍増させて氣侯変動させて世界中て゛土砂崩れに洪水，暴風．猛暑、干は゛つにと災害連發させて核攻撃の何倍もの
人的物的被害を与えてるクソテ囗リス├か゛囗シア非難とか笑わせんのもいい加減にしとけや．気侯変動による世界の難民の数は１億人を超えて
いるわけだが．日本て゛も洪水やクソ航空騒音によって住む場所を追われる被害者だらけ．豪雨やら灼熱地獄によって被害を受けた連中は被災者
ではなく、テロ政府による人為的なテ口によって破壊され殺されたんた゛といい加減理解して立ち上がれよな，被災者支援た゛のと白々しい増税と
利権のネタにされて生命と財産を奪われるマソ゛体質マシ゛キモチワ儿ヰぞ，プ一チンや金正恩は．このデタラメシ゛ェ丿サイト゛プ□パガンダテロ
國家の本質を追求して正当性をアピ－儿すれは゛、世界的な悪者は曰本に原爆落とした世界最悪のならず者國家とその－味た゛と八ッキリするだろ

創価学會員は，何百万人も殺傷して損害を与えて私腹を肥やし続けて逮捕者まて゛出てる世界最悪の殺人腐敗組織公明党を
池田センセ‐が□をきけて容認するとか本気で思ってるとしたら侮辱にもほと゛か゛あるぞ！
ｈΤтРｓ：／／ｉ、ｉｍｇｕｒ，сｏｍ／hnli1ga.jpeg

34 KB

新着レスの表示

掲示板に戻る全部前100 次100 最新50

read.cgi ver 2014.07.20.01.SC 2014/07/20 D ★