<div dir="ltr"><div><div><div><div><div><div><div>So what I imagine happens:<br></div>* Someone finds a tool that is useful to run e.g. a query on any category with a certain template.<br></div>* This is added as an auto-filled link in the template, for common maintenance tasks.<br></div>* Googlebot follows all of these pre-filled links from Wikipedia and/or mirrors.<br></div>* This does not just return the empty tool form, but actually runs the tool.<br></div>* Horrible things ensue on Tools Labs.<br><br></div>AFAIK, all tools use a default .lighttp configuration by default. Is that replaced or extended by a local config file?<br></div>If it's replaced, the default config could exclude Googlebot, and even a blank local config file would re-enable Googlebot again, for those who want it.<br><br><div><div><br></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Oct 20, 2014 at 2:33 AM, Maximilian Doerr <span dir="ltr"><<a href="mailto:maximilian.doerr@gmail.com" target="_blank">maximilian.doerr@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word">I disagree.  Google bot has been nothing but a nuisance, continuously probing my tool with different queries.  It has drained resources needlessly, and was quite glad that tool labs had it blocked.<div><span class=""><br><div>
<div style="color:rgb(0,0,0);letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;word-wrap:break-word">Cyberpower678<br>English Wikipedia Account Creation Team<br>Mailing List Moderator</div><div style="color:rgb(0,0,0);letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;word-wrap:break-word"><br></div><br>
</div>
<br></span><div><div class="h5"><div><blockquote type="cite"><div>On Oct 19, 2014, at 21:30, Nuria Ruiz <<a href="mailto:nuria@wikimedia.org" target="_blank">nuria@wikimedia.org</a>> wrote:</div><br><div><div dir="ltr">Why would we want to restrict google indexing of the whole cluster? There are tools of many different nature deployed there, seems that indexing or not should be configured on a instance per instance basis.<div><br></div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Sun, Oct 19, 2014 at 4:41 PM, Maximilian Doerr <span dir="ltr"><<a href="mailto:maximilian.doerr@gmail.com" target="_blank">maximilian.doerr@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Who protested to that, and why would that be a problem?<br>
<span><br>
Cyberpower678<br>
English Wikipedia Account Creation Team<br>
Mailing List Moderator<br>
<br>
</span><div><div>-----Original Message-----<br>
From: <a href="mailto:labs-l-bounces@lists.wikimedia.org" target="_blank">labs-l-bounces@lists.wikimedia.org</a> [mailto:<a href="mailto:labs-l-bounces@lists.wikimedia.org" target="_blank">labs-l-bounces@lists.wikimedia.org</a>] On Behalf Of Marc A. Pelletier<br>
Sent: Sunday, October 19, 2014 7:29 PM<br>
To: <a href="mailto:labs-l@lists.wikimedia.org" target="_blank">labs-l@lists.wikimedia.org</a><br>
Subject: Re: [Labs-l] Google bot<br>
<br>
On 10/19/2014 03:50 PM, Magnus Manske wrote:<br>
> I vaguely remember that indexing bots (like the Google one) were<br>
> filtered out by Labs already?<br>
<br>
They were, for some time, but then I got some fairly vehement protestations that tools being unindexed by Google was a problem.<br>
<br>
-- Marc<br>
<br>
<br>
_______________________________________________<br>
Labs-l mailing list<br>
<a href="mailto:Labs-l@lists.wikimedia.org" target="_blank">Labs-l@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/labs-l" target="_blank">https://lists.wikimedia.org/mailman/listinfo/labs-l</a><br>
<br>
<br>
_______________________________________________<br>
Labs-l mailing list<br>
<a href="mailto:Labs-l@lists.wikimedia.org" target="_blank">Labs-l@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/labs-l" target="_blank">https://lists.wikimedia.org/mailman/listinfo/labs-l</a><br>
</div></div></blockquote></div><br></div>
_______________________________________________<br>Labs-l mailing list<br><a href="mailto:Labs-l@lists.wikimedia.org" target="_blank">Labs-l@lists.wikimedia.org</a><br><a href="https://lists.wikimedia.org/mailman/listinfo/labs-l" target="_blank">https://lists.wikimedia.org/mailman/listinfo/labs-l</a><br></div></blockquote></div><br></div></div></div></div><br>_______________________________________________<br>
Labs-l mailing list<br>
<a href="mailto:Labs-l@lists.wikimedia.org">Labs-l@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/labs-l" target="_blank">https://lists.wikimedia.org/mailman/listinfo/labs-l</a><br>
<br></blockquote></div><br></div>