<p dir="ltr">Hi David, </p>
<p dir="ltr">sure, I can easily add the Stack Vm once we have it built on every commit from Github :) </p>
<p dir="ltr">cheers, <br>
Tim</p>
<div class="gmail_quote">Am 11.06.2016 3:16 vorm. schrieb &quot;David T. Lewis&quot; &lt;<a href="mailto:lewis@mail.msen.com">lewis@mail.msen.com</a>&gt;:<br type="attribution"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On Fri, Jun 10, 2016 at 06:54:24AM -0700, timfelgentreff wrote:<br>
&gt; I added the VM today, and then realized I haven&#39;t built in a variation point<br>
&gt; for choosing the image - and I only have a script to build a Spur image<br>
&gt; right now. So I regret that this wasn&#39;t (as I first assumed) a thing of 2<br>
&gt; minutes. But I&#39;ll get to it.<br>
&gt;<br>
<br>
Let me know if I can help. Attached is a script for building the VM from<br>
latest SVN sources (the install step is commented out).<br>
<br>
Choosing the image might be harder. ckformat can be used to select a VM<br>
for an image, but the interpreter VM can only run a V3 image (not Spur),<br>
so maybe the comparison is not so meaningful. I have been maintaining a V3<br>
mirror of Squeak trunk (<a href="http://build.squeak.org/job/FollowTrunkOnOldV3Image/" rel="noreferrer" target="_blank">http://build.squeak.org/job/FollowTrunkOnOldV3Image/</a>)<br>
but I will not be maintaining long term (only a few more months or so).<br>
<br>
On balance, maybe it is better to use a Stack interpreter VM as the baseline.<br>
This should be similar enough to the context interpreter VM, and it will<br>
run Spur images, so that may be good as a baseline. It would have been nice<br>
to say that &quot;Cog is X times faster than the original interpreter VM&quot; but<br>
comparing to StackInterpreter may be close enough.<br>
<br>
Dave<br>
<br>
<br>
&gt;<br>
&gt; marcel.taeumel wrote<br>
&gt; &gt;<br>
&gt; &gt; David T. Lewis wrote<br>
&gt; &gt;&gt; This really looks very useful, and the graphs and trend lines are nice<br>
&gt; &gt;&gt; for<br>
&gt; &gt;&gt; visualization.<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; Would there be any value in adding an interpreter VM as a baseline to<br>
&gt; &gt;&gt; show<br>
&gt; &gt;&gt; Cog/Spur/RSqueak compared to a non-optimized VM?<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; Dave<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt;&gt; Hi,<br>
&gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; I sent around a note earlier about a benchmarking tool that we&#39;re using<br>
&gt; &gt;&gt;&gt; internally to track RSqueak/VM performance on each commit. Every time<br>
&gt; &gt;&gt;&gt; Eliot<br>
&gt; &gt;&gt;&gt; releases a new set of Cog VMs, I also manually trigger the system to run<br>
&gt; &gt;&gt;&gt; benchmarks on Cog. (Once we move the proper VM to Github, I will set it<br>
&gt; &gt;&gt;&gt; up<br>
&gt; &gt;&gt;&gt; so we test each commit on the main development branch and the release<br>
&gt; &gt;&gt;&gt; branch, too, so we will have very detailed breakdowns.) We wanted to<br>
&gt; &gt;&gt;&gt; share<br>
&gt; &gt;&gt;&gt; this setup and the results with the community.<br>
&gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; We&#39;re collecting results in a Codespeed website (just a frontend to<br>
&gt; &gt;&gt;&gt; present<br>
&gt; &gt;&gt;&gt; the data) which we moved to <a href="http://speed.squeak.org" rel="noreferrer" target="_blank">speed.squeak.org</a> today, and it is also<br>
&gt; &gt;&gt;&gt; linked<br>
&gt; &gt;&gt;&gt; from the <a href="http://squeak.org" rel="noreferrer" target="_blank">squeak.org</a> website (<a href="http://squeak.org/codespeed/" rel="noreferrer" target="_blank">http://squeak.org/codespeed/</a>).<br>
&gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; We have some info about the setup on the about page:<br>
&gt; &gt;&gt;&gt; <a href="http://speed.squeak.org/about" rel="noreferrer" target="_blank">http://speed.squeak.org/about</a>. On the Changes tab, you can see the most<br>
&gt; &gt;&gt;&gt; recent results per platform and environment, with details about the<br>
&gt; &gt;&gt;&gt; machines on the bottom. Note that we calculate all the statistics on the<br>
&gt; &gt;&gt;&gt; workers themselves and only send the time and std dev, so the results&#39;<br>
&gt; &gt;&gt;&gt; min<br>
&gt; &gt;&gt;&gt; and max values you see on the website are bogus.<br>
&gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; Finally, the code for the workers also is on Github (<br>
&gt; &gt;&gt;&gt; <a href="https://github.com/HPI-SWA-Lab/RSqueak-Benchmarking" rel="noreferrer" target="_blank">https://github.com/HPI-SWA-Lab/RSqueak-Benchmarking</a>) and the Benchmarks<br>
&gt; &gt;&gt;&gt; are<br>
&gt; &gt;&gt;&gt; all organized in Squeaksource (<br>
&gt; &gt;&gt;&gt; <a href="http://www.hpi.uni-potsdam.de/hirschfeld/squeaksource/BenchmarkRunner.html" rel="noreferrer" target="_blank">http://www.hpi.uni-potsdam.de/hirschfeld/squeaksource/BenchmarkRunner.html</a>).<br>
&gt; &gt;&gt;&gt; Right now I&#39;ve just dumped benchmarks from various sources in there,<br>
&gt; &gt;&gt;&gt; that&#39;s<br>
&gt; &gt;&gt;&gt; why you see the same benchmark implemented multiple times in different<br>
&gt; &gt;&gt;&gt; ways, and some micro benchmarks don&#39;t make too much sense as they are.<br>
&gt; &gt;&gt;&gt; We&#39;re happy to get comments, feedback, or updated versions of the<br>
&gt; &gt;&gt;&gt; benchmarking packages. Updating the benchmarking code is easy, and we<br>
&gt; &gt;&gt;&gt; hope<br>
&gt; &gt;&gt;&gt; this setup proves to be useful enough for the community to warrant<br>
&gt; &gt;&gt;&gt; continuously updating and extending the set of benchmarks.<br>
&gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; We are also planning to add more platforms, the setup should make this<br>
&gt; &gt;&gt;&gt; fairly painless, we just need the dedicated machines. We&#39;ve been testing<br>
&gt; &gt;&gt;&gt; the standard Cog/Spur VM on a Ubuntu machine, and today we added a<br>
&gt; &gt;&gt;&gt; Raspberry Pi 1 that is still churning through the latest Cog and<br>
&gt; &gt;&gt;&gt; RSqueak/VM<br>
&gt; &gt;&gt;&gt; commits. We&#39;d like to add a Mac and a Windows box, and maybe SqueakJS<br>
&gt; &gt;&gt;&gt; and<br>
&gt; &gt;&gt;&gt; other builds of the Squeak VM, too.<br>
&gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; Cheers,<br>
&gt; &gt;&gt;&gt; Tim<br>
&gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt;<br>
&gt; &gt; +1<br>
&gt; &gt;<br>
&gt; &gt; Best,<br>
&gt; &gt; Marcel<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; --<br>
&gt; View this message in context: <a href="http://forum.world.st/A-speedcenter-for-Squeak-tp4899946p4900414.html" rel="noreferrer" target="_blank">http://forum.world.st/A-speedcenter-for-Squeak-tp4899946p4900414.html</a><br>
&gt; Sent from the Squeak - Dev mailing list archive at Nabble.com.<br>
<br><br>
<br></blockquote></div>