<div dir="ltr">Hi Clément,<div><br></div><div>    I have some of the computer benchmarks game benchmarks coded up in ShootoutTests in the Cog package.  I use these for benchmarking.  I&#39;d love to see Richards &amp; DeltaBlue added to them.  IMO, Stones should be ignored totally, if not entirely crushed.  It is a series of irrelevant microbenchmarks.</div>
</div><div class="gmail_extra"><br><br><div class="gmail_quote">On Tue, Oct 1, 2013 at 11:46 PM, Clément Bera <span dir="ltr">&lt;<a href="mailto:bera.clement@gmail.com" target="_blank">bera.clement@gmail.com</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"> <br><div dir="ltr">Hello,<div><br></div><div>Recently I needed vm benchmarks for different projects. I merged old Squeak benchmarks that were ported by Stefan Marr to SMark with some other classic benchmark I found on the web to have a suite. I am now setting up a benchmarking machine for our continuous integration server (running a bench on a VM is not accurate). You can find an image with the benchs here: <a href="https://ci.inria.fr/rmod/view/Mate/job/Pharo-bench/" target="_blank">https://ci.inria.fr/rmod/view/Mate/job/Pharo-bench/</a> , evaluate (SMarkVMBench run: 5) to try (takes a few dozens of seconds).</div>



<div><br></div><div>Currently I have:</div><div><ul style="font-size:11px;font-family:Verdana,Helvetica,&#39;sans serif&#39;"><li>Richards: OS kernel simulation benchmark. The main focus is on property access and calling functions and methods.</li>



<li>DeltaBlue: One-way constraint solver Benchmark. The main focus is on polymorphism and object-oriented programming.</li><li>Stones: (Slopstone &amp; Smopstone) Smalltalk Low level Operation Stones &amp; Smalltalk Medium level Operation Stones, cpu intensive benchmarks</li>



<li>Loops: A set of microbenchmarks measuring basic aspects such as message send, instance field access, class var bindings, float and int arithmetic,and array access cost</li><li>Compiler: Evaluate the compilation time</li>



</ul>Do you have any other benchs implemented in Squeak / Pharo ? If someone can extract the benchs from strongtalk in the Squeak chunk format I would be pleased. Seemingly you can only do that on windows and I don&#39;t have access to this kind of computer.</div>



<div><br></div><div>An interesting fact I wanted to mention: I run the benchs twice, once with cog before the last update (without frameless optimization) and once with the latest Cog, and I noticed a difference of 7% of performance on DeltaBlue and Richards. I don&#39;t use in this bench an excessive number of accessors (I mean I use accessors, but I don&#39;t use the policy where you use accessors inside the object&#39;s methods to access its instance variable). Is this an expected result with the frameless optimization ?</div>



<div><br></div><div><br></div></div>
<br></blockquote></div><br><br clear="all"><div><br></div>-- <br>best,<div>Eliot</div>
</div>