为了账号安全,请及时绑定邮箱和手机立即绑定

8天玩转并行开发——第一天 Parallel的使用

标签:
资讯

 

      随着多核时代的到来,并行开发越来越展示出它的强大威力,像我们这样的码农再也不用过多的关注底层线程的实现和手工控制,

要了解并行开发,需要先了解下两个概念:“硬件线程”和“软件线程”。

 

1. 硬件线程

    相信大家手头的电脑都是双核以上的,像我这样古董的电脑都是双核的,这样的双核叫做物理内核。

 

硬件线程又叫做逻辑内核,我们可以在”任务管理器“中查看”性能“标签页,如下图,我们知道有2个硬件线程。

 

 

一般情况下,一个物理内核对应一个逻辑内核,比如我这里的2对2。当然如果你的cpu采用的是超线程技术,那么可能就会有4个物理内核对应

8个硬件线程,现在有很多服务器都有8个硬件线程,上午在公司的服务器上截了个图。

我们要知道并行开发要做的事情就是将任务分摊给这些硬件线程去并行执行来达到负载和加速。

 

2. 软件线程

    相信这个大家最熟悉了,我们知道传统的代码都是串行的,就一个主线程,当我们为了实现加速而开了很多工作线程,这些工作线程

也就是软件线程。

 

好,我们知道了基本概念就ok了,在.net 4.0中,微软给我们提供了一个新的命名空间:System.Threading.Tasks。这里面有很多好玩

的东西,作为第一篇就介绍下最基础,最简单的Parallel的使用。

 

 

一: Parallel的使用

在Parallel下面有三个常用的方法invoke,for和forEach。

1:  Parallel.Invoke

    这是最简单,最简洁的将串行的代码并行化。

复制代码

  Program
 {
       Main([] args)
     {
          watch = Stopwatch.StartNew();
 
         watch.Start();
 
         Run1();
 
         Run2();
 
         Console.WriteLine(, watch.ElapsedMilliseconds);
 
         watch.Restart();
 
         Parallel.Invoke(Run1, Run2);
 
         watch.Stop();
 
         Console.WriteLine(, watch.ElapsedMilliseconds);
 
         Console.Read();
     }
 
       Run1()
     {
         Console.WriteLine();
         Thread.Sleep();
     }
 
       Run2()
     {
         Console.WriteLine();
         Thread.Sleep();
     }
 }

复制代码

在这个例子中可以获取二点信息:

第一:一个任务是可以分解成多个任务,采用分而治之的思想。

第二:尽可能的避免子任务之间的依赖性,因为子任务是并行执行,所以就没有谁一定在前,谁一定在后的规定了。

 

2:Parallel.for

 我们知道串行代码中也有一个for,但是那个for并没有用到多核,而Paraller.for它会在底层根据硬件线程的运行状况来充分的使用所有的可

利用的硬件线程,注意这里的Parallel.for的步行是1。

这里我们来演示一下,向一个线程安全的集合插入数据,当然这个集合采用原子性来实现线程同步,比那些重量级的锁机制更加的节省消耗。

复制代码

   Program
     {
           Main([] args)
         {
              ( j = ; j < ; j++)
             {
                 Console.WriteLine(, j);
 
                 ConcurrentBag<> bag =  ConcurrentBag<>();
 
                  watch = Stopwatch.StartNew();
 
                 watch.Start();
 
                  ( i = ; i < ; i++)
                 {
                     bag.Add(i);
                 }
 
                 Console.WriteLine(, bag.Count, watch.ElapsedMilliseconds);
 
                 GC.Collect();
 
                 bag =  ConcurrentBag<>();
 
                 watch = Stopwatch.StartNew();
 
                 watch.Start();
 
                 Parallel.For(, , i =>
                 {
                     bag.Add(i);
                 });
 
                 Console.WriteLine(, bag.Count, watch.ElapsedMilliseconds);
 
                 GC.Collect();
 
             }
         }
     }

复制代码

 

可以看的出,加速的效果还是比较明显的。

 

3:Parallel.forEach
    forEach的独到之处就是可以将数据进行分区,每一个小区内实现串行计算,分区采用Partitioner.Create实现。

复制代码

  Program
    {
          Main([] args)
        {
             ( j = ; j < ; j++)
            {
                Console.WriteLine(, j);

                ConcurrentBag<> bag =  ConcurrentBag<>();

                 watch = Stopwatch.StartNew();

                watch.Start();

                 ( i = ; i < ; i++)
                {
                    bag.Add(i);
                }

                Console.WriteLine(, bag.Count, watch.ElapsedMilliseconds);

                GC.Collect();

                bag =  ConcurrentBag<>();

                watch = Stopwatch.StartNew();

                watch.Start();

                Parallel.ForEach(Partitioner.Create(0, 3000000), i =>
                {
                     ( m = i.Item1; m < i.Item2; m++)
                    {
                        bag.Add(m);
                    }
                });

                Console.WriteLine(, bag.Count, watch.ElapsedMilliseconds);

                GC.Collect();

            }
        }
    }

复制代码

这里还是要说一下:Partitioner.Create(0, 3000000)。

第一:我们要分区的范围是0-3000000。

第二:我们肯定想知道系统给我们分了几个区? 很遗憾,这是系统内部协调的,无权告诉我们,当然系统也不反对我们自己指定分区个数,

        这里可以使用Partitioner.Create的第六个重载,比如这样:Partitioner.Create(0, 3000000, Environment.ProcessorCount),

        因为 Environment.ProcessorCount能够获取到当前的硬件线程数,所以这里也就开了2个区。

 

下面分享下并行计算中我们可能有的疑惑?

<1> 如何中途退出并行循环?

      是的,在串行代码中我们break一下就搞定了,但是并行就不是这么简单了,不过没关系,在并行循环的委托参数中提供了一个

ParallelLoopState,该实例提供了Break和Stop方法来帮我们实现。

Break: 当然这个是通知并行计算尽快的退出循环,比如并行计算正在迭代100,那么break后程序还会迭代所有小于100的。

Stop:这个就不一样了,比如正在迭代100突然遇到stop,那它啥也不管了,直接退出。

 

下面举个例子,当迭代到1000的时候退出循环

复制代码

    Program
     {
           Main([] args)
         {
              watch = Stopwatch.StartNew();
 
             watch.Start();
 
             ConcurrentBag<> bag =  ConcurrentBag<>();
 
             Parallel.For(, , (i, state) =>
                   {
                        (bag.Count == )
                       {
                           state.Break();
                           ;
                       }
                       bag.Add(i);
                   });
 
             Console.WriteLine(, bag.Count);
 
         }
     }

复制代码

 

<2> 并行计算中抛出异常怎么处理?

 首先任务是并行计算的,处理过程中可能会产生n多的异常,那么如何来获取到这些异常呢?普通的Exception并不能获取到异常,然而为并行诞生的AggregateExcepation就可以获取到一组异常。

复制代码

 Program
{
      Main([] args)
    {
        
        {
            Parallel.Invoke(Run1, Run2);
        }
         (AggregateException ex)
        {
             ( single  ex.InnerExceptions)
            {
                Console.WriteLine(single.Message);
            }
        }

        Console.Read();
    }

      Run1()
    {
        Thread.Sleep();
          Exception();
    }

      Run2()
    {
        Thread.Sleep();

          Exception();
    }
}

复制代码

 

<3> 并行计算中我可以留一个硬件线程出来吗?

  默认的情况下,底层机制会尽可能多的使用硬件线程,然而我们使用手动指定的好处是我们可以在2,4,8个硬件线程的情况下来进行测量加速比。

复制代码

  Program
    {
          Main([] args)
        {
             bag =  ConcurrentBag<>();

            ParallelOptions options =  ParallelOptions();

                        options.MaxDegreeOfParallelism = 1;

            Parallel.For(, , options, i =>
            {
                bag.Add(i);
            });

            Console.WriteLine(, bag.Count);

        }
    }

复制代码

 

点击查看更多内容
TA 点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
  • 推荐
  • 评论
  • 收藏
  • 共同学习,写下你的评论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消