1979年三菱電機株式会社入社。名古屋製作所配属。産業用モーターや制御機器の生産計画や納期調整などを担当。モノづくりの基本を学ぶ。東京本社海外事業本部に転勤。シーケンサー、インバーターといったFA（ファクトリー・オートメーション）電子機器の北米向けビジネスを担当。途中、企業派遣で米国ボストンカレッジ経営大学院に留学、MBAを取得。

2000年欧州系最大の戦略コンサルティング会社であるローランド・ベルガーに日本法人代表取締役社長として参画。日本有数の戦略コンサルティング会社へと成長する陣頭指揮を執る。戦略策定のみならず、実行支援を伴った「結果の出る」コンサルティングとして高い評価を得る。

また、2004年に出版した「現場力を鍛える」（東洋経済新報社）はビジネス書評誌TOPPOINT」の「読者が選ぶベストブック２００４」の第1位に選ばれ現在26刷を数えるロングセラーとなっている。

2005年に出版した「見える化」は15万部を超えるベストセラーとなり、第6回日経BP・BizTech図書賞を受賞。

2006年ローランド・ベルガー日本法人会長に就任するとともに、早稲田大学ビジネススクールの教授に就任。早稲田大学ビジネススクールでは、経営戦略論、オペレーション戦略論を担当し、現場力の実践的研究を行っている。

遠藤研究室の大学院生が主体となって運営する産学融合の勉強会・オペレーショナル・エクセレンス研究会（通称OE研）は毎回内外の卓越した現場力を誇る企業からゲストを招き、現場の目線から企業の競争力を検証している。既にOE研の開催は20回を超えている。

同年末には現場力三部作の完結篇として「ねばちっこい経営」を出版した。

2007年ローランド・ベルガードイツ本社のSupervisory Board（経営監査委員会）の初のアジア出身のメンバーに選任され、同社のグローバル経営を推進する一翼を担っている。

また2007年6月から経営コンサルタントを養成するための「プロフェッショナル・コンサルタント養成塾」を開講。6ヶ月に亘る講座でプロの技やマインドを伝授している。第1期生からは既に外資系コンサルティング会社への転職者も誕生している。2009年9月より第4期を開講中。2009年11月より新たに「MBAエッセンス講座」を開講。こうしたオープン講座をリニューアルし、拡充した「カラーズ・ビジネスカレッジ（CBC）」の学長に2011年4月に就任する予定である。

2008年9月より早稲田大学ビジネススクールのMBA/MOTプログラムディレクターに就任。同校の運営の統括責任者を務めた。

2009年1月に現場力三部作の続編として「現場力復権」を出版。
さらに、2009年12月にはPHPより「競争力の原点」を出版。日本企業が国際協力を取り戻すために何をすべきかについて新たな視座を投げかけている。

2010年4月よりNHKラジオの人気番組「あさいちばん」の「ビジネス展望」のコーナーにレギュラー出演している。

2010年には「未来のスケッチ」（あさ出版）、「課長力」（朝日新聞出版）、「『日本品質』で世界を制す！」（日経新聞出版）と日本の競争力の源泉である現場力、ミドル、品質をテーマとした書籍を次々に出版。

現在、大学での教職、経営コンサルティング活動に加え、講演、研修、執筆など多方面で活躍中。