1979年三菱電機株式会社入社。名古屋製作所配属。産業用モーターや制御機器の生産計画や納期調整などを担当。モノづくりの基本を学ぶ。東京本社海外事業本部に転勤。シーケンサー、インバーターといったFA（ファクトリー・オートメーション）電子機器の北米向けビジネスを担当。途中、企業派遣で米国ボストンカレッジ経営大学院に留学、MBAを取得。

2000年欧州系最大の戦略コンサルティング会社であるローランド・ベルガーに日本法人代表取締役社長として参画。日本有数の戦略コンサルティング会社へと成長する陣頭指揮を執る。戦略策定のみならず、実行支援を伴った「結果の出る」コンサルティングとして高い評価を得る。

また、2004年に出版した「現場力を鍛える」（東洋経済新報社）はビジネス書評誌TOPPOINT」の「読者が選ぶベストブック２００４」の第1位に選ばれ現在26刷を数えるロングセラーとなっている。

2005年に出版した「見える化」は15万部を超えるベストセラーとなり、第6回日経BP・BizTech図書賞を受賞。

2006年ローランド・ベルガー日本法人会長に就任するとともに、早稲田大学ビジネススクールの教授に就任。早稲田大学ビジネススクールでは、経営戦略論、オペレーション戦略論を担当し、現場力の実践的研究を行っている。

遠藤研究室の大学院生が主体となって運営する産学融合の勉強会・オペレーショナル・エクセレンス研究会（通称OE研）は毎回内外の卓越した現場力を誇る企業からゲストを招き、現場の目線から企業の競争力を検証している。

同年末には現場力三部作の完結篇として「ねばちっこい経営」を出版した。

2007年ローランド・ベルガードイツ本社のSupervisory Board（経営監査委員会）の初のアジア出身のメンバーに選任され、同社のグローバル経営を推進する一翼を担っている。

また2007年6月から経営コンサルタントを養成するための「プロフェッショナル・コンサルタント養成塾」を開講。6ヶ月に亘る講座でプロの技やマインドを伝授している。第1期生からは既に外資系コンサルティング会社への転職者も誕生している。
2008年1月より第2期を開講中。